Infrastruktur

Cloud oder eigene Infrastruktur? Die Frage, die wirklich zählt.

Lange war die Antwort klar: Cloud. Inzwischen laufen offene KI-Modelle auf Rechnern im Format einer Brotdose und reichen für einen Großteil der Aufgaben im Mittelstand. Wie wir pro Anwendungsfall entscheiden, wie Sie die Rechnung selbst aufstellen und warum wir eine andere Frage für noch wichtiger halten.

Daniel Niklas · · ca. 9 Minuten Lesezeit

Die Frage kommt in fast jedem Erstgespräch, meist früh: „Und wohin gehen dann unsere Daten?“ Dahinter steckt fast immer eine zweite. Brauchen wir dafür einen eigenen Server, oder geht das in die Cloud?

Gestellt wird sie meist als Grundsatzfrage für das ganze Unternehmen. In der Praxis entscheiden wir sie pro Anwendungsfall, und im selben Betrieb fällt die Antwort regelmäßig zweimal unterschiedlich aus. Genau deshalb ist die Antwort weniger wichtig als die Möglichkeit, sie später zu ändern.

Was sich am Markt verändert hat

Lange war die Antwort einfach: Cloud. Die Modelle, die man im eigenen Haus betreiben konnte, liefen den Angeboten von OpenAI, Anthropic und Google deutlich hinterher. Das hat sich geändert.

Laut International AI Safety Report 2026, einer Bestandsaufnahme von über 100 Fachleuten unter Leitung des Turing-Preisträgers Yoshua Bengio, liegen die leistungsfähigsten offenen Modelle weniger als ein Jahr hinter den geschlossenen Spitzenmodellen. Offen heißt: Die Gewichte des Modells lassen sich herunterladen und auf eigener Hardware betreiben, etwa bei Modellen von Meta, DeepSeek oder OpenAIs gpt-oss.

Diese Spitzenreiter brauchen allerdings spezielle Hardware, wie sie eher im Rechenzentrum steht als im Serverraum eines Mittelständlers. Was auf einen kompakten Rechner passt, ist etwas kleiner. Für einen Großteil der Aufgaben im Mittelstand reicht es trotzdem. Bei komplexem, mehrstufigem Abwägen haben die großen Cloud-Modelle weiter die Nase vorn.

Wie kompakt diese Klasse geworden ist, zeigt NVIDIAs DGX Spark: 15 mal 15 Zentimeter Grundfläche, gut fünf Zentimeter hoch, also etwa das Format einer Brotdose. Hersteller wie Lenovo, Dell oder ASUS bauen eigene Versionen davon. In Deutschland kosten Geräte dieser Klasse mit 128 Gigabyte je nach Hersteller und Ausstattung derzeit zwischen rund 5.000 und 8.000 Euro. Weil sich die Preise mit dem Speichermarkt bewegen, werden die Rechnung und die vier Fragen weiter unten umso wichtiger. Im Betrieb ist so ein Gerät unkompliziert: Es läuft an einer normalen Steckdose, braucht weder Serverschrank noch eigene Klimatisierung, und der Pflegeaufwand hält sich in Grenzen. In unserer Rechnung setzen wir dafür zwei Stunden im Monat an.

Was die Entscheidung in der Praxis treibt

Wer KI bereits nutzt, kämpft weniger mit der Technik als mit Datenschutz, Rechtsunsicherheit und Kosten. Das zeigt die Bitkom-Umfrage vom September 2026 unter 603 Unternehmen ab 20 Beschäftigten. Erstmals nutzt mit 57 Prozent die Mehrheit KI, ein Jahr zuvor waren es 36 Prozent. Wer sie nutzt, nennt als Hemmnisse am häufigsten den Datenschutz (66 Prozent), rechtliche Unsicherheit (56 Prozent) und schwer kalkulierbare Kosten (54 Prozent). Wer noch keine KI einsetzt, nennt dagegen vor allem fehlendes technisches Know-how (85 Prozent).

Bei den Kosten lohnt ein zweiter Blick, denn sie fallen woanders an, als viele denken. Nur 8 Prozent nennen die Gebühren pro Anfrage, also den Verbrauch von Token, als großen Kostenpunkt. Weit vorne liegen Infrastruktur wie Cloud und Rechenleistung (51 Prozent), die Aufbereitung von Daten (50 Prozent) und die Integration in bestehende Systeme (41 Prozent). Die letzten beiden fallen an, egal wo das Modell läuft.

Dass die Gebühren pro Anfrage kaum ins Gewicht fallen, dürfte sich mittelfristig ändern. Selbst wenn der Preis pro Token sinkt, steigt der Verbrauch: Anwendungsfälle werden komplexer, viele Modelle denken vor der Antwort länger nach und verbrauchen dabei selbst Token, und die Nutzung wächst. Allein der Einsatz von KI im internen Wissensmanagement hat sich laut Bitkom binnen eines Jahres verdoppelt, von 11 auf 22 Prozent. Prüfen Sie deshalb früh, ab wann sich eigene Infrastruktur für Sie lohnt.

Die wichtigere Frage: Können Sie wechseln?

Noch wichtiger als die Kostenfrage ist eine andere: Können Sie kurzfristig wechseln, zwischen Cloud und eigener Infrastruktur und zwischen Modellen? Dafür gibt es drei Gründe, und keiner davon ist theoretisch.

Erstens schalten Anbieter Modelle ab. Für allgemein verfügbare Modelle, beispielsweise in Azure OpenAI, sagt Microsoft achtzehn Monate Verfügbarkeit zu. Ist ein Modell abgeschaltet, beantwortet es jede Anfrage mit einer Fehlermeldung. Wer daran hängt, muss umstellen, ob es gerade passt oder nicht.

Zweitens kommen ständig bessere Modelle. Bei den offenen Modellen löst sich die Spitze alle paar Monate ab, und für einzelne Aufgaben liegt mal das eine, mal das andere vorn. Das eine versteht Bilder besser, das andere lange Dokumente, das dritte ist bei gleicher Qualität günstiger.

Drittens ändert sich die Lage im eigenen Betrieb. Aus zehn Anfragen am Tag werden schnell tausend, oder es kommen Daten dazu, die das Haus nicht verlassen dürfen. Dann kippt eine Entscheidung, die vor einem Jahr richtig war.

Deshalb muss die Anbindung einmal sauber gebaut sein. In unseren Projekten trennen wir drei Ebenen: die Anbindung an ERP, Dokumentenablage oder E-Mail, die Geschäftslogik und das Modell selbst. Das Modell ist ein austauschbarer Baustein. Ein Wechsel bedeutet dann umkonfigurieren und testen, nicht neu bauen. Getestet werden muss trotzdem, denn jedes Modell verhält sich etwas anders.

Aus unseren Projekten: zwei Entscheidungen, beide richtig

In einem Projekt prüfen wir standardisierte Dokumente automatisch auf Vollständigkeit und Plausibilität: Sind alle Pflichtfelder gefüllt, passen die Werte zueinander, fehlt eine Anlage? Das Volumen ist überschaubar, und die Dokumente enthalten nichts, was das Haus nicht ohnehin verlässt. Die KI läuft in der Cloud und kostet rund 15 Euro im Monat, also etwa ein Mittagessen. Eigene Hardware hätte sich nie gerechnet, und wir hätten dem Kunden einen Server verkauft, den er nicht braucht.

Im zweiten Projekt geht es um Wissensmanagement. Das ganze Team fragt täglich internes Wissen ab, auch aus vertraulichen Unterlagen wie Verträgen, Protokollen und technischen Dokumenten. Jede Antwort nennt die Fundstelle, und wenn das System keine belastbare Quelle findet, sagt es das, statt zu raten. Hier steht aufgrund der überschaubaren gleichzeitigen Nutzerzahl ein kompakter KI-Rechner im Betrieb, eine NVIDIA DGX Spark in der Ausführung Lenovo ThinkStation PGX. Das Modell darauf ist nicht das stärkste offene Modell, für die Arbeit mit dem internen Wissen in Qualität und Geschwindigkeit aber optimal. Die Daten verlassen das Haus nicht, und die Nutzung kostet nicht pro Anfrage.

Lokal löst die Frage, ob Daten das Haus verlassen, nicht die Frage, wer im Haus was sehen darf.

Ein Wissenssystem, das jedem Mitarbeitenden jeden Vertrag zeigt, ist auch im eigenen Serverraum ein Problem. Die Zugriffsrechte gehören deshalb von Anfang an in die Anbindung.

In beiden Fällen bleibt das Modell austauschbar. Wächst im ersten Projekt das Volumen, zieht die Anwendung auf eigene Infrastruktur um, ohne dass wir die Automatisierung neu bauen. Kommt im zweiten Projekt ein besseres Modell, wird getauscht. Beide Entscheidungen sind richtig, und beide wären im jeweils anderen Projekt falsch gewesen. Wer nicht wechseln kann, hat auf das falsche Pferd gesetzt, egal auf welches.

Vier Fragen für Ihren Anwendungsfall

Nehmen Sie den KI-Anwendungsfall, der bei Ihnen gerade diskutiert wird, und gehen Sie vier Fragen durch.

Erstens: Dürfen diese Daten das Haus verlassen? Wenn nein, ist die Entscheidung gefallen, egal was die Rechnung sagt. Prüfen Sie aber, ob „nein“ wirklich nein heißt oder nur „nicht zu einem US-Anbieter“. Für den zweiten Fall gibt es Cloud-Rechenzentren in Deutschland und der EU.

Schauen Sie außerdem, wo die Daten heute schon liegen. Liegen sie auf einem SharePoint in Microsoft 365, haben sie das Haus längst verlassen. Microsoft speichert und verarbeitet Daten aus Microsoft 365 und aus Azure-Diensten in EU-Regionen innerhalb seiner EU-Datengrenze. Dann ist die Cloud okay, und eine KI beim selben Anbieter, etwa Azure OpenAI, ist meist der naheliegende Weg. Wichtig ist die Einrichtung: Azure OpenAI gibt es als weltweite, EU-weite oder regionale Bereitstellung, und nur die beiden letzten halten die Verarbeitung in der EU.

Zweitens: Wie oft läuft das im Monat, hundertmal oder zehntausendmal? Bei überschaubarem Volumen ist die Cloud fast immer günstiger. Ein Dokument am Tag ist etwas anderes als ein Team, das den ganzen Tag Fragen an die Projektakte stellt. Das Volumen entscheidet, ob die Gebühren pro Anfrage eine Randnotiz sind oder ein Budgetposten. Bei hohem Volumen spricht für eigene Infrastruktur auch, dass die Kosten nach der Anschaffung feststehen, also genau die Kalkulierbarkeit, die laut Bitkom vielen fehlt.

Drittens: Wie anspruchsvoll ist die Aufgabe? Für Suchen, Zusammenfassen, Klassifizieren und Prüfen gegen Regeln reichen offene Modelle. Videos auswerten oder Prüfdaten aus der Qualitätssicherung durchgehen ist vor allem Masse, und das Ergebnis muss selten just in time vorliegen. Hier eignet sich eigene Infrastruktur. Wo wie in der Konstruktion abgewogen und begründet werden muss, sind die großen Cloud-Modelle noch spürbar vorne.

Viertens: Muss das Ergebnis sofort da sein, oder reicht morgen früh? Was verzögert laufen darf, wird häufig günstiger. Bei Azure OpenAI liefert die Batchverarbeitung Ergebnisse innerhalb von 24 Stunden zum halben Preis, und auch andere große Anbieter haben solche Angebote. Eigene Infrastruktur, die tagsüber schon für etwas anderes läuft, erledigt es nachts fast zum Strompreis. Ein Haken bei Azure: Den Rabatt gibt es vor allem für weltweite Bereitstellungen. Wer Daten in der EU halten muss, prüft, ob die Stapelverarbeitung für sein Modell auch EU-weit angeboten wird.

Die Rechnung

Ob sich eigene Hardware trägt, ist eine einfache Division, wenn man sie richtig aufstellt. Schätzen Sie die monatlichen Cloud-Kosten für den Anwendungsfall ab; die Preise pro Million Token sind öffentlich, zum Beispiel auf der Preisseite von Azure OpenAI. Ziehen Sie ab, was Strom und Betreuung eigener Infrastruktur im Monat kosten würden, und teilen Sie den Hardwarepreis durch den Rest.

Monate, bis sich die Hardware bezahlt macht = Anschaffungspreis ÷ (Cloud-Kosten pro Monat − laufende Kosten eigener Hardware pro Monat)

Bleibt nichts übrig oder kommen mehr als 36 Monate heraus, rechnet sich die Hardware nicht. Länger rechnen wir nicht, dafür entwickelt sich die Technik zu schnell: Nach drei Jahren ist ein Gerät zwei Generationen alt, und die Modelle, die Sie dann einsetzen wollen, passen vielleicht nicht mehr darauf. Dann entscheidet allein Frage eins.

Zwei Beispiele, Stand November 2026. Das erste ist unser Projekt zur Dokumentenprüfung. Das zweite ist ein Rechenbeispiel für ein Wissenssystem mit 20 Mitarbeitenden, die je 50 Fragen am Tag stellen; pro Frage gehen rund 15.000 Token an Dokumentauszügen an das Modell. Das ergibt etwa 300 Millionen Token Eingabe und 30 Millionen Token Ausgabe im Monat. Angenommen sind ein Cloud-Modell der oberen Mittelklasse mit 2 US-Dollar pro Million Eingabe- und 12 US-Dollar pro Million Ausgabe-Token, 0,85 Euro je Dollar, ein Gerät mit durchschnittlich 100 Watt im Dauerbetrieb bei 35 Cent je Kilowattstunde und zwei Stunden Betreuung im Monat.

Posten Dokumentenprüfung (Projekt) Wissenssystem (Rechenbeispiel)
Cloud-Kosten pro Monat 15 € 815 €
Laufende Kosten eigener Hardware pro Monat (Strom 25 €, Betreuung 200 €) 225 € 225 €
Vorteil eigener Hardware pro Monat (Cloud-Kosten minus laufende Kosten) keiner, die Cloud ist 210 € günstiger 590 €
Anschaffung eigener Hardware (Annahme) 7.000 € 7.000 €
Hardware hat sich bezahlt gemacht nach nicht innerhalb von 36 Monaten ca. 12 Monaten
Ergebnis Cloud eigene Hardware

Im ersten Fall kosten Strom und Betreuung mit zusammen 225 Euro schon mehr als die Cloud mit 15 Euro. Eigene Hardware hat hier keinen monatlichen Vorteil, die Anschaffung kommt also nicht wieder herein. Selbst wenn Strom und Betreuung nichts kosteten, bräuchte sie bei 15 Euro Vorteil im Monat rund 470 Monate, knapp 39 Jahre, und läge damit weit außerhalb unseres Betrachtungsrahmens von 36 Monaten. Im zweiten trägt sich die Hardware nach etwa einem Jahr, deutlich unter der Grenze von 36 Monaten. Alle Zahlen sind Annahmen zur Veranschaulichung; setzen Sie Ihre eigenen ein und prüfen Sie die Preise am Tag der Entscheidung.

Und was ist mit Copilot oder Langdock? Beide sind KI-Assistenten für alle Mitarbeitenden und werden pro Kopf abgerechnet. Microsoft 365 Copilot arbeitet in Word, Outlook und Teams und greift auf die Dateien zu, die der jeweilige Nutzer ohnehin sehen darf. Copilot Business kostet regulär 18,20 Euro pro Nutzer und Monat, zusätzlich zur Microsoft-365-Lizenz. Langdock ist eine Berliner Plattform, über die Teams mit Modellen verschiedener Anbieter arbeiten, gehostet in der EU, für 23,20 Euro pro Nutzer und Monat bei Jahreszahlung, beides netto. Für 20 Mitarbeitende sind das rund 360 bis 470 Euro im Monat, auf den ersten Blick weniger als die Cloud-Rechnung oben.

Es ist aber ein anderes Werkzeug. Für den breiten Einstieg, also Texte, E-Mails, Zusammenfassungen und gelegentliche Fragen an einzelne Dokumente, sind solche Assistenten oft genau richtig. Ein Wissenssystem wie im Rechenbeispiel erschließt dagegen den gesamten Dokumentenbestand gezielt für eine Aufgabe und nennt zu jeder Antwort die Fundstelle. Hier stoßen die Assistenten an Grenzen: Die Wissensdatenbank von Langdock fasst laut aktueller Dokumentation bis zu 1.000 Dateien und bei intensiver Nutzung greifen Nutzungslimits. Vor allem laufen beide für Unternehmen dieser Größe nur in der Cloud. Dürfen die Daten das Haus nicht verlassen, sind sie keine Option.

Wie Sie anfangen

Gehen Sie die vier Fragen für einen konkreten Anwendungsfall durch und stellen Sie die Rechnung mit Ihren eigenen Zahlen auf. In den meisten Fällen ist die Antwort danach klar. Dass die Entscheidung pro Anwendungsfall fällt und nicht pro Unternehmen, passt zu einem Gedanken aus einem früheren Beitrag: Vor jeder Technikfrage steht die Frage, wozu ein Prozess eigentlich existiert.

Welche Variante Sie auch wählen, bauen Sie so, dass Sie wechseln können. Die Entscheidung von heute ist richtig für die Lage von heute, und die ändert sich.

Welcher Anwendungsfall liegt bei Ihnen gerade auf dem Tisch, bei dem Sie zwischen Cloud und eigener Infrastruktur schwanken? Schreiben Sie uns einen Satz dazu. Wir sagen Ihnen, wie wir entscheiden würden.

Erstgespräch vereinbaren

Quellen

Alle Quellen abgerufen im November 2026.

← Zurück zur Übersicht