7 Min. Lesezeit

Künstliche Intelligenz wird für Unternehmen zur strategischen Infrastrukturfrage. Im Gespräch mit Alexander Hendorf, KI-Berater und Open-Source-Experte, wird deutlich: Wer KI souverän nutzen will, muss verstehen, betreiben und kontrollieren können, was im eigenen System passiert. Open Source ist dabei keine Nebenoption, sondern eine Voraussetzung für Kontrolle, Betriebsfähigkeit und langfristige Wettbewerbsfähigkeit.

Verwandt:Platform Engineering ist kein DevEx-Projekt mehr  /  SAP Sovereign Cloud France

KI-Souveränität beginnt bei der Infrastruktur

Was ist KI-Souveränität? KI-Souveränität beschreibt die Fähigkeit eines Unternehmens, KI-Systeme selbstbestimmt auszuwählen, zu integrieren, zu betreiben und zu prüfen. Dazu gehören Kontrolle über Datenflüsse, Modelle, Infrastruktur, Qualität, Sicherheit und Wechselpfade. Entscheidend ist nicht der Modellname, sondern die Betriebsfähigkeit dahinter.

Viele Unternehmen diskutieren derzeit über souveräne KI, europäische Modelle wie Mistral und den Einsatz von Open Source. Dabei geht es längst nicht mehr nur um einzelne Anwendungen oder Chatbots. KI greift tiefer in Geschäftsprozesse, Datenplattformen und Cloud-Architekturen ein: von der Vertragsanalyse über die Kundenkommunikation bis zur internen Wissenssuche.

Auch auf KI-Leitkonferenzen wie der PyCon DE und PyData zeigt sich dieser Wandel. Dort stehen inzwischen nicht mehr nur Modelle und Frameworks im Fokus, sondern Themen wie KI-Agenten, API-Standards, Datenarchitekturen und Software Engineering. Genau deshalb verschiebt sich die Frage von der Modellwahl zur Betriebsfähigkeit.

Cloud oder On-Premise ist die falsche Frage

Die Diskussion rund um souveräne KI wird oft zu einseitig geführt. Häufig entsteht der Eindruck, Unternehmen müssten sich grundsätzlich zwischen Cloud und On-Premise entscheiden. Laut Hendorf greift das zu kurz.

Entscheidend sei vielmehr, ob Unternehmen ihre Infrastruktur verstehen und kontrollieren können, unabhängig davon, wo sie betrieben wird. Wer ausschließlich auf Hyperscaler und SaaS-Anbieter setzt, gerät schnell in unterschiedliche Abhängigkeiten: Modellversionen ändern sich ohne Vorlauf, Preise und Quoten werden einseitig angepasst, Datenflüsse landen in Regionen, die Compliance-Teams nicht freigeben. Gleichzeitig ist auch ein lokaler Betrieb nur dann sinnvoll, wenn das nötige Wissen intern vorhanden ist.

„Die Software ist nicht das Asset, die ist überall verfügbar. Sogar die Hyperscaler laufen mit Open Source und pushen das aktiv“, sagt Hendorf. „Das Asset ist die Betriebsfähigkeit: ein System zu verstehen, es selbst aufzusetzen und im Zweifel zwischen Cloud und eigener Hardware zu wechseln. Genau dieses Skillset fehlt bei vielen.“

Was diese Betriebsfähigkeit in der Praxis bedeutet, lässt sich an einem Begriff festmachen, der in Engineering-Kreisen längst Standard ist, in Geschäftsleitungen aber selten fällt: die Harness. Gemeint ist eine unternehmenseigene Test- und Bewertungsumgebung, in der jedes KI-Modell systematisch gegen eigene Anwendungsfälle, Datenstichproben und Qualitätskriterien geprüft wird, bevor es produktiv geht.

„Die Harness ist das eigentliche Asset“, sagt Hendorf. „Sie ist der Safeguard für Modellwechsel und Upgrades. Ohne sie ist jeder Wechsel ein Blindflug. Man merkt erst Wochen später im Betrieb, ob das neue Modell wirklich noch das tut, was das alte konnte. Mit ihr wird der Wechsel zur technischen Routineentscheidung.“

Genau diese Lücke ist eine der größten Schwachstellen, wenn Unternehmen Anbieter wechseln oder ein Modell aktualisieren wollen. Wer keine eigene Harness hat, ist auf das angewiesen, was Release Notes versprechen und muss es im laufenden Betrieb glauben.

Open Source verändert die Ausgangslage

Modelle, Frameworks und Infrastrukturkomponenten sind heute so breit verfügbar wie nie zuvor: von offenen Sprachmodellen wie Llama oder Mistral über Inferenz-Server wie vLLM und Ollama bis hin zu Vektor-Datenbanken für die unternehmenseigene Wissenssuche. Damit verschiebt sich die KI-Debatte weg von der reinen Frage, wer Zugriff auf das leistungsfähigste Modell hat. Wichtiger wird, wer KI-Systeme verstehen, anpassen und verlässlich betreiben kann.

Der Abstand zur proprietären Spitze wird kleiner. Hendorf verweist auf Einschätzungen aus dem PyCon-Umfeld, nach denen kommerzielle Modelle offenen Alternativen eher Monate als Jahre voraus sind. Für Unternehmen ist das eine relevante Verschiebung: Sie können KI-Systeme zunehmend selbst konfigurieren, lokal betreiben, in eigene Prozesse integrieren und stärker kontrollieren. Diese neue Freiheit erhöht jedoch auch die Verantwortung im eigenen Haus.

Denn Open Source nimmt Unternehmen die Abhängigkeit von einzelnen Anbietern nicht automatisch ab. Es verlagert die Anforderungen. Wer offene KI nutzen will, braucht technisches Know-how, klare Architekturentscheidungen, Governance und die Fähigkeit, Qualität, Sicherheit und Betriebskosten realistisch zu bewerten.

Damit rückt eine Frage in den Vordergrund, die im Hype um europäische oder amerikanische Modelle häufig untergeht: Nach welchen Kriterien sollten Unternehmen KI-Systeme überhaupt auswählen? Entscheidend ist nicht allein die Herkunft eines Modells, sondern ob es zum konkreten Anwendungsfall, zur vorhandenen Datenbasis, zu regulatorischen Anforderungen und zur eigenen Betriebsfähigkeit passt.

„Welches der heute breit verfügbaren Modelle ein Unternehmen einsetzt, entscheidet sich nicht an der Herkunft, sondern an der Anwendung“, sagt Hendorf. „Die Modelle aus China, etwa von DeepSeek oder Qwen, gehören technisch zur Spitze, sind offen verfügbar und in vielen Aufgaben den westlichen Open-Source-Modellen ebenbürtig oder voraus. Ob ihre Trainingsdaten politisch gefiltert sind, ist für die allermeisten Unternehmens-Use-Cases wie Vertragsanalyse, Wissenssuche oder Klassifikation kein Entscheidungskriterium. Bias gibt es in jedem Modell. Die relevante Frage ist nicht, woher er kommt, sondern ob man ihn an der eigenen Anwendung beherrscht.“

Warum kleinere Lösungen oft sinnvoller sind

Wie relevant diese Frage inzwischen geworden ist, zeigt ein Praxisbeispiel aus dem Finanzumfeld. Ein Asset-Manager wollte eigene KI-Modelle trainieren und dachte zunächst über eine Cloud-Lösung nach. Im hochregulierten Umfeld hätten Governance- und Compliance-Prozesse jedoch zwölf bis vierundzwanzig Monate gedauert. In diesem Zeitraum werden viele Vorhaben vertagt, bevor sie produktiv werden.

Nach Analyse des eigentlichen Use Cases fiel die Entscheidung anders aus: Statt eines großen generischen LLMs entstand eine deutlich kleinere On-Premise-Lösung mit eigenem Server und zwei Nvidia-Consumer-GPUs in einem abgesicherten Netzwerk. Hendorf und sein Team brachten sie nach eigenen Angaben in vier Wochen produktiv.

Der Effekt: Die Gesamtlösung kostete weniger als sechs Monate Cloud-Betrieb. Zugleich konnten Mitarbeitende sofort mit dem System arbeiten, statt auf langwierige Freigaben zu warten.

Für Hendorf zeigt das Beispiel ein grundsätzliches Problem vieler KI-Projekte. Unternehmen orientieren sich oft an maximaler Skalierung, obwohl ihre Anforderungen deutlich spezialisierter sind: „Nicht jeder Use Case braucht den Porsche, manchmal reicht der Tretroller.“ Gerade kleinere Modelle mit wenigen Milliarden Parametern können für klar definierte Aufgaben effizienter, günstiger und leichter kontrollierbar sein als große universelle Systeme. Und sie laufen auf Hardware, die ein Unternehmen selbst besitzt.

KI-Agenten erhöhen den Druck auf Ordnung

Mit dem Aufkommen von KI-Agenten verschärft sich diese Entwicklung zusätzlich. Agenten greifen auf Daten zu, nutzen APIs und automatisieren Prozesse. Dafür brauchen sie strukturierte technische Umgebungen.

Historisch gewachsene Insellösungen, schlecht dokumentierte Schnittstellen und komplexe Tool-Landschaften werden damit zunehmend zum Problem. Laut Hendorf arbeiten KI-Agenten deutlich besser mit standardisierten APIs und konsistenten Datenstrukturen. Neue offene Standards wie das Model Context Protocol setzen voraus, dass die Systeme dahinter sauber dokumentiert und zugreifbar sind. Wo das fehlt, scheitern Agenten nicht am Modell, sondern an der Hausarchitektur.

Das zwingt Unternehmen dazu, ihre Infrastruktur neu zu bewerten. Open Source kann helfen, weil Systeme transparenter und flexibler werden. Ohne saubere Architektur und gutes Software Engineering entsteht jedoch schnell neue Komplexität.

Sicherheit entsteht nicht automatisch

Auch beim Thema Security und Datenschutz sieht Hendorf viele Missverständnisse. Open Source sei nicht automatisch sicher. Wer ein Modell aus einem Modell-Hub im Netz herunterlädt, ohne dessen Herkunft zu prüfen, importiert dieselbe Risikologik wie bei jeder anderen Software-Lieferkette. Gleichzeitig sei eine lokale Infrastruktur nicht per se riskanter als komplexe Cloud-Landschaften mit schwer nachvollziehbaren Datenflüssen.

Gerade bei sensiblen Daten können abgesicherte interne Netzwerke Vorteile bieten. Entscheidend bleiben jedoch Zugriffskontrolle, Governance und technische Architektur. Dazu gehört auch die Frage, wer im Zweifel forensisch nachvollziehen kann, welche Eingaben ein Modell wann verarbeitet hat.

Damit verändert KI auch die Rolle von IT- und Security-Teams. Sie müssen Innovation ermöglichen und gleichzeitig sicherstellen, dass Unternehmen Kontrolle über Daten, Modelle und Prozesse behalten.

Infrastruktur wird zum Wettbewerbsvorteil

Die Debatte um Open-Source-KI ist deshalb weit mehr als eine Modellfrage. Unternehmen müssen entscheiden, wie abhängig sie künftig von externen Plattformen sein wollen und welches technische und organisatorische Wissen sie selbst aufbauen müssen.

Cloud-Plattformen und proprietäre Modelle werden weiterhin eine wichtige Rolle spielen. Gleichzeitig wächst die Bedeutung eigener Betriebsfähigkeit. Genau darin sieht Hendorf die eigentliche Grundlage für digitale Souveränität.

Was die Diskussion zusätzlich verschärft, ist die regulatorische Lage. Der EU AI Act stuft bestimmte KI-Anwendungen, etwa in Personalwesen, Kreditvergabe oder kritischer Infrastruktur, als Hochrisiko ein und verlangt nachvollziehbare Datenflüsse, dokumentierte Modellentscheidungen und auditfähige Betriebsprozesse.

Oder anders formuliert: Wer KI langfristig strategisch nutzen will, braucht nicht nur Zugriff auf Modelle, sondern Kontrolle über die Infrastruktur dahinter.

Wer diese Fragen nicht innerhalb eines Tages beantworten kann, hat kein Modellproblem, sondern ein Architekturproblem. Dort beginnt die eigentliche Arbeit an souveräner KI.

Häufige Fragen

Was unterscheidet souveräne KI von klassischer Cloud-KI?

Souveräne KI bedeutet, dass ein Unternehmen Modelle, Datenflüsse, Qualität und Betrieb kontrollieren kann. Der Standort allein entscheidet nicht. Auch eine Cloud-Lösung kann souverän sein, wenn Architektur, Governance und Wechselpfade beherrscht werden.

Warum ist eine eigene Harness so wichtig?

Eine Harness prüft Modelle gegen eigene Anwendungsfälle und Qualitätskriterien. Ohne diese Testumgebung bleibt jeder Modellwechsel riskant, weil Abweichungen oft erst im produktiven Betrieb sichtbar werden.

Warum reichen kleinere On-Premise-Setups oft aus?

Viele Unternehmens-Use-Cases brauchen kein generisches Großmodell. Spezialisierte kleinere Modelle können bei klar abgegrenzten Aufgaben günstiger, schneller und besser kontrollierbar sein.

Welche Rolle spielt der EU AI Act für souveräne KI?

Der EU AI Act verlangt für Hochrisiko-Anwendungen nachvollziehbare Datenflüsse, dokumentierte Modellentscheidungen und auditfähige Betriebsprozesse. Ohne kontrollierte Infrastruktur lassen sich diese Nachweise kaum erbringen. Souveränität wird damit von der Kür zur Compliance-Voraussetzung.

Wo sollten Unternehmen mit dem Aufbau von KI-Souveränität beginnen?

Am Anfang steht keine Modellauswahl, sondern eine Bestandsaufnahme: dokumentierte Schnittstellen, saubere Datenmodelle und eine eigene Testumgebung. Erst auf dieser Basis werden Modellwechsel und der Einsatz von KI-Agenten zur kontrollierbaren Routineentscheidung statt zum Blindflug.

Bildquelle: KI-generiert (Juni 2026), C2PA-Zertifikat im Bild hinterlegt