Kubermatic-Chef Scheele: KI-Modelle wie Software betreiben

In manchen Unternehmen finanzieren KI-Teams eine eigene Plattform, während die Erfahrung mit deren dauerhaftem Betrieb bei anderen Teams liegt. Kubermatic-Chef Sebastian Scheele plädiert deshalb dafür, vorhandene Plattformteams in den Modellbetrieb einzubeziehen.

Das Wichtigste in Kürze

Verwandt:Kubeflow: CNCF erklärt die KI-Plattform für reif  /  Kleine Modelle fressen große GPU-Budgets durch Prealloc

Mit dem ersten Modell beginnt die Betriebsarbeit

Sebastian Scheele hält lokale KI für eine realistische Option für Unternehmen. Modelle würden leistungsfähiger und ihr Betrieb günstiger, sagt der CEO und Mitgründer von Kubermatic im Gespräch auf den ContainerDays in Hamburg. Seine zentrale Forderung lautet: „Ich muss das wie Software betreiben.“ Damit richtet er den Blick auf die Arbeit nach der Installation.

In dem von ihm beschriebenen Ablauf beschafft ein Team leistungsfähige Hardware, installiert ein großes Modell und entwickelt dafür Prozesse. Sobald eine neue Version erscheint, müssen diese Anwendungen weiter funktionieren. Ein Modellwechsel betrifft deshalb auch die Teams, die dessen Antworten in ihren Abläufen verwenden. Der Betreiber braucht einen Überblick über diese Abhängigkeiten.

„Ich brauche wirklich Release-Management und Deployment-Management dieser Modelle.“ Für Scheele gehören dazu der parallele Betrieb mehrerer Modelle, das Ausrollen neuer Versionen und die Abkündigung alter Stände. Als Beispiel nennt er eine kurze Übergangsfrist für ein Team, das noch eine bisherige Version nutzt. Wie lang die Übergangsfrist sein muss, hängt von den betroffenen Anwendungen ab.

Das KI-Budget ersetzt keine Betriebserfahrung

Nach Scheeles Beobachtung haben häufig KI- oder Entwicklerteams das Budget für eine Plattform erhalten. Die Erfahrung mit deren dauerhaftem Betrieb liegt aber oft anderswo. Daraus können zusätzliche Umgebungen entstehen, deren Pflege getrennt von der bestehenden Infrastruktur organisiert werden muss.

Scheele plädiert dafür, die vorhandenen Plattformteams einzubeziehen. Sie betreiben bereits Container und können prüfen, wie sich die KI-Workloads in ihre Umgebung aufnehmen lassen. Die Fach- und Entwicklungsteams würden dann die bereitgestellten Modelle nutzen, während die Infrastruktur von den zuständigen Betriebsteams betreut wird. „Es ist auch nur Software, die betrieben wird.“

Diese Aufgabenverteilung macht auch die Pflege der übrigen Komponenten sichtbar. Scheele beschreibt das hohe Tempo von Softwarewechseln im KI-Umfeld: Manche ältere Version werde bereits nach wenigen Monaten nicht weiterentwickelt oder gepatcht. Für den Betrieb zählt, welche Komponenten tatsächlich im Einsatz sind und wie lange sie gepflegt werden.

Nachtläufe können freie GPU-Kapazität nutzen

Bei der Auslastung verbindet Scheele die Infrastruktur mit den Geschäftsprozessen. Während Entwickler tagsüber ihre Umgebungen bedienen, steigt die Last. Zusätzliche Aufgaben ohne unmittelbaren Terminbedarf lassen sich möglicherweise verschieben. Er nennt Batch-Verarbeitung, also gebündelte Läufe ohne laufende Benutzerinteraktion, als Beispiel für Arbeit in der Nacht.

Die Entscheidung setzt voraus, dass der Betreiber den Bedarf der Teams kennt. Manche Ergebnisse werden täglich gebraucht, andere wöchentlich oder monatlich. Eine Auswertung, die erst am nächsten Morgen vorliegen muss, hat andere zeitliche Anforderungen als eine interaktive Anfrage. Diese Unterscheidung hilft, die vorhandene Hardware gleichmäßiger zu nutzen.

Scheeles Argument betrifft die Planung: Teure Hardware verursacht Kosten auch dann, wenn sie nicht läuft. Ob ein zusätzlicher Nachtlauf wirtschaftlich sinnvoll ist, hängt zugleich davon ab, was er liefert.

Der Nutzen muss zum Modellbetrieb passen

Scheele fordert deshalb, den Tokenverbrauch mit dem Wert des Ergebnisses zu vergleichen. Viele erzeugte Antworten können ebenso wenig als Erfolg gelten wie eine dauerhaft beschäftigte GPU. Die Frage ist, ob ein Lauf den gewünschten Output erzeugt oder eine andere Formulierung der Aufgabe helfen würde.

Für Plattformteams ergibt sich daraus eine zusammenhängende Betriebsaufgabe: Sie müssen wissen, welche Teams ein Modell nutzen, wann deren Arbeit Rechenleistung benötigt und wie ein Versionswechsel möglich bleibt. Ein zentral betreutes Angebot kann diese Entscheidungen bündeln. Wie viel Kapazität es spart, muss sich am jeweiligen Betrieb zeigen.

Häufige Fragen

Das Gespräch führte Tobias Massow am 3. September 2026 am Kubermatic-Stand auf den ContainerDays in Hamburg.

Bildquelle: KI-generiert (September 2026), Porträt: Kubermatic