Herunterladbar heißt nicht betreibbar

Anfang August kursieren Ranglisten der besten offenen KI-Modelle, in denen ein Modell weit vorne steht, dessen Gewichte noch gar nicht veröffentlicht sind. Für IT-Leiter und Cloud-Architekten steht dahinter eine Frage, die kein Feed beantwortet: Woran macht man die Entscheidung für oder gegen lokal betriebene KI fest?

Das Wichtigste in Kürze

Verwandt:Soofi S: souverän heißt nicht Sieger  /  Inkling: Was das neue Open-Weights-Modell kann

Die Debatte läuft der Verfügbarkeit voraus

Alibaba hat Anfang August Qwen3.8-Max vorgestellt: 2,4 Billionen Parameter, davon 95 Milliarden aktiv, Mixture-of-Experts, ein Kontextfenster von bis zu einer Million Token. Zusammen mit dem Spitzenmodell soll ein zweiter Checkpoint offen verfügbar werden, Qwen3.8-27B. Die Gewichte beider Modelle waren zum Zeitpunkt der Ankündigung noch nicht draußen, das Unternehmen nannte die Folgewoche.

Das hinderte weder Ranglisten noch Erklärvideos daran, beide bereits als verfügbar zu behandeln. Fachleute in der Community haben das korrigiert, teils deutlich. Dahinter steht trotzdem ein strukturelles Muster statt eines individuellen Fehlers: Ankündigung, Benchmark-Tabelle und Community-Bewertung entstehen innerhalb von Stunden, die Gewichte und erst recht die Betriebserfahrung brauchen Wochen.

Wer Beschaffung an diesem Takt ausrichtet, plant für ein Modell, das es noch nicht gibt. Oder für eines, das im eigenen Netz nie anläuft.

Open Weights, closed by hardware

Ein Satz aus der Debatte trifft den Kern und hat sich als geflügeltes Wort etabliert: Open Weights, closed by hardware. Wenn der Betrieb Hunderttausende an GPUs verlangt, ist es kein lokales Modell. Es ist ein Cloud-Modell mit herunterladbaren Gewichten.

Die Größenordnungen geben ihm recht. Moonshot hat Ende Juli die Gewichte von Kimi K3 freigegeben, 2,8 Billionen Parameter bei einer Million Token Kontext. In der Community kursierte als halb ernst gemeinte Vorbereitungsliste, man solle zunächst ein Hardwarebudget im hohen sechsstelligen Bereich auftreiben. Der nüchterne Einwand daneben: Die meisten offenen Modelle sind lokal gar nicht betreibbar, weil schlicht die Ressourcen fehlen.

Es gibt Gegenbeispiele. Sie sind beeindruckend. Mit aggressiver 1-Bit-Quantisierung lässt sich Kimi K3 von rund 1,56 Terabyte auf etwa 594 Gigabyte drücken, ein Rückgang um gut 60 Prozent, bei ungefähr 79 Prozent der ursprünglichen Genauigkeit. Das läuft dann auf einer gut ausgestatteten Workstation. Es bleibt ein Spezialfall: Der Genauigkeitsverlust ist real. Die Speichergrenze verschiebt sich nur, sie verschwindet nicht.

Ein Überschlag macht die Dimension greifbar. 2,4 Billionen Parameter bei 4 Bit ergeben rund 1,2 Terabyte allein für die Gewichte. Eine NVIDIA H200 hat 141 Gigabyte. Das sind rechnerisch neun GPUs, bevor ein einziges Byte KV-Cache belegt ist. Bei einer Million Token Kontext wird dieser Cache erheblich. Lokal heißt hier eigenes Rechenzentrum oder gemietetes Cluster, nicht die Workstation im Nebenraum.

Aktive Parameter trügen beim Speicher

Der Fachpunkt, an dem Beschaffungen scheitern: Bei Mixture-of-Experts zählt für den Speicherbedarf nicht die Zahl der aktiven Parameter. DeepSeek V4 Flash hat 13 Milliarden aktive Parameter, lädt aber alle 284 Milliarden in den Speicher. Wer die Angabe „13B aktiv“ liest und eine 16-Gigabyte-Karte bestellt, liegt um eine Größenordnung daneben.

Das Muster zieht sich durch die aktuelle Modellgeneration. Qwen3.8-Max: 2,4 Billionen gesamt, 95 Milliarden aktiv. GLM-5.2 von Zhipu: 744 Milliarden gesamt, rund 40 Milliarden aktiv, unter MIT-Lizenz auf Hugging Face. DeepSeek V4 Pro: 1,6 Billionen gesamt, 49 Milliarden aktiv, ebenfalls MIT. Die aktiven Parameter erklären die Rechenkosten pro Token. Der Speicherbedarf folgt der Gesamtgröße.

Praxismessungen aus der Community zeigen die realistische Grenze. Sie sind Einzelwerte, keine Herstellerangaben, aber sie decken sich untereinander: DeepSeek V4 Flash lässt sich mit optimierter Inferenz-Software von gut 3 auf knapp 26 Token pro Sekunde bringen, auf einer einzelnen Consumer-Karte mit 24 Gigabyte. Sebastian Raschka nennt für 30-Milliarden-MoE-Modelle rund 40 Token pro Sekunde auf einem gut ausgestatteten Arbeitsplatzrechner und weist darauf hin, dass ein 118-Milliarden-Modell mit 8 Milliarden aktiven Parametern unter 80 Gigabyte Arbeitsspeicher bleibt.

Als Faustwerte bei 4-Bit-Quantisierung: 7 Milliarden Parameter ab 8 Gigabyte, 14 Milliarden ab 12, die Klasse zwischen 24 und 32 Milliarden braucht 16 bis 24, ein 70-Milliarden-Modell ab 40 Gigabyte. Das sind die Arbeitsgrößen für den Alltag, nicht die Modelle aus den Schlagzeilen.

Was gestern Spitzenklasse war, läuft heute auf einer Karte

Die Speicherphysik ist die eine Hälfte der Geschichte. Die andere ist das Tempo, mit dem sich die Grenze verschiebt. Es ist die eigentliche Nachricht für die Infrastrukturplanung.

Ein Beispiel mit harten Zahlen: Alibaba hat im April 2026 Qwen3.6-27B veröffentlicht, ein dichtes Modell mit 27 Milliarden Parametern, das auf einer einzelnen RTX 4090 oder einem Mac mit 24 Gigabyte läuft. Auf SWE-bench Verified, einem der härteren Maßstäbe für agentisches Programmieren, liegt es bei 77,2 Prozent und damit vor dem eigenen Vorgänger-Spitzenmodell mit 397 Milliarden Parametern, das auf 76,2 Prozent kam. Rund fünfzehnmal kleiner, etwas besser, dreieinhalb Monate später. Was im Frühjahr ein Rechenzentrum brauchte, steckt seit dem Sommer in einem Arbeitsplatzrechner.

Der Druck kommt dabei von beiden Seiten. Das ist neu. Die Anbieter offener Modelle haben in wenigen Wochen nachgelegt: Moonshot hat mit Kimi K3 das bislang größte offene Modell freigegeben, DeepSeek und Zhipu stellen ihre Spitzenmodelle unter die MIT-Lizenz. Alibaba öffnet mit Qwen3.8-Max erstmals überhaupt seine oberste Modellklasse. Auf der anderen Seite senken die geschlossenen Anbieter die Preise und veröffentlichen Grundsatzpositionen zu offenen Gewichten, was sie vor einem Jahr nicht für nötig hielten. Aus Sicht eines Betreibers ist das eine seltene Konstellation: Beide Lager arbeiten gerade an derselben Kurve.

Die Prognosen zeigen in dieselbe Richtung. Gartner erwartet, dass die Inferenz auf einem Modell mit einer Billion Parametern im Jahr 2030 über 90 Prozent weniger kostet als 2025, getrieben von effizienterer Halbleiter- und Infrastrukturtechnik, besserem Modelldesign, höherer Chip-Auslastung, spezialisierter Inferenz-Hardware und dem Einsatz von Endgeräten für bestimmte Anwendungsfälle. Gegenüber vergleichbar großen Modellen aus dem Jahr 2022 rechnen die Analysten mit bis zu hundertfacher Kosteneffizienz. Beim Anteil lokaler Verarbeitung ist die Erwartung ähnlich deutlich: Über zwei Drittel der Unternehmen sollen bis 2029 KI am Rand des Netzes betreiben, gegenüber rund zehn Prozent im Jahr 2025.

Ein Vorbehalt gehört dazu. Gartner nennt ihn selbst: Die Ersparnis kommt nicht eins zu eins beim Anwenderunternehmen an. Agentische Anwendungen verbrauchen deutlich mehr Token pro Aufgabe als klassische Textgenerierung, was einen erheblichen Teil des Preisvorteils wieder auffrisst. Billiger pro Token heißt nicht automatisch billiger pro Vorgang.

Für die Planung folgt daraus trotzdem eine klare Konsequenz. Die folgende Tabelle beschreibt einen Zustand, keinen Dauerzustand: Ihre Zeilen wandern nach unten, in Monaten statt in Jahren. Wer heute eine Architektur festschreibt, sollte lokale Inferenz als wachsenden Anteil der Prozesslandschaft einplanen. Als Nische für Sonderfälle ist sie zu knapp gedacht.

Was läuft wo

Was in keiner Spezifikation steht, kippt Projekte trotzdem. Anschlussleistung ist der häufigste stille Blocker: Ein Rack, das die Sicherung des Stockwerks auslöst, ist kein Betriebskonzept. Abwärme und Lärm sind in einem Büro ohne Serverraum ein harter Architektur-Stopper. Und Modell-Updates verschieben Anforderungen nachträglich nach oben, in einem dokumentierten Fall um zusätzliche 10 Gigabyte Videospeicher gegenüber der Vorversion.

Open Weights sind kein Open Source

Open Weights bedeuten: Die Gewichte sind herunterladbar. Was damit erlaubt ist, steht in der Lizenz. Trainingsdaten, Trainingscode und Reproduzierbarkeit gehören nicht dazu.

Open Source nach der OSI-Definition (OSAID 1.0) verlangt zusätzlich Data Information: Herkunft, Umfang, Beschaffungs- und Auswahlmethoden, Labeling, Verarbeitung, Filterung. Nach diesem Maßstab ist praktisch kein aktuelles Spitzenmodell Open Source.

Der differenzierende Punkt: GLM-5.2 und DeepSeek V4 Pro stehen unter MIT, einer echten OSI-Lizenz. Trotzdem sind sie nach OSAID kein Open Source AI, weil die Trainingsdaten fehlen. Eine permissive Lizenz auf den Gewichten und quelloffene KI sind zwei verschiedene Dinge.

Der EU AI Act greift differenziert. Recital 104 verlangt für die Ausnahme öffentlich verfügbare Parameter, Gewichte, Architektur- und Nutzungsinformationen. Die Ausnahme deckt aber nur transparenzbezogene Pflichten. Die Zusammenfassung der Trainingsinhalte und die Einhaltung des Urheberrechts bleiben bestehen.

In einem Satz für Entscheider: Open Weights beseitigen keinen Lock-in. Sie verschieben ihn vom Modellanbieter in den eigenen Betrieb, inklusive Patch, Quantisierung, Monitoring und Personal.

Was die Entscheidung tatsächlich steuert

Nicht die Mitarbeiterzahl. Ein Steuerberater mit zwölf Leuten hat Mandantendaten, die das Haus nicht verlassen dürfen. Ein Konzern mit Zero-Trust-Cloud-Standard bleibt hybrid, auch mit zehntausend Beschäftigten. Die Schwelle sitzt woanders:

1. Datenklasse. Öffentlich und unkritisch kann in die API. Personenbezogen, geschäftskritisch oder geheim zieht den Stack nach innen.
2. Last und Planbarkeit. Sporadische Nutzung rechnet anders als Dauerlast. Der Break-even für Self-Hosting gegen Spitzenmodell-API-Preise liegt bei etwa 2 bis 5 Millionen Token pro Tag über zwölf Monate. Gegen günstige Anbieter offener Modelle verschiebt er sich auf 50 Millionen Token pro Tag und mehr.
3. Modellklasse gegen Aufgabe. Reicht ein 27-Milliarden-Modell mit RAG über interne Dokumente? Oder braucht die Aufgabe wirklich Spitzenqualität? Viele Fachanwendungen enden in der Stufe arbeitsfähig, nicht im Rechenzentrum.
4. Betriebsreife. Ein eigener Inferenz-Stack kostet 10 bis 20 Stunden pro Monat an Pflege. Ohne Team, das ihn rund um die Uhr trägt, ist lokal ein Pilot mit Ablaufdatum.
5. Latenz und Offline-Zwang. Fertigung, Außendienst und abgeschottete Netze erzwingen Lokalität unabhängig vom Tokenpreis.
6. Anschlussleistung, Kühlung, Raum. Rohe GPU-Kosten sind nur 30 bis 40 Prozent der echten Investition. Als Faustregel gilt Faktor 2,5 bis 3 auf den Hardwarepreis. Die reale Auslastung in Produktion liegt bei 40 bis 65 Prozent, nicht bei den 80 bis 90 Prozent aus den Foliensätzen.
7. Regulatorik und Vertragslage. Auftragsverarbeitung, AI Act, Branchenregeln und Kundenverträge setzen Grenzen, die kein Benchmark ersetzt.

Hybrid ist dabei der Normalfall: sensible Aufgaben lokal oder in der Private Cloud, allgemeine über API, geroutet nach Datenklasse statt nach Nachrichtenlage.

Was Sie daraus mitnehmen sollten

Die Positionen in der Debatte sind klar verteilt. Die eine Seite verweist zu Recht darauf, dass offene Modelle Prüfbarkeit schaffen und den Betrieb auf eigener Hardware ermöglichen, ohne Daten und geistiges Eigentum an geschlossene Anbieter zu geben. Aus dem Umfeld der Wagniskapitalgeber kommt die Einschätzung, dass Spitzenmodelle für den überwiegenden Teil der Anwendungsfälle ohnehin überdimensioniert sind. Die Gegenseite hält dagegen, dass viele dieser Modelle mangels Ressourcen lokal nicht laufen. Beide haben recht, sie reden nur über verschiedene Modellklassen.

Für die eigene Infrastruktur folgen daraus drei Schritte:

Erstens: Use Cases nach Datenklasse und Last inventarisieren. Welche Anfragen dürfen das Haus verlassen, welche brauchen Offline-Fähigkeit oder feste Latenz? Ohne diese Liste ist jede Hardware-Diskussion Spekulation.

Zweitens: Die Modellklasse an die Aufgabe binden, nicht an die Schlagzeile. Für interne Suche, Zusammenfassung und Dokumenten-Q&A reicht die Klasse zwischen 24 und 32 Milliarden Parametern mit RAG auf einer einzelnen GPU. Die Billionen-Klasse bleibt in der Praxis API-Terrain, solange niemand ein Cluster mit acht und mehr GPUs pro Knoten budgetiert und betreibt.

Drittens: Die Rechnung mit ehrlichen Faktoren aufstellen. Hardware mal 2,5 bis 3, Auslastung zwischen 40 und 65 Prozent, 10 bis 20 Betriebsstunden pro Monat, Break-even gegen die tatsächlich genutzte Preisklasse. Wer nur den GPU-Listenpreis gegen den Tokenpreis stellt, baut eine Kalkulation, die im Betrieb nicht hält.

Und viertens, der Punkt mit der längsten Wirkung: die Architektur auf Bewegung auslegen. Wenn ein Modell, das auf eine einzelne Grafikkarte passt, innerhalb eines Quartals die Leistung eines fünfzehnmal größeren Vorgängers erreicht, dann ist jede Festlegung auf reinen API-Betrieb eine Wette gegen die eigene Kostenkurve. Das heißt nicht, heute alles nach innen zu holen. Es heißt, die Abstraktion so zu bauen, dass der Wechsel möglich bleibt: austauschbare Inferenz-Endpunkte statt fest verdrahteter Anbieter-SDKs, eigene Evaluierungsfälle statt fremder Benchmarks sowie eine Datenklassifizierung, die bereits weiß, welche Prozesse zuerst nach innen wandern würden.

Die Community wird weiter Modelle bewerten, bevor die Gewichte verfügbar sind. Das ist Rauschen. Das Signal darunter ist die Geschwindigkeit: Der Abstand zwischen Spitzenklasse und lokal betreibbar schrumpft in Monaten. Herunterladbar bleibt eine Lizenzfrage, betreibbar eine Infrastrukturfrage. Nur verschiebt sich die Antwort auf die zweite Frage gerade schneller, als die meisten Beschaffungszyklen lang sind.

Häufige Fragen

Reicht ein Modell mit 27 Milliarden Parametern für Unternehmensaufgaben?

Für interne Suche, Zusammenfassungen, Dokumenten-Q&A und Coding-Assistenz mit RAG über eigene Dokumente reicht diese Klasse in vielen Fällen. Sie läuft auf einer einzelnen GPU mit 16 bis 32 Gigabyte. Entscheidend bleibt die Messung an eigenen Fällen: Was in einem Ranking vorne liegt, muss im eigenen Fachkontext nicht führen.

Warum scheitern Hardware-Planungen so häufig an Mixture-of-Experts?

Die Angabe der aktiven Parameter beschreibt die Rechenkosten pro Token, der Speicherbedarf folgt dagegen der Gesamtgröße. Ein Modell mit 13 Milliarden aktiven Parametern kann 284 Milliarden ins RAM laden. Wer die erste Zahl für die Beschaffung nimmt, liegt um eine Größenordnung daneben.

Ab welchem Volumen rechnet sich Self-Hosting gegenüber einer API?

Gegen Spitzenmodell-Preise liegt der Break-even bei etwa 2 bis 5 Millionen Token pro Tag über zwölf Monate. Gegen günstige Anbieter offener Modelle verschiebt er sich auf 50 Millionen und mehr, weil diese dieselbe Hardware mit besserer Auslastung und dünner Marge betreiben. Beide Werte gelten nur bei realistisch angesetzter Auslastung.

Was bedeutet das Entwicklungstempo für laufende Beschaffungen?

Die Modellklasse, die auf eigener Hardware läuft, holt die Spitzenklasse in Monaten ein. Eine Festlegung auf reinen API-Betrieb mit mehrjähriger Bindung und fest verdrahteten Anbieter-Schnittstellen verliert dadurch Verhandlungsposition. Sinnvoll ist eine Architektur mit austauschbaren Inferenz-Endpunkten, die den Wechsel offen hält.

Bildquelle: KI-generiert (August 2026)