Wenn die KI-Rechnung das Cloud-Budget sprengt
FinOps für KI-Workloads: Gemini-Batchmodus halbiert den Token-Preis, AWS Inferentia senkt die GPU-Last. So drückt Multi-Cloud die KI-Rechnung.
Inferenz wird in vielen Umgebungen zum größten laufenden Kostenblock des KI-Betriebs, und laut dem State of FinOps 2026 steuern 98 Prozent der Unternehmen ihre KI-Ausgaben bereits über FinOps. Wer die gesamte Inferenzlast bei einem Anbieter laufen lässt, zahlt den vollen Listenpreis. Multi-Cloud ist hier kein Dogma, sondern ein direkter Kostenhebel.
Das Wichtigste in Kürze
- Inferenz ist der teuerste Posten: Nicht das Training, sondern der laufende Betrieb der Modelle treibt 2026 die KI-Rechnung. FinOps-Teams nennen das Kostenmanagement von KI-Workloads als die am stärksten fehlende Fähigkeit.
- Der Preis pro Anfrage fällt je nach Anbieter: AWS Inferentia2 liegt je nach Instanzvergleich rund ein Viertel unter vergleichbaren GPU-Instanzen, der Batchmodus von Google Gemini halbiert den Token-Preis und Context Caching spart auf wiederkehrenden Eingaben bis zu 90 Prozent.
- Multi-Cloud lohnt nur mit Disziplin: Ohne sauberes Tagging, getrennte Workload-Typen und eine ehrliche Egress-Rechnung frisst die Komplexität die Ersparnis wieder auf.
Verwandt:FinOps sieht alles, darf aber nichts / FP8, FP4 und vLLM: GPU-Kosten der KI-Inferenz senken
Warum die Inferenz-Rechnung aus dem Ruder läuft
Training ist ein einmaliger Posten, Inferenz ein dauerhafter. Jede Anfrage an ein produktives Modell kostet Rechenzeit, und bei einem KI-Dienst mit echter Nutzung summiert sich das pro Sekunde. Genau deshalb verschiebt sich der Schwerpunkt: Inferenz macht 2026 in vielen Häusern den größeren Teil der KI-Ausgaben aus und überholt die einmaligen Trainingskosten deutlich.
Die FinOps Foundation hat für ihren State of FinOps 2026 rund 1.200 Praktiker befragt. Das Ergebnis ist deutlich: 98 Prozent steuern KI-Ausgaben bereits über ihre FinOps-Praxis, und das Kostenmanagement von KI gilt als die meistgesuchte Fähigkeit über alle Unternehmensgrößen hinweg. Der einfache Verschwendungs-Hebel ist dabei weitgehend ausgereizt. Was bleibt, sind viele kleinere, schwerer greifbare Einsparungen, und die Anbieterwahl gehört zu den größten davon.
Was ist FinOps? FinOps verbindet Finanzen, Technik und Geschäft, um Cloud- und KI-Ausgaben gemeinsam zu steuern. Es ist kein Spar-Tool, sondern eine Betriebsdisziplin: Wer verbraucht welche Ressource, was kostet sie und welcher Geschäftswert steht dagegen. Ohne diese Zuordnung bleibt jede Kostendiskussion ein Schätzspiel.
Wo der Preis pro Anfrage wirklich fällt
Es gibt drei Hebel, und sie wirken auf verschiedenen Ebenen. Der erste ist die Hardware. AWS Inferentia2, der hauseigene Inferenz-Chip, liegt im Stundenpreis je nach Instanzvergleich etwa ein Viertel unter einer GPU-Instanz und bringt laut AWS bis zu 40 Prozent bessere Preis-Performance. Die Bedingung: Das Modell muss über das Neuron-SDK kompilierbar sein. Läuft es, ist der Effekt groß; läuft es nicht, ist der Chip keine Option.
Der zweite Hebel ist die Betriebsart auf der Modellseite. Wer ein gehostetes Modell wie Google Gemini nutzt, zahlt im Batchmodus für asynchrone Last nur die Hälfte des Token-Preises. Context Caching senkt die Kosten für wiederkehrende Eingaben auf etwa ein Zehntel, weil der gleiche Kontext nicht jedes Mal neu verarbeitet wird. Für Dokumentenstrecken, nächtliche Auswertungen oder Content-Pipelines gehört das zu den größten Spareffekten. Wer zusätzlich die Modelle selbst verschlankt, etwa über Quantisierung auf FP8 oder FP4, senkt die Last schon vor der Anbieterwahl.
Der dritte Hebel ist das Commitment. Compute Savings Plans senken den On-Demand-Preis je nach Laufzeit und Vorauszahlung um bis zu 72 Prozent. Für planbare Grundlast ist das die naheliegende Wahl. Spot-Kapazität wäre noch günstiger, eignet sich als alleinige Basis für produktives Inferenz-Serving aber nicht: Eine zurückgezogene Instanz bedeutet eine abgebrochene Anfrage, und das verträgt kein Live-Dienst.
Multi-Cloud-Arbitrage: was trägt, was bricht
Wenn die günstigsten Optionen über Anbieter verteilt liegen, wird Multi-Cloud zum Kostenargument statt zur Ideologie. Der Gedanke ist simpel: jeden Workload-Typ dort betreiben, wo er am wenigsten kostet. In der Praxis trägt das nur, wenn man die Gegenrechnung kennt.
Was trägt
- Den günstigsten Anbieter je Workload-Typ wählen, Dauerlast und asynchrone Last getrennt
- Mehr Verhandlungsmacht, weil Lasten verteilt statt bei einem Anbieter gebündelt sind
- Batch- und Caching-Rabatte gezielt für die passenden Lasten abgreifen
Was bricht
- Egress-Gebühren beim Datentransfer zwischen Clouds fressen die Ersparnis an
- Zwei Stacks bedeuten doppelte Betriebskomplexität und zwei Skill-Sets
- Die Neuron-Portierung bindet wieder an AWS, der Vorteil ist also kein freier Wechsel
Der ehrliche Schnitt: Arbitrage rechnet sich für Häuser mit hoher, klar getrennter Inferenzlast. Wer nur sporadisch Anfragen schickt, fährt mit einem sauberen Single-Cloud-Setup samt Commitment besser. Ein zweiter Stack, den niemand pflegt, kostet mehr als er spart.
Der FinOps-Fahrplan für KI-Workloads
Aus den Hebeln lässt sich eine nüchterne Reihenfolge ableiten. Sie beginnt nicht mit einem Tool, sondern mit einer Konvention.
Das ist weniger spektakulär als ein neues Modell im Pitch, aber es ist der Teil, der in der Bilanz ankommt. FinOps für KI ist 2026 keine Kür mehr, sondern die Bedingung dafür, dass aus einem KI-Dienst eine Marge wird und nicht nur eine Rechnung.
Häufige Fragen
Was bedeutet FinOps für KI-Workloads?
FinOps überträgt die Kostensteuerung aus der klassischen Cloud auf KI-Ausgaben: Inferenz- und GPU-Last werden nach Modell, Team und Use-Case zugeordnet, mit konkreten Kosten versehen und gegen ihren Geschäftswert gestellt. Laut State of FinOps 2026 tun das bereits 98 Prozent der befragten Unternehmen, vor zwei Jahren waren es 31 Prozent.
Lohnt sich AWS Inferentia gegenüber GPUs?
Wenn das Modell über das Neuron-SDK läuft, ja: Inferentia2-Instanzen sind im Stundenpreis je nach Vergleich spürbar günstiger und erreichen laut AWS bis zu 40 Prozent bessere Preis-Performance. Die Hürde ist die Kompilierbarkeit. Modelle ohne Neuron-Unterstützung bleiben auf der GPU.
Wie viel spart der Batchmodus von Google Gemini?
Der Batchmodus halbiert den Token-Preis für asynchrone, nicht zeitkritische Last. Zusätzlich senkt Context Caching die Kosten für wiederkehrende Eingaben auf etwa ein Zehntel. Beides wirkt nur, wenn die Workloads sauber getrennt sind und nicht jede Anfrage als Echtzeit-Anfrage behandelt wird.
Was kostet Multi-Cloud zusätzlich?
Vor allem Egress-Gebühren für Daten, die zwischen Clouds bewegt werden, und Betriebskomplexität: zwei Stacks, zwei Monitoring-Wege, zwei Skill-Sets. Diese Posten gehören in die Rechnung, bevor man Arbitrage als Ersparnis verbucht. Für kleine Lasten übersteigt der Aufwand oft den Gewinn.
Eignen sich Spot-Instanzen für KI-Inferenz?
Für produktives Serving in der Regel nicht. Spot-Kapazität ist zwar deutlich günstiger, kann aber jederzeit zurückgezogen werden, und eine unterbrochene Instanz bedeutet eine abgebrochene Antwort. Für fehlertolerante Batch-Jobs ist Spot brauchbar, für Live-Inferenz ist es ein Risiko.
Bildquelle: KI-generiert (Juni 2026), C2PA-Zertifikat im Bild hinterlegt
