Serverless KI ist überbewertet – hier ist was stattdessen zählt
Serverless GPU klingt perfekt - bis die Cold Starts kommen. Warum dedizierte GPUs für Produktion besser sind.
Serverless KI klingt nach dem perfekten Stack: Keine GPU-Instanzen verwalten, nur zahlen was man nutzt, automatisch skalieren. Für API-Calls an gehostete Modelle stimmt das. Für alles mit eigenem Modell ist es ein teurer Umweg mit einem ungelösten Problem: Cold Starts.
Das Wichtigste in Kürze
- Cold Starts brechen Echtzeit: GPU-Cold-Starts dauern 2-60 Sekunden je nach Plattform – inakzeptabel für Produktions-APIs mit SLAs.
- Ab 18 Stunden Nutzung pro Tag: Per-Second-Billing wird teurer als Reserved Instances – und die meisten Inference-Workloads laufen rund um die Uhr.
- Serverless brilliert woanders: Für API-Calls an OpenAI, Anthropic oder Google AI ist Serverless der richtige Ansatz. Das eigene Modell ist das Problem.
Die These
Serverless GPU-Inference ist für die meisten Produktions-Workloads die falsche Abstraktion. Die Kosten-Vorteile existieren nur bei sporadischer Nutzung. Sobald ein Modell dauerhaft gebraucht wird, ist eine dedizierte GPU-Instanz günstiger, schneller und vorhersagbarer.
Argument 1: Cold Starts sind kein gelöstes Problem
Eine GPU hochzufahren ist nicht wie einen Lambda-Container zu starten. Der Prozess umfasst GPU-Treiber-Initialisierung, CUDA-Plugin-Setup, Image-Pull, Modell-Gewichte in den VRAM laden und Inference-Engine kompilieren. Die besten Plattformen schaffen 2-4 Sekunden (Modal), die Mehrheit liegt bei 8-60 Sekunden (Baseten, RunPod). Selbst 2 Sekunden brechen jede Echtzeit-Anwendung – Chatbot-Interfaces, Live-Empfehlungen, Autocomplete. Die Alternative: Worker warm halten. Aber warme Worker kosten rund um die Uhr, auch wenn keine Anfragen kommen. Dann kann man auch gleich eine dedizierte Instanz buchen.
Argument 2: Die Kostenrechnung kippt bei Dauerlast
Serverless-GPU-Pricing basiert auf Per-Second-Billing. Das klingt fair, wird aber teuer bei hoher Auslastung. Ein Team, das Inference 18 Stunden am Tag nutzt, zahlt mit Per-Second-Billing mehr als mit einer Reserved Instance. Und die Mehrheit der Produktions-Inference-Workloads läuft nicht sporadisch, sondern dauerhaft. Der Sweet Spot für Serverless GPU liegt bei Workloads unter 4-6 Stunden täglicher Nutzung – Batch-Jobs, gelegentliche Bildgenerierung, Prototyping. Nicht bei Produktions-APIs.
Argument 3: Debugging wird zur Blackbox
Serverless-GPU-Plattformen abstrahieren die Infrastruktur. Das ist der Vorteil und gleichzeitig das Problem. Wenn die Latenz plötzlich steigt, gibt es keine SSH-Session auf die GPU, kein nvidia-smi, keine direkte Metriken-Einsicht. Die Plattform entscheidet, auf welcher Hardware das Modell läuft, welche GPU-Generation, welcher Speichertyp. Für Prototypen ist das akzeptabel. Für Produktion mit SLAs ist es ein Kontrollverlust, der teuer werden kann.
18 h
tägliche Nutzung ab der Reserved Instances günstiger sind als Serverless-GPU-Billing
Das Gegenargument: Serverless hat seinen Platz
Die Kritik richtet sich nicht gegen Serverless generell, sondern gegen Serverless als Default für KI-Inference. Für API-Calls an gehostete Modelle – OpenAI, Anthropic, Google Gemini – ist Serverless genau richtig. Kein eigenes Modell, keine GPU-Verwaltung, Kosten pro Token. Auch für echte Burst-Workloads mit langen Pausen dazwischen funktioniert Serverless GPU: ein wöchentlicher Batch-Job, ein Prototyping-Sprint, eine saisonale Kampagne. Das Problem entsteht, wenn Teams Serverless als Dauerlösung für eigene Modelle einsetzen, weil es sich einfacher anfühlt als GPU-Infrastruktur zu betreiben.
Fazit
Serverless KI-Inference löst ein echtes Problem: GPU-Infrastruktur ist komplex. Aber es löst es zum falschen Preis für den falschen Workload. Wer ein eigenes Modell dauerhaft in Produktion betreibt, fährt mit einer dedizierten GPU-Instanz plus Autoscaling besser – in Kosten, Latenz und Kontrolle. Serverless gehört in den Prototyping-Stack und für sporadische Burst-Jobs. Nicht auf die Produktions-Roadmap.
Häufige Fragen
Wann lohnt sich Serverless GPU?
Bei Workloads unter 4-6 Stunden täglicher Nutzung: Batch-Jobs, gelegentliche Bildgenerierung, Prototyping oder saisonale Spitzen. Auch für API-Calls an gehostete Modelle (OpenAI, Anthropic) ist Serverless der richtige Ansatz, weil keine eigene GPU benötigt wird.
Wie lang sind GPU-Cold-Starts?
Die besten Plattformen wie Modal erreichen 2-4 Sekunden. Die Mehrheit liegt bei 8-60 Sekunden. Selbst 2 Sekunden sind für Echtzeit-Anwendungen wie Chatbots oder Autocomplete inakzeptabel.
Was ist die Alternative zu Serverless GPU?
Reserved GPU-Instanzen für die Baseline-Last, kombiniert mit GPU-spezifischem Autoscaling (KEDA, GPU Operator) und Spot Instances für Burst-Workloads. Das liefert niedrigere Kosten, vorhersagbare Latenz und volle Kontrolle über die Hardware.
Lesetipps der Redaktion
cloudmagazinBitter Lesson für den KI-Stack: 4 Audit-Punkte bevor die nächste Modellgeneration kommtcloudmagazinGemma 4 lokal deployen: Was Googles Open-Source-Offensive für Cloud-Architekturen bedeutetMehr aus dem MBF Media Netzwerk
MyBusinessFutureMyBusinessFuture – Digitalisierung und KI für den MittelstandDigital ChiefsDigital Chiefs – Strategien für die ChefetageSecurityTodaySecurityToday – IT-Sicherheit und ComplianceQuelle Titelbild: Pexels / panumas nikhomkhai (px:17489152)
