AI Operations · 11 Min.
AI Cost Control: Wie ein LLM Gateway verhindert, dass KI-Agenten teuer und unberechenbar werden
Je autonomer Agenten arbeiten, desto wichtiger werden Kostenlimits. Ein LLM Gateway macht Modellnutzung steuerbar.
SYSTEMS Grafik zu AI Cost Control: Trace -> Metric -> Decision. Fokus: Wie Unternehmen KI-Agenten mit Token-Budgets, Routing und Limits wirtschaftlich betreiben.
Kurzfassung
Agenten erzeugen variable Kosten durch Tokens, Tools, Retries und lange Kontextfenster. Ein LLM Gateway ermöglicht Routing, Limits, Monitoring und Kostenpolitik. Kostenkontrolle ist ein Architekturthema, kein späteres Controlling-Problem.
Strategischer Lesepfad
Baue das Thema im passenden Cluster weiter aus und verknüpfe es mit den nächsten Architekturentscheidungen.
Warum Agenten Kosten schwerer planbar machen Ein normaler Chat hat eine Anfrage und eine Antwort. Ein Agent kann mehrere Schritte ausführen, Tools nutzen, Kontext nachladen, Fehler korrigieren und erneut versuchen. Jeder dieser Schritte kostet.
Ohne Budgetierung weiss ein Unternehmen erst nachträglich, ob ein Agent wirtschaftlich arbeitet.
Stand Mai 2026: Kostenkontrolle wird Runtime-Design OpenAI nennt drei harte Grundhebel für Kosten: weniger Requests, weniger Tokens und passende kleinere Modelle. Dazu kommen Batch-Verarbeitung, Flex Processing und Prompt Caching. Anthropic bietet Token Counting, Prompt Caching, Usage-/Cost-APIs sowie Workspace-nahe Rate- und Spend-Limits. Google Vertex AI unterscheidet implizites und explizites Context Caching.
Die Richtung ist klar: Kostenkontrolle wandert aus der Finance-Auswertung in die Agenten-Runtime. Ein Agent darf nicht erst nach Monatsende auffallen. Er braucht ein Budget, bevor er startet.
Was ein LLM Gateway leistet Ein LLM Gateway sitzt zwischen Anwendung und Modellen. Es entscheidet nicht fachlich, aber es steuert Nutzung:
Damit wird Modellnutzung messbar und steuerbar.
Ein gutes Gateway speichert pro Run mindestens:
Ohne diese Felder sieht man zwar eine API-Rechnung, aber keine Wirtschaftlichkeit pro Prozess.
Welches Modell passt für welchen Task? Wie gross darf der Kontext sein? Wann wird gecached? Wann wird abgebrochen? Welche Kosten gehören zu welchem Kunden oder Prozess? Prozess, Kunde, Workspace und Kostenstelle. Agent, Task-Typ und Risikoklasse. Modell, Provider und Fallback-Kette. Input-, Output-, Reasoning- und cached Tokens, soweit der Provider sie liefert. Tool Calls, Retries, Abbrueche und Latenz. erwarteter Business-Wert oder Erfolgsmetrik. Chargeback: API-Rechnung ist nicht Prozesskostenrechnung Provider-Dashboards zeigen Nutzung nach Modell, API-Key, Projekt oder Zeitraum. Das ist nötig, aber für Unternehmen nicht genug. Die Frage im Betrieb lautet nicht: "Wie teuer war Modell X?" Die Frage lautet: "Welche Kunden-, Sales- oder Supportprozesse erzeugen welchen Wert bei welchen Kosten?"
OpenAI stellt Usage- und Cost-Endpunkte bereit. Anthropic liefert Usage- und Cost-Daten mit Buckets, Workspace-, API-Key-, Modell- und Service-Tier-Filtern. Vercel AI Gateway gruppiert Kosten nach Projekt und API-Key. Daraus kann ein internes Chargeback entstehen, wenn das Gateway jede Anfrage sauber mit Business-Kontext markiert.
Wichtig: Kosten- und Nutzungsdaten können je nach Provider anders aggregiert sein. Finance sollte nicht aus improvisierten Token-Schätzungen entscheiden, sondern aus offiziellen Cost-Daten plus interner Prozesszuordnung.
Modellrouting spart mehr als Prompting Nicht jeder Schritt braucht das stärkste Modell. Klassifizierung, Formatierung oder einfache Extraktion können oft günstiger laufen. Komplexe Planung oder kritische Entscheidung braucht mehr Leistung.
Gutes Routing verbindet Qualität mit Wirtschaftlichkeit. Schlechte Architektur nutzt überall dasselbe Modell und wundert sich über Kosten.
Eine einfache Routing-Matrix hilft:
Der Fehler vieler Teams ist nicht, dass sie zu viel KI nutzen. Der Fehler ist, dass sie für jede Teilaufgabe denselben teuren Pfad nutzen.
Tier 1: Extraktion, Klassifizierung, Deduplizierung, Formatierung. Tier 2: Recherche, Zusammenfassung, Angebotsvorbereitung, Datenpflege. Tier 3: Planung, Konfliktlösung, juristische/finanzielle Vorprüfung, komplexe Kundenantworten. Tier 4: Freigabenahe Aktionen mit hohem Risiko, immer mit Trace und menschlichem Gate. Rate Limits sind auch Kostenkontrolle Rate Limits werden oft nur als technisches API-Problem gesehen. Für Agenten sind sie ein FinOps-Signal. OpenAI beschreibt Limits nicht nur als Requests pro Minute, sondern auch als Tokens pro Minute, Requests pro Tag, Tokens pro Tag und Images pro Minute. Anthropic trennt Rate Limits und Spend Limits und unterstützt workspace-spezifische Steuerung.
Das Gateway sollte deshalb nicht erst bei API-Fehlern reagieren. Es sollte vorher entscheiden:
Ohne diese Logik gewinnt der lauteste Prozess gegen den wichtigsten Prozess.
Welche Workflows dürfen bursty laufen? Welche laufen in eine Queue? Welche wechseln auf Batch? Welche werden nach Kundensegment priorisiert? Welche werden gestoppt, wenn das Monatsbudget erreicht ist? Kostenlimits pro Prozess Budgets sollten nicht nur global gelten. Ein Lead-Research-Lauf darf vielleicht einen anderen Betrag kosten als ein Support-Triage-Lauf. Ein Premium-Kunde hat andere Limits als ein interner Test.
Diese Limits müssen im System liegen, nicht in einer Tabelle nebenbei.
Ein Budget-Objekt sollte operational aussehen:
```json { "workflow": "lead_research", "max_cost_eur": 1.20, "max_model_calls": 8, "max_retries": 2, "fallback_model": "fast_model", "stop_when_confidence_below": 0.62, "requires_human_review_above": 0.90 } ```
Die Zahlen sind Beispielwerte. Entscheidend ist die Struktur: Der Agent bekommt nicht nur ein Ziel, sondern auch eine wirtschaftliche Leitplanke.
Caching ist kein Bonus, sondern Architektur Prompt Caching funktioniert nur gut, wenn wiederverwendbare Teile stabil bleiben. OpenAI empfiehlt, statische Inhalte wie Systeminstruktionen, Beispiele, Tools und Schemas an den Anfang des Prompts zu legen und variable Inhalte ans Ende. Cache-Hits tauchen in der Nutzung als `cached_tokens` auf.
Anthropic arbeitet mit `cache_control` und cached den Prompt-Prefix aus Tools, System und Messages. Google Gemini bietet Context Caching für wiederholte lange Kontexte. Das Prinzip ist bei allen gleich: Wenn du jeden Request anders baust, zerstörst du deine eigene Cache-Quote.
Ein LLM Gateway sollte deshalb Prompt-Versionen, Tool-Schemas und Kontextpakete stabilisieren. Caching ist kein einzelner API-Parameter. Es ist Prompt-Produktdesign.
Batch, Flex und Hintergrundarbeit Nicht jeder Agentenschritt muss live passieren. OpenAI Batch API ist für asynchrone Verarbeitung gedacht und bietet nach offizieller Doku 50 Prozent niedrigere Kosten gegenüber synchronen APIs sowie separate Batch-Rate-Limits. Flex Processing senkt Kosten für langsamere oder niedriger priorisierte Requests. Gemini Batch API ist ebenfalls für grosse asynchrone Workloads ausgelegt.
Das ist stark für Evals, Datenanreicherung, Reindexing, Report-Vorbereitung oder grosse Klassifikationsläufe. Es ist schwach für Dialogmomente, in denen ein Nutzer wartet.
Gute Architektur trennt deshalb:
Live-Pfad: schnelle Antwort, klare Limits, wenig Retries. Background-Pfad: Batch, Flex, größere Datenmengen, niedrigere Kosten. Review-Pfad: vorbereiten, zusammenfassen, menschlich freigeben. Observability: Kosten müssen in Traces sichtbar sein Vercel AI Gateway beschreibt genau die Metriken, die ein gutes Gateway sichtbar machen sollte: Requests pro Modell, Time to First Token, Input-/Output-Tokens und Spend. Dazu kommen Request-Logs nach Projekt, API-Key und Kosten.
Für Unternehmen reicht das Dashboard allein aber nicht. Die Kosten müssen mit Business-Objekten verbunden werden: Lead, Ticket, Deal, Kunde, Kampagne, Report. Erst dann lässt sich sagen, ob ein Agent teuer oder profitabel war.
Kill-Switches und Degeneration Ein Agent darf bei Unsicherheit nicht einfach mehr Modelle aufrufen, bis etwas plausibel klingt. Das ist teuer und gefährlich.
Ein Gateway braucht Abbruchregeln:
Dann wird nicht weiter halluziniert. Dann wird eskaliert, zusammengefasst oder sauber abgebrochen.
Kostenlimit erreicht. zu viele gleiche Tool-Fehler. keine neue Evidenz nach mehreren Schritten. Retrieval liefert keine erlaubten Quellen. Confidence bleibt unter Schwelle. ein Hochrisiko-Tool wäre der nächste Schritt. Der SYSTEMS-Blick Wir planen AI Cost Control von Anfang an. Ein Agent bekommt nicht nur eine Aufgabe, sondern auch ein Kostenmodell: erlaubte Modelle, Tokenbudget, Retry-Limit, Abbruchregeln und Erfolgsmetrik.
So kann Autonomie wachsen, ohne dass die Kosten unsichtbar mitwachsen.
