LLM-Gateway: Modell-Routing, Kostenkontrolle und Observability

Die meisten Unternehmen beginnen mit einem API-Schlüssel, der in eine einzige Anwendung kopiert wird. Ein Jahr später laufen fünf Anwendungen, drei Modellanbieter sind im Spiel, Schlüssel liegen an Stellen, an die sich niemand erinnert – und die Monatsrechnung kann niemand Posten für Posten erklären. Hat ein Anbieter einen schlechten Nachmittag, verstummt der Support-Bot gleich mit.

Ein LLM-Gateway löst dieses Problem auf Architekturebene. Es ist eine zentrale Schicht zwischen Ihren Anwendungen und allen Modellen, die Sie nutzen. Es entscheidet, welches Modell welche Anfrage bearbeitet, wie viel ein Team oder ein Kunde ausgeben darf, was bei einem Ausfall passiert und was protokolliert wird. Richtig umgesetzt, werden KI-Kosten vom Überraschungsposten zur planbaren Größe – und ein Modellwechsel wird zur Konfigurationsänderung statt zum Umbauprojekt.

Der Druck ist real. Im KPMG AI Pulse für das dritte Quartal 2026 haben 74 % der großen US-Unternehmen eine Kostenprüfung in ihren KI-Freigabeprozess eingebaut, 43 % arbeiten bereits mit Token-Budgets (KPMG). In Deutschland nennen 54 % der Unternehmen, die KI nutzen, unvorhersehbare Kosten als Hürde (Bitkom). Und Gartner erwartet, dass die Ausgaben für KI-Plattformen und -Modelle 2026 um 63 % steigen – das macht Budgets schwerer planbar, nicht leichter (Gartner).

Was ein LLM-Gateway leistet – und was nicht

Stellen Sie sich ein API-Gateway vor, das Tokens versteht. Ihre Anwendungen rufen nicht mehr direkt OpenAI, Anthropic, Google oder ein selbst gehostetes Modell auf, sondern einen einzigen internen Endpunkt – meist OpenAI-kompatibel, sodass vorhandene SDKs weiter funktionieren. Den Rest übernimmt das Gateway:

• Routing. Es wählt das Modell pro Anfrage nach Aufgabe, Kundensegment, Datensensibilität oder Latenzbudget.
• Schlüssel und Budgets. Es vergibt virtuelle Schlüssel pro Anwendung, Team oder Kunde, jeweils mit Ausgaben- und Ratenlimits. Die echten Anbieter-Schlüssel liegen ausschließlich im Gateway.
• Caching. Es liefert gespeicherte Antworten für wiederholte Anfragen und nutzt das Prompt-Caching der Anbieter für lange, statische Prompts.
• Ausfallsicherheit. Wiederholungen, Timeouts, Fallbacks auf einen anderen Anbieter oder eine andere Region, Circuit Breaker.
• Observability. Tokens, Kosten, Latenz, Fehler und Metadaten für jeden Aufruf – exportiert in Ihr Monitoring.
• Richtlinien. Schwärzung personenbezogener Daten, gesperrte Modelle für bestimmte Datenklassen, maximale Kontextgrößen.

Was ein Gateway nicht ist: kein Agenten-Framework, keine Vektordatenbank und kein Wundermittel gegen Kosten. Es liefert die Stellschrauben – die Einsparungen entstehen durch die Entscheidungen, die Sie damit treffen.

Es gibt drei gängige Wege. Open-Source-Proxys wie LiteLLM laufen auf Ihrer eigenen Infrastruktur – passend für Unternehmen, die ihre Logs in der EU halten wollen. Managed Gateways wie Cloudflare AI Gateway oder Portkey sind schneller startklar. Observability-orientierte Werkzeuge wie Helicone oder Langfuse konzentrieren sich auf Tracing und Auswertung und werden oft mit einer der beiden ersten Varianten kombiniert. Viele Teams schreiben auch eine schlanke Eigenentwicklung – völlig legitim, solange sie wie Produktivsoftware behandelt wird: mit Tests und einem Verantwortlichen.

Wo ohne Gateway das Geld versickert

In den Setups, die wir prüfen, entstehen Mehrkosten selten durch einen großen Fehler. Sie entstehen durch fünf kleine Lecks, die niemand sieht, weil niemand sie misst.

1. Ein Modell für alles

Im Prototyp wird „sicherheitshalber“ das stärkste Modell fest eingetragen – und bleibt dort. Danach klassifiziert es E-Mails, liest Rechnungsnummern aus und schreibt Einzeiler-Zusammenfassungen. Aufgaben, die ein leichtes Modell genauso gut erledigt.

2. Kontext, der mit jeder Runde wächst

Gesprächsverlauf und abgerufene Dokumente werden bei jeder Runde erneut mitgeschickt; lange Gespräche werden mit jedem Schritt teurer. Bei einer Messung von 4.000 Voice-Sessions über die OpenAI Realtime API lagen die typischen Kosten bei 0,05–0,08 US-Dollar pro Minute, wachsender Kontext trieb einzelne Sessions jedoch auf bis zu 0,146 US-Dollar pro Minute (HackerNoon).

3. Wiederholungen und Agenten in Endlosschleifen

Ein Agent, der ein Tool aufruft, das Ergebnis falsch liest und es erneut versucht, kann Hunderte Aufrufe verbrauchen, bevor es jemand bemerkt. Ohne Schrittlimit und Budget pro Anfrage ist die Rechnung der erste Alarm.

4. Keine Zuordnung

Laufen alle Anfragen über denselben Schlüssel, wissen Sie, was ausgegeben wurde – aber nicht, welche Funktion, welcher Kunde oder welches Experiment es verursacht hat. Die Kalkulation einer KI-Funktion oder eines Wartungsvertrags wird zum Ratespiel.

5. Bezahlte Leerlaufarbeit

Manche Ausgaben erzeugen überhaupt keinen Nutzen. Bei ausgehenden Telefonkampagnen etwa kann die fehlerhafte Erkennung von Anrufbeantwortern 15–20 % des Budgets verschlingen (MTS Exolve). Ähnliche Verschwendung steckt in doppelten Anfragen, abgebrochenen Sessions und Testverkehr, der auf Produktivmodellen landet.

Die gute Nachricht: Dafür braucht es keine große Plattform. Es braucht einen Punkt, den jede Anfrage passiert und an dem sie gemessen wird.

Modell-Routing: der größte Hebel

Beim Routing liegt das größte Einsparpotenzial, weil die Preisunterschiede zwischen Modellklassen erheblich sind. Laut offizieller Preisliste von OpenAI kostet das volle Realtime-Audiomodell 32 US-Dollar pro Million Input-Tokens und 64 US-Dollar pro Million Output-Tokens, die Mini-Variante 10 bzw. 20 US-Dollar – also rund ein Drittel (OpenAI). In manchen Preislisten liegt zwischen der leichtesten und der stärksten Stufe sogar der Faktor zehn (GigaChat-Tarife).

Nach unserer eigenen Rechnung für einen Support-Dialog mit zehn Runden und rund 3.000 Tokens abgerufenem Kontext pro Runde kostet ein Modell der Pro-Klasse pro Gespräch etwa eine Größenordnung mehr als ein leichtes Modell. Deshalb bleiben feste Preise pro Gespräch, wie sie viele Chatbot-Produkte verkaufen, nur mit Routing profitabel.

Fünf Routing-Muster

Routing nach Belegen, nicht nach Bauchgefühl

Ein günstigeres Modell, das 5 % mehr falsche Antworten liefert, kann mehr kosten, als es spart – durch Erstattungen, Eskalationen und verlorenes Vertrauen. Die Regel ist einfach: Eine Aufgabe wandert erst dann zum günstigeren Modell, wenn es dieselben Evals besteht wie das bisherige. Fehlt dieser Testdatensatz noch, fangen Sie dort an – unser Leitfaden zu KI-Evals zeigt, wie das in Tagen statt Monaten gelingt.

Kostenkontrolle, die in der Praxis funktioniert

Das Routing entscheidet, wer die Arbeit erledigt. Die folgenden Mechanismen entscheiden, wie viel Arbeit erlaubt ist.

• Virtuelle Schlüssel mit Budgets. Ein Schlüssel pro Anwendung, pro Team und – bei SaaS – pro Kunde. Ein weiches Limit mit Warnungen bei 50 % und 80 %, ein hartes Limit bei 100 % mit definiertem Verhalten: Wechsel auf ein leichteres Modell, Warteschlange oder Übergabe an einen Menschen.
• Harte Obergrenzen pro Anfrage. Maximaler Input-Kontext, maximale Output-Tokens, maximale Agentenschritte. Eine Endlosschleife kostet dann Cent statt Hunderte Euro.
• Kontexthygiene. Lange Verläufe zusammenfassen, weniger und kürzere Dokumentausschnitte mitschicken, Textbausteine vor dem Indexieren entfernen. Das spart oft mehr als jeder Rabatt.
• Caching. Exaktes Caching für wiederkehrende Anfragen wie Produktfragen oder Statustexte. Prompt-Caching der Anbieter für lange Systemprompts und statische Anweisungen, die bei Wiederverwendung vergünstigt abgerechnet werden. Semantisches Caching – also Antworten auf „ähnliche“ Fragen wiederverwenden – nur für nicht personenbezogene Inhalte: Ein Beinahe-Treffer kann ein falscher Treffer sein.
• Batch für alles, was warten kann. Nächtliche Dokumentenverarbeitung, Datenanreicherung und Berichte laufen über die Batch-Schnittstellen der Anbieter, die günstiger sind als Echtzeitaufrufe.
• Kosten pro Ergebnis statt pro Token. Entscheidend sind die Kosten pro gelöstem Ticket, verarbeiteter Rechnung oder gebuchtem Termin. Ein doppelt so teures Modell, das häufiger im ersten Anlauf löst, kann die günstigere Wahl sein.

Wie hoch ist die Rechnung in der Praxis? Branchenanalysen beziffern die Modellkosten eines typischen Agenten im Regelbetrieb auf 50–500 US-Dollar pro Monat (Lets-Viz). Für viele Mittelständler liegt der Hauptnutzen eines Gateways deshalb nicht in „80 % Ersparnis“, sondern in Planbarkeit: keine Überraschungsrechnungen, keine Endlosschleifen, belastbare Zahlen für Kalkulation und Budget.

Wer zahlt die Tokens?

Wenn eine Agentur Ihr System baut und betreibt, gehört diese Frage in den Vertrag. Im Markt gibt es drei Modelle: Tokens im Pauschalpreis mit 20–30 % Puffer, Weiterberechnung mit 15–25 % Aufschlag oder direkte Zahlung des Kunden an den Anbieter. Manche Agenturen kalkulieren zusätzlich 15–20 % Risikozuschlag für Modelldrift und Preissprünge bei Tokens (Digital Applied). Wir bevorzugen das dritte Modell – Ihre eigenen Anbieterkonten, unsere Gateway-Konfiguration, volle Transparenz –, weil es Sie zugleich unabhängig hält. Mehr dazu in unserem Beitrag über Eigentum an Code, Prompts und Daten.

Observability: Was bei jedem Aufruf ins Log gehört

Die Margen im KI-Geschäft sind dünner als bei klassischer Software – Bessemer beziffert die Bruttomargen von KI-Unternehmen auf 50–60 %, bei SaaS sind es 80–90 % (SaaS Mag). Inferenz ist echter Wareneinsatz und verdient dieselbe Disziplin wie Cloud-Kosten.

Ein sinnvolles Minimum pro Anfrage:

Bei Agenten gehören Traces ins Log, nicht nur einzelne Aufrufe: Eine Nutzeranfrage kann zehn Modell- und fünf Tool-Aufrufe auslösen, die Sie als einen Baum sehen müssen. Langfuse oder Helicone für Tracing, Sentry für Fehler und PostHog für Produktanalysen sind eine bewährte Kombination in produktiven KI-Paketen (HouseofMVPs).

Die Latenz verdient ein eigenes Dashboard. In LangChains State of Agent Engineering 2026 ist Qualität die Hürde Nummer eins auf dem Weg in den Produktivbetrieb (32 %), Latenz die Nummer zwei (rund 20 %) (LangChain-Umfrage). Am Telefon ist die Messlatte brutal: Menschen lassen zwischen zwei Redebeiträgen etwa 200 Millisekunden Pause (PNAS), Pipelines aus Spracherkennung, LLM und Sprachsynthese kommen derzeit auf rund eine Sekunde (DevToolLab). Beobachten Sie das 95. Perzentil, nicht den Durchschnitt.

Logs sind personenbezogene Daten

Prompts und Antworten enthalten oft Namen, E-Mail-Adressen, Bestelldaten oder Gesundheitsinformationen. Nach der DSGVO heißt das: definierter Zweck, Löschfrist, Zugriffskontrolle und idealerweise Schwärzung vor dem Speichern. Halten Sie Logs in der EU, wenn Ihre Nutzer in der EU sind, führen Sie jeden Modellanbieter als Unterauftragsverarbeiter in Ihrem Auftragsverarbeitungsvertrag (AVV) und legen Sie vorab fest, wer Rohgespräche lesen darf – und dokumentieren Sie das im Verzeichnis der Verarbeitungstätigkeiten.

Ein deutsches Spezifikum: Lassen die Logs Rückschlüsse auf Verhalten oder Leistung von Beschäftigten zu – etwa bei einem internen Assistenten, den Ihre Mitarbeitenden nutzen –, hat der Betriebsrat nach § 87 Abs. 1 Nr. 6 BetrVG ein Mitbestimmungsrecht. Binden Sie ihn früh ein; eine klare Betriebsvereinbarung zu Zweck, Zugriff und Löschung spart später viel Zeit.

Ausfallsicherheit: Fallbacks, Timeouts, kontrollierte Degradation

Anbieter haben Ausfälle, Ratenlimits und Latenzspitzen. Ein Gateway macht daraus Nicht-Ereignisse:

1. Timeouts je Anwendungsfall. Ein Gesprächsbeitrag am Telefon kann nicht zehn Sekunden warten, ein nächtlicher Batch-Job schon.
2. Wiederholungen mit Backoff für vorübergehende Fehler – aber nie unbegrenzt.
3. Eine Fallback-Kette. Dasselbe Modell in einer anderen Region oder über einen anderen Anbieter, dann ein vergleichbares Modell eines zweiten Herstellers, schließlich eine kontrollierte Degradation: höfliche Übergabe an einen Menschen oder ein Rückrufversprechen.
4. Ein Circuit Breaker. Fällt ein Anbieter wiederholt aus, wird der Verkehr für einige Minuten umgeleitet, statt Timeouts aufzustauen.

Ein Haken bleibt: Verschiedene Modelle reagieren unterschiedlich auf denselben Prompt. Ein nie getestetes Fallback-Modell ist ein verstecktes Qualitätsrisiko. Lassen Sie Ihre Evals gegen jedes Modell der Kette laufen und pflegen Sie bei Bedarf Prompt-Varianten pro Modell.

Selbst bauen, kaufen oder selbst hosten?

Bei den meisten mittelständischen Unternehmen in Deutschland landen wir bei einem selbst gehosteten Open-Source-Proxy in einem EU-Rechenzentrum, ergänzt um ein Tracing-Werkzeug und Routing-Regeln, die in Git versioniert sind. Dürfen bestimmte Daten Ihr Netz gar nicht verlassen, leitet dasselbe Gateway diese Anfragen an ein selbst gehostetes Modell – mehr dazu in unserem Leitfaden zu privaten und On-Premise-LLMs.

Einführung in sechs Schritten

1. Bestandsaufnahme. Jede Stelle erfassen, die ein Modell aufruft: Anwendungen, Skripte, Automatisierungen in n8n oder Make, Tools von Drittanbietern. Anbieter, Modell, Schlüsselverantwortlichen und die Kosten des Vormonats notieren.
2. Ein einziger Zugang. Alle Aufrufe hinter das Gateway legen, alte Schlüssel rotieren, Anbieter-Schlüssel aus Code und Automatisierungstools entfernen.
3. Alles taggen. Jede Anfrage trägt Anwendung, Funktion, Kunde und Umgebung. Ohne Tags sind die Schritte 4 bis 6 unmöglich.
4. Zwei Wochen Baseline. Kosten pro Funktion, Kosten pro Ergebnis, p95-Latenz, Fehler- und Fallback-Quoten. Das ist Ihr Vorher-Bild.
5. Mit Evals optimieren. Aufgaben nur dort auf leichtere Modelle verlagern, wo die Evals gleiche Qualität bestätigen; Caching und Kontextlimits ergänzen; Budgets und Warnungen setzen.
6. Betreiben. Monatlicher Kosten- und Qualitätsbericht, quartalsweise Modellüberprüfung, Warnungen an eine benannte Person. Das ist der Kern von AI Ops nach dem Launch.

Für ein kleines oder mittleres Unternehmen schafft ein fokussiertes Team die Schritte 1 bis 4 meist in ein bis zwei Wochen. In Schritt 5 entstehen die Einsparungen, in Schritt 6 bleiben sie erhalten.

Typische Fehler

• Das Gateway wird zum Single Point of Failure. Redundant betreiben und überwachen wie jeden anderen kritischen Dienst.
• Alles für immer protokollieren. Vollständige Prompts mit personenbezogenen Daten ohne Löschkonzept sind ein DSGVO-Problem mit Ansage.
• Wechsel auf ein günstigeres Modell ohne Evals. Ersparnis auf der Rechnung, Verlust beim Kundenvertrauen.
• Semantisches Caching personalisierter Antworten. Der Bestellstatus eines Kunden bei einem anderen ist eine Datenpanne.
• Budgets ohne Verantwortliche. Eine Warnung, die in einem Sammelpostfach landet, ist keine Warnung.
• Embeddings, Sprach- und Bildaufrufe vergessen. Sie laufen oft außerhalb des „LLM“-Budgets und wachsen unbemerkt.
• Lock-in durch die Hintertür. Routing-Regeln und Konfiguration im eigenen Repository halten, damit sich das Gateway-Produkt so leicht tauschen lässt wie ein Modell.

Fazit

Ein LLM-Gateway ist nicht glamourös, aber es macht den Unterschied zwischen KI als Experiment und KI als betriebenem System. Es bietet einen Ort, an dem Sie Modelle auswählen, Ausgaben deckeln, Anbieterausfälle überstehen und belegen, was jede Funktion kostet. Starten Sie mit Bestandsaufnahme und Tagging, messen Sie zwei Wochen lang – und lassen Sie dann Evals statt Bauchgefühl entscheiden, wo günstigere Modelle ausreichen.

Wenn Sie einen zweiten Blick auf Ihr aktuelles Setup wünschen: Unser Systems-Team plant und betreibt Gateways, Budgets und Observability für Unternehmen in der EU und den USA. Vereinbaren Sie ein kostenloses 15-Minuten-Audit – wir zeigen Ihnen, wohin Ihre Token-Ausgaben fließen und was Sie zuerst angehen sollten.