AI Ops: So bleiben KI-Systeme nach dem Launch zuverlässig

Die meisten KI-Projekte sind bis zum Launch durchgeplant. Dann beginnt die eigentliche Arbeit – und für die hat niemand geplant. In der Wissensbasis ändern sich Preise, der Modellanbieter spielt ein Update ein, Kunden fragen plötzlich nach einem neuen Produkt, ein CRM-Feld wird umbenannt, und der Agent, der in Woche eins glänzte, wird unbemerkt schlechter.

Marktdaten zeigen, wie oft das schiefgeht. Berichte über KI-Projekte im russischsprachigen Raum beschreiben ein bekanntes Muster: Nach sechs Monaten ist kein Nutzen mehr sichtbar, die Belegschaft ist genervt, Kunden beschweren sich, das Budget ist überschritten (CNews). Gartner erwartet, dass bis Ende 2027 mehr als 40 % der agentischen KI-Projekte eingestellt werden (Gartner). Unternehmen, die KI als betriebenes System verstehen, investieren gezielt gegen: Im KPMG-Pulse für das dritte Quartal 2026 setzen 70 % der großen US-Unternehmen Dashboards, Monitoring und Qualitätsbewertung für ihre Agenten ein, 43 % arbeiten mit Token-Budgets (KPMG).

AI Ops ist die Disziplin, die KI-Systeme nach dem Launch korrekt, bezahlbar, sicher und regelkonform hält. Hier erfahren Sie, was dazugehört, was Sie überwachen sollten, was es kostet und wie Sie es aufsetzen.

Warum KI-Systeme nach dem Launch nachlassen

1. Wissensdrift

Preise, Richtlinien, Öffnungszeiten und Sortimente ändern sich – die Wissensbasis aktualisiert sich nicht von selbst. Veraltetes Wissen ist die häufigste Ursache für Halluzinationen Monate nach dem Launch. Und sobald Kunden das System bei einem Fehler ertappen, sinkt das Vertrauen schnell.

2. Modelldrift

Anbieter aktualisieren Modelle, ändern Standardversionen und kündigen ältere Modelle nach eigenem Zeitplan ab. Derselbe Prompt liefert dann plötzlich längere Antworten, nutzt Tools anders oder schlägt einen neuen Ton an. Zeigt Ihr System auf einen „latest“-Alias, kann es sich verändern, ohne dass sich eine einzige Zeile Ihres eigenen Codes ändert.

3. Drift bei den Anfragen

Neue Produkte, eine Marketingkampagne, eine Saisonspitze oder ein neuer Markt bringen Fragen, die das System nie gesehen hat. Eine Abdeckung von 80 % im ersten Monat kann im sechsten bei 60 % liegen, ohne dass technisch etwas kaputt ist.

4. Brüchige Integrationen

CRM-Felder werden umbenannt, API-Versionen laufen aus, OAuth-Tokens verfallen, ein Webhook ändert sein Format. Agenten scheitern hier gern lautlos: Sie antworten weiter höflich, legen aber kein Ticket und keinen Termin mehr an.

5. Kostendrift

Die Nutzung wächst, Gespräche werden länger, jemand schaltet „vorübergehend“ ein größeres Modell ein. Allein wachsender Kontext kann lange Telefon-Sessions pro Minute deutlich teurer machen als kurze – in einer Messung bis zu 0,146 US-Dollar pro Minute bei typischen 0,05–0,08 US-Dollar (HackerNoon).

6. Kanal- und Infrastrukturprobleme

Telefonie bringt eigene Fehlerbilder mit: Latenzspitzen auf geteilter Infrastruktur; Grenzen für parallele Anrufe – Retell zum Beispiel enthält 20 gleichzeitige Gespräche und berechnet jede weitere Leitung extra (Retell); und in den USA markieren Netzbetreiber Geschäftsnummern ohne Branding als „Spam Likely“.

Frühwarnzeichen

Ein großer, dramatischer Ausfall ist selten. Achten Sie stattdessen auf kleine Signale: Die Eskalationsquote steigt monatlich um ein paar Punkte; Mitarbeitende prüfen die Arbeit des Agenten „sicherheitshalber“ nach; Kunden schreiben „Das habe ich Ihrem Bot doch schon gesagt“; die Monatsrechnung wächst schneller als die Zahl der Gespräche. Früh erkannt, ist jedes dieser Signale günstig zu beheben – teuer wird es, wenn es als Beschwerde Ihres größten Kunden auftaucht.

Die fünf Säulen von AI Ops

Was Sie überwachen sollten: ein praxistaugliches Kennzahlenset

Geschäftsergebnisse – die Zahlen, die die Geschäftsführung interessieren:

• Lösungs- oder Automatisierungsquote, gebuchte Termine, verarbeitete Dokumente;
• Eskalationsquote an Menschen und die Gründe dafür;
• erneute Kontakte innerhalb von 48 Stunden – ein gelöstes Ticket, das zurückkommt, war nicht gelöst.

Qualität:

• Online-Eval-Scores auf einer täglichen oder wöchentlichen Stichprobe echter Gespräche (siehe unseren Leitfaden zu KI-Evals);
• Quellentreue und Halluzinationsmarker, Regelverstöße;
• Nutzerfeedback und manuelle Korrekturen in nachgelagerten Systemen.

Technik:

• Fehler- und Timeout-Quoten pro Anbieter und pro Tool;
• p95-Latenz – am Telefon liegt das Ziel bei rund einer Sekunde pro Gesprächswechsel, denn Menschen lassen normalerweise nur etwa 200 Millisekunden Pause (PNAS);
• Fallback-Quote, die Anbieterprobleme zeigt, bevor Nutzer sie bemerken.

Kosten:

• Kosten pro Ergebnis – pro gelöstem Ticket, Termin oder Dokument;
• Tokens pro Gespräch und Cache-Trefferquote;
• Budgetverbrauch gegen Monatslimits, idealerweise durchgesetzt von einem LLM-Gateway.

Sicherheit:

• abgewehrte Injection-Versuche, ungewöhnliche Tool-Aufrufe, Massenabfragen von Daten, neue Ziele für ausgehenden Verkehr (siehe Abwehr von Prompt Injection).

Klassische Qualitätssicherung im Contact Center prüft typischerweise nur 1–2 % der Anrufe (AssemblyAI). Automatisierte Bewertung macht es realistisch, jedes Gespräch anzusehen und nur die markierten an Menschen weiterzugeben. Ein Hinweis für deutsche Unternehmen: Werten Sie dabei auch Gespräche oder Nutzungsdaten Ihrer Beschäftigten aus, hat der Betriebsrat nach § 87 Abs. 1 Nr. 6 BetrVG mitzubestimmen – planen Sie das von Anfang an ein.

Änderungsmanagement: KI-Änderungen wie Releases behandeln

Die meisten KI-Vorfälle sind hausgemacht: eine Prompt-Änderung am Freitagnachmittag, ein ungeprüft importierter Dokumentenstapel, ein Modellwechsel, „weil es günstiger ist“. Die Abhilfe ist unspektakulär und wirksam:

1. Alles versionieren: Prompts, Tool-Definitionen, Retrieval-Einstellungen, auf exakte Versionen fixierte Modell-IDs, Snapshots der Wissensbasis.
2. Jede Änderung durch Evals absichern. Kein Release, wenn kritische Kennzahlen sinken.
3. Schrittweise ausrollen. Schattenbetrieb – die neue Version antwortet parallel und wird nur protokolliert – oder ein Canary mit 5–10 % des Verkehrs vor der vollständigen Umstellung.
4. Rollback mit einem Klick bereithalten.
5. Modell-Upgrades planen. Kündigt ein Anbieter eine neue Version oder ein Abschaltdatum an, die komplette Eval-Suite laufen lassen, Kosten und Latenz vergleichen und den Wechsel terminieren. Nicht bis zur Frist warten.
6. Der Wissensbasis eine Verantwortliche und einen Kalender geben. Jemand im Fachbereich verantwortet Preise, Richtlinien und Produktdaten; Änderungen erreichen die KI nach festem Rhythmus und mit kurzer Prüfung.

Vorfallmanagement: wenn die KI danebenliegt

Früher oder später wird das System einem Kunden etwas Falsches sagen. Entscheidend ist, wie schnell Sie es bemerken, eindämmen und daraus lernen:

• Schweregrade. Ein holpriger Satz ist etwas anderes als eine falsche Preiszusage oder die Daten eines anderen Kunden in einer Antwort.
• Notschalter. Eine Möglichkeit, Aktionen – Erstattungen, Buchungen, E-Mails – abzuschalten und informative Antworten weiterlaufen zu lassen oder alles an Menschen zu leiten.
• Übergabe an Menschen. Klare Eskalation bei geringer Konfidenz oder wenn der Kunde eine Person verlangt.
• Post-Mortem. Was ist passiert, warum haben die Evals es nicht erkannt, und welcher neue Testfall schützt künftig davor?
• Rechtliche Prüfung. Sind personenbezogene Daten betroffen, greifen die Verfahren für Datenschutzverletzungen nach DSGVO. In der EU zudem prüfen, ob der nach Artikel 50 AI Act vorgeschriebene KI-Hinweis vorhanden war.

Der AI-Ops-Kalender

Ein laufendes System übernehmen: die ersten 30 Tage

Viele Unternehmen kommen mit einem System zu AI Ops, das bereits produktiv ist – gebaut von einer früheren Agentur, einem internen Hackathon-Team oder einem Anbieter, der weitergezogen ist. Ein pragmatischer 30-Tage-Plan:

1. Woche 1 – Bestandsaufnahme und Zugänge. Alle Prompts, Workflows, Integrationen, API-Schlüssel und Anbieterkonten einsammeln. Schlüssel in einen Secrets-Manager überführen und sicherstellen, dass die Anbieterkonten Ihrem Unternehmen gehören und nicht an der privaten E-Mail-Adresse eines Freelancers hängen. Dokumentieren, welche Modellversionen tatsächlich laufen.
2. Woche 2 – Ausgangswert. Tracing und Kostenprotokollierung einschalten, falls sie fehlen. Eine Stichprobe von 100–200 aktuellen Gesprächen oder Dokumenten ziehen und von Hand oder mit einem kalibrierten Richter bewerten. Das ist Ihr ehrliches Vorher-Bild – oft ernüchternd.
3. Woche 3 – Sicherheitsnetz. Aus dieser Stichprobe einen ersten Eval-Datensatz bauen, inklusive der gefundenen Fehler. Budgetalarme, einen Notschalter für Aktionen und eine klare Übergabe an Menschen ergänzen. Modellversionen fixieren.
4. Woche 4 – schnelle Erfolge und Fahrplan. Die häufigsten Fehlerursachen beheben – meist veraltetes Wissen, eine kaputte Integration oder eine fehlende Eskalationsregel. Danach Monatsrhythmus, Verantwortliche auf beiden Seiten und die Kennzahlen jedes Berichts vereinbaren.

Nach 30 Tagen wissen Sie, was das System wirklich tut, was es kostet und wo es scheitert – der Ausgangspunkt für jede Verbesserung.

Was AI Ops kostet – und wer es machen sollte

Orientierungswerte am Markt für den laufenden KI-Betrieb:

Zum Vergleich: Eine erfahrene KI-Entwicklerin im eigenen Haus kostet inklusive Nebenkosten rund 8.300 US-Dollar im Monat (Lets-Viz) – und eine einzelne Person kann Bereitschaft, Evals, Integrationen und Compliance nicht allein abdecken. Für klassische Software werden für die vollständige Wartung oft 15–30 % der Entwicklungskosten pro Jahr angesetzt (BPA Develop). KI-Systeme liegen am oberen Ende, weil ihre Qualität laufend neu gemessen werden muss, statt sie nur am Laufen zu halten.

Wer sollte es übernehmen? Meist eine Aufteilung. Ihr Team verantwortet die fachliche Seite: Inhalte der Wissensbasis, Regeln, die Bearbeitung von Eskalationen und das letzte Wort bei Änderungen. Ein internes Plattformteam oder ein externer Partner verantwortet Monitoring, Evals, Modell-Updates, Kostenkontrolle und Vorfälle. Wie auch immer Sie aufteilen: Halten Sie es schriftlich fest – Reaktionszeiten, was als Vorfall gilt, welche Kennzahlen berichtet werden und, falls Sie pro Ergebnis zahlen, was genau als „gelöst“ zählt. Die Analysten von HFS erwarten, dass genau diese Definition zum nächsten großen Streitpunkt in Service-Level-Vereinbarungen wird (HFS Research).

Typische Fehler

• Keine Verantwortlichen im Fachbereich – die Wissensbasis veraltet vom ersten Tag an.
• Nur die Verfügbarkeit überwachen. Das System ist „grün“, während die Antworten schlechter werden.
• Auf „latest“-Aliasse zeigen, ohne bei jedem Wechsel Evals laufen zu lassen.
• Vorfälle beheben, ohne Testfälle zu ergänzen – derselbe Fehler kommt wieder.
• Keine Budgetalarme, bis die Rechnung kommt.
• Verträge ohne SLA-Definitionen für Reaktionszeiten und Ergebnisse.
• AI Ops als optional betrachten und bei knappem Budget zuerst streichen – genau dann, wenn die Drift zu wirken beginnt.

Fazit

Ein KI-System ähnelt eher einem neuen Teammitglied als einer Software: Es braucht Einarbeitung, Begleitung, regelmäßiges Feedback und Updates, sobald sich das Geschäft ändert. AI Ops macht daraus Routine – Monitoring, Evals, Kostenkontrolle, disziplinierte Releases und ein ruhiger Umgang mit Vorfällen. Planen Sie es von Anfang an ein, benennen Sie klare Verantwortliche, und Ihre KI ist im zwölften Monat besser als im ersten statt leise schlechter. Ist Ihr Projekt nie so weit gekommen, lesen Sie, warum KI-Piloten stecken bleiben und wie sie in den Betrieb kommen.

Unser Systems-Team übernimmt AI Ops für Service-, Voice- und Dokumenten-Agenten – Monitoring, monatliche Evals, Kostenberichte und Modell-Upgrades, mit Ihren Daten in Ihren eigenen Konten. Vereinbaren Sie ein kostenloses 15-Minuten-Audit – wir prüfen den Zustand Ihres KI-Systems und zeigen Ihnen die drei Punkte, die Sie zuerst angehen sollten.