Jedes Unternehmen hat dasselbe Problem in anderer Form: Die Antwort existiert, aber niemand findet sie. Die aktuelle Preisliste liegt in einem SharePoint-Ordner, die Ausnahmeregel auf einer Confluence-Seite von 2024, das technische Detail in einem geschlossenen Ticket und die eigentliche Erklärung im Kopf eines Kollegen. Neue Mitarbeitende stellen dieselben Fragen, erfahrene beantworten sie wieder und wieder.
Ein Wissensassistent auf Basis von Retrieval-Augmented Generation (RAG) verspricht Abhilfe: in normaler Sprache fragen, eine Antwort aus den eigenen Dokumenten erhalten – mit Link zur Quelle. Die Nachfrage ist real: In der Anthropic-Umfrage 2026 nannten 41 % der technischen Führungskräfte das Wissensmanagement unter den wirksamsten Einsätzen von KI-Agenten (Anthropic).
Gleichzeitig ist der interne Chatbot das KI-Projekt, das am häufigsten in der Schublade landet. Die Demo beeindruckt, dann sinkt die Nutzung – weil Antworten veraltet sind, Berechtigungen durchlässig sind oder niemand beurteilen kann, ob eine Antwort stimmt. Dieser Leitfaden zeigt die Architektur, die diese Fehler vermeidet, die Kosten 2026 und den Weg zur Einführung.
Wie RAG funktioniert – einfach erklärt
- Einlesen. Konnektoren holen Dokumente aus Ihren Systemen und halten sie synchron, inklusive Änderungen und Löschungen.
- Aufbereiten und zerlegen. Dokumente werden in sauberen Text umgewandelt und in Passagen geteilt, die Überschriften, Tabellen und Zusammenhang erhalten.
- Indexieren. Jede Passage wird mit einem Embedding (einer numerischen Darstellung der Bedeutung) sowie mit Schlagworten und Metadaten wie Quelle, Datum, Sprache und Zugriffsrechten gespeichert.
- Suchen. Bei einer Frage findet das System die relevantesten Passagen, die die fragende Person sehen darf.
- Neu sortieren. Ein zweites, genaueres Modell ordnet die Kandidaten so, dass die besten Belege oben stehen (Reranking).
- Antworten. Das Sprachmodell formuliert die Antwort ausschließlich aus diesen Passagen und zitiert sie.
- Protokollieren und bewerten. Fragen, gefundene Quellen, Antworten, Feedback, Latenz und Kosten werden erfasst, damit sich Qualität messen lässt.
Das Modell ist nur Schritt sechs. Der Großteil der Qualität – und der Arbeit – steckt in den anderen sechs.
Referenzarchitektur
| Schicht | Aufgabe | Typische Wahl | Kernentscheidung |
|---|---|---|---|
| Konnektoren | Synchronisation aus Confluence, SharePoint, Google Drive, Notion, Ticketsystem, CRM | Native APIs, MCP-Server | Inkrementelle Synchronisation und Weitergabe von Löschungen |
| Aufbereitung und Zerlegung | Macht aus PDFs, Folien und Tabellen saubere Passagen | Layout-bewusste Parser | Tabellen und Überschriften zusammenhalten |
| Index | Speichert Passagen für die Suche | Postgres mit pgvector, OpenSearch, Qdrant | Hybride Suche: semantisch plus Stichwort |
| Berechtigungen | Filtert Ergebnisse auf das, was die Person sehen darf | Abgleich von Zugriffslisten, SSO-Gruppen | Durchsetzung bei der Suche, nie nur im Prompt |
| Modell | Formuliert die Antwort | Cloud-Modelle (OpenAI, Anthropic, Google) oder EU- und selbst gehostet (Mistral) | Hinter einem Gateway austauschbar halten |
| Leitplanken | Nur aus Quellen antworten, sonst ablehnen | Systemanweisungen, Ausgabeprüfungen | Ein klarer Weg für „Das weiß ich nicht“ |
| Evaluierung und Beobachtbarkeit | Misst Qualität, Kosten und Latenz | Langfuse, Helicone, eigene Dashboards | Testdatensatz ab Tag eins |
| Oberfläche | Wo gefragt wird | Teams, Slack, Intranet, Seitenleiste im Ticketsystem | Dort, wo die Menschen ohnehin arbeiten |
Berechtigungen sind der schwierige Teil
Integrationen und Zugriffssteuerung beanspruchen typischerweise 40–60 % des Budgets eines RAG-Projekts (ment.tech). Der Grund ist einfach: Kann der Assistent Personalakten, Vorstandsprotokolle oder Gehaltsdaten lesen, wird irgendwann jemand die Frage stellen, die sie zutage fördert. Berechtigungen müssen bei der Suche durchgesetzt werden – auf Basis der tatsächlichen Rechte im Quellsystem. Die Anweisung „Gib keine vertraulichen Daten preis“ an das Modell ist keine Zugriffssteuerung.
Suchqualität schlägt Modellwahl
Die meisten falschen Antworten entstehen nicht durch ein schwaches Modell, sondern durch die falschen Passagen. Bewährte Hebel: hybride Suche (semantische Ähnlichkeit plus exakte Stichworte, wichtig für Artikelnummern und Namen), Reranking, Metadatenfilter (Land, Produktlinie, Gültigkeitsdatum) und eine Zerlegung, die eine Tabelle mit ihrer Überschrift zusammenhält.
Quellen und „Das weiß ich nicht“
Jede Antwort sollte auf ihre Quellen verlinken, damit Nutzer sie mit einem Klick prüfen können. Genauso wichtig: Findet die Suche nichts Relevantes, muss der Assistent das sagen und einen Ansprechpartner vorschlagen, statt zu improvisieren. Ein ehrliches „Das weiß ich nicht“ schafft mehr Vertrauen als eine flüssige Vermutung.
Konnektoren über MCP
Das Model Context Protocol hat sich als Standard etabliert, um KI-Systeme mit Unternehmenswerkzeugen zu verbinden. Seit Dezember 2025 wird es von der Agentic AI Foundation unter dem Dach der Linux Foundation verwaltet (MCP-Blog), und es gibt über 10.000 öffentliche MCP-Server (Digital Applied). Das verkürzt die Konnektorarbeit, aber jeder Server braucht eine Sicherheitsprüfung. Wie man ihn sicher anbindet, erklärt unser Beitrag zu MCP-Integrationen.
Einsatzfelder nach Team
Dieselbe Architektur dient sehr unterschiedlichen Teams. Es ändern sich Quellen, Berechtigungsmodell und die Definition einer guten Antwort.
| Team | Typische Fragen | Hauptquellen | Was den Erfolg ausmacht |
|---|---|---|---|
| Kundenservice | „Welche Garantie gilt für Modell X in Österreich?“ | Hilfecenter, Richtlinien, Produktdaten, gelöste Tickets | Aktuelle Richtlinien, Zitate zum Einfügen |
| Vertrieb und Pre-Sales | „Unterstützen wir Single Sign-on? Welche Referenzkunden gibt es in der Logistik?“ | Produktdokumentation, Sicherheitsantworten, Fallstudien | Freigegebene Formulierungen, Versionsdaten |
| Personal und Onboarding | „Wie beantrage ich Elternzeit?“ | Handbuch, Richtlinien, Formulare | Strikte Trennung von Personalakten |
| IT-Helpdesk | „Wie verbinde ich das neue Notebook mit dem VPN?“ | Runbooks, frühere Tickets | Schritt-für-Schritt-Antworten, Links zu Formularen |
| Technik und Service | „Anzugsdrehmoment für diese Baugruppe? Wartungsintervall?“ | Handbücher, Spezifikationen, Serviceberichte | Tabellentaugliche Aufbereitung, exakte Werte, Option für On-Premise |
RAG oder Fine-Tuning?
In frühen Gesprächen taucht oft die Frage auf, ob man „das Modell nicht einfach mit unseren Daten trainieren“ könne. Für Unternehmenswissen lautet die Antwort meist nein. Fine-Tuning verändert, wie ein Modell schreibt, klassifiziert oder einem Format folgt; Fakten lernt es damit nicht zuverlässig, es kann keine Quelle nennen und muss bei jeder Dokumentänderung wiederholt werden. Schlimmer noch: Berechtigungen kennt es nicht – was im Modell steckt, steht allen Nutzern zur Verfügung.
RAG hält Wissen außerhalb des Modells, aktuell und zuordenbar. Fine-Tuning kann später eine Rolle spielen, etwa damit ein kleineres, günstigeres Modell Ihr Antwortformat einhält – aber als Optimierung, nicht als Fundament.
Kaufen oder selbst bauen?
Eingebaute Assistenten – Microsoft Copilot, Assistenten in Confluence, Notion oder im Ticketsystem – funktionieren gut, wenn fast das gesamte Wissen in einer Suite mit deren Berechtigungsmodell liegt. Microsoft Copilot Studio kostet beispielsweise 200 US-Dollar pro 25.000 Credits (CloudZero).
Ein individueller Assistent lohnt sich, wenn:
- Wissen über mehrere Systeme verteilt ist, die kein einzelner Anbieter abdeckt;
- Berechtigungen komplex sind, etwa nach Land, Mandant oder Projekt;
- mehrere Sprachen mit gleicher Qualität gebraucht werden;
- Daten in der EU oder auf eigenen Servern bleiben müssen;
- Antworten zu Aktionen führen sollen, etwa ein Ticket anlegen oder einen CRM-Datensatz ändern;
- Sie eine messbare Genauigkeit je Fachgebiet brauchen statt eines allgemeinen Eindrucks.
Der einfache „Chat mit unseren Dokumenten“ wird zur Standardware. Der Wert einer Individuallösung liegt in dem, was ein generisches Werkzeug nicht leistet: Ihre Berechtigungen, Ihre Quellen, Ihre Qualitätsmessung.
Was es 2026 kostet
| Stufe | Typischer Umfang | Europa | USA | Zeitrahmen |
|---|---|---|---|---|
| Einstieg | 1–3 Quellen, Quellenangaben, Web- oder Chat-Widget | 7.000–14.000 Euro plus 180–380 Euro im Monat | 15.000–30.000 US-Dollar | Proof of Concept in etwa 2 Wochen |
| Business | 5–10 Quellen, Berechtigungen, CRM-Anbindung | 14.000–28.000 Euro | 40.000–75.000 US-Dollar | Produktivbetrieb in 4–8 Wochen |
| Enterprise | Mandantenfähig, Compliance, Aktionen in ERP oder CRM | 28.000–45.000 Euro | 80.000–150.000 US-Dollar und mehr | 2–4 Monate mit ERP oder CRM |
Quellen: LSI Analytics für Europa, ment.tech für die USA.
Die Betriebskosten für Token und Hosting liegen typischerweise bei 180–700 Euro im Monat (LSI Analytics); im größeren Maßstab gibt ein durchschnittlicher Agent 50–500 US-Dollar im Monat für Modelle aus (Lets-Viz). Planbar bleiben sie, wenn einfache Fragen an günstigere Modelle gehen, häufige Antworten zwischengespeichert werden und Budgets mit Alarmen gelten. Siehe unseren Beitrag zu LLM-Gateway und Kostenkontrolle.
Qualität messen mit Evals
Sammeln Sie vor dem Start 100–200 echte Fragen der Teams, die den Assistenten nutzen werden – mit der richtigen Antwort und dem Quelldokument, bestätigt von der jeweils verantwortlichen Person. Dieser Testdatensatz ist Ihr Qualitätsvertrag.
| Kennzahl | Beantwortete Frage |
|---|---|
| Trefferquote der Suche | War das richtige Dokument unter den obersten Ergebnissen? |
| Antwortkorrektheit | Ist die Antwort laut Fachverantwortlichem sachlich richtig? |
| Zitatgenauigkeit | Stützen die zitierten Passagen die Antwort tatsächlich? |
| Korrekte Ablehnungen | Sagt der Assistent „Das weiß ich nicht“, wenn die Antwort nicht in den Quellen steht? |
| Berechtigungstests | Sieht eine Person ohne Zugriff keinerlei Spur gesperrter Inhalte? |
| Latenz und Kosten pro Antwort | Schnell und günstig genug für den Alltag? |
| Nutzung und Feedback | Kommen die Menschen wieder, und was melden sie? |
Lassen Sie den Datensatz nach jeder Änderung an Prompts, Modellen, Zerlegung oder Quellen erneut laufen. Ohne ihn ist jede „Verbesserung“ eine Vermutung. Das Vorgehen beschreibt unser Beitrag zu KI-Evaluierungen.
Datenschutz und Hosting in Europa
Europäische Käufer achten darauf, woher ihre KI kommt: Nach Deloitte-Daten berücksichtigen 77 % der Unternehmen das Herkunftsland des KI-Anbieters, 66 % sorgen sich um die Abhängigkeit von ausländischer KI (DEV Community). In Deutschland sind Datenschutzanforderungen für 66 % der Unternehmen, die KI bereits nutzen, die größte Hürde (Bitkom).
Drei Hauptoptionen:
- Cloud-Modell mit Datenverarbeitung in der EU und Auftragsverarbeitungsvertrag – der schnellste Start mit den stärksten Modellen.
- EU-gehostete Modell-Endpunkte – das Modell läuft in einer EU-Region, mit vertraglichen Zusagen zur Datennutzung.
- Selbst betriebene Open-Weight-Modelle (etwa Mistral) auf eigenen oder EU-Servern – maximale Kontrolle, mehr Betriebsaufwand.
Unabhängig von der Wahl: Indexieren Sie nicht alles (Personalakten und personenbezogene Daten gehören selten in einen allgemeinen Assistenten), legen Sie Löschfristen für Protokolle fest und sorgen Sie dafür, dass Löschungen im Quellsystem im Index ankommen – sonst wird das Recht auf Löschung nach der DSGVO zum Problem. Für den selbst gehosteten Weg siehe private und On-Premise-LLMs.
Typische Fallstricke
- Veraltete Quellen. Gehört der Inhalt niemandem, wiederholt der Assistent selbstbewusst die Preise vom letzten Jahr. Jede Quelle braucht eine verantwortliche Person und ein Prüfdatum.
- Lücken bei Berechtigungen. Suche ohne Zugriffsfilter ist ein Datenleck, das nur auf die richtige Frage wartet.
- Alles indexieren. Mehr Dokumente bedeuten nicht bessere Antworten. Beginnen Sie mit den Quellen, die wirklich gebraucht und gepflegt werden.
- Zerstörte Tabellen und Scans. Preislisten und Spezifikationen stecken oft in Tabellen; schlechte Aufbereitung macht daraus Rauschen.
- Kein Testdatensatz. Ohne ihn kann niemand sagen, ob eine Änderung geholfen oder geschadet hat.
- Prompt Injection über Dokumente. Eine hochgeladene Datei oder Webseite kann Anweisungen an das Modell enthalten. Behandeln Sie Inhalte als Daten, beschränken Sie Werkzeuge und halten Sie sensible Aktionen hinter menschlicher Freigabe.
- Kein Einführungsplan. Bringen Sie den Assistenten dorthin, wo gearbeitet wird, schulen Sie 30 Minuten lang und veröffentlichen Sie, was er beantworten kann und was nicht.
- Abhängigkeit vom Anbieter. Index, Prompts und Testdatensätze gehören in Ihre eigenen Konten, damit Sie Modell oder Anbieter wechseln können.
Einführung in 6–8 Wochen
- Woche 1–2: Umfang festlegen. Ein Team und ein Fachgebiet wählen (etwa Kundenservice oder technischer Vertrieb), Quellen und Verantwortliche auflisten, Testfragen sammeln.
- Woche 2–4: aufbauen. Konnektoren, Aufbereitung, hybrider Index, Berechtigungen, erste Antworten mit Quellen; Messung am Testdatensatz.
- Woche 4–6: Pilot. Zehn bis dreißig echte Nutzer, tägliches Feedback, wöchentliche Evaluierungsläufe, Korrekturen an Quellen und Zerlegung.
- Woche 6–8: Start und Übergabe. Freigabe für das ganze Team, Monitoring, Kostenalarme und eine monatliche Inhaltsprüfung einrichten.
Fazit
Ein Wissensassistent steht und fällt mit unspektakulären Details: welche Quellen er liest, wer sie aktuell hält, ob Berechtigungen durchgesetzt werden und ob Qualität gemessen wird. Stimmen diese Punkte, wird die Modellwahl zu einem Detail, das sich später ändern lässt. Stimmen sie nicht, produziert auch das beste Modell selbstbewussten Unsinn.
Sie möchten eine realistische Einschätzung für Ihre Quellen, Berechtigungen und Hosting-Anforderungen? Buchen Sie einen kostenlosen 15-Minuten-Check. Wir sagen Ihnen, ob ein eingebauter Assistent reicht oder wo sich eine individuelle RAG-Lösung lohnt. Mehr zu unserer Arbeit an KI-Agenten und Systemintegration.