Private LLMs und On-Premise-KI für Unternehmen: wann und wie

Jedes Unternehmen in Europa, das sich mit KI beschäftigt, landet spätestens im ersten Meeting bei derselben Frage: Wohin gehen unsere Daten? 57 % der deutschen Unternehmen ab 20 Beschäftigten nutzen inzwischen KI – und von ihnen nennen 66 % Datenschutzanforderungen als Hürde, 56 % rechtliche Unsicherheit und 45 % das Risiko von Datenabflüssen (Bitkom). Europaweit berücksichtigen laut Deloitte 77 % der Unternehmen das Herkunftsland ihres KI-Anbieters, 66 % sorgen sich um die Abhängigkeit von ausländischer KI (DEV Community, Deloitte-Daten).

Die reflexhafte Antwort lautet: „Dann betreiben wir eben unser eigenes Modell on-premise.“ Manchmal ist das genau richtig. Oft ist es ein teurer Weg zu einem schwächeren Modell – bei gleichem Papierkram für die Compliance. Dieser Leitfaden zeigt das ganze Spektrum zwischen „öffentlichem Chatbot“ und „abgeschottetem Serverraum“, erklärt, wann welche Variante sinnvoll ist und was die Kosten treibt, und gibt Ihnen einen Fahrplan, der nicht mit dem Kauf von Hardware beginnt, die Sie vielleicht gar nicht brauchen.

„Private LLM“ ist ein Spektrum, kein Produkt

Zwei Punkte fallen auf. Erstens beantworten die Stufen 1 und 2 die meisten DSGVO-Fragen bereits, wenn die Verträge stimmen: Auftragsverarbeitungsvertrag (AVV), Liste der Unterauftragsverarbeiter, kein Training mit Ihren Daten und EU-Hosting, wo nötig. Zweitens ist der Schritt von Stufe 2 zu Stufe 3 kein Compliance-Schritt, sondern ein Betriebsschritt. Ab diesem Moment sind Sie für Verfügbarkeit, Sicherheitsupdates, Modellaktualisierungen und Kapazität verantwortlich.

Wann sich der Eigenbetrieb wirklich lohnt

Selbst-Hosting (Stufen 3 und 4) zahlt sich aus, wenn mindestens einer dieser Punkte zutrifft:

• Verträge oder Vorschriften schließen Dritte aus. Kundenverträge, die eine Verarbeitung außerhalb Ihrer Infrastruktur verbieten; Berufsgeheimnisträger wie Kanzleien, Arztpraxen oder Steuerberater mit ihren Pflichten nach § 203 StGB; öffentliche Ausschreibungen mit Souveränitätsanforderungen; F&E- oder M&A-Unterlagen, die Sie keinem Anbieter schicken würden.
• Das Volumen ist hoch und gleichmäßig. Zehntausende Dokumente pro Tag oder ein permanent genutzter interner Assistent halten GPUs ausgelastet. Ungenutzte GPUs sind die teuerste Art, KI zu betreiben.
• Sie brauchen Kontrolle über Versionen. Cloud-Anbieter aktualisieren und kündigen Modelle nach eigenem Zeitplan ab. Ein selbst betriebenes Modell ändert sich nur, wenn Sie es entscheiden – wertvoll für validierte Abläufe.
• Die Anbindung ist eingeschränkt. Werkhallen, Lager, Schiffe oder Außenstandorte mit unzuverlässigem Internet.

Meist die falsche Wahl ist der Eigenbetrieb, wenn das Volumen gering oder stark schwankend ist, wenn die Aufgabe das stärkste verfügbare Schlussfolgern braucht – komplexe Analysen, lange mehrstufige Agenten – oder wenn intern niemand einen GPU-Dienst rund um die Uhr verantworten kann.

In der Praxis landen die meisten europäischen Unternehmen, mit denen wir arbeiten, bei einem Hybrid: Frontier-Modelle aus der Cloud für allgemeine Aufgaben und ein Open-Weight-Modell im EU-Rechenzentrum für den sensiblen Teil. Das entspricht dem Muster im Markt – OpenAI, Anthropic oder Google in der Cloud für den Alltag, Llama oder Mistral auf eigenen Servern für sensible Aufgaben (HouseofMVPs, ment.tech).

Ein typisches Szenario

Nehmen wir eine Steuerberatungskanzlei mit 40 Mitarbeitenden. Für E-Mail-Entwürfe, Zusammenfassungen von Fachartikeln und interne Fragen zu Abläufen genügt eine Enterprise-API mit AVV und EU-Hosting – hier steckt kein Mandantengeheimnis drin. Für die Auswertung von Mandantenunterlagen, Bescheiden und Lohndaten dagegen läuft ein Open-Weight-Modell auf einem gemieteten GPU-Server in einem deutschen Rechenzentrum. Ein Gateway erkennt anhand der Datenquelle, welcher Weg zulässig ist. Ergebnis: Die Mitarbeitenden arbeiten mit einer Oberfläche, die Kanzlei behält die Kontrolle über das, was das Haus nicht verlassen darf, und die GPU-Kosten fallen nur für den Teil an, der sie wirklich braucht.

Die Rechtslage auf einer Seite (keine Rechtsberatung)

Selbst-Hosting ändert, wohin Ihre Daten fließen. Ihre Pflichten schaltet es nicht ab.

• DSGVO. Sie brauchen weiterhin eine Rechtsgrundlage, Zweckbindung, Löschfristen und Zugriffskontrolle. Bei externen Anbietern kommen ein AVV nach Art. 28 und eine Liste der Unterauftragsverarbeiter hinzu. Für Verarbeitungen mit hohem Risiko – Gesprächsaufzeichnungen, Stimmbiometrie, Gesundheitsdaten – ist eine Datenschutz-Folgenabschätzung (DSFA) nötig. Möglichst wenige Übermittlungen in die USA sind zugleich ein rechtliches und ein vertriebliches Argument.
• EU AI Act, Transparenz. Artikel 50 gilt seit dem 2. August 2026: Menschen müssen erfahren, dass sie mit einem KI-System interagieren, synthetische Inhalte müssen gekennzeichnet werden (AI Act, Artikel 50).
• EU AI Act, Hochrisiko. Nach dem Digital Omnibus (Verordnung 2026/1744) greifen die Pflichten für Hochrisiko-Systeme nach Anhang III – Personalauswahl, Kreditwürdigkeit, Bildung, grundlegende Dienste – ab dem 2. Dezember 2027 (ActuIA). Sie hängen am KI-System und seiner Verwendung, nicht am Standort des Modells.
• Modellanbieter. Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck gelten seit dem 2. August 2025. Betreiben Sie lediglich ein vorhandenes Open-Weight-Modell, liegen sie überwiegend beim Herausgeber; wesentliche Veränderungen wie umfangreiches Fine-Tuning sollten Sie rechtlich genauer prüfen lassen.
• Bußgelder. Bis zu 35 Mio. € oder 7 % des weltweiten Umsatzes bei verbotenen Praktiken, bis zu 15 Mio. € oder 3 % bei den meisten anderen Verstößen – für KMU gilt jeweils der niedrigere Betrag (ActuIA).
• Aufsicht in Deutschland. Seit dem 29. Juli 2026 ist nach dem KI-MIG die Bundesnetzagentur für die KI-Marktüberwachung zuständig.

Fristen, Pflichten und eine praktische Checkliste finden Sie in unserem Leitfaden zum EU AI Act für kleine und mittlere Unternehmen.

Ein Modell wählen, das Sie selbst betreiben können

Open-Weight-Modelle – darunter Llama, Mistral, Qwen, DeepSeek und OpenAIs gpt-oss – lassen sich herunterladen und auf eigener Hardware betreiben. Mistral, Aleph Alpha und LightOn sind die europäischen Namen, die Einkäufer aus Souveränitätsgründen am häufigsten auf die Liste setzen (DEV Community, Deloitte-Daten).

Drei Regeln aus der Praxis:

1. In Ihrer Sprache und mit Ihren Dokumenten testen. Öffentliche Ranglisten sind überwiegend englisch. Ein Modell, das dort glänzt, kann an deutschen Komposita, juristischer Fachsprache oder Ihren internen Artikelnummern scheitern. Bauen Sie zuerst einen kleinen Eval-Datensatz aus echten Aufgaben – wie das geht, zeigt unser Leitfaden zu KI-Evals.
2. Die Lizenz lesen. „Open Weights“ heißt nicht immer „beliebig nutzbar“. Lizenzen unterscheiden sich bei kommerzieller Nutzung, Nutzerschwellen und Namensnennung.
3. Das Modell nach der Aufgabe dimensionieren, nicht nach der Schlagzeile. Ein mittelgroßes Modell mit gutem Retrieval schlägt oft ein riesiges Modell mit schwachem Retrieval. Kleinere Modelle brauchen außerdem weniger GPUs und antworten schneller.

Architektur eines privaten KI-Stacks

Ein produktionsreifes privates Setup besteht aus mehr als „einem Modell auf einem Server“:

• Inferenzserver auf einer oder mehreren GPUs, der das Open-Weight-Modell über eine OpenAI-kompatible API bereitstellt – Anwendungen müssen nicht wissen, wo das Modell läuft.
• LLM-Gateway vor allen Modellen, das jede Anfrage nach Datenklasse routet: personenbezogene oder vertrauliche Daten zum privaten Modell, alles andere – wo erlaubt – zu Cloud-Modellen. Details im Leitfaden zum LLM-Gateway.
• Retrieval (RAG) mit Berechtigungen. Eine Vektordatenbank wie Qdrant und ein Dokumentenimport, der die Zugriffsrechte der Quellsysteme respektiert. Sonst zeigt Ihr Assistent die Gehaltstabelle bereitwillig der ganzen Belegschaft.
• Identität und Zugriff. Single Sign-on, Rollen und Berechtigungen pro Nutzer, die bis zu Tools und Dokumenten durchgereicht werden.
• Protokollierung, Monitoring und Evals. Dieselbe Disziplin wie bei Cloud-Modellen, mit Logs innerhalb Ihres Perimeters.
• Schwärzungsschicht für Hybrid-Setups: Personenbezogene Daten werden entfernt oder pseudonymisiert, bevor eine Anfrage Ihr Netz verlässt.

Teuer sind meist die Integrationen. In RAG-Projekten entfallen 40–60 % des Budgets auf die Anbindung der Quellsysteme (ment.tech) – und dieser Anteil sinkt nicht, nur weil das Modell ins eigene Haus zieht.

Was es kostet – und was die Kosten treibt

Einen ehrlichen Einheitspreis für „ein On-Premise-LLM“ gibt es nicht, aber gute Orientierungswerte. Für RAG-Assistenten in Europa nennen veröffentlichte Preisspannen 7.000–14.000 € für ein Einstiegs-Setup mit ein bis drei Quellen plus 180–380 € Betrieb im Monat, 14.000–28.000 € für ein Business-Setup mit fünf bis zehn Quellen und CRM-Anbindung sowie 28.000–45.000 € für Enterprise-Setups mit Mandantenfähigkeit und Compliance. Tokens und Hosting kommen mit 180–700 € pro Monat hinzu (LSI Analytics). In veröffentlichten Preislisten von Studios, die abgeschottete Installationen anbieten, schlägt die On-Premise-Option mit rund 20 % auf den Projektpreis auf (NeuralOps). Der laufende Betrieb kostet im Mittelstand typischerweise 2.000–8.000 US-Dollar pro Monat (Lets-Viz).

Die Break-even-Logik ist einfach: Vergleichen Sie die erwartete monatliche API-Rechnung für die sensible Last mit den fixen Monatskosten der GPU-Kapazität plus der Arbeitszeit für den Betrieb. Stehen die GPUs den Großteil des Tages still, bleiben Sie bei Cloud-Modellen mit EU-Hosting. Wären sie ausgelastet – oder verbieten Verträge die externe Verarbeitung ohnehin –, gewinnt der Eigenbetrieb.

Von der Entscheidung zum Produktivbetrieb in sechs Schritten

1. Daten und Anwendungsfälle klassifizieren. Öffentlich, intern, vertraulich, streng vertraulich – und welcher KI-Anwendungsfall welche Klasse berührt. Ein Workshop und eine Tabelle reichen für den Anfang.
2. Eine Verarbeitungsrichtlinie pro Klasse festlegen. Zum Beispiel: öffentliche und interne Daten dürfen an eine Enterprise-API mit AVV; vertrauliche Daten nur an EU-gehostete oder eigene Modelle; streng vertrauliche Daten nur on-premise.
3. Einen Modellvergleich durchführen. Zwei oder drei Kandidaten, Ihr Eval-Datensatz, Ihre Sprachen. Qualität, Latenz und Kosten nebeneinander vergleichen.
4. Das Hybrid-Gateway aufbauen. Ein Zugangspunkt, der die Richtlinie automatisch durchsetzt, damit kein Entwickler vertrauliche Daten versehentlich an das falsche Modell schickt.
5. Härten. Netzwerktrennung, Secrets-Management, Zugriffsprüfungen, Backups, Protokollierung innerhalb des Perimeters und eine DSFA, wo erforderlich.
6. Betreiben. Monitoring, monatliche Eval-Läufe, geplante Modell-Upgrades und Kapazitätsprüfungen – die Routine, die wir in AI Ops nach dem Launch beschreiben.

Kurze Entscheidungshilfe

Typische Fehler

• GPUs kaufen, bevor Evals laufen. Hardware ist die letzte Entscheidung, nicht die erste.
• Eigenbetrieb mit Compliance verwechseln. Zugriffskontrolle, Löschfristen, Protokollierung, gegebenenfalls DSFA und AI-Act-Transparenz bleiben Pflicht.
• Den Betrieb unterschätzen. Treiber, Sicherheitsupdates, Modell-Upgrades und Kapazitätsplanung erledigen sich nicht von selbst.
• Das Modell nach englischen Benchmarks wählen, obwohl Ihre Kundschaft und Belegschaft Deutsch schreiben.
• Die Lizenz des Open-Weight-Modells ignorieren.
• RAG ohne Berechtigungen – damit wird das private Modell zum internen Datenleck.
• Kein Exit-Plan. Was auch immer Sie wählen: Prompts, Eval-Datensätze und Konfiguration gehören in Ihre eigenen Repositories, damit Sie Anbieter oder Modelle später wechseln können.

Fazit

„Private KI“ ist keine Ja-oder-Nein-Entscheidung. Für die meisten Unternehmen in Europa ist ein Hybrid richtig: sauber vertraglich abgesicherte Cloud-Modelle für den Alltag und ein selbst betriebenes Open-Weight-Modell nur dort, wo Verträge, Geheimhaltung oder Volumen es rechtfertigen – alles hinter einem Gateway, das die Regeln automatisch durchsetzt. Entscheiden Sie nach Datenklasse, belegen Sie die Qualität mit Evals in Ihrer Sprache, und dimensionieren Sie erst danach die Hardware.

Unser Systems-Team plant und betreibt private und hybride KI-Stacks in EU-Rechenzentren, unser Build-Team integriert sie in Ihre Anwendungen. Vereinbaren Sie ein kostenloses 15-Minuten-Audit – wir ordnen Ihre Datenklassen der passenden Betriebsform zu.