Private en on-premise LLM's voor bedrijven: wanneer en hoe

Elk Europees bedrijf dat met AI aan de slag gaat, stuit al in het eerste overleg op dezelfde vraag: waar gaat onze data naartoe? In Duitsland noemt 66% van de bedrijven die al AI gebruiken de eisen rond gegevensbescherming als drempel, 56% juridische onzekerheid en 45% het risico op datalekken (Bitkom). In heel Europa houdt volgens Deloitte 77% van de bedrijven rekening met het land van herkomst van hun AI-leverancier, en maakt 66% zich zorgen over afhankelijkheid van buitenlandse AI (DEV Community, Deloitte-data).

Het reflexmatige antwoord is: ‘Dan draaien we ons eigen model on-premise.’ Soms is dat precies goed. Vaak is het een dure manier om een zwakker model te krijgen, met hetzelfde compliancepapierwerk. Deze gids laat het hele spectrum zien tussen ‘openbare chatbot’ en ‘afgesloten serverruimte’, legt uit wanneer welke optie zinvol is en wat de kosten bepaalt, en geeft je een stappenplan dat niet begint met hardware die je misschien helemaal niet nodig hebt.

‘Private LLM’ is een spectrum, geen product

Twee dingen vallen op. Ten eerste beantwoorden niveau 1 en 2 de meeste AVG-vragen al, als de contracten kloppen: een verwerkersovereenkomst, een lijst van subverwerkers, geen training op jouw data en hosting in de EU waar nodig. Ten tweede is de stap van niveau 2 naar niveau 3 geen compliancestap maar een beheerstap. Vanaf dat moment ben jij verantwoordelijk voor beschikbaarheid, beveiligingsupdates, modelupdates en capaciteit.

Wanneer zelf hosten echt de juiste keuze is

Zelf hosten (niveau 3 en 4) loont als minstens één van deze punten geldt:

• Contracten of regels sluiten derden uit. Klantcontracten die verwerking buiten je eigen infrastructuur verbieden; beroepen met geheimhoudingsplicht zoals advocaten, artsen en accountants; aanbestedingen van de overheid met soevereiniteitseisen; R&D- of overnamedossiers die je aan geen enkele leverancier zou sturen.
• Het volume is hoog en stabiel. Tienduizenden documenten per dag of een interne assistent die continu wordt gebruikt, houden GPU’s aan het werk. GPU’s die stilstaan, zijn de duurste manier om AI te draaien.
• Je wilt grip op versies. Cloudaanbieders updaten en schrappen modellen volgens hun eigen planning. Een zelf gehost model verandert alleen als jij dat besluit – waardevol voor gevalideerde processen.
• De verbinding is beperkt. Productielocaties, magazijnen, schepen of buitenlocaties met onbetrouwbaar internet.

Meestal is zelf hosten de verkeerde keuze als volumes laag of grillig zijn, als de taak het sterkste beschikbare redeneervermogen vraagt – complexe analyses, lange agents met veel stappen – of als niemand intern een GPU-dienst dag en nacht kan beheren.

In de praktijk komen de meeste Europese bedrijven waarmee wij werken uit op een hybride opzet: frontier-modellen uit de cloud voor algemene taken en een open-weight model in een Europees datacenter voor het gevoelige deel. Dat past bij het bredere marktpatroon: OpenAI, Anthropic of Google in de cloud voor het dagelijkse werk, Llama of Mistral op eigen servers voor gevoelige taken (HouseofMVPs, ment.tech).

Een herkenbaar scenario

Neem een accountantskantoor met veertig medewerkers in Brabant. Voor conceptmails, samenvattingen van vakartikelen en interne vragen over werkprocessen volstaat een zakelijke API met verwerkersovereenkomst en hosting in de EU; daar zitten geen klantgeheimen in. Voor het analyseren van jaarstukken, aangiftes en salarisgegevens van klanten draait daarentegen een open-weight model op een gehuurde GPU-server in een Nederlands of Duits datacenter. Een gateway herkent aan de bron van de data welke route is toegestaan. Resultaat: medewerkers werken in één omgeving, het kantoor houdt grip op wat het pand niet mag verlaten, en GPU-kosten ontstaan alleen voor het deel dat ze echt nodig heeft.

Het juridische kader op één pagina (geen juridisch advies)

Zelf hosten verandert waar je data naartoe gaat. Je verplichtingen zet het niet uit.

• AVG. Je hebt nog steeds een grondslag, doelbinding, bewaartermijnen en toegangsbeheer nodig. Bij externe aanbieders komen daar een verwerkersovereenkomst volgens artikel 28 en een lijst van subverwerkers bij. Voor verwerkingen met een hoog risico – opgenomen gesprekken, stembiometrie, gezondheidsgegevens – is een DPIA verplicht. In Nederland houdt de Autoriteit Persoonsgegevens toezicht op de AVG. Zo min mogelijk doorgifte naar de VS is zowel een juridisch als een commercieel argument.
• EU AI Act, transparantie. Artikel 50 geldt sinds 2 augustus 2026: mensen moeten weten dat ze met een AI-systeem te maken hebben, en synthetische inhoud moet worden gemarkeerd (AI Act, artikel 50).
• EU AI Act, hoog risico. Na de Digital Omnibus (Verordening 2026/1744) gelden de verplichtingen voor hoog-risicosystemen uit bijlage III – werving en selectie, kredietbeoordeling, onderwijs, essentiële diensten – vanaf 2 december 2027 (ActuIA). Ze hangen aan het AI-systeem en het gebruik ervan, niet aan de plek waar het model draait.
• Modelaanbieders. Verplichtingen voor aanbieders van AI-modellen voor algemene doeleinden gelden sinds 2 augustus 2025. Draai je alleen een bestaand open-weight model, dan liggen die vooral bij de uitgever; bij ingrijpende aanpassingen, zoals omvangrijke fine-tuning, is een nadere juridische check verstandig.
• Boetes. Tot €35 miljoen of 7% van de wereldwijde omzet voor verboden praktijken en tot €15 miljoen of 3% voor de meeste andere overtredingen. Voor mkb-bedrijven geldt telkens het laagste bedrag (ActuIA).
• Ook actief in Duitsland? Daar houdt de Bundesnetzagentur sinds 29 juli 2026 toezicht op AI op grond van de KI-MIG-wet.

Deadlines, verplichtingen en een praktische checklist vind je in onze gids over de EU AI Act voor het mkb.

Een model kiezen dat je zelf kunt draaien

Open-weight modellen – waaronder Llama, Mistral, Qwen, DeepSeek en gpt-oss van OpenAI – kun je downloaden en op eigen hardware draaien. Mistral, Aleph Alpha en LightOn zijn de Europese namen die inkopers om soevereiniteitsredenen het vaakst op de shortlist zetten (DEV Community, Deloitte-data).

Drie regels uit de praktijk:

1. Test in je eigen taal, op je eigen documenten. Openbare ranglijsten zijn overwegend Engelstalig. Een model dat daar uitblinkt, kan struikelen over Nederlandse juridische taal, samengestelde woorden of je interne artikelcodes. Nederlanders behoren tot de beste niet-moedertaalsprekers van het Engels ter wereld (EF EPI), dus intern wordt veel in het Engels geschreven – maar je klanten schrijven Nederlands. Test beide. Bouw eerst een kleine evalset van echte taken; hoe dat gaat, lees je in onze gids over AI-evals.
2. Lees de licentie. ‘Open weights’ betekent niet altijd ‘vrij te gebruiken’. Licenties verschillen op commercieel gebruik, gebruikersdrempels en naamsvermelding.
3. Dimensioneer het model op de taak, niet op de kop in het nieuws. Een middelgroot model met goede retrieval verslaat vaak een enorm model met zwakke retrieval. Kleinere modellen hebben ook minder GPU’s nodig en antwoorden sneller.

Architectuur van een private AI-stack

Een productierijpe private opzet bestaat uit meer dan ‘een model op een server’:

• Inferentieserver op één of meer GPU’s, die het open-weight model via een OpenAI-compatibele API aanbiedt – applicaties hoeven niet te weten waar het model draait.
• LLM-gateway voor alle modellen, die elk verzoek routeert op dataklasse: persoonsgegevens of vertrouwelijke data naar het private model, de rest – waar toegestaan – naar cloudmodellen. Details in onze gids over de LLM-gateway.
• Retrieval (RAG) met rechten. Een vectordatabase zoals Qdrant plus een documentimport die de toegangsrechten van de bronsystemen respecteert. Anders laat je assistent het salarisoverzicht vrolijk aan het hele bedrijf zien.
• Identiteit en toegang. Single sign-on, rollen en rechten per gebruiker die worden doorgegeven tot in tools en documenten.
• Logging, monitoring en evals. Dezelfde discipline als bij cloudmodellen, met logs binnen je eigen omgeving.
• Maskeringslaag voor hybride opzetten: persoonsgegevens worden verwijderd of gepseudonimiseerd voordat een verzoek je netwerk verlaat.

Integraties zijn meestal het dure deel. In RAG-projecten gaat 40–60% van het budget op aan het koppelen van bronsystemen (ment.tech) – en dat aandeel wordt niet kleiner als het model in huis komt.

Wat het kost – en wat de kosten bepaalt

Er bestaat geen eerlijke eenheidsprijs voor ‘een on-premise LLM’, maar wel goede ijkpunten. Voor RAG-assistenten in Europa noemen gepubliceerde prijsklassen €7.000–14.000 voor een startopzet met één tot drie bronnen plus €180–380 per maand voor beheer; €14.000–28.000 voor een zakelijke opzet met vijf tot tien bronnen en CRM-koppeling; en €28.000–45.000 voor enterprise-opzetten met multi-tenancy en compliance. Tokens en hosting komen daar met €180–700 per maand bovenop (LSI Analytics). In gepubliceerde prijslijsten van studio’s die afgesloten installaties aanbieden, voegt de on-premise optie zo’n 20% toe aan de projectprijs (NeuralOps). Doorlopend beheer kost in het middensegment doorgaans $2.000–8.000 per maand (Lets-Viz).

De break-evenlogica is eenvoudig. Vergelijk de verwachte maandelijkse API-rekening voor de gevoelige werklast met de vaste maandkosten van GPU-capaciteit plus de uren die nodig zijn om die te beheren. Staan de GPU’s het grootste deel van de dag stil, blijf dan bij cloudmodellen met hosting in de EU. Zouden ze goed benut worden – of verbieden contracten externe verwerking toch al – dan wint zelf hosten.

Van besluit naar productie in zes stappen

1. Classificeer data en toepassingen. Openbaar, intern, vertrouwelijk, strikt vertrouwelijk – en welke AI-toepassing raakt welke klasse. Eén workshop en een spreadsheet zijn genoeg om te beginnen.
2. Leg per klasse een verwerkingsbeleid vast. Bijvoorbeeld: openbare en interne data mogen naar een zakelijke API met verwerkersovereenkomst; vertrouwelijke data alleen naar in de EU gehoste of eigen modellen; strikt vertrouwelijke data alleen on-premise.
3. Houd een modelvergelijking. Twee of drie kandidaten, je eigen evalset, je eigen talen. Vergelijk kwaliteit, latentie en kosten naast elkaar.
4. Bouw de hybride gateway. Eén toegangspunt dat het beleid automatisch afdwingt, zodat geen ontwikkelaar per ongeluk vertrouwelijke data naar het verkeerde model stuurt.
5. Harden. Netwerkscheiding, beheer van secrets, toegangsreviews, back-ups, logging binnen je eigen omgeving en een DPIA waar nodig.
6. Beheren. Monitoring, maandelijkse evalrondes, geplande modelupgrades en capaciteitsreviews – de routine die we beschrijven in AI Ops na de livegang.

Snelle beslishulp

Veelgemaakte fouten

• GPU’s kopen voordat de evals draaien. Hardware is de laatste beslissing, niet de eerste.
• Denken dat zelf hosten automatisch compliant is. Toegangsbeheer, bewaartermijnen, logging, waar nodig een DPIA en transparantie volgens de AI Act blijven verplicht.
• Het beheer onderschatten. Drivers, beveiligingsupdates, modelupgrades en capaciteitsplanning regelen zichzelf niet.
• Een model kiezen op Engelstalige benchmarks, terwijl je klanten Nederlands schrijven.
• De licentie van een open-weight model negeren.
• RAG zonder rechten, waardoor het private model een intern datalek wordt.
• Geen exitplan. Wat je ook kiest: bewaar prompts, evalsets en configuratie in je eigen repositories, zodat je later van aanbieder of model kunt wisselen.

Conclusie

‘Private AI’ is geen ja-of-neebeslissing. Voor de meeste Europese bedrijven is een hybride opzet de juiste: goed gecontracteerde cloudmodellen voor het dagelijkse werk en een zelf gehost open-weight model alleen waar contracten, geheimhouding of volume dat rechtvaardigen – alles achter één gateway die de regels automatisch afdwingt. Beslis per dataklasse, bewijs de kwaliteit met evals in je eigen taal, en bepaal pas daarna de hardware.

Ons Systems-team ontwerpt en beheert private en hybride AI-stacks in Europese datacenters, en ons Build-team integreert ze in je applicaties. Plan een gratis audit van 15 minuten en we koppelen jouw dataklassen aan de juiste hostingvorm.