De meeste bedrijven beginnen met één API-sleutel die in één applicatie wordt geplakt. Een jaar later draaien er vijf applicaties, zijn er drie modelaanbieders in het spel, staan sleutels op plekken die niemand zich herinnert – en kan niemand de maandfactuur regel voor regel uitleggen. Heeft één aanbieder een slechte middag, dan valt de supportbot meteen mee stil.
Een LLM-gateway lost dat op architectuurniveau op. Het is één laag tussen je applicaties en alle modellen die je gebruikt. De gateway bepaalt welk model welk verzoek afhandelt, hoeveel een team of klant mag uitgeven, wat er gebeurt als een aanbieder uitvalt en wat er wordt gelogd. Goed ingericht worden AI-kosten van een verrassing een voorspelbare post – en wordt overstappen op een ander model een configuratiewijziging in plaats van een verbouwing.
De druk is echt. In de KPMG AI Pulse over het derde kwartaal van 2026 heeft 74% van de grote Amerikaanse bedrijven een kostentoets in het goedkeuringsproces voor AI opgenomen, en werkt 43% al met tokenbudgetten (KPMG). In Duitsland noemt 54% van de bedrijven die AI gebruiken onvoorspelbare kosten als drempel (Bitkom). En Gartner verwacht dat de uitgaven aan AI-platforms en -modellen in 2026 met 63% groeien – dat maakt budgetten lastiger te voorspellen, niet makkelijker (Gartner).
Wat een LLM-gateway doet (en wat niet)
Zie het als een API-gateway die tokens begrijpt. Je applicaties roepen niet langer rechtstreeks OpenAI, Anthropic, Google of een zelf gehost model aan, maar één intern endpoint – meestal OpenAI-compatibel, zodat bestaande SDK’s blijven werken. De gateway neemt de rest over:
- Routing. Hij kiest per verzoek het model op basis van taak, klantsegment, gevoeligheid van de data of latentiebudget.
- Sleutels en budgetten. Hij geeft virtuele sleutels uit per applicatie, team of klant, elk met uitgave- en snelheidslimieten. De echte sleutels van de aanbieders staan alleen in de gateway.
- Caching. Hij levert opgeslagen antwoorden voor herhaalde verzoeken en benut de prompt-caching van aanbieders voor lange, statische prompts.
- Betrouwbaarheid. Herhaalpogingen, time-outs, fallbacks naar een andere aanbieder of regio, circuit breakers.
- Observability. Tokens, kosten, latentie, fouten en metadata van elke aanroep, doorgezet naar je monitoring.
- Beleid. Maskering van persoonsgegevens, geblokkeerde modellen voor bepaalde dataklassen, maximale contextgroottes.
Wat een gateway niet is: geen agentframework, geen vectordatabase en geen wondermiddel tegen kosten. Hij geeft je de knoppen; de besparing komt uit de keuzes die je ermee maakt.
Er zijn drie gangbare routes. Open-source proxy’s zoals LiteLLM draaien op je eigen infrastructuur – handig voor bedrijven die hun logs in de EU willen houden. Managed gateways zoals Cloudflare AI Gateway of Portkey staan sneller. Tools die vooral op observability gericht zijn, zoals Helicone of Langfuse, focussen op tracing en analyse en worden vaak met een van de eerste twee gecombineerd. Veel teams bouwen ook een dunne eigen laag – prima, zolang die als productiesoftware wordt behandeld, met tests en een eigenaar.
Waar het geld weglekt zonder gateway
In de omgevingen die wij doorlichten, ontstaan overschrijdingen zelden door één grote fout. Ze ontstaan door vijf kleine lekken die niemand ziet, omdat niemand ze meet.
1. Eén model voor alles
Tijdens het prototype wordt ‘voor de zekerheid’ het sterkste model hard ingesteld – en daar blijft het. Vervolgens classificeert het e-mails, haalt het factuurnummers uit pdf’s en schrijft het samenvattingen van één regel. Taken die een licht model net zo goed doet.
2. Context die bij elke beurt groeit
Gespreksgeschiedenis en opgehaalde documenten worden bij elke beurt opnieuw meegestuurd, dus lange gesprekken worden met elke stap duurder. Bij een meting van 4.000 spraaksessies via de OpenAI Realtime API lagen de typische kosten op $0,05–0,08 per minuut, maar groeiende context dreef sommige sessies op tot $0,146 per minuut (HackerNoon).
3. Herhaalpogingen en agents in een lus
Een agent die een tool aanroept, het resultaat verkeerd leest en het opnieuw probeert, kan honderden aanroepen verbruiken voordat iemand het merkt. Zonder stappenlimiet en budget per verzoek is de factuur het eerste alarm.
4. Geen toerekening
Gebruikt elk verzoek dezelfde sleutel, dan weet je wat er is uitgegeven, maar niet welke functie, klant of welk experiment het veroorzaakte. Een AI-functie of beheercontract prijzen wordt dan giswerk.
5. Betalen voor nutteloos werk
Sommige uitgaven leveren helemaal niets op. Bij uitgaande belcampagnes kan het verkeerd herkennen van voicemails bijvoorbeeld 15–20% van het budget opslokken (MTS Exolve). Vergelijkbare verspilling zit in dubbele verzoeken, afgebroken sessies en testverkeer dat op productiemodellen belandt.
Het goede nieuws: hiervoor heb je geen groot platform nodig. Je hebt één punt nodig waar elk verzoek langskomt en wordt gemeten.
Modelrouting: de grootste hefboom
Routing levert de meeste besparing op, omdat de prijsverschillen tussen modelklassen groot zijn. Volgens de officiële prijslijst van OpenAI kost het volledige realtime-audiomodel $32 per miljoen inputtokens en $64 per miljoen outputtokens, de mini-variant $10 en $20 – ongeveer een derde (OpenAI). In sommige prijslijsten zit tussen de lichtste en de zwaarste variant zelfs een factor tien (GigaChat-tarieven).
Volgens onze eigen berekening voor een supportgesprek van tien beurten met ongeveer 3.000 tokens opgehaalde context per beurt, kost een model uit de pro-klasse per gesprek grofweg een orde van grootte meer dan een licht model. Daarom blijven de vaste prijzen per gesprek die veel chatbotproducten hanteren alleen winstgevend met routing.
Vijf routingpatronen
| Patroon | Hoe het werkt | Geschikt voor | Let op |
|---|---|---|---|
| Statisch per taak | Elk taaktype heeft een vast model: licht voor classificatie, sterk voor redeneren | De meeste bedrijven; goed te auditen | Herbeoordelen bij elke modelwijziging |
| Cascade | Eerst het lichte model; opschalen bij lage zekerheid of mislukte validatie | Support en data-extractie met hoge volumes | Vraagt om een betrouwbaar zekerheidssignaal |
| Per klantsegment | Premiumabonnementen krijgen sterkere modellen | SaaS-producten met abonnementsniveaus | Kosten per klant zichtbaar houden |
| Op gevoeligheid van data | Persoonsgegevens of vertrouwelijke data alleen naar in de EU gehoste of eigen modellen | Europese bedrijven, gereguleerde sectoren | Data betrouwbaar classificeren |
| Op latentiebudget | Telefoon en livechat krijgen snelle modellen, batchjobs tragere en goedkopere routes | Spraakagents, realtime toepassingen | Snelle modellen vragen vaak strakkere prompts |
Route op bewijs, niet op hoop
Een goedkoper model dat 5% meer foute antwoorden geeft, kan meer kosten dan het oplevert – via terugbetalingen, escalaties en verloren vertrouwen. De regel is simpel: een taak gaat pas naar een goedkoper model als dat dezelfde evals haalt als het huidige. Heb je zo’n testset nog niet, begin dan daar; onze gids over AI-evals laat zien hoe je er in dagen in plaats van maanden een bouwt.
Kostenbeheersing die in de praktijk werkt
Routing bepaalt wie het werk doet. Deze mechanismen bepalen hoeveel werk is toegestaan.
- Virtuele sleutels met budgetten. Eén sleutel per applicatie, per team en – bij SaaS – per klant. Een zachte limiet met waarschuwingen bij 50% en 80%, een harde limiet bij 100% met vastgelegd gedrag: overschakelen naar een lichter model, het verzoek in de wachtrij zetten of overdragen aan een mens.
- Harde plafonds per verzoek. Maximale inputcontext, maximaal aantal outputtokens, maximaal aantal agentstappen. Een lus kost dan centen in plaats van honderden euro’s.
- Contexthygiëne. Lange geschiedenissen samenvatten, minder en kortere documentfragmenten meesturen, standaardteksten uit documenten halen vóór het indexeren. Dat levert vaak meer op dan welke korting ook.
- Caching. Exacte caching voor terugkerende verzoeken, zoals productvragen of statusteksten. Prompt-caching van aanbieders voor lange systeemprompts en vaste instructies, die bij hergebruik met korting worden gefactureerd. Semantische caching – antwoorden op ‘vergelijkbare’ vragen hergebruiken – alleen voor niet-persoonlijke inhoud: een bijna-treffer kan een foute treffer zijn.
- Batch voor alles wat kan wachten. Nachtelijke documentverwerking, verrijking en rapportages lopen via de batch-interfaces van aanbieders, die goedkoper zijn dan realtime aanroepen.
- Kosten per resultaat, niet per token. Het getal dat telt, is de prijs per opgelost ticket, verwerkte factuur of geboekte afspraak. Een model dat twee keer zo duur is maar vaker in één keer oplost, kan de goedkopere keuze zijn.
Hoe hoog is de rekening in de praktijk? Prijsanalyses uit de branche zetten de modelkosten van een gemiddelde agent op schaal op $50–500 per maand (Lets-Viz). Voor veel mkb-bedrijven zit de grootste waarde van een gateway dus niet in ‘80% besparen’, maar in voorspelbaarheid: geen verrassingsfacturen, geen lussen die op hol slaan, en betrouwbare cijfers voor prijsstelling en begroting.
Wie betaalt de tokens?
Bouwt en beheert een bureau je systeem, leg dit dan vast in het contract. De markt kent drie modellen: tokens inbegrepen in de prijs met 20–30% buffer, doorbelasting met 15–25% opslag, of de klant betaalt de aanbieder rechtstreeks. Sommige bureaus rekenen daarnaast 15–20% risico-opslag voor modeldrift en prijspieken bij tokens (Digital Applied). Wij geven de voorkeur aan het derde model – jouw eigen accounts bij de aanbieders, onze gatewayconfiguratie, volledige transparantie – omdat het je ook onafhankelijk houdt. Meer daarover in onze gids over eigenaarschap van code, prompts en data.
Observability: wat je bij elke aanroep logt
De marges in AI zijn dunner dan bij klassieke software – Bessemer zet de brutomarges van AI-bedrijven op 50–60%, tegenover 80–90% bij SaaS (SaaS Mag). Inferentie is een echte kostprijs en verdient dezelfde discipline als cloudkosten.
Een zinvol minimum per verzoek:
| Veld | Waarom je het nodig hebt |
|---|---|
| Tijdstempel, omgeving, applicatie, functie | Toerekening en foutopsporing |
| Klant- of tenant-ID (gepseudonimiseerd), gebruikersrol | Kosten per klant, toegangscontroles |
| Aanbieder, model en exacte modelversie | Verklaart gedragsveranderingen na updates |
| Versie van de prompttemplate, retrieval-instellingen | Koppelt kwaliteitsdalingen aan concrete wijzigingen |
| Input-, output- en gecachete tokens; kosten | Budgetten, prijsstelling, cache-efficiëntie |
| Tijd tot eerste token, totale latentie | Gebruikerservaring, beurtwisseling aan de telefoon |
| Status, fouttype, herhaalpogingen, gebruikte fallback | Betrouwbaarheid en vergelijking van aanbieders |
| Tool-aanroepen met argumenten en resultaten | Foutopsporing bij agents, beveiligingsreviews |
| Eval-score of gebruikersfeedback, indien beschikbaar | Kwaliteitsverloop in de tijd |
Log bij agents traces, niet alleen losse aanroepen: één gebruikersvraag kan tien modelaanroepen en vijf tool-aanroepen veroorzaken, die je als één boom wilt zien. Langfuse of Helicone voor tracing, Sentry voor fouten en PostHog voor productanalyse is een gangbare combinatie in AI-pakketten voor productie (HouseofMVPs).
Latentie verdient een eigen dashboard. In LangChains State of Agent Engineering 2026 is kwaliteit de grootste drempel richting productie (32%) en latentie de tweede (ongeveer 20%) (LangChain-onderzoek). Aan de telefoon ligt de lat hoog: mensen laten tussen twee beurten ongeveer 200 milliseconden stilte (PNAS), terwijl ketens van spraakherkenning, LLM en spraaksynthese nu op zo’n seconde uitkomen (DevToolLab). Kijk naar het 95e percentiel, niet naar het gemiddelde.
Logs zijn persoonsgegevens
Prompts en antwoorden bevatten vaak namen, e-mailadressen, ordergegevens of gezondheidsinformatie. Onder de AVG betekent dat: een vastgelegd doel, een bewaartermijn, toegangsbeheer en bij voorkeur maskering vóór opslag. Houd logs in de EU als je gebruikers in de EU zitten, neem elke modelaanbieder als subverwerker op in je verwerkersovereenkomst en leg vooraf vast wie ruwe gesprekken mag lezen – en documenteer dat in je verwerkingsregister.
Een Nederlands aandachtspunt: kunnen de logs iets zeggen over het gedrag of de prestaties van medewerkers – bijvoorbeeld bij een interne assistent die je personeel gebruikt – dan heeft de ondernemingsraad instemmingsrecht op grond van artikel 27 WOR. Betrek de OR daarom vroeg; heldere afspraken over doel, toegang en bewaartermijn besparen later veel tijd.
Betrouwbaarheid: fallbacks, time-outs en gecontroleerde degradatie
Aanbieders hebben storingen, snelheidslimieten en latentiepieken. Een gateway maakt daar non-events van:
- Time-outs per toepassing. Een beurt in een telefoongesprek kan geen tien seconden wachten, een nachtelijke batchjob wel.
- Herhaalpogingen met backoff voor tijdelijke fouten – maar nooit eindeloos.
- Een fallbackketen. Hetzelfde model in een andere regio of via een andere aanbieder, dan een vergelijkbaar model van een tweede leverancier, en ten slotte gecontroleerde degradatie: een nette overdracht aan een mens of een terugbelbelofte.
- Een circuit breaker. Faalt een aanbieder herhaaldelijk, stop dan een paar minuten met verkeer sturen in plaats van time-outs op te stapelen.
Eén addertje: verschillende modellen reageren anders op dezelfde prompt. Een fallbackmodel dat nooit is getest, is een verborgen kwaliteitsrisico. Draai je evals tegen elk model in de keten en houd waar nodig promptvarianten per model bij.
Zelf bouwen, kopen of zelf hosten?
| Optie | Geschikt voor | Voordelen | Nadelen |
|---|---|---|---|
| Rechtstreekse SDK-aanroepen, geen gateway | Eén prototype, één model | Geen inrichting nodig | Geen budgetten, geen toerekening, lastig overstappen |
| Zelf gehoste open-source proxy (bijv. LiteLLM) | EU-bedrijven, datasoevereiniteit, veel modellen | Logs blijven bij jou; geen kosten per verzoek; flexibel | Beheer, patches en schaling liggen bij jou |
| Managed gateway (bijv. Cloudflare AI Gateway, Portkey) | Snelle start, kleine teams | Snel ingericht, dashboards inbegrepen | Data loopt via nog een leverancier; verwerkersovereenkomst en regio checken |
| Dunne eigen laag | Specifieke routing- of compliancelogica | Precies wat je nodig hebt | Wordt snel onderschat; vraagt tests en een eigenaar |
Bij de meeste middelgrote Europese bedrijven komen we uit op een zelf gehoste open-source proxy in een Europees datacenter, met een tracingtool ernaast en routingregels in Git. Mogen bepaalde gegevens je netwerk helemaal niet verlaten, dan stuurt dezelfde gateway die verzoeken naar een zelf gehost model – zie onze gids over private en on-premise LLM’s.
Invoeren in zes stappen
- Inventarisatie. Breng elke plek in kaart die een model aanroept: applicaties, scripts, automatiseringen in n8n of Make, tools van leveranciers. Noteer aanbieder, model, eigenaar van de sleutel en de kosten van vorige maand.
- Eén toegangspunt. Zet alle aanroepen achter de gateway, roteer de oude sleutels en haal sleutels van aanbieders uit code en automatiseringstools.
- Alles taggen. Elk verzoek draagt applicatie, functie, klant en omgeving mee. Zonder tags zijn stap 4 tot en met 6 onmogelijk.
- Twee weken nulmeting. Kosten per functie, kosten per resultaat, p95-latentie, fout- en fallbackpercentages. Dit is je ‘voor’-foto.
- Optimaliseren met evals. Verplaats taken alleen naar lichtere modellen waar de evals gelijke kwaliteit bevestigen; voeg caching en contextlimieten toe; stel budgetten en waarschuwingen in.
- Beheren. Een maandelijks kosten- en kwaliteitsrapport, een modelreview per kwartaal en waarschuwingen die bij een benoemde eigenaar terechtkomen. Dat is de kern van AI Ops na de livegang.
Voor een mkb-bedrijf rondt een gericht team stap 1 tot en met 4 meestal in één tot twee weken af. In stap 5 ontstaat de besparing, in stap 6 blijft ze behouden.
Veelgemaakte fouten
- De gateway wordt een single point of failure. Draai hem redundant en monitor hem als elke andere kritieke dienst.
- Alles voor altijd loggen. Volledige prompts met persoonsgegevens zonder bewaarbeleid is een AVG-probleem dat zit te wachten.
- Overstappen op een goedkoper model zonder evals. Besparing op de factuur, verlies aan klantvertrouwen.
- Semantische caching van gepersonaliseerde antwoorden. De orderstatus van de ene klant bij een andere klant is een datalek.
- Budgetten zonder eigenaar. Een waarschuwing die in een gedeelde mailbox belandt, is geen waarschuwing.
- Embeddings, spraak- en beeldaanroepen vergeten. Die vallen vaak buiten het ‘LLM’-budget en groeien ongemerkt.
- Lock-in via de achterdeur. Bewaar routingregels en configuratie in je eigen repository, zodat je het gatewayproduct net zo makkelijk vervangt als een model.
Conclusie
Een LLM-gateway is niet spectaculair, maar hij maakt het verschil tussen AI als experiment en AI als beheerd systeem. Je krijgt één plek om modellen te kiezen, uitgaven te begrenzen, storingen bij aanbieders op te vangen en aan te tonen wat elke functie kost. Begin met inventarisatie en tagging, meet twee weken, en laat daarna evals – niet je onderbuik – bepalen waar goedkopere modellen goed genoeg zijn.
Wil je dat iemand meekijkt naar je huidige opzet? Ons Systems-team ontwerpt en beheert gateways, budgetten en observability voor bedrijven in de EU en de VS. Plan een gratis audit van 15 minuten en we laten zien waar je tokenbudget naartoe gaat en wat je als eerste moet aanpakken.