‘In de demo werkte het’ is de duurste zin in AI-projecten. Demo’s draaien op tien vriendelijke vragen. Productie brengt er duizenden echte – met tikfouten, in meerdere talen, boos, soms vijandig – plus modelupdates waar niemand om heeft gevraagd en een kennisbank die elke week verandert.
Daarom is kwaliteit, en niet de prijs, de grootste drempel voor AI-agents. In LangChains State of Agent Engineering 2026 noemt 32% van de teams kwaliteit als belangrijkste obstakel richting productie, vóór latentie met ongeveer 20% (LangChain-onderzoek). Gartner verwacht dat eind 2027 meer dan 40% van de agentic AI-projecten is stopgezet (Gartner). De teams die het redden, delen één gewoonte: ze meten kwaliteit systematisch, vóór en na de livegang. Die gewoonte heet evals.
Deze gids legt uit wat evals zijn, hoe je in een paar dagen een eerste testset bouwt, welke beoordelingsmethode waarvoor werkt en hoe je blijft meten zodra echte klanten binnenkomen.
Wat evals zijn – en waarom unittests niet volstaan
Een eval is een herhaalbare test van AI-gedrag: een vaste set invoer, een beschrijving van hoe een goed resultaat eruitziet, een beoordelingsmethode en een drempelwaarde. Klassieke softwaretests controleren of een functie de verwachte waarde teruggeeft. AI-systemen werken anders:
- Output varieert. Dezelfde vraag kan verschillende, even juiste formuleringen opleveren – en af en toe een foute.
- Wijzigingen hebben bijwerkingen. Een promptaanpassing die vragen over terugbetalingen oplost, kan vragen over verzending breken. Een modelupdate van de aanbieder kan toon, lengte of toolgebruik van de ene op de andere dag veranderen.
- ‘Bijna goed’ is de typische fout. In de ontwikkelaarsenquête van Stack Overflow uit 2025 noemde 66% van de ontwikkelaars AI-antwoorden die ‘bijna goed, maar net niet’ zijn hun grootste ergernis, en 46% wantrouwt de nauwkeurigheid van AI (Stack Overflow). Juist dat ‘bijna goed’ laat geen enkele demo zien.
Een volwassen opzet kent drie lagen:
- Offline evals op een samengestelde ‘gouden’ dataset tijdens de ontwikkeling.
- Release-gates die de evals bij elke wijziging aan prompts, modellen, tools of retrieval automatisch opnieuw draaien en de release tegenhouden bij een regressie.
- Online evals die continu een steekproef van echte gesprekken uit productie beoordelen.
Stap 1: definieer ‘goed’ in bedrijfstermen
Evals beginnen bij het bedrijfsresultaat, niet bij modelstatistieken. Voor een AI-agent in de klantenservice is het resultaat een correct opgelost ticket. Voor een documentstraat is het een juist geboekte factuur, voor een AI-receptie aan de telefoon een afspraak met de juiste tijd, naam en dienst.
Dat telt ook commercieel. Platforms rekenen al per resultaat af: Intercom Fin $0,99 per oplossing (Intercom), Zendesk $1,50–2,00 per geautomatiseerde oplossing (Macha), HubSpot sinds april 2026 $0,50 per opgelost gesprek (Resolve247). De analisten van HFS waarschuwen dat de definitie van een ‘opgeloste’ vraag het volgende strijdpunt in SLA’s wordt – en dat die in het contract hoort en controleerbaar moet zijn (HFS Research). Betaal je per resultaat of word je zo betaald, dan worden je evaldefinities onderdeel van het contract.
Splits het resultaat op in meetbare dimensies:
- Juistheid: feiten, getallen, prijzen en beleid kloppen met de bron van waarheid.
- Onderbouwing: elke bewering wordt gedekt door opgehaalde documenten; niets is verzonnen.
- Juiste acties: de juiste tool is aangeroepen met de juiste parameters – ordernummer, bedrag, datum.
- Naleving van beleid: geen verboden toezeggingen, de verplichte AI-melding staat erin, escalatie gebeurt wanneer dat moet.
- Toon en taal: antwoorden in de taal van de klant en in jullie merkstem – inclusief de keuze tussen ‘u’ en ‘je’.
- Latentie en kosten: binnen het budget voor het kanaal.
Stap 2: bouw een gouden dataset in dagen, niet in maanden
Je hebt geen duizenden voorbeelden nodig om te beginnen. Enkele tientallen tot een paar honderd zorgvuldig gekozen cases vangen de meeste regressies op. Goede bronnen:
- Echte historie. Eerdere tickets, e-mails, gespreksverslagen en documenten, geanonimiseerd. Daarin staan de vragen die klanten echt stellen, in hun eigen woorden.
- De lange staart. Zeldzame maar dure gevallen: opzeggingen, klachten, juridische dreigingen, grote klanten, gemengde talen.
- Cases voor ‘moet weigeren’ en ‘moet escaleren’. Verzoeken buiten de opdracht, medisch of juridisch advies, een boze klant die een mens wil spreken. Een agent die alles beantwoordt, is een risico.
- Aanvalscases. Pogingen om de systeemprompt te ontfutselen, korting los te praten of instructies via documenten binnen te smokkelen – zie onze gids over verdediging tegen prompt injection.
- Lastige formaten. Gescande pdf’s, foto’s van facturen, spraakopnames met achtergrondgeluid.
Leg per case het verwachte resultaat vast: feiten die erin moeten staan, uitspraken die er niet in mogen staan, de verwachte tool-aanroep met parameters of de verwachte geëxtraheerde velden. Versiebeheer de dataset in Git, net als code, en voeg elke productiefout toe. De dataset groeit met elk incident.
Stap 3: kies de juiste beoordelingsmethode
| Methode | Wat ze controleert | Sterke punten | Beperkingen |
|---|---|---|---|
| Exacte of gestructureerde vergelijking | Geëxtraheerde velden, JSON-schema, tool-argumenten, classificaties | Goedkoop, snel, eenduidig | Alleen voor gestructureerde output |
| Regelgebaseerde checks | Verboden formuleringen, verplichte meldingen, prijzen tegen de catalogus, formaten | Deterministisch en goed uit te leggen | Kan geen betekenis beoordelen |
| LLM als beoordelaar met rubriek | Juistheid, onderbouwing, behulpzaamheid, toon | Schaalt naar vrije tekst; goedkoop per case | Moet tegen menselijke oordelen worden gekalibreerd; kan bevooroordeeld zijn |
| Menselijke review | Alles, inclusief nuance | De gouden standaard | Traag en duur; gebruik voor kalibratie en steekproeven |
| Taaksucces in een sandbox | Heeft de agent de taak echt uitgevoerd – terugbetaling aangemaakt, afspraak geboekt? | Meet resultaten in plaats van woorden | Vraagt een testomgeving met realistische data |
| Spraakspecifieke metrics | Herkenning van namen, cijfers en datums; onderbrekingen; beurtlatentie | Vangt wat tekst-evals missen | Vereist audiotestsets |
Twee tips. Eén: zet deterministische checks in waar het kan en bewaar de LLM-beoordelaar voor wat echt oordeelsvermogen vraagt. Twee: kalibreer die beoordelaar. Laat mensen 50–100 cases beoordelen, vergelijk hun oordeel met de scores van de beoordelaar en scherp de rubriek aan tot ze overeenkomen. Laat een model nooit met dezelfde prompt zijn eigen antwoorden beoordelen.
Spraak verdient extra aandacht. Volgens AssemblyAI presteert spraakherkenning in de praktijk doorgaans twee tot drie keer slechter dan in laboratoriumbenchmarks (AssemblyAI), en telefoonaudio maakt het nog lastiger. Namen, adressen, telefoonnummers en datums zijn waar spraakagents het vaakst de mist ingaan – denk aan Nederlandse achternamen met tussenvoegsels of postcodes. Test precies die.
Stap 4: drempelwaarden en release-gates
Een eval zonder drempelwaarde is een rapport dat niemand leest. Leg per dimensie vast wat acceptabel is, en houd gemiddelden gescheiden van kritieke fouten.
Hieronder een voorbeeld van een evalplan voor een klantenservice-agent. De waarden zijn illustratief; stel je eigen normen op basis van risico.
| Dimensie | Metric | Methode | Voorbeeldnorm |
|---|---|---|---|
| Oplossing | Aandeel cases dat van begin tot eind correct is opgelost | Sandbox-succes plus menselijke steekproef | Minstens het huidige niveau van het team |
| Onderbouwing | Aandeel antwoorden dat volledig door bronnen wordt gedekt | Gekalibreerde LLM-beoordelaar | 95% of hoger |
| Kritieke fouten | Verkeerde prijs, verkeerd terugbetalingsbedrag, data van een andere klant | Regels plus gestructureerde vergelijking | Nul tolerantie |
| Escalatie | Verplichte escalaties overgedragen aan een mens | Gestructureerde vergelijking | 100% |
| AI-melding | Melding aanwezig waar verplicht (EU AI Act, art. 50) | Regelcheck | 100% |
| Latentie | p95-antwoordtijd | Logs | Kanaalbudget, bijv. onder 3 seconden in chat |
| Kosten | Kosten per opgeloste case | Gateway-logs | Binnen de business case |
Draai de volledige suite bij elke wijziging: prompt, model, tooldefinitie, retrieval-instelling, import in de kennisbank. Houd de release tegen als een kritieke metric daalt. Vergelijk je modellen, gebruik dan dezelfde dataset en bekijk kwaliteit, latentie en kosten naast elkaar. Precies dat bewijs heeft een LLM-gateway nodig om verkeer veilig naar goedkopere modellen te verplaatsen.
Stap 5: blijf meten na de livegang
Bij de livegang begint de echte dataset binnen te komen. Online evals maken de cirkel rond:
- Beoordeel een steekproef van live gesprekken met dezelfde rubriek – dagelijks bij nieuwe systemen, wekelijks zodra ze stabiel zijn. Geautomatiseerde beoordeling maakt volledige dekking betaalbaar: handmatige kwaliteitscontrole in contactcenters bekijkt doorgaans maar 1–2% van de gesprekken (AssemblyAI). Als prijsindicatie: Retell rekent $0,10 per minuut voor geautomatiseerde kwaliteitscontrole van spraakagents (Retell).
- Volg gedragssignalen. Escalatiepercentage, herhaalcontact binnen 48 uur, negatieve beoordelingen, afgebroken gesprekken, handmatige correcties in backofficesystemen.
- Let op drift. Een verouderde kennisbank is de meest voorkomende oorzaak van stijgende hallucinaties een paar maanden na de livegang; modelupdates van aanbieders staan op twee. Draai na elke update de offline suite opnieuw.
- Werk met zekerheidsdrempels. Laat het systeem overdragen aan een mens als het twijfelt. Eén leverancier van CRM-agents escaleert bijvoorbeeld automatisch zodra de relevantie van opgehaalde inhoud onder 0,40 zakt (NOVA). Het exacte getal doet er minder toe dan dat je er één hebt en het met data bijstelt.
- Koppel fouten terug. Elke serieuze productiefout wordt een nieuwe testcase, zodat hij nooit ongemerkt terugkomt.
Hoe goede resultaten eruitzien
Evals maken van vage beloftes harde getallen. Een paar gepubliceerde voorbeelden – allemaal opgave van de leverancier zelf, dus lees ze als richting, niet als benchmark:
- Fractional AI meldt 80% minder hallucinaties in een AI-systeem dat voor Zapier is gebouwd (Fractional AI).
- Vstorm noemt een project waarin de nauwkeurigheid steeg van 44% naar 98% (Vstorm).
- Volgens Salesforce ziet 70% van de serviceorganisaties met AI-agents binnen de eerste 60 dagen meetbaar effect (Salesforce).
Wat deze cases delen, is geen beter model maar een gemeten cyclus: nulmeting, wijziging, opnieuw meten.
Wie is eigenaar van de evals
Evals stranden vaker op organisatie dan op techniek. Drie rollen maken ze effectief:
- Een eigenaar vanuit de business – hoofd klantenservice, operations of sales – bepaalt wat ‘goed’ betekent, keurt drempelwaarden goed en weegt automatiseringsgraad af tegen risico.
- Vakexperts – ervaren servicemedewerkers, boekhouders, planners – beoordelen cases en controleren steekproeven. Twee uur per week van de juiste persoon is meer waard dan duizend synthetische voorbeelden.
- Een technisch eigenaar onderhoudt de testomgeving, release-gates en dashboards, en zorgt dat elk incident een testcase wordt.
Zet het maandelijkse evalrapport op dezelfde agenda als de andere operationele KPI’s. Staan kwaliteitscijfers naast kosten en volume, dan worden beslissingen over modellen, prompts en automatiseringsomvang onderbouwd in plaats van anekdotisch.
Tooling: begin eenvoudig
Om te starten volstaan een spreadsheet met testcases en een script dat je systeem aanroept en de resultaten beoordeelt. Groeit het volume, voeg dan tracing- en evaluatietools toe. Langfuse of Helicone voor traces en scores, Sentry voor fouten en PostHog voor productsignalen is een gangbare combinatie in AI-pakketten voor productie (HouseofMVPs).
Wat je ook gebruikt: bewaar datasets, rubrieken en resultaten in systemen die van jou zijn, niet alleen in het dashboard van een leverancier. Na je data zelf zijn ze het waardevolste bezit van een AI-project: ermee kun je van model, leverancier of bureau wisselen zonder bij nul te beginnen.
Veelgemaakte fouten
- Testen met de demovragen. Is de dataset makkelijk, dan zegt de score niets.
- Tekst beoordelen, acties niet. Een beleefd antwoord met het verkeerde terugbetalingsbedrag is een fout.
- Kritieke fouten verstoppen in gemiddelden. Een gemiddelde van 97% kan een datalek bevatten.
- Ongekalibreerde LLM-beoordelaars, of een model dat zichzelf beoordeelt.
- Geen weiger- of escalatiecases, waardoor de agent wordt beloond voor het beantwoorden van alles.
- Eén keer evals vóór de livegang, daarna nooit meer. Modellen, data en klanten veranderen voortdurend.
- Prompts en datasets zonder versiebeheer, waardoor je niet kunt achterhalen wat een regressie veroorzaakte.
Conclusie
Evals zijn de goedkoopste verzekering in AI. Een gouden dataset van echte cases, een handvol goedgekozen metrics met normen, automatische release-gates en continue beoordeling van live verkeer maken van een indrukwekkende demo een systeem dat je kunt vertrouwen – en kunt prijzen. De meeste vastgelopen pilots die we zien, missen geen beter model; ze missen een manier om aan te tonen dat het huidige model werkt. Klinkt dat bekend? Lees dan als volgende stap hoe je AI-pilots naar productie brengt.
Ons Systems-team bouwt evalsuites, release-gates en kwaliteitsdashboards voor service-, spraak- en documentagents. Plan een gratis audit van 15 minuten en we bekijken hoe jouw AI-kwaliteit vandaag wordt gemeten en waar de blinde vlekken zitten.