Een AI-agent testen en meten voordat je hem vertrouwt
Een testset van echt werk, een nulmeting en drie getallen die ertoe doen
Een agent die in een demo werkt, werkt nog niet in jouw bedrijf. Zo test je hem op echt materiaal, wat je meet voor en na, en wanneer je hem een stap meer vrijheid geeft of juist terugneemt.
"Een demo laat zien wat een agent kan. Een test laat zien wat hij met jouw rommelige werk doet."
In een demo werkt een agent altijd. De voorbeelden zijn gekozen, de gegevens zijn netjes en de vraag past precies. Je werkelijkheid is anders: een klant stuurt een mail met drie vragen in één zin, een bijlage is een foto van een bon, een naam is verkeerd gespeld. Daar zie je pas of een agent deugt. In dit artikel laat ik zien hoe je dat aanpakt zonder dat je daarvoor een datateam nodig hebt.
Kort antwoord: maak een testset van twintig tot dertig echte voorbeelden, inclusief de lastige gevallen. Meet voor de agent komt hoe lang het werk kostte en hoeveel fouten er waren. Laat de agent de testset draaien, beoordeel elke uitkomst en stuur op drie getallen: hoe vaak is de uitkomst bruikbaar, hoe vaak moet ik hem aanpassen, en hoe vaak gaat het fout op een manier die ik niet kan accepteren.
Inhoudsopgave
- Waarom een demo niets bewijst
- Stap 1: de nulmeting
- Stap 2: een testset van echt werk
- Stap 3: drie getallen om op te sturen
- Stap 4: een pilot op echt werk
- Stap 5: meer vrijheid, of juist minder
- Wat ik zelf doe
Waarom een demo niets bewijst
Een taalmodel is goed in plausibel klinken. Daardoor valt een fout minder snel op dan bij gewone software: een rekenfout in Excel is zichtbaar, een verzonnen detail in een nette alinea niet. Daarom kun je bij een agent niet volstaan met "het ziet er goed uit". Je moet hem op de proef stellen, op materiaal dat je zelf hebt uitgekozen en dat lastig is.
Stap 1: de nulmeting
Voor de agent er is, leg je vast hoe het nu gaat. Zonder dat kun je achteraf niets bewijzen.
| Wat je meet | Hoe | Voorbeeld |
|---|---|---|
| Tijd per taak | Een week lang bijhouden, of een steekproef van tien keer | 45 minuten per offerteaanvraag |
| Aantal per week | Tellen | 20 aanvragen |
| Fouten of correcties | Hoe vaak moet het werk opnieuw | Twee van de tien offertes bevatten een fout |
| Doorlooptijd | Van binnenkomst tot klaar | Gemiddeld twee werkdagen |
Je hebt dit niet nauwkeurig nodig. Een eerlijke schatting op basis van een korte telling is genoeg. Het gaat erom dat je na de pilot kunt vergelijken. Een voorbeeld van hoe je een resultaat meetbaar maakt, vind je in hoe meet je of een AI-mail echt boekingen oplevert.
Stap 2: een testset van echt werk
Een testset is een verzameling voorbeelden waarvan jij weet wat het goede antwoord is. Je laat de agent ze allemaal doen en vergelijkt.
Zo stel je hem samen:
- Neem 20 tot 30 echte voorbeelden uit de afgelopen maanden. Anonimiseer als er persoonsgegevens in staan.
- Zorg voor spreiding. Gewone gevallen, maar ook korte, lange, rommelige en dubbelzinnige.
- Voeg moeilijke gevallen toe. Een mail in het Engels, een klant die boos is, een vraag waar het antwoord "dat weet ik niet" is.
- Voeg gevallen toe waar de agent moet weigeren. Bijvoorbeeld een vraag over iets buiten zijn taak, of een verzoek dat niet mag.
- Schrijf bij elk geval op wat een goed resultaat is. Niet de exacte tekst, maar de eisen: de juiste klant, het juiste bedrag, geen verzonnen details.
Elke keer dat de agent in de praktijk iets verkeerd doet, voeg je dat geval toe. Zo groeit je testset mee met wat je leert, en voorkom je dat dezelfde fout terugkomt.
Stap 3: drie getallen om op te sturen
Beoordeel elke uitkomst met één van drie oordelen. Tel daarna.
| Oordeel | Betekenis | Waar je op stuurt |
|---|---|---|
| Bruikbaar zoals het is | Ik had het zo kunnen gebruiken | Het aandeel moet omhoog |
| Bruikbaar na aanpassing | Goede basis, maar ik moest iets wijzigen | Hoeveel tijd kost de aanpassing? |
| Onbruikbaar of onaanvaardbaar | Fout, verzonnen of riskant | Dit moet naar nul, en de ernst telt mee |
Het derde getal is het belangrijkste. Eén verzonnen bedrag in een offerte weegt zwaarder dan tien keer een onhandige zin. Maak daarom voor jezelf een lijst van fouten die je nooit accepteert, zoals een verkeerd bedrag, een verkeerde naam of een belofte die je niet kunt waarmaken. Eén keer fout op die lijst betekent: terug naar de instructies.
Stap 4: een pilot op echt werk
Als de testset er goed uitziet, ga je naar echt werk. Dat doe je met de controlestap erin, zodat er niets zonder jouw akkoord naar buiten gaat.
- Duur: twee tot vier weken.
- Wie kijkt mee: één vaste persoon die elke uitkomst beoordeelt en noteert wat er aan wordt aangepast.
- Wat je bijhoudt: hoeveel keer bruikbaar, aangepast, onbruikbaar, en hoe lang de beoordeling duurde.
- Wat je doet met fouten: elke fout wordt een nieuw voorbeeld in je testset en een aanscherping in de instructies.
Aan het eind vergelijk je met je nulmeting. De vraag is niet of de agent perfect is, maar of het werk samen sneller of beter gaat dan eerst. Hoe je daarna besluit om door te gaan of te stoppen, staat in van AI-pilot naar productie en in wanneer stop je een AI-project.
Stap 5: meer vrijheid, of juist minder
Vertrouwen bouw je op, per soort taak.
- Aanpassingen worden minder en kleiner over meerdere weken: je kunt de controle lichter maken, bijvoorbeeld steekproefsgewijs.
- Eén soort taak gaat steeds goed: die kun je als eerste vrijer maken. De rest blijft onder controle.
- Een nieuwe fout die je niet verwachtte: ga terug naar volledige controle voor die taak.
- Iets in de omgeving verandert, zoals een nieuw model of een nieuw formulier: test opnieuw.
Hoe je dat in de praktijk inricht, staat in human-in-the-loop. Een regel die ik aanhoud: een agent mag zelfstandig handelen als de actie omkeerbaar is en geen gevoelige persoonsgegevens raakt. Anders gaat het via een mens.
Wat ik zelf doe
Ik laat mijn eigen systeem ook niet ongecontroleerd draaien. In AgentOS heb ik een vaste testreeks die ik de gauntlet noem: 468 testruns, waarvan er 255 slaagden. Ik meet dus structureel, ook als het resultaat niet altijd mooi is. En in de periode van 1 juli tot en met 24 september 2026 keurde ik 164 voorstellen goed en wees ik er 187 af. Het zijn dezelfde twee lessen: meten maakt zichtbaar wat anders onopgemerkt blijft, en een mens die beslist is geen overbodige stap.
Hulp nodig?
Wil je een agent laten bouwen waar testen en meten standaard bij horen? Kijk bij procesautomatisering of plan een gesprek via contact. Wil je dat je team leert hoe je dit beoordeelt, bekijk dan de AI-workshops.
Gerelateerde artikelen
- AI-agents voor het MKB: de complete gids
- Wat kost een AI-agent echt?
- AI-agents beveiligen: prompt injection, rechten en logboeken
- Van AI-pilot naar productie
- Go/no-go checklist voor een AI-project
- Waarom bij mijn AI niets de deur uitgaat zonder goedkeuring
Bronnen en verder lezen
- Anthropic, Building effective agents, met aandacht voor testen in een gecontroleerde omgeving
- OWASP, Top 10 for Large Language Model Applications
Dit artikel is geschreven door Vincent van Munster van WeAreImpact. Hij test zijn eigen AI-systeem dagelijks en bouwt hetzelfde testen in bij agents voor klanten.
Veelgestelde vragen
Hoeveel voorbeelden heb ik nodig om een agent te testen?
Begin met twintig tot dertig echte voorbeelden die het hele bereik van je werk dekken, inclusief de lastige en rare gevallen. Dat is genoeg om grote fouten te zien. Voeg elke keer dat er in de praktijk iets misgaat een nieuw voorbeeld toe.
Wat is een nulmeting en waarom heb ik die nodig?
Een nulmeting legt vast hoeveel tijd en hoeveel fouten het werk kostte voordat de agent kwam. Zonder die cijfers kun je achteraf niet zeggen of de agent iets heeft verbeterd.
Kan ik een agent testen met nepgegevens?
Voor de eerste ronde kan dat, maar het is geen vervanging van echt materiaal. Nepgegevens zijn netter dan de werkelijkheid, en juist de rommelige gevallen laten zien waar een agent faalt. Gebruik wel geanonimiseerde gegevens als privacy een rol speelt.
Wanneer geef ik een agent meer vrijheid?
Als hij over een langere periode op echt werk laat zien dat de fouten die hij maakt klein zijn en dat jij er weinig aan hoeft te wijzigen. Je verruimt stap voor stap, per soort taak, en je kunt altijd terug.
Wil je zo’n agent in jouw organisatie aan het werk? Zo pak ik een AI-agent laten bouwen aan: eerst één proces dat echt tijd kost, met een mens die altijd de eindcontrole houdt.
Bekijk de aanpakWas dit artikel nuttig?
Gerelateerde artikelen
Gerelateerde blogposts
Zet AI aan het werk in jouw organisatie
Ik help sociale en duurzame ondernemers en mkb om binnen een dagdeel te beginnen met één proces dat nu te veel tijd kost. Praktisch, met een mens die altijd de eindcontrole houdt.