Wat ik leerde van 54.000 AI-aanroepen in mijn eigen agents

Kort antwoord: ik draai sinds juli eigen AI-agents, goed voor 54.324 modelaanroepen. Ongeveer de helft van de runs haalde de kwaliteitsgrens zonder hulp. Drie op de vier opdrachten leverden niets bruikbaars op. Toch werk ik er elke dag mee, omdat de winst niet in de slimheid van het model zit, maar in de controle eromheen.

"De meeste verhalen over AI-agents gaan over wat ze kunnen. Dit gaat over wat er gebeurt als je ze vier maanden aan laat staan."

Over AI-agents lees je vooral demo's. Een agent die in dertig seconden een hele taak afhandelt. Wat je zelden leest, is wat er in maand vier gebeurt, als hij duizenden keren heeft gedraaid, de aanbieder een limiet heeft ingesteld en niemand meer precies weet waarom iets werd afgekeurd.

Ik heb die cijfers wel, omdat ik AgentOS bouw en gebruik, het systeem waarop mijn eigen agents draaien. Het schrijft, controleert, rapporteert en bereidt werk voor, voor mijn eigen bedrijf en mijn eigen producten. Ik heb de tellingen eruit gehaald op 5 november 2026. Een deel daarvan is niet vleiend. Juist daarom schrijf ik het op.

De cijfers op een rij

Wat	Aantal	Periode
Aanroepen van een taalmodel	54.324	10 juli t/m 5 november 2026
Tokens	166,4 miljoen	idem
Aanroepen die tegen een limiet liepen	4.096 (7,5 procent)	idem
Runs langs de kwaliteitspoort	546	11 augustus t/m 4 november
Daarvan geslaagd	277 (51 procent)	idem
Stukken die ik beoordeelde: live gezet	170	1 juli t/m 4 november
Stukken die ik beoordeelde: afgewezen	214	idem
Opdrachten aan agents zonder effect	140 van 184 (76 procent)	14 augustus t/m 4 november

Het zijn de cijfers van één systeem van één ondernemer, over meerdere eigen projecten, vooral rond content. Geen wetmatigheden dus. Ze zijn wel echt, en dat is meer dan je van de meeste beloftes kunt zeggen.

Les 1: de helft halen is normaal, reken daarop

Van de 546 runs langs mijn kwaliteitspoort slaagden er 277. Nog eens 55 slaagden deels, 170 werden gestopt, 26 mislukten en 18 stopte ik zelf. Elke run is een poging om een taak zo goed te doen dat hij door een automatische controle komt.

Dit past bij wat onderzoek laat zien. In TheAgentCompany, een onderzoek van Carnegie Mellon naar agents in een nagebootst bedrijf, voerde het beste model 30,3 procent van de taken zelfstandig uit. Dat zijn inmiddels oudere modellen, dus het echte getal ligt nu waarschijnlijk hoger. De richting blijft wel gelijk: een agent die zonder toezicht werkt, is geen betrouwbare medewerker.

Wat dit voor jou betekent: ontwerp je proces voor de dag dat de agent het fout heeft. Vraag bij een offerte niet alleen wat hij kan, maar ook wat er gebeurt als het misgaat. Daarvoor gebruik ik een vaste controlestap, die ik beschrijf in waarom bij mijn AI niets de deur uitgaat zonder goedkeuring.

Les 2: drie op de vier opdrachten leverden niets op

Dit cijfer had ik niet verwacht. Mijn systeem stuurde tussen 14 augustus en 4 november 184 keer een agent op pad met een opdracht. In 140 gevallen had dat geen effect. Niet omdat het model faalde, maar vaak omdat er niets te doen was: er was geen koppeling met de juiste site, of er stonden geen verbeterpunten in het laatste rapport.

Op een dashboard zag dat er prachtig uit. Agents die de hele dag aan het werk zijn. Maar activiteit is geen resultaat. Een agent die braaf meldt dat hij klaar is, heeft mogelijk niets veranderd.

Wat dit voor jou betekent: meet wat er veranderd is, niet wat er gedraaid heeft. Spreek vooraf af wat je wilt zien: minder uren, minder fouten, sneller antwoord. Hoe je dat doorrekent, lees je in levert een AI-agent geld op?

Les 3: de techniek hapert, en vaak in golven

Van alle aanroepen liep 7,5 procent tegen een limiet van de aanbieder aan. Maar dat gemiddelde verbergt het echte verhaal:

Maand	Aanroepen	Tegen een limiet	Aandeel
Augustus	22.964	247	1,1 procent
September	9.854	1.918	19,5 procent
Oktober	11.955	1.931	16,2 procent

In augustus was er vrijwel niets aan de hand, terwijl ik toen de meeste aanroepen deed. In september en oktober liep ongeveer één op de zes vast, bij minder dan de helft van dat volume. Wie alleen de eerste maand had gemeten, had geconcludeerd dat dit geen probleem is.

Wat dit voor jou betekent: een agent die op één aanbieder leunt, ligt stil als die aanbieder iets verandert. Vraag je bouwer wat er dan gebeurt. Bij mij valt het systeem terug op een ander model. Ook platforms kunnen veranderen, zoals je ziet aan de stopdatum van custom GPT's.

Les 4: het dure model heb je zelden nodig

Bijna 99 procent van mijn aanroepen ging naar goedkope open modellen. Maar enkele honderden gingen naar duurdere modellen, voor de taken waar het echt op aankomt. Daardoor blijven mijn doorlopende kosten voor het hele systeem tussen de 200 en 350 euro per maand, ondanks het volume.

Wat dit voor jou betekent: vraag niet welk model het beste is, maar welk model goed genoeg is voor deze stap. Sorteren vraagt iets anders dan een tekst schrijven die naar een klant gaat. Let daarbij wel op je gegevens: een goedkoop model is alleen een goede keuze als je weet waar je data heen gaat. Voor persoonsgegevens gelden andere eisen dan voor een blogtekst. Meer daarover lees je in AI-agents en privacy.

Les 5: de mens wordt de bottleneck

Dit is de les waar ik nog niet uit ben. Ik heb een goedkeuringsstap ingebouwd, en daar sta ik achter. Maar nu staan er 50 stukken op mijn oordeel te wachten. Van wat sinds 1 september is gemaakt, ging 22 live, wees ik 26 af en wachten er 40.

Daar zit een eerlijke spanning. De agent kan veel meer maken dan ik kan beoordelen. Elk stuk dat wacht, is werk dat is gedaan en niets oplevert. Dus meer agents leveren op een gegeven moment niets meer op. Mijn aandacht is de grens geworden.

Over wat er wordt afgekeurd, moet ik ook eerlijk zijn. Van de 214 afwijzingen vielen er 127 op vier dagen in augustus, toen ik grote opruimrondes hield. Zonder die dagen keur ik ongeveer één op de drie af. Dat is nog steeds veel, maar het is een eerlijker getal dan de 56 procent die je anders zou zien.

Wat dit voor jou betekent: reken de controletijd mee voordat je bouwt, en laat de agent niet meer maken dan iemand kan nakijken. Maak het oordeel klein en snel, en zet de reden en de context erbij.

Les 6: ik gaf mijn eigen systeem te weinig feedback

De pijnlijkste tot het laatst. Bij elke run kan ik vastleggen wat ik ervan vind. Dat deed ik bij 2 van de 546 runs. Van de 214 afwijzingen staat bij 184 geen reden.

Mijn systeem heeft honderden lessen opgeslagen, maar de overgrote meerderheid is automatisch gegenereerd. Het leert dus vooral van zijn eigen controle, en veel minder van mijn oordeel, terwijl juist dat het meest waard is. Dat ligt niet aan de techniek. Het veld was er. Ik had haast.

Wat dit voor jou betekent: een agent wordt niet vanzelf beter. Spreek af wie de afkeuringen bijhoudt en met welke reden, en kijk daar elke maand naar. Die ene gewoonte is meer waard dan een beter model.

Wat ik nu anders zou doen

Zou ik morgen opnieuw beginnen, dan deed ik dit:

1. Eén taak, niet een heel team. Eerst één proces dat aantoonbaar werkt.
2. De grenzen eerst op papier. Wat hij moet doen, wat hij nooit mag, wie controleert en wanneer we stoppen.
3. Controle vanaf dag één inbouwen. Niet achteraf opruimen.
4. Meten op resultaat. Niet hoeveel runs, maar wat er is veranderd.
5. De reden van elke afkeuring vastleggen. Eén zin is genoeg.

Die vragen staan in de opdrachtbrief die ik nu zelf gebruik voordat ik een agent bouw. Je kunt hem hieronder gratis downloaden.

Veelgestelde vragen

Werken AI-agents in de praktijk?

Ja, voor afgebakende taken en met controle eromheen. In mijn eigen systeem haalde ongeveer de helft van de runs de kwaliteitsgrens zonder hulp en keur ik een aanzienlijk deel van het resultaat af. Reken dus niet op een zelfstandige medewerker, maar op iets dat voorbereidt.

Wat kost het om AI-agents dagelijks te draaien?

Mijn eigen systeem kost tussen de 200 en 350 euro per maand aan doorlopende kosten, bij ongeveer 10.000 tot 23.000 aanroepen per maand op vooral goedkope modellen. Dat is geen belofte voor jouw situatie: gebruik hangt af van wat de agent doet en welk model je nodig hebt.

Hoeveel controle heeft een AI-agent nodig?

Dat hangt af van wat er misgaat als hij een fout maakt. Bij teksten die naar buiten gaan, laat ik altijd een mens beslissen. Sorteren mag vaker zelfstandig, zolang je steekproeven doet en fouten kunt terugdraaien.

Hulp nodig?

Wil je een agent die één taak echt overneemt, met de lessen die ik al op mijn eigen systeem heb geleerd? Kijk bij Agent op Maat of plan via de contactpagina een sparringsessie van 30 minuten. Iris stelt je eerst een paar vragen, zodat we meteen over jouw proces kunnen praten.

Gerelateerde artikelen

• Welk proces automatiseer je als eerste met AI?
• Human-in-the-loop en de goedkeuringswachtrij bij AI-agents
• Een AI-agent testen en meten voordat je hem vertrouwt

Vincent van Munster doet interim bedrijfsvoering en AI-realisatie. Hij bouwt AI-systemen voor zijn eigen bedrijf en voor ondernemers, en houdt de mens altijd aan het stuur.