Hoe meet je of een AI-mail echt boekingen oplevert?

Kort antwoord: "Er kwamen 40 boekingen binnen na onze mail" is niet hetzelfde als "onze mail leverde 40 boekingen op". Een deel van die gasten was toch gekomen. Wil je weten wat een mailing echt oplevert, houd dan een willekeurige groep achter die de mail niet krijgt en vergelijk.

"Een boeking na een mail is niet hetzelfde als een boeking door een mail."

Ik bouwde voor een klant in de horeca met meerdere locaties een systeem dat gasten die lang niet geweest zijn, een persoonlijke mail laat krijgen. Elke mail wordt eerst door de eigenaar goedgekeurd. Daarna wilde de klant natuurlijk weten: werkt het? Dat is een goede vraag, en een lastiger vraag dan hij klinkt. In dit artikel leg ik uit hoe ik het eerst heb gemeten, wat daar eerlijk aan schort en hoe je het beter doet.

De eerste versie: tellen wat er na de mail komt

Mijn eerste meting was simpel. Een reservering telt als "na de mail" als de gast binnen zeven dagen na het versturen reserveert. Geannuleerde reserveringen en no-shows tellen nooit mee als omzet. Dat laatste is een vaak vergeten stap: wie alleen reserveringen telt, rekent gasten mee die nooit zijn gekomen.

Dit levert een mooi dashboard op: extra omzet, rendement en herkomst van de reserveringen. Maar de cijfers zijn te rooskleurig, en dat weet ik ook.

Het probleem: de gasten die toch gekomen waren

Stel dat je een mail stuurt naar mensen die al een tijd niet geweest zijn. Een deel van hen boekt de volgende week toch al, om andere redenen: het is vakantie voorbij, er is een verjaardag, het wordt weer koud. Als je alles telt wat binnen zeven dagen na de mail binnenkomt, schrijf je die boekingen toe aan de mail.

Dat heet toeschrijven in plaats van aantonen. De mail kreeg de eer voor boekingen die er toch waren gekomen.

De oplossing: een controlegroep

Een controlegroep is een willekeurig deel van de gasten dat de mail bewust niet krijgt. Je vergelijkt twee groepen:

• Groep A krijgt de mail.
• Groep B krijgt hem niet, maar lijkt verder op groep A.

Het verschil in boekingen tussen A en B is wat de mail echt oplevert. Dit heet incrementele omzet: de omzet die er zonder de mail niet was geweest.

Een rekenvoorbeeld (verzonnen getallen, alleen om het principe te laten zien)

Stel: je hebt 200 slapende gasten. Je mailt er 180, de overige 20 houd je achter.

Zonder controlegroep zou je zeggen: 27 boekingen door de mail. Mét controlegroep zie je: er was al 5 procent vanzelf gekomen. Van de 180 gasten waren dat er ongeveer 9. Dus is het echte effect 27 min 9 is 18 boekingen, ongeveer tweederde van wat je eerst dacht.

Let op: dit is een voorbeeld met verzonnen getallen. In de praktijk zijn de groepen vaak kleiner en is de uitkomst onzekerder. Met 20 gasten in de controlegroep kun je weinig harde conclusies trekken. Hoe groter de groep, hoe betrouwbaarder.

Wat je moet regelen voor een eerlijke meting

1. Maak de verdeling willekeurig. Laat niet de eigenaar kiezen wie de mail krijgt, want dan krijgen je beste gasten hem en lijkt de mail beter dan hij is.
2. Kies een vast meetvenster. Zeven dagen, veertien dagen, het maakt niet uit, maar leg het vooraf vast en verander het niet achteraf.
3. Meet alleen wat telt. Annuleringen en no-shows horen niet bij de omzet.
4. Wees eerlijk over de omvang. Een controlegroep van vijf mensen zegt niets. Bij kleine aantallen is het beter om over meerdere mailings op te tellen.
5. Houd rekening met vakantie en seizoen. Vergelijk A en B op hetzelfde moment, niet "dit jaar met vorig jaar".

Is dat niet oneerlijk tegenover de gasten in groep B?

Ze missen één mail. Dat is een kleine prijs voor een betere beslissing over wat je blijft doen. En als de mail echt werkt, kun je de volgende ronde iedereen mailen.

Wat ik klanten beloof

Ik beloof geen rendementspercentage. Ik beloof dat we vooraf afspreken hoe we meten, dat we eerlijk zijn over wat we niet weten en dat het getal dat je ziet, niet mooier is dan het is. Bij mijn eigen eerste meetopzet staat de controlegroep op de lijst voor de volgende versie, precies omdat ik wil dat het cijfer klopt.

Vragen die je aan een leverancier kunt stellen

1. Telt dit alleen boekingen na de mail, of ook boekingen door de mail?
2. Is er een controlegroep?
3. Tellen annuleringen en no-shows mee als omzet?
4. Hoe groot is de groep waarop dit gebaseerd is?
5. Kan ik de berekening zelf nalopen?

Hulp nodig?

Wil je een mailing of AI-campagne laten bouwen waarvan je zeker weet wat hij oplevert? Plan 30 minuten sparren via weareimpact.nl/contact. Mijn assistent Iris stelt je eerst een paar vragen, zodat het gesprek over jouw situatie gaat.

Gerelateerde artikelen

• Waarom bij mijn AI niets de deur uitgaat zonder goedkeuring
• AI-agent laten bouwen: wat kost het en wat krijg je?
• Offertes automatiseren met AI

Vincent van Munster doet interim bedrijfsvoering en AI-realisatie. Hij zet AI binnen een dagdeel aan het werk in jouw organisatie, met een mens die altijd de eindcontrole houdt.

Verder lezen: Een AI-agent testen en meten voordat je hem vertrouwt · Stuurinformatie voor een kleine organisatie