Nauwkeurigheid van je chatbot meten zonder datascienceteam
Een praktische manier om de nauwkeurigheid van je chatbot te meten met een wekelijkse steekproef, een beoordelingsschema met vier criteria en een spreadsheet, plus hoe je foute…

In dit artikel
Geeft je chatbot de juiste antwoorden? De meeste teams antwoorden op gevoel: een paar goede gesprekken die iemand voorbij zag komen, of één slechte screenshot die door het kantoor ging. Geen van beide zegt veel.
Je kunt de nauwkeurigheid van je chatbot meten met drie eenvoudige hulpmiddelen: een wekelijkse willekeurige steekproef van echte gesprekken, een beoordelingsschema met vier criteria (juist, volledig, onderbouwd, passende toon) en een spreadsheet om de trend te volgen. Het kost ongeveer een uur per week, en de enige rekensom is een percentage.
Belangrijkste punten
- Beoordeel elke week een willekeurige steekproef van echte AI-antwoorden, niet alleen de gesprekken waarover iemand klaagde.
- Beoordeel elk antwoord op vier criteria: juist, volledig, onderbouwd met een bron en in de juiste toon.
- De meeste problemen met nauwkeurigheid zijn terug te voeren op de kennisbank, dus elke lage score hoort te eindigen met een inhoudelijke aanpassing en een nieuwe test.
Wat "nauwkeurig" betekent voor een AI-antwoord
Een antwoord kan toevallig goed zijn. Zegt de chatbot dat je retourtermijn 30 dagen is en klopt dat, maar staat het nergens in je kennisbank, dan kan het volgende antwoord 14 zeggen. Daarom heeft nauwkeurigheid meer dan één dimensie nodig.
Geef elk AI-antwoord 0, 1 of 2 punten op vier criteria:
| Criterium | Vraag die je stelt | 2 punten | 1 punt | 0 punten |
|---|---|---|---|---|
| Juist | Klopt het voor deze klant? | Helemaal juist | Kleine fout | Fout of misleidend |
| Volledig | Is alles beantwoord wat werd gevraagd? | Alles | Detail gemist | Hoofdzaak gemist |
| Onderbouwd | Kun je de passage vinden die het onderbouwt? | Duidelijk onderbouwd | Deels onderbouwd | In geen enkele bron |
| Toon | Past het bij je merk en het moment? | Past bij het merk | Iets te ver ernaast | Ongepast |
Elk antwoord scoort maximaal 8 punten. De wekelijkse nauwkeurigheid is de som van alle scores gedeeld door het maximaal haalbare. Houd daarnaast een aparte markering bij voor kritieke fouten: elk antwoord met 0 punten op Juist. Eén verkeerde belofte over een terugbetaling weegt zwaarder dan tien wat stijve antwoorden.
De nauwkeurigheid van je chatbot meten met een wekelijkse steekproef
Stap 1: Trek een willekeurige steekproef
Open elke week een willekeurige set gesprekken waarin de AI antwoordde. Handel je bijvoorbeeld 1.500 gesprekken per maand af, dan zijn 30 tot 50 AI-antwoorden per week ruim genoeg om patronen te zien. Spreid de steekproef over je kanalen en neem ook gesprekken mee die eindigden in een overdracht.
Willekeur is belangrijk. Bekijk je alleen gesprekken met een lage CSAT-score, dan zie je de luidste fouten en mis je de stille fouten die klanten nooit hebben gemeld. Bekijk gemarkeerde gesprekken ook, maar in een aparte groep.
Stap 2: Beoordeel antwoorden, geen gesprekken
Eén gesprek kan vier AI-antwoorden bevatten: twee uitstekende, één onvolledig, één fout. Beoordeel je ze apart, dan weet je precies wat er misging.
Stap 3: Stem beoordelaars op elkaar af
Beoordelen er twee mensen, laat ze dan in week één allebei dezelfde tien antwoorden scoren en vergelijk de uitkomsten. Meningsverschillen leggen meestal een onduidelijke regel bloot, bijvoorbeeld of het noemen van een oude prijs een kleine fout is of een fout antwoord. Leg de beslissing vast.
Stap 4: Houd alles bij
Een spreadsheet met deze kolommen is genoeg: datum, kanaal, vraag, AI-antwoord, vier scores, totaal, kritieke fout, bron gevonden, type fout, benodigde aanpassing.
Chatbotantwoorden beoordelen door hun bronnen te controleren
Van de score voor Onderbouwd leer je het meest. Zoek voor elk antwoord de passage in je kennisbank die het onderbouwt. Laat je tool zien op welke bronnen een antwoord is gebaseerd, begin daar dan; doorzoek anders je documenten op de belangrijkste feiten.
Ontbreekt de onderbouwing of klopt die niet, dan valt de fout meestal onder een van deze vijf typen:
| Type fout | Wat je ziet | Oplossing |
|---|---|---|
| Ontbrekende content | De vraag wordt nergens behandeld | Schrijf het antwoord en voeg het toe |
| Verouderde content | De bron bestaat maar is oud | Werk de oude versie bij of verwijder hem |
| Tegenstrijdige content | Twee bronnen spreken elkaar tegen | Houd één waarheid over, verwijder de andere |
| Gemiste bron | De juiste content bestaat, maar de AI gebruikte hem niet | Herschrijf koppen in de woorden van de klant |
| Te ver gaan | De AI voegde details toe die in geen enkele bron staan | Scherp je vangrails of de veiligheidsmodus aan |
Tegenstrijdige content is het verraderlijkst: een oude prijslijst in pdf en een nieuwere webpagina winnen allebei af en toe. Onze gids over AI-hallucinaties bij chatbots voorkomen gaat dieper in op het probleem van te ver gaan.
De kwaliteit van AI-antwoorden in de tijd volgen
De score van één week is een momentopname. De trend vertelt je of je werk iets oplevert.
Zet de wekelijkse nauwkeurigheid en het aantal kritieke fouten naast elkaar in een grafiek. Splits ze daarna allebei uit per onderwerp (verzending, retouren, productspecificaties, facturatie), want een totaalscore kan gelijk blijven terwijl één onderwerp ongemerkt slechter wordt. Markeer in de grafiek de datum van elke wijziging in je kennisbank of instellingen, zodat je het effect ervan ziet.
Combineer je handmatige score met wat je platform al verzamelt. De analyses van Conviro rapporteren CSAT, oplospercentages en AI-nauwkeurigheid, en het inzichtenpaneel voor kennishiaten toont vragen die de assistent niet goed kon beantwoorden; hoe je dat gebruikt, lees je in analyse van kennishiaten. Met de volledige gespreksverslagen in de Live Inbox lees je het gesprek rond een antwoord voordat je het beoordeelt.
Verbeter de kennisbank en test opnieuw
Meten helpt alleen als het tot verbeteringen leidt. Maak de cirkel elke week rond:
- Sorteer de lage scores van die week op type fout.
- Pas de content aan: voeg ontbrekende antwoorden toe, verwijder verouderde bestanden, los tegenstrijdigheden op.
- Stel de oorspronkelijke vraag opnieuw en controleer of het nieuwe antwoord goed scoort.
- Zet de vraag op een lijst voor regressietests die je na elke grote wijziging in je kennisbank opnieuw stelt.
Na een paar weken wordt die regressielijst je eigen testset. Blijft het te ver gaan terugkomen, bekijk dan hoe strikt je AI-assistent zich aan zijn bronnen moet houden; in Conviro kies je precies daarvoor een striktere veiligheidsmodus tegen hallucinaties.
Veelgestelde vragen
Wat is een goede nauwkeurigheid voor een chatbot?
Er is geen universele benchmark, want nauwkeurigheid hangt af van het soort vragen dat je krijgt en van hoe streng je beoordeelt. Stel je eigen nulmeting vast op basis van de eerste twee of drie weken beoordelingen en werk daarna aan een gestage stijging. Volg kritieke fouten apart en breng ze zo dicht mogelijk bij nul, want één fout antwoord over geld of veiligheid weegt zwaarder dan veel goede.
Hoeveel chatbotantwoorden moet ik per week beoordelen?
Genoeg om patronen te zien zonder dat je beoordelaars opbranden. Voor de meeste kleine en middelgrote teams werken 30 tot 50 AI-antwoorden per week, en dat kost ongeveer een uur. Bedien je meerdere kanalen of talen, zorg dan dat elk daarvan in de steekproef zit, en beoordeel meer na grote wijzigingen in je kennisbank of een productlancering.
Wat is het verschil tussen de nauwkeurigheid en het oplospercentage van een chatbot?
Het oplospercentage vertelt je hoeveel gesprekken eindigden zonder mens. Nauwkeurigheid vertelt je of de antwoorden klopten. Een chatbot kan een hoog oplospercentage halen met een lage nauwkeurigheid als klanten met foute antwoorden vertrekken en nooit terugkomen om te klagen. Meet ze allebei en gebruik nauwkeurigheid als vangrail voor het oplospercentage.
Begin met de steekproef van deze week
Zet het beoordelingsschema in een spreadsheet, kies 30 willekeurige AI-antwoorden en beoordeel ze op vrijdag. Binnen een maand weet je welke onderwerpen aandacht nodig hebben en of je verbeteringen standhouden. Kies je nog een platform? Start gratis met Conviro en voer dezelfde beoordeling uit op je eigen gesprekken.
Gepubliceerd door
Conviro
Deelt inzichten over AI-aangedreven klantenservice, chatbot-automatisering en SaaS-groeistrategieën.
Breng het draaiboek in de praktijk
Maak van je supportkennis snellere antwoorden
Ontdek de AI-supportworkspace van Conviro en start gratis zodra de workflow bij je team past.
Gerelateerde artikelen
Meer berichten
AI & Chatbots
Veiligheidsstops: zo houd je AI weg uit gesprekken die er niet voor zijn
7 min leestijd
Artikel lezen
AI & Chatbots
Chatbot vs conversational AI vs AI-agent: wat is het verschil?
7 min leestijd
Artikel lezen
AI & Chatbots
AI-hallucinaties bij chatbots: waarom ze ontstaan en hoe je ze voorkomt
7 min leestijd
Artikel lezen