CONVIRO
AI & Chatbots

Nauwkeurigheid van je chatbot meten zonder datascienceteam

Een praktische manier om de nauwkeurigheid van je chatbot te meten met een wekelijkse steekproef, een beoordelingsschema met vier criteria en een spreadsheet, plus hoe je foute…

Conviro
2 september 20266 min leestijd
Nauwkeurigheid van je chatbot meten zonder datascienceteam
Beschikbaar in:NLENETITESLTDEFRPLPTTR
In dit artikel

Geeft je chatbot de juiste antwoorden? De meeste teams antwoorden op gevoel: een paar goede gesprekken die iemand voorbij zag komen, of één slechte screenshot die door het kantoor ging. Geen van beide zegt veel.

Je kunt de nauwkeurigheid van je chatbot meten met drie eenvoudige hulpmiddelen: een wekelijkse willekeurige steekproef van echte gesprekken, een beoordelingsschema met vier criteria (juist, volledig, onderbouwd, passende toon) en een spreadsheet om de trend te volgen. Het kost ongeveer een uur per week, en de enige rekensom is een percentage.

Belangrijkste punten

  • Beoordeel elke week een willekeurige steekproef van echte AI-antwoorden, niet alleen de gesprekken waarover iemand klaagde.
  • Beoordeel elk antwoord op vier criteria: juist, volledig, onderbouwd met een bron en in de juiste toon.
  • De meeste problemen met nauwkeurigheid zijn terug te voeren op de kennisbank, dus elke lage score hoort te eindigen met een inhoudelijke aanpassing en een nieuwe test.

Wat "nauwkeurig" betekent voor een AI-antwoord

Een antwoord kan toevallig goed zijn. Zegt de chatbot dat je retourtermijn 30 dagen is en klopt dat, maar staat het nergens in je kennisbank, dan kan het volgende antwoord 14 zeggen. Daarom heeft nauwkeurigheid meer dan één dimensie nodig.

Geef elk AI-antwoord 0, 1 of 2 punten op vier criteria:

Criterium Vraag die je stelt 2 punten 1 punt 0 punten
Juist Klopt het voor deze klant? Helemaal juist Kleine fout Fout of misleidend
Volledig Is alles beantwoord wat werd gevraagd? Alles Detail gemist Hoofdzaak gemist
Onderbouwd Kun je de passage vinden die het onderbouwt? Duidelijk onderbouwd Deels onderbouwd In geen enkele bron
Toon Past het bij je merk en het moment? Past bij het merk Iets te ver ernaast Ongepast

Elk antwoord scoort maximaal 8 punten. De wekelijkse nauwkeurigheid is de som van alle scores gedeeld door het maximaal haalbare. Houd daarnaast een aparte markering bij voor kritieke fouten: elk antwoord met 0 punten op Juist. Eén verkeerde belofte over een terugbetaling weegt zwaarder dan tien wat stijve antwoorden.

De nauwkeurigheid van je chatbot meten met een wekelijkse steekproef

Stap 1: Trek een willekeurige steekproef

Open elke week een willekeurige set gesprekken waarin de AI antwoordde. Handel je bijvoorbeeld 1.500 gesprekken per maand af, dan zijn 30 tot 50 AI-antwoorden per week ruim genoeg om patronen te zien. Spreid de steekproef over je kanalen en neem ook gesprekken mee die eindigden in een overdracht.

Willekeur is belangrijk. Bekijk je alleen gesprekken met een lage CSAT-score, dan zie je de luidste fouten en mis je de stille fouten die klanten nooit hebben gemeld. Bekijk gemarkeerde gesprekken ook, maar in een aparte groep.

Stap 2: Beoordeel antwoorden, geen gesprekken

Eén gesprek kan vier AI-antwoorden bevatten: twee uitstekende, één onvolledig, één fout. Beoordeel je ze apart, dan weet je precies wat er misging.

Stap 3: Stem beoordelaars op elkaar af

Beoordelen er twee mensen, laat ze dan in week één allebei dezelfde tien antwoorden scoren en vergelijk de uitkomsten. Meningsverschillen leggen meestal een onduidelijke regel bloot, bijvoorbeeld of het noemen van een oude prijs een kleine fout is of een fout antwoord. Leg de beslissing vast.

Stap 4: Houd alles bij

Een spreadsheet met deze kolommen is genoeg: datum, kanaal, vraag, AI-antwoord, vier scores, totaal, kritieke fout, bron gevonden, type fout, benodigde aanpassing.

Chatbotantwoorden beoordelen door hun bronnen te controleren

Van de score voor Onderbouwd leer je het meest. Zoek voor elk antwoord de passage in je kennisbank die het onderbouwt. Laat je tool zien op welke bronnen een antwoord is gebaseerd, begin daar dan; doorzoek anders je documenten op de belangrijkste feiten.

Ontbreekt de onderbouwing of klopt die niet, dan valt de fout meestal onder een van deze vijf typen:

Type fout Wat je ziet Oplossing
Ontbrekende content De vraag wordt nergens behandeld Schrijf het antwoord en voeg het toe
Verouderde content De bron bestaat maar is oud Werk de oude versie bij of verwijder hem
Tegenstrijdige content Twee bronnen spreken elkaar tegen Houd één waarheid over, verwijder de andere
Gemiste bron De juiste content bestaat, maar de AI gebruikte hem niet Herschrijf koppen in de woorden van de klant
Te ver gaan De AI voegde details toe die in geen enkele bron staan Scherp je vangrails of de veiligheidsmodus aan

Tegenstrijdige content is het verraderlijkst: een oude prijslijst in pdf en een nieuwere webpagina winnen allebei af en toe. Onze gids over AI-hallucinaties bij chatbots voorkomen gaat dieper in op het probleem van te ver gaan.

De kwaliteit van AI-antwoorden in de tijd volgen

De score van één week is een momentopname. De trend vertelt je of je werk iets oplevert.

Zet de wekelijkse nauwkeurigheid en het aantal kritieke fouten naast elkaar in een grafiek. Splits ze daarna allebei uit per onderwerp (verzending, retouren, productspecificaties, facturatie), want een totaalscore kan gelijk blijven terwijl één onderwerp ongemerkt slechter wordt. Markeer in de grafiek de datum van elke wijziging in je kennisbank of instellingen, zodat je het effect ervan ziet.

Combineer je handmatige score met wat je platform al verzamelt. De analyses van Conviro rapporteren CSAT, oplospercentages en AI-nauwkeurigheid, en het inzichtenpaneel voor kennishiaten toont vragen die de assistent niet goed kon beantwoorden; hoe je dat gebruikt, lees je in analyse van kennishiaten. Met de volledige gespreksverslagen in de Live Inbox lees je het gesprek rond een antwoord voordat je het beoordeelt.

Verbeter de kennisbank en test opnieuw

Meten helpt alleen als het tot verbeteringen leidt. Maak de cirkel elke week rond:

  1. Sorteer de lage scores van die week op type fout.
  2. Pas de content aan: voeg ontbrekende antwoorden toe, verwijder verouderde bestanden, los tegenstrijdigheden op.
  3. Stel de oorspronkelijke vraag opnieuw en controleer of het nieuwe antwoord goed scoort.
  4. Zet de vraag op een lijst voor regressietests die je na elke grote wijziging in je kennisbank opnieuw stelt.

Na een paar weken wordt die regressielijst je eigen testset. Blijft het te ver gaan terugkomen, bekijk dan hoe strikt je AI-assistent zich aan zijn bronnen moet houden; in Conviro kies je precies daarvoor een striktere veiligheidsmodus tegen hallucinaties.

Veelgestelde vragen

Wat is een goede nauwkeurigheid voor een chatbot?

Er is geen universele benchmark, want nauwkeurigheid hangt af van het soort vragen dat je krijgt en van hoe streng je beoordeelt. Stel je eigen nulmeting vast op basis van de eerste twee of drie weken beoordelingen en werk daarna aan een gestage stijging. Volg kritieke fouten apart en breng ze zo dicht mogelijk bij nul, want één fout antwoord over geld of veiligheid weegt zwaarder dan veel goede.

Hoeveel chatbotantwoorden moet ik per week beoordelen?

Genoeg om patronen te zien zonder dat je beoordelaars opbranden. Voor de meeste kleine en middelgrote teams werken 30 tot 50 AI-antwoorden per week, en dat kost ongeveer een uur. Bedien je meerdere kanalen of talen, zorg dan dat elk daarvan in de steekproef zit, en beoordeel meer na grote wijzigingen in je kennisbank of een productlancering.

Wat is het verschil tussen de nauwkeurigheid en het oplospercentage van een chatbot?

Het oplospercentage vertelt je hoeveel gesprekken eindigden zonder mens. Nauwkeurigheid vertelt je of de antwoorden klopten. Een chatbot kan een hoog oplospercentage halen met een lage nauwkeurigheid als klanten met foute antwoorden vertrekken en nooit terugkomen om te klagen. Meet ze allebei en gebruik nauwkeurigheid als vangrail voor het oplospercentage.

Begin met de steekproef van deze week

Zet het beoordelingsschema in een spreadsheet, kies 30 willekeurige AI-antwoorden en beoordeel ze op vrijdag. Binnen een maand weet je welke onderwerpen aandacht nodig hebben en of je verbeteringen standhouden. Kies je nog een platform? Start gratis met Conviro en voer dezelfde beoordeling uit op je eigen gesprekken.

Delen:

Gepubliceerd door

Conviro

Deelt inzichten over AI-aangedreven klantenservice, chatbot-automatisering en SaaS-groeistrategieën.

Breng het draaiboek in de praktijk

Maak van je supportkennis snellere antwoorden

Ontdek de AI-supportworkspace van Conviro en start gratis zodra de workflow bij je team past.

Gerelateerde artikelen

Meer berichten