Kuidas mõõta AI-vestlusroboti täpsust ilma andmeteadlaste meeskonnata
Praktiline viis mõõta vestlusroboti täpsust iganädalase valimi, neljaosalise hindamisskaala ja tabeli abil ning jälitada halvad vastused tagasi teadmusbaasi.

Selles artiklis
Kas sinu vestlusrobot annab õigeid vastuseid? Enamik meeskondi vastab sellele kõhutunde põhjal: paar head vestlust, mida keegi nägi, või üks halb ekraanipilt, mis kontoris ringi käis. Kumbki ei ütle kuigi palju.
Vestlusroboti täpsust saab korralikult mõõta kolme lihtsa tööriistaga: iganädalane juhuvalim päris vestlustest, neljaosaline hindamisskaala (õige, täielik, allikapõhine, sobiva tooniga) ja tabel, kus trendi jälgida. See võtab umbes tunni nädalas ega nõua keerulisemat matemaatikat kui protsendi arvutamine.
Peamised järeldused
- Hinda iganädalast juhuvalimit päris AI-vastustest, mitte ainult vestlusi, mille üle keegi kaebas.
- Hinda iga vastust nelja kriteeriumi järgi: õige, täielik, allikal põhinev ja sobiva tooniga.
- Enamik täpsusprobleeme viib tagasi teadmusbaasini, seega peaks iga madal hinne lõppema sisu parandamise ja uuesti testimisega.
Mida tähendab AI-vastuse puhul „täpne“
Vastus võib olla õige juhuslikult. Kui vestlusrobot ütleb, et tagastusperiood on 30 päeva, ja see ongi nii, kuid sinu teadmusbaasis seda kusagil kirjas pole, võib järgmine vastus öelda 14. Seepärast vajab täpsus rohkem kui ühte mõõdet.
Anna igale AI-vastusele nelja kriteeriumi järgi 0, 1 või 2 punkti:
| Kriteerium | Mida küsida | 2 punkti | 1 punkt | 0 punkti |
|---|---|---|---|---|
| Õige | Kas see kehtib selle kliendi puhul? | Täiesti õige | Väike viga | Vale või eksitav |
| Täielik | Kas vastati kõigele, mida küsiti? | Kõigele | Üks detail jäi puudu | Põhiküsimus jäi vastamata |
| Allikapõhine | Kas leiad seda toetava lõigu? | Selgelt toetatud | Osaliselt toetatud | Pole üheski allikas |
| Toon | Kas see sobib sinu brändi ja olukorraga? | Brändiga kooskõlas | Veidi kõrvale | Sobimatu |
Iga vastus saab kuni 8 punkti. Nädala täpsus on kõigi punktide summa jagatud maksimaalse võimaliku summaga. Märgi eraldi kriitiline viga igale vastusele, mis saab kriteeriumis „Õige“ 0 punkti; üks vale lubadus raha tagastamise kohta kaalub üles kümme veidi kangelt sõnastatud vastust.
Iganädalane valimimeetod
1. samm: võta juhuvalim
Ava igal nädalal juhuslik hulk vestlusi, kus vastas AI. Kui sul on näiteks 1500 vestlust kuus, piisab mustrite märkamiseks 30–50 AI-vastusest nädalas. Jaota valim kanalite vahel ja lisa ka mõni vestlus, mis lõppes üleandmisega inimesele.
Juhuslikkus on oluline. Kui vaatad üle ainult madala CSAT-iga (kliendirahulolu skooriga) vestlused, näed kõige valjemaid ebaõnnestumisi ja jääd ilma vaiksetest vigadest, millest kliendid kunagi ei teatanud. Vaata üle ka märgistatud vestlused, kuid hoia need eraldi hunnikus.
2. samm: hinda vastuseid, mitte vestlusi
Ühes vestluses võib olla neli AI-vastust: kaks suurepärast, üks puudulik ja üks vale. Kui hindad neid eraldi, näed täpselt, mis läks valesti.
3. samm: ühtlusta hindajad
Kui hindajaid on kaks, lase mõlemal esimesel nädalal hinnata samu kümmet vastust ja võrdle tulemusi. Erimeelsused paljastavad tavaliselt ebaselge reegli, näiteks kas vana hinna nimetamine on väike viga või vale vastus. Pane otsus kirja.
4. samm: logi tulemused
Piisab tabelist järgmiste veergudega: kuupäev, kanal, küsimus, AI-vastus, neli hinnet, kokku, kriitiline viga, leitud allikas, vea tüüp, vajalik parandus.
Hinda vestlusroboti vastuseid nende allikate kaudu
Allikapõhisuse hinne õpetab kõige rohkem. Leia iga vastuse jaoks sinu teadmusbaasist lõik, mis seda toetab. Kui sinu tööriist näitab, milliseid allikaid vastus kasutas, alusta sealt; muul juhul otsi oma dokumentidest põhifakte.
Kui tugi puudub või on vale, kuulub viga tavaliselt ühte viiest tüübist:
| Vea tüüp | Mida näed | Parandus |
|---|---|---|
| Puuduv sisu | Küsimust pole kuskil käsitletud | Kirjuta vastus ja lisa see |
| Aegunud sisu | Allikas on olemas, kuid vana | Uuenda või eemalda vana versioon |
| Vastuoluline sisu | Kaks allikat räägivad teineteisele vastu | Jäta üks tõde, kustuta teine |
| Otsingumöödalask | Õige sisu on olemas, kuid AI ei kasutanud seda | Kirjuta pealkirjad ümber kliendi sõnadega |
| Liialdamine | AI lisas detaile, mida üheski allikas pole | Karmista turvapiirdeid või turvarežiimi |
Vastuoluline sisu on kõige salakavalam: vana PDF-hinnakiri ja uuem veebileht võidavad kumbki osa ajast. Meie juhend AI-vestlusroboti hallutsinatsioonide ennetamise kohta käsitleb liialdamist põhjalikumalt.
Jälgi AI-vastuste kvaliteeti ajas
Ühe nädala tulemus on hetkepilt. Trend näitab, kas sinu töö kannab vilja.
Kuva nädala täpsus ja kriitiliste vigade arv graafikul kõrvuti. Seejärel jaota mõlemad teemade kaupa (tarne, tagastused, tooteandmed, arveldus), sest üldine tulemus võib püsida samal tasemel, samal ajal kui mõni teema vaikselt halveneb. Märgi graafikule iga teadmusbaasi või seadete muudatuse kuupäev, et näeksid selle mõju.
Seo oma käsitsi hindamine sellega, mida sinu platvorm juba kogub. Conviro analüütika näitab CSAT-i, lahendamismäärasid ja AI täpsust ning teadmuslünkade ülevaatepaneel loetleb küsimused, millele assistent ei osanud hästi vastata; selle kasutamist selgitasime artiklis teadmuslünkade analüüs. Live Inboxi täielikud ärakirjad lasevad lugeda vastuse ümber toimunud vestlust enne, kui seda hindad.
Paranda teadmusbaasi ja testi uuesti
Mõõtmisest on kasu ainult siis, kui see viib parandusteni. Sulge ring iga nädal:
- Sorteeri nädala madalad hinded vea tüübi järgi.
- Paranda sisu: lisa puuduvad vastused, kustuta aegunud failid, lahenda vastuolud.
- Esita algne küsimus uuesti ja veendu, et uus vastus saab hea hinde.
- Lisa küsimus regressiooniloendisse, mida küsid uuesti pärast iga suuremat teadmusbaasi muudatust.
Mõne nädalaga saab sellest regressiooniloendist sinu enda testikomplekt. Kui liialdamine kordub, vaata üle, kui rangelt peab sinu AI-assistent oma allikatest kinni hoidma; Conviro laseb just sel eesmärgil valida rangema hallutsinatsioonide turvarežiimi.
Korduma kippuvad küsimused
Milline on hea vestlusroboti täpsus?
Universaalset võrdlusnäitajat pole, sest täpsus sõltub sinu küsimuste valikust ja sellest, kui rangelt hindad. Määra oma lähtetase esimese kahe-kolme nädala ülevaatuste põhjal ja püüa seda järjepidevalt tõsta. Jälgi kriitilisi vigu eraldi ja suru need nulli lähedale, sest üks vale vastus raha või ohutuse kohta kaalub üles palju häid.
Mitu vestlusroboti vastust peaks iga nädal üle vaatama?
Piisavalt, et mustreid näha, ilma et hindajad läbi põleksid. Enamikule väikestele ja keskmise suurusega meeskondadele sobib 30–50 AI-vastust nädalas ja see võtab umbes tunni. Kui teenindad mitut kanalit või keelt, veendu, et igaüks oleks valimis esindatud, ning vaata üle rohkem vastuseid pärast suuremaid teadmusbaasi muudatusi või toote turuletoomist.
Mis vahe on vestlusroboti täpsusel ja lahendamismääral?
Lahendamismäär näitab, mitu vestlust lõppes ilma inimeseta. Täpsus näitab, kas vastused olid õiged. Vestlusrobotil võib olla kõrge lahendamismäär ja kehv täpsus, kui kliendid lahkuvad valede vastustega ega tule kunagi kaebama. Mõõda mõlemat ja käsitle täpsust lahendamismäära turvapiirdena.
Alusta selle nädala valimiga
Kopeeri hindamisskaala tabelisse, võta 30 juhuslikku AI-vastust ja hinda need reedel. Kuu ajaga tead, millised teemad vajavad tööd ja kas sinu parandused peavad. Kui alles valid platvormi, alusta Conviroga tasuta ja tee sama ülevaatus oma vestluste põhjal.
Avaldanud
Conviro
Jagame teadmisi AI-põhise klienditoe, vestlusrobotite automatiseerimise ja SaaS-i kasvustrateegiate kohta.
Vii juhend ellu
Muuda oma klienditoe teadmised kiiremateks vastusteks
Tutvu Conviro AI-põhise klienditoe tööruumiga ja alusta tasuta, kui töövoog sinu meeskonnale sobib.
Seotud artiklid
Veel postitusi
AI & Chatbots
Vestluse turvapeatused: kuidas hoida AI eemal vestlustest, mida see käsitlema ei peaks
7 min lugemist
Loe artiklit

AI & Chatbots
AI hallutsinatsioonid vestlusrobotites: miks need tekivad ja kuidas neid vältida
7 min lugemist
Loe artiklit