CONVIRO
AI & Chatbots

Kuidas mõõta AI-vestlusroboti täpsust ilma andmeteadlaste meeskonnata

Praktiline viis mõõta vestlusroboti täpsust iganädalase valimi, neljaosalise hindamisskaala ja tabeli abil ning jälitada halvad vastused tagasi teadmusbaasi.

Conviro
2. september 20266 min lugemist
Kuidas mõõta AI-vestlusroboti täpsust ilma andmeteadlaste meeskonnata
Saadaval keeltes:NLENETITESLTDEFRPLPTTR
Selles artiklis

Kas sinu vestlusrobot annab õigeid vastuseid? Enamik meeskondi vastab sellele kõhutunde põhjal: paar head vestlust, mida keegi nägi, või üks halb ekraanipilt, mis kontoris ringi käis. Kumbki ei ütle kuigi palju.

Vestlusroboti täpsust saab korralikult mõõta kolme lihtsa tööriistaga: iganädalane juhuvalim päris vestlustest, neljaosaline hindamisskaala (õige, täielik, allikapõhine, sobiva tooniga) ja tabel, kus trendi jälgida. See võtab umbes tunni nädalas ega nõua keerulisemat matemaatikat kui protsendi arvutamine.

Peamised järeldused

  • Hinda iganädalast juhuvalimit päris AI-vastustest, mitte ainult vestlusi, mille üle keegi kaebas.
  • Hinda iga vastust nelja kriteeriumi järgi: õige, täielik, allikal põhinev ja sobiva tooniga.
  • Enamik täpsusprobleeme viib tagasi teadmusbaasini, seega peaks iga madal hinne lõppema sisu parandamise ja uuesti testimisega.

Mida tähendab AI-vastuse puhul „täpne“

Vastus võib olla õige juhuslikult. Kui vestlusrobot ütleb, et tagastusperiood on 30 päeva, ja see ongi nii, kuid sinu teadmusbaasis seda kusagil kirjas pole, võib järgmine vastus öelda 14. Seepärast vajab täpsus rohkem kui ühte mõõdet.

Anna igale AI-vastusele nelja kriteeriumi järgi 0, 1 või 2 punkti:

Kriteerium Mida küsida 2 punkti 1 punkt 0 punkti
Õige Kas see kehtib selle kliendi puhul? Täiesti õige Väike viga Vale või eksitav
Täielik Kas vastati kõigele, mida küsiti? Kõigele Üks detail jäi puudu Põhiküsimus jäi vastamata
Allikapõhine Kas leiad seda toetava lõigu? Selgelt toetatud Osaliselt toetatud Pole üheski allikas
Toon Kas see sobib sinu brändi ja olukorraga? Brändiga kooskõlas Veidi kõrvale Sobimatu

Iga vastus saab kuni 8 punkti. Nädala täpsus on kõigi punktide summa jagatud maksimaalse võimaliku summaga. Märgi eraldi kriitiline viga igale vastusele, mis saab kriteeriumis „Õige“ 0 punkti; üks vale lubadus raha tagastamise kohta kaalub üles kümme veidi kangelt sõnastatud vastust.

Iganädalane valimimeetod

1. samm: võta juhuvalim

Ava igal nädalal juhuslik hulk vestlusi, kus vastas AI. Kui sul on näiteks 1500 vestlust kuus, piisab mustrite märkamiseks 30–50 AI-vastusest nädalas. Jaota valim kanalite vahel ja lisa ka mõni vestlus, mis lõppes üleandmisega inimesele.

Juhuslikkus on oluline. Kui vaatad üle ainult madala CSAT-iga (kliendirahulolu skooriga) vestlused, näed kõige valjemaid ebaõnnestumisi ja jääd ilma vaiksetest vigadest, millest kliendid kunagi ei teatanud. Vaata üle ka märgistatud vestlused, kuid hoia need eraldi hunnikus.

2. samm: hinda vastuseid, mitte vestlusi

Ühes vestluses võib olla neli AI-vastust: kaks suurepärast, üks puudulik ja üks vale. Kui hindad neid eraldi, näed täpselt, mis läks valesti.

3. samm: ühtlusta hindajad

Kui hindajaid on kaks, lase mõlemal esimesel nädalal hinnata samu kümmet vastust ja võrdle tulemusi. Erimeelsused paljastavad tavaliselt ebaselge reegli, näiteks kas vana hinna nimetamine on väike viga või vale vastus. Pane otsus kirja.

4. samm: logi tulemused

Piisab tabelist järgmiste veergudega: kuupäev, kanal, küsimus, AI-vastus, neli hinnet, kokku, kriitiline viga, leitud allikas, vea tüüp, vajalik parandus.

Hinda vestlusroboti vastuseid nende allikate kaudu

Allikapõhisuse hinne õpetab kõige rohkem. Leia iga vastuse jaoks sinu teadmusbaasist lõik, mis seda toetab. Kui sinu tööriist näitab, milliseid allikaid vastus kasutas, alusta sealt; muul juhul otsi oma dokumentidest põhifakte.

Kui tugi puudub või on vale, kuulub viga tavaliselt ühte viiest tüübist:

Vea tüüp Mida näed Parandus
Puuduv sisu Küsimust pole kuskil käsitletud Kirjuta vastus ja lisa see
Aegunud sisu Allikas on olemas, kuid vana Uuenda või eemalda vana versioon
Vastuoluline sisu Kaks allikat räägivad teineteisele vastu Jäta üks tõde, kustuta teine
Otsingumöödalask Õige sisu on olemas, kuid AI ei kasutanud seda Kirjuta pealkirjad ümber kliendi sõnadega
Liialdamine AI lisas detaile, mida üheski allikas pole Karmista turvapiirdeid või turvarežiimi

Vastuoluline sisu on kõige salakavalam: vana PDF-hinnakiri ja uuem veebileht võidavad kumbki osa ajast. Meie juhend AI-vestlusroboti hallutsinatsioonide ennetamise kohta käsitleb liialdamist põhjalikumalt.

Jälgi AI-vastuste kvaliteeti ajas

Ühe nädala tulemus on hetkepilt. Trend näitab, kas sinu töö kannab vilja.

Kuva nädala täpsus ja kriitiliste vigade arv graafikul kõrvuti. Seejärel jaota mõlemad teemade kaupa (tarne, tagastused, tooteandmed, arveldus), sest üldine tulemus võib püsida samal tasemel, samal ajal kui mõni teema vaikselt halveneb. Märgi graafikule iga teadmusbaasi või seadete muudatuse kuupäev, et näeksid selle mõju.

Seo oma käsitsi hindamine sellega, mida sinu platvorm juba kogub. Conviro analüütika näitab CSAT-i, lahendamismäärasid ja AI täpsust ning teadmuslünkade ülevaatepaneel loetleb küsimused, millele assistent ei osanud hästi vastata; selle kasutamist selgitasime artiklis teadmuslünkade analüüs. Live Inboxi täielikud ärakirjad lasevad lugeda vastuse ümber toimunud vestlust enne, kui seda hindad.

Paranda teadmusbaasi ja testi uuesti

Mõõtmisest on kasu ainult siis, kui see viib parandusteni. Sulge ring iga nädal:

  1. Sorteeri nädala madalad hinded vea tüübi järgi.
  2. Paranda sisu: lisa puuduvad vastused, kustuta aegunud failid, lahenda vastuolud.
  3. Esita algne küsimus uuesti ja veendu, et uus vastus saab hea hinde.
  4. Lisa küsimus regressiooniloendisse, mida küsid uuesti pärast iga suuremat teadmusbaasi muudatust.

Mõne nädalaga saab sellest regressiooniloendist sinu enda testikomplekt. Kui liialdamine kordub, vaata üle, kui rangelt peab sinu AI-assistent oma allikatest kinni hoidma; Conviro laseb just sel eesmärgil valida rangema hallutsinatsioonide turvarežiimi.

Korduma kippuvad küsimused

Milline on hea vestlusroboti täpsus?

Universaalset võrdlusnäitajat pole, sest täpsus sõltub sinu küsimuste valikust ja sellest, kui rangelt hindad. Määra oma lähtetase esimese kahe-kolme nädala ülevaatuste põhjal ja püüa seda järjepidevalt tõsta. Jälgi kriitilisi vigu eraldi ja suru need nulli lähedale, sest üks vale vastus raha või ohutuse kohta kaalub üles palju häid.

Mitu vestlusroboti vastust peaks iga nädal üle vaatama?

Piisavalt, et mustreid näha, ilma et hindajad läbi põleksid. Enamikule väikestele ja keskmise suurusega meeskondadele sobib 30–50 AI-vastust nädalas ja see võtab umbes tunni. Kui teenindad mitut kanalit või keelt, veendu, et igaüks oleks valimis esindatud, ning vaata üle rohkem vastuseid pärast suuremaid teadmusbaasi muudatusi või toote turuletoomist.

Mis vahe on vestlusroboti täpsusel ja lahendamismääral?

Lahendamismäär näitab, mitu vestlust lõppes ilma inimeseta. Täpsus näitab, kas vastused olid õiged. Vestlusrobotil võib olla kõrge lahendamismäär ja kehv täpsus, kui kliendid lahkuvad valede vastustega ega tule kunagi kaebama. Mõõda mõlemat ja käsitle täpsust lahendamismäära turvapiirdena.

Alusta selle nädala valimiga

Kopeeri hindamisskaala tabelisse, võta 30 juhuslikku AI-vastust ja hinda need reedel. Kuu ajaga tead, millised teemad vajavad tööd ja kas sinu parandused peavad. Kui alles valid platvormi, alusta Conviroga tasuta ja tee sama ülevaatus oma vestluste põhjal.

Jaga:

Avaldanud

Conviro

Jagame teadmisi AI-põhise klienditoe, vestlusrobotite automatiseerimise ja SaaS-i kasvustrateegiate kohta.

Vii juhend ellu

Muuda oma klienditoe teadmised kiiremateks vastusteks

Tutvu Conviro AI-põhise klienditoe tööruumiga ja alusta tasuta, kui töövoog sinu meeskonnale sobib.

Seotud artiklid

Veel postitusi