Pokalbių roboto tikslumas: kaip jį išmatuoti be duomenų mokslininkų komandos
Praktiškas būdas matuoti pokalbių roboto tikslumą: savaitinė atranka, vertinimo lentelė iš keturių kriterijų ir skaičiuoklė, o blogus atsakymus galima atsekti iki jūsų žinių bazės.

Šiame straipsnyje
Ar jūsų pokalbių robotas atsako teisingai? Dauguma komandų atsako remdamosi nuojauta: keli geri pokalbiai, kuriuos kažkas matė, arba viena bloga ekrano nuotrauka, apkeliavusi visą biurą. Nei viena, nei kita daug nepasako.
Pokalbių roboto tikslumą galima tinkamai išmatuoti trimis paprastais įrankiais: savaitine atsitiktine tikrų pokalbių atranka, keturių kriterijų vertinimo lentele (teisingas, išsamus, paremtas šaltiniu, tinkamo tono) ir skaičiuokle tendencijai sekti. Tam reikia maždaug valandos per savaitę ir jokios sudėtingesnės matematikos nei procentai.
Svarbiausia
- Vertinkite atsitiktinę savaitinę tikrų DI atsakymų atranką, o ne tik pokalbius, dėl kurių kas nors skundėsi.
- Kiekvieną atsakymą vertinkite pagal keturis kriterijus: teisingas, išsamus, paremtas šaltiniu ir tinkamo tono.
- Dauguma tikslumo problemų kyla iš žinių bazės, todėl kiekvienas žemas įvertinimas turi baigtis turinio pataisymu ir pakartotiniu testu.
Ką reiškia „tikslus“ DI atsakymas
Atsakymas gali būti teisingas atsitiktinai. Jei pokalbių robotas sako, kad jūsų grąžinimo terminas yra 30 dienų, ir taip iš tiesų yra, bet jūsų žinių bazėje to niekur neparašyta, kitas atsakymas gali skelbti 14 dienų. Todėl tikslumui vertinti reikia daugiau nei vieno matmens.
Kiekvieną DI atsakymą pagal keturis kriterijus įvertinkite 0, 1 arba 2 balais:
| Kriterijus | Ko paklausti | 2 balai | 1 balas | 0 balų |
|---|---|---|---|---|
| Teisingas | Ar tai tiesa šiam klientui? | Visiškai teisingas | Smulki klaida | Neteisingas ar klaidinantis |
| Išsamus | Ar atsakyta į viską, ko klausta? | Į viską | Praleista detalė | Praleista esmė |
| Paremtas šaltiniu | Ar randate jį pagrindžiančią ištrauką? | Aiškiai pagrįstas | Iš dalies pagrįstas | Nėra jokiame šaltinyje |
| Tonas | Ar tinka jūsų prekės ženklui ir situacijai? | Atitinka prekės ženklą | Šiek tiek netinka | Netinkamas |
Kiekvienas atsakymas vertinamas iš 8 balų. Savaitės tikslumas – visų balų suma, padalyta iš didžiausios galimos sumos. Atskirai žymėkite kritinę klaidą kiekvienam atsakymui, kuris už teisingumą gavo 0; vienas neteisingas pažadas grąžinti pinigus svarbesnis nei dešimt šiek tiek sustingusių atsakymų.
Savaitinės atrankos metodas
1 žingsnis: paimkite atsitiktinę atranką
Kiekvieną savaitę atsidarykite atsitiktinį rinkinį pokalbių, kuriuose atsakė DI. Jei, tarkime, per mėnesį tvarkote 1 500 pokalbių, 30–50 DI atsakymų per savaitę visiškai pakanka dėsningumams pastebėti. Paskirstykite atranką per visus kanalus ir įtraukite kelis pokalbius, kurie baigėsi perdavimu žmogui.
Atsitiktinumas svarbus. Jei peržiūrite tik pokalbius su žemu CSAT įvertinimu, matote garsiausias nesėkmes ir praleidžiate tyliąsias klaidas, apie kurias klientai niekada nepranešė. Pažymėtus pokalbius peržiūrėkite taip pat, bet atskiroje grupėje.
2 žingsnis: vertinkite atsakymus, ne pokalbius
Viename pokalbyje gali būti keturi DI atsakymai: du puikūs, vienas neišsamus, vienas neteisingas. Vertindami juos atskirai tiksliai matote, kas nepavyko.
3 žingsnis: suderinkite vertintojus
Jei vertina du žmonės, pirmąją savaitę tegul abu įvertina tuos pačius dešimt atsakymų ir palygina. Nesutarimai paprastai atskleidžia neaiškią taisyklę, pavyzdžiui, ar senos kainos nurodymas yra smulki klaida, ar neteisingas atsakymas. Užsirašykite priimtą sprendimą.
4 žingsnis: viską užfiksuokite
Pakanka skaičiuoklės su šiais stulpeliais: data, kanalas, klausimas, DI atsakymas, keturi įvertinimai, suma, kritinė klaida, rastas šaltinis, klaidos tipas, reikalingas pataisymas.
Kaip vertinti pokalbių roboto atsakymus tikrinant jų šaltinius
Daugiausia sužinosite iš įvertinimo už pagrįstumą šaltiniu. Kiekvienam atsakymui suraskite jį pagrindžiančią ištrauką savo žinių bazėje. Jei jūsų įrankis rodo, kokiais šaltiniais rėmėsi atsakymas, pradėkite nuo jų; jei ne, ieškokite pagrindinių faktų savo dokumentuose.
Kai pagrindimo nėra arba jis klaidingas, nesėkmė paprastai priklauso vienam iš penkių tipų:
| Klaidos tipas | Ką matote | Pataisymas |
|---|---|---|
| Trūkstamas turinys | Klausimas niekur neaprašytas | Parašykite atsakymą ir jį pridėkite |
| Pasenęs turinys | Šaltinis yra, bet senas | Atnaujinkite arba pašalinkite seną versiją |
| Prieštaringas turinys | Du šaltiniai nesutaria | Palikite vieną tiesą, kitą ištrinkite |
| Paieškos klaida | Tinkamas turinys yra, bet DI jo nepanaudojo | Perrašykite antraštes klientų žodžiais |
| Peržengimas | DI pridėjo detalių, kurių nėra jokiame šaltinyje | Sugriežtinkite apsauginius ribojimus arba saugumo režimą |
Prieštaringas turinys – klastingiausias: senas PDF kainoraštis ir naujesnis tinklalapis kartais „laimės“ pakaitomis. Apie peržengimą plačiau rašome gide, kaip išvengti DI pokalbių roboto haliucinacijų.
Kaip sekti DI atsakymų kokybę laikui bėgant
Vienos savaitės įvertinimas – tik momentinė nuotrauka. Tendencija parodo, ar jūsų darbas atsiperka.
Savaitės tikslumą ir kritinių klaidų skaičių vaizduokite grafike greta. Tada abu rodiklius išskaidykite pagal temas (pristatymas, grąžinimai, produktų specifikacijos, sąskaitos), nes bendras įvertinimas gali likti stabilus, kol viena tema tyliai blogėja. Grafike pažymėkite kiekvieno žinių bazės ar nustatymų pakeitimo datą, kad matytumėte jo poveikį.
Rankinį vertinimą derinkite su tuo, ką jūsų platforma jau renka. Conviro analitika rodo CSAT, išsprendimo rodiklius ir DI tikslumą, o žinių spragų įžvalgų skydelis išvardija klausimus, į kuriuos asistentas negalėjo gerai atsakyti; kaip jį naudoti, aprašėme straipsnyje apie žinių spragų analizę. Visi susirašinėjimai Live Inbox leidžia prieš vertinant perskaityti pokalbį aplink atsakymą.
Pataisykite žinių bazę ir testuokite iš naujo
Matavimas naudingas tik tada, jei po jo seka pataisymai. Kiekvieną savaitę uždarykite ciklą:
- Savaitės žemus įvertinimus surūšiuokite pagal klaidos tipą.
- Pataisykite turinį: pridėkite trūkstamus atsakymus, ištrinkite pasenusius failus, išspręskite prieštaravimus.
- Vėl užduokite pradinį klausimą ir įsitikinkite, kad naujas atsakymas gauna gerą įvertinimą.
- Įtraukite klausimą į regresinio testavimo sąrašą, kurį pakartojate po kiekvieno didesnio žinių bazės pakeitimo.
Per kelias savaites šis sąrašas tampa jūsų pačių testų rinkiniu. Jei peržengimų vis pasitaiko, peržiūrėkite, kaip griežtai jūsų DI asistentas turi laikytis šaltinių; būtent tam Conviro leidžia pasirinkti griežtesnį haliucinacijų saugumo režimą.
Dažniausiai užduodami klausimai
Koks pokalbių roboto tikslumas laikomas geru?
Universalaus etalono nėra, nes tikslumas priklauso nuo jūsų klausimų pobūdžio ir nuo to, kaip griežtai vertinate. Pirmųjų dviejų ar trijų savaičių peržiūrų rezultatą laikykite atskaitos tašku ir siekite jį nuosekliai kelti. Kritines klaidas sekite atskirai ir stenkitės jas sumažinti iki nulio, nes vienas neteisingas atsakymas apie pinigus ar saugumą nusveria daugybę gerų.
Kiek pokalbių roboto atsakymų peržiūrėti kas savaitę?
Pakankamai, kad matytumėte dėsningumus, bet vertintojai neperdegtų. Daugumai mažų ir vidutinių komandų tinka 30–50 DI atsakymų per savaitę, o tai užtrunka maždaug valandą. Jei aptarnaujate kelis kanalus ar kalbas, įsitikinkite, kad kiekvienas jų patenka į atranką, o po didesnių žinių bazės pakeitimų ar produkto pristatymo peržiūrėkite daugiau.
Kuo skiriasi pokalbių roboto tikslumas ir išsprendimo rodiklis?
Išsprendimo rodiklis parodo, kiek pokalbių baigėsi be žmogaus. Tikslumas parodo, ar atsakymai buvo teisingi. Pokalbių robotas gali turėti aukštą išsprendimo rodiklį ir prastą tikslumą, jei klientai išeina su neteisingais atsakymais ir niekada negrįžta skųstis. Matuokite abu, o tikslumą laikykite išsprendimo rodiklio apsauginiu ribojimu.
Pradėkite nuo šios savaitės atrankos
Nukopijuokite vertinimo lentelę į skaičiuoklę, paimkite 30 atsitiktinių DI atsakymų ir penktadienį juos įvertinkite. Per mėnesį žinosite, kurias temas reikia tobulinti ir ar jūsų pataisymai išlieka. Jei dar renkatės platformą, pradėkite nemokamai su Conviro ir atlikite tokią pačią peržiūrą su savo pokalbiais.
Paskelbė
Conviro
Dalinamės įžvalgomis apie AI grįstą klientų palaikymą, pokalbių robotų automatizavimą ir SaaS augimo strategijas.
Pritaikykite gaires praktikoje
Paverskite klientų aptarnavimo žinias greitesniais atsakymais
Susipažinkite su Conviro DI klientų aptarnavimo darbo erdve ir pradėkite nemokamai, kai darbo eiga tiks jūsų komandai.
Susiję straipsniai
Daugiau įrašų
AI & Chatbots
DI saugumas klientų aptarnavime: pokalbių saugumo stabdžiai, kai DI turi pasitraukti
7 min. skaitymo
Skaityti straipsnį
AI & Chatbots
Pokalbių robotas, pokalbių DI ir DI agentas: kuo jie skiriasi?
7 min. skaitymo
Skaityti straipsnį
AI & Chatbots
DI pokalbių robotų haliucinacijos: kodėl jos atsiranda ir kaip jų išvengti
7 min. skaitymo
Skaityti straipsnį