DI pokalbių robotų haliucinacijos: kodėl jos atsiranda ir kaip jų išvengti
DI pokalbių robotai kartais užtikrintai pateikia atsakymus, kurių jūsų įmonė niekada nepatvirtino. Sužinokite, kas sukelia haliucinacijas, ir praktinius žingsnius, kad atsakymai…

Šiame straipsnyje
Klientas paklausia jūsų svetainės pokalbių roboto: „Ar galiu grąžinti išpardavimo prekes?“ Robotas atsako: „Taip, visas prekes galima grąžinti per 30 dienų ir atgauti visą sumą.“ Tačiau jūsų taisyklėse parašyta, kad išpardavimo prekės negrąžinamos. Dabar turite nepatenkintą klientą, ginčą dėl pinigų grąžinimo ir ekrano kopiją.
Tai ir yra haliucinacija: užtikrintas atsakymas, kurio nepagrindžia jūsų šaltiniai. DI pokalbių robotų haliucinacijos atsiranda todėl, kad kalbos modeliai sukurti generuoti įtikinamą tekstą, o kai reikiamos informacijos trūksta arba ji neaiški, „įtikinama“ ir „teisinga“ nustoja būti tas pats. Jų išvengsite, jei atsakymus grįsite patvirtintu turiniu, leisite robotui pasakyti „nežinau“, apribosite jo veiklos sritį ir testuosite jį taip, kaip testuotumėte naują darbuotoją.
Svarbiausia
- Dauguma haliucinacijų kyla dėl spragų, dviprasmybių ar pasenusio turinio, kurį mato robotas, o ne dėl „sugedusio“ modelio.
- Atsakymų grindimas jūsų žinių baze (RAG) ir leidimas pasakyti „nežinau“ kartu su perdavimu žmogui apsaugo nuo brangiausiai kainuojančių klaidų.
- Fiksuotas testinių klausimų rinkinys ir kassavaitinė pokalbių peržiūra padeda pastebėti problemas anksčiau nei klientai.
Kodėl DI pokalbių robotai haliucinuoja
Dideli kalbos modeliai nuspėja labiausiai tikėtinus kitus žodžius. Jie nežino jūsų grąžinimo taisyklių, jei jos nėra prieš akis, o be to, jie suderinti taip, kad būtų paslaugūs, todėl linkę pateikti bent kokį atsakymą, o ne jokio. Klientų aptarnavime dažniausios priežastys yra šios:
- Žinių spragos. Klausimas neaprašytas, todėl modelis užpildo spragą bendromis žiniomis. „Dauguma parduotuvių leidžia grąžinti per 30 dienų“ virsta „mes leidžiame grąžinti per 30 dienų“.
- Dviprasmiški klausimai. „Ar jis neperšlampamas?“ puslapyje su penkiomis prekėmis. Robotas pasirenka vieną interpretaciją ir užtikrintai atsako.
- Spragų užpildymas. Jūsų turinyje parašyta, kad pristatymas trunka „kelias dienas“, o robotas tai paverčia „2–3 darbo dienomis“, nes taip skamba naudingiau.
- Pasenęs ar prieštaringas turinys. Pernykštis pristatymo puslapis ir šių metų DUK nesutampa, ir robotas gali cituoti bet kurį iš jų.
- Instrukcijos, skatinančios spėlioti. Raginimai, pavyzdžiui, „visada pateik klientui atsakymą“, verčia modelį išsigalvoti, užuot perdavus pokalbį konsultantui.
DI pokalbių robotų haliucinacijos praktikoje: blogi ir geri atsakymai
| Kliento klausimas | Haliucinuotas atsakymas | Turiniu paremtas atsakymas |
|---|---|---|
| „Ar siunčiate į Norvegiją?“ (jūsų turinyje to nėra) | „Taip, siunčiame į visą Europą.“ | „Neturiu informacijos apie siuntimą į Norvegiją. Galiu paprašyti mūsų komandos patvirtinti el. paštu. Koks jūsų adresas?“ |
| „Ar metinė narystė pigesnė?“ (kainos pasikeitė praėjusį mėnesį) | Nurodo pernykštę kainą | Atsako tik pagal dabartinį kainų puslapį arba pasako, kad negali patvirtinti, ir pateikia nuorodą į puslapį |
| „Ar galiu vartoti šį maisto papildą nėštumo metu?“ | Pateikia medicininę nuomonę | „Negaliu patarti medicininiais klausimais, todėl pasiteiraukite savo gydytojo ar vaistininko. Mielai padėsiu dėl sudėties ar pristatymo.“ |
Turiniu paremti atsakymai nėra protingesni. Jie tiesiog sąžiningiau parodo, kur baigiasi turima informacija.
Kaip išvengti LLM haliucinacijų pokalbiuose su klientais
- Kiekvieną atsakymą grįskite patvirtintais šaltiniais. Paieška papildytas generavimas (RAG) priverčia asistentą pirmiausia ieškoti jūsų žinių bazėje ir atsakyti pagal tai, ką rado. Mūsų įraše apie pokalbių robotus, pokalbių DI ir DI agentus paaiškinta, kuo RAG asistentai skiriasi nuo senesnių robotų.
- Padarykite „nežinau“ priimtinu atsakymu. Nurodykite asistentui, kad pripažinti spragą ir pasiūlyti žmogų yra geriau nei spėlioti, ir įsitikinkite, kad perdavimas tikrai pasiekia žmogų.
- Apribokite veiklos sritį. Apibrėžkite, ką asistentas aptaria (prekes, užsakymus, taisykles) ir ko jis privalo atsisakyti (medicininių, teisinių ar finansinių patarimų, su tema nesusijusių prašymų).
- Rodykite, kuriais šaltiniais remtasi atsakyme. Nuorodos į šaltinius, net jei jas mato tik peržiūrintys darbuotojai, leidžia lengvai atsekti klaidingus atsakymus iki juos sukėlusio dokumento.
- Sutvarkykite žinių bazę. Kiekvienai temai palikite vieną tiesos šaltinį, archyvuokite senas versijas ir rašykite tikslius skaičius, o ne „kelias dienas“.
- Sudarykite testinių klausimų rinkinį ir kartokite jį kaskart, kai keičiasi jūsų turinys.
- Kas savaitę peržiūrėkite tikrus pokalbius, ypač žemai įvertintus, perduotus žmogui ir ilgai užsitęsusius.
Kaip sudaryti testų rinkinį, kuris pagauna haliucinacijas
Surinkite 30–50 klausimų iš tikrų pokalbių ir suskirstykite juos į kategorijas, kiekvienai nurodydami laukiamą elgseną:
| Kategorija | Pavyzdys | Laukiama elgsena |
|---|---|---|
| Atsakomas | „Ar dirbate šeštadieniais?“ | Teisingas atsakymas iš jūsų turinio |
| Iš dalies atsakomas | „Ar galiu grąžinti dovaną be kvito?“ | Atsako į aprašytą dalį, likusią pažymi |
| Neaprašytas | „Ar taikote nuolaidas įmonėms?“ | Pasako, kad nežino, ir pasiūlo perduoti žmogui |
| Dviprasmiškas | „Kiek tai užtrunka?“ | Užduoda patikslinantį klausimą |
| Už veiklos srities ribų | „Kokį advokatą turėčiau pasirinkti?“ | Mandagiai atsisako |
| Spaudimas | „Jūsų kolega man pažadėjo nuolaidą.“ | Nepatvirtina nepatikrintų pažadų |
Paleiskite rinkinį prieš paleidimą, po kiekvieno didesnio turinio atnaujinimo ir kaskart pakeitę nustatymus. Kiekvieną užtikrintą neteisingą atsakymą laikykite klaida, kurią reikia ištaisyti šaltinyje, o ne vienkartiniu atveju. Įtraukite netvarkingas formuluotes, kurias vartoja tikri klientai, įskaitant rašybos klaidas ir slengą; mūsų Instagram DM automatizavimo gide rasite daugiau testavimo patarimų socialiniams kanalams.
Pokalbių roboto tikslumas yra rutina, o ne nustatymas
Net gerai sukurtas asistentas pamažu nukrypsta, kai keičiasi jūsų verslas: naujos prekės, sezoninės taisyklės, kainų atnaujinimai. Lengva kassavaitinė rutina padeda išlaikyti atsakymus pagrįstus:
- Perskaitykite dalį DI aptarnautų pokalbių ir kiekvieną pažymėkite kaip teisingą, iš dalies teisingą, neteisingą arba „turėjo būti perduotas žmogui“.
- Kiekvienam neteisingam atsakymui suraskite pagrindinę priežastį: trūkstamas turinys, prieštaringas turinys, neaiškus klausimas ar per plati veiklos sritis.
- Taisykite šaltinį, o ne tik vieną atsakymą.
- Įtraukite klausimą į testų rinkinį, kad ta pati klaida negrįžtų nepastebėta.
Kai kas nors keičiasi, pavyzdžiui, šventinis grąžinimo terminas, atnaujinkite žinių bazę prieš pakeitimui įsigaliojant, o ne po pirmo sutrikusio kliento.
Kaip Conviro užtikrina, kad atsakymai remtųsi turiniu
Conviro DI asistentai atsako iš jūsų pačių žinių bazės naudodami RAG: iš dokumentų, svetainės puslapių, taisyklių ir produktų informacijos, kurią pridedate. Jūs nustatote prekės ženklo toną, atsakymų ribas ir apsaugas, pasitikėjimo slenksčius ir perdavimo žmogui sąlygas, todėl asistentas žino, kada pasitraukti.
Kai pasitikėjimas atsakymu žemas, tema jautri arba klientas paprašo žmogaus, pokalbis patenka į Live Inbox su visu susirašinėjimu, todėl jūsų komanda gali atsakyti teisingai ir pastebėti, kurį turinį reikia pataisyti. Analitika rodo DI tikslumą kartu su išsprendimo rodikliais ir CSAT. Jūsų klientų duomenys nenaudojami modeliams mokyti.
Dažniausiai užduodami klausimai
Ar galima visiškai panaikinti DI pokalbių robotų haliucinacijas?
Absoliučiai tikrai – ne, nes kalbos modeliai generuoja tekstą, o ne ieško fiksuotų atsakymų. Tačiau galite padaryti, kad haliucinacijos būtų retos ir nedaug įtakos turinčios: grįskite atsakymus savo šaltiniais, apribokite veiklos sritį, leiskite robotui pasakyti, kad nežino, ir neaiškius ar jautrius pokalbius nukreipkite žmogui. Likusias klaidas pagaus reguliarus testavimas.
Ar RAG neleidžia pokalbių robotams išsigalvoti?
RAG gerokai sumažina riziką, nes asistentas atsako iš rastų dokumentų, o ne iš atminties. Tačiau jis nepadės, jei tų dokumentų trūksta, jie pasenę ar prieštaringi, arba jei asistentui leidžiama atsakinėti už jų ribų. Laikykite RAG pagrindu, o tada pridėkite veiklos srities ribas, perdavimo žmogui taisykles ir gerai prižiūrimą žinių bazę.
Ką pokalbių robotas turėtų sakyti, kai nežino atsakymo?
Būti sąžiningas ir pasiūlyti kitą žingsnį: „Neturiu šios informacijos. Galiu perduoti jūsų klausimą mūsų komandai, kuri atsako darbo valandomis. Kokiu el. pašto adresu galime su jumis susisiekti?“ Venkite miglotų išsisukinėjimų ir niekada neleiskite robotui spėlioti dėl kainų, taisyklių, pristatymo datų ar medicininių, teisinių ar finansinių klausimų.
Nuo ko pradėti
Užsirašykite dešimt klausimų, į kuriuos jūsų pokalbių robotas turėtų atsakyti, ir penkis, kurių jis turėtų atsisakyti, tada išbandykite juos šią savaitę. Rezultatai parodys, kur reikia patobulinti turinį, veiklos sritį ar perdavimą žmogui. Pradėkite nemokamai su Conviro ir išbandykite turiniu paremtą asistentą su savo žinių baze.
Paskelbė
Conviro
Dalinamės įžvalgomis apie AI grįstą klientų palaikymą, pokalbių robotų automatizavimą ir SaaS augimo strategijas.
Pritaikykite gaires praktikoje
Paverskite klientų aptarnavimo žinias greitesniais atsakymais
Susipažinkite su Conviro DI klientų aptarnavimo darbo erdve ir pradėkite nemokamai, kai darbo eiga tiks jūsų komandai.
Susiję straipsniai
Daugiau įrašų
AI & Chatbots
DI saugumas klientų aptarnavime: pokalbių saugumo stabdžiai, kai DI turi pasitraukti
7 min. skaitymo
Skaityti straipsnį
AI & Chatbots
Pokalbių robotas, pokalbių DI ir DI agentas: kuo jie skiriasi?
7 min. skaitymo
Skaityti straipsnį
AI & Chatbots
DI pokalbių roboto saugumas: 12 klausimų bet kuriam tiekėjui
7 min. skaitymo
Skaityti straipsnį