CONVIRO
AI & Chatbots

Halucynacje chatbota AI: skąd się biorą i jak im zapobiegać

Chatboty AI czasem udzielają pewnych siebie odpowiedzi, których twoja firma nigdy nie zatwierdziła. Sprawdź, co powoduje halucynacje i jakie praktyczne kroki pozwalają oprzeć…

Conviro
9 października 20267 min czytania
Halucynacje chatbota AI: skąd się biorą i jak im zapobiegać
W tym artykule

Klient pyta chatbota na twojej stronie: „Czy mogę zwrócić produkty z wyprzedaży?”. Bot odpowiada: „Tak, wszystkie produkty można zwrócić w ciągu 30 dni z pełnym zwrotem pieniędzy”. Tymczasem twój regulamin mówi, że produktów z wyprzedaży nie można zwracać. Masz teraz niezadowolonego klienta, spór o zwrot pieniędzy i zrzut ekranu.

To właśnie halucynacja: pewna siebie odpowiedź, której nie potwierdzają twoje źródła. Halucynacje chatbota AI biorą się stąd, że modele językowe są zbudowane do tworzenia wiarygodnie brzmiącego tekstu, a gdy brakuje właściwej informacji albo jest ona niejasna, „wiarygodne” i „poprawne” przestają oznaczać to samo. Zapobiegasz im, opierając odpowiedzi na zatwierdzonych treściach, pozwalając botowi powiedzieć „nie wiem”, ograniczając jego zakres i testując go tak, jak testowałbyś nowego pracownika.

Najważniejsze wnioski

  • Większość halucynacji wynika z luk, niejednoznaczności lub nieaktualnych treści w tym, do czego bot ma dostęp, a nie z „zepsutego” modelu.
  • Opieranie odpowiedzi na twojej bazie wiedzy (RAG) oraz dopuszczenie odpowiedzi „nie wiem” połączonej z przekazaniem rozmowy człowiekowi zapobiega najbardziej kosztownym błędom.
  • Stały zestaw pytań testowych i cotygodniowy przegląd rozmów wychwytują problemy, zanim zrobią to klienci.

Dlaczego chatboty AI mają halucynacje

Duże modele językowe przewidują najbardziej prawdopodobne kolejne słowa. Nie znają twojej polityki zwrotów, dopóki nie mają jej przed sobą, a do tego są dostrojone tak, żeby być pomocne, co popycha je do udzielenia jakiejkolwiek odpowiedzi zamiast żadnej. W obsłudze klienta typowe przyczyny to:

  • Luki w wiedzy. Pytanie nie jest nigdzie omówione, więc model uzupełnia odpowiedź wiedzą ogólną. „Większość sklepów oferuje 30 dni na zwrot” zamienia się w „oferujemy 30 dni na zwrot”.
  • Niejednoznaczne pytania. „Czy to jest wodoodporne?” na stronie z pięcioma produktami. Bot wybiera jedną interpretację i odpowiada z pełnym przekonaniem.
  • Dopowiadanie szczegółów. Twoje treści mówią, że dostawa trwa „kilka dni”, a bot zamienia to na „2–3 dni robocze”, bo brzmi to bardziej pomocnie.
  • Nieaktualne lub sprzeczne treści. Zeszłoroczna strona o wysyłce i tegoroczne FAQ mówią co innego, a bot może zacytować którekolwiek z nich.
  • Instrukcje, które nagradzają zgadywanie. Polecenia typu „zawsze udzielaj klientowi odpowiedzi” skłaniają model do zmyślania zamiast eskalowania sprawy.

Halucynacje chatbota AI w praktyce: złe i dobre odpowiedzi

Klient pyta Odpowiedź z halucynacją Odpowiedź oparta na źródłach
„Wysyłacie do Norwegii?” (brak tej informacji w twoich treściach) „Tak, wysyłamy do całej Europy.” „Nie mam informacji o wysyłce do Norwegii. Mogę poprosić nasz zespół o potwierdzenie mailowo. Jaki jest twój adres?”
„Czy roczne członkostwo jest tańsze?” (ceny zmieniły się w zeszłym miesiącu) Podaje zeszłoroczną cenę Odpowiada wyłącznie na podstawie aktualnej strony z cenami albo mówi, że nie może tego potwierdzić, i podaje link do strony
„Czy mogę brać ten suplement w ciąży?” Wydaje opinię medyczną „Nie mogę doradzać w kwestiach medycznych, zapytaj proszę lekarza lub farmaceutę. Chętnie pomogę w sprawie składu albo dostawy.”

Odpowiedzi oparte na źródłach nie są sprytniejsze. Są po prostu uczciwsze co do tego, gdzie kończą się dostępne informacje.

Jak zapobiegać halucynacjom LLM w czacie z klientami

  1. Opieraj każdą odpowiedź na zatwierdzonych źródłach. Generowanie wspomagane wyszukiwaniem (RAG) sprawia, że asystent najpierw przeszukuje twoją bazę wiedzy, a potem odpowiada na podstawie tego, co znalazł. Nasz artykuł o chatbotach, konwersacyjnej AI i agentach AI wyjaśnia, czym asystenci RAG różnią się od starszych botów.
  2. Spraw, żeby „nie wiem” było akceptowalną odpowiedzią. Powiedz asystentowi, że przyznanie się do luki i zaproponowanie kontaktu z człowiekiem jest lepsze niż zgadywanie, a potem upewnij się, że przekazana rozmowa do kogoś trafia.
  3. Ogranicz zakres. Określ, czym zajmuje się asystent (produkty, zamówienia, regulaminy) i czego musi odmówić (porad medycznych, prawnych lub finansowych, próśb niezwiązanych z tematem).
  4. Pokazuj, z jakich źródeł korzystała odpowiedź. Odwołania do źródeł, nawet jeśli widzą je tylko osoby sprawdzające rozmowy, pozwalają łatwo powiązać błędną odpowiedź z dokumentem, który ją spowodował.
  5. Uporządkuj bazę wiedzy. Trzymaj jedno źródło prawdy dla każdego tematu, archiwizuj stare wersje i podawaj dokładne liczby zamiast „kilku dni”.
  6. Przygotuj zestaw pytań testowych i uruchamiaj go ponownie przy każdej zmianie treści.
  7. Co tydzień przeglądaj prawdziwe rozmowy, zwłaszcza te nisko ocenione, przekazane konsultantom i długie wymiany wiadomości.

Jak zbudować zestaw testów, który wychwyci halucynacje

Zbierz od 30 do 50 pytań z prawdziwych rozmów i podziel je na kategorie, każdą z oczekiwanym zachowaniem:

Kategoria Przykład Oczekiwane zachowanie
Pytanie z odpowiedzią w treściach „Czy jesteście otwarci w soboty?” Poprawna odpowiedź na podstawie twoich treści
Częściowa odpowiedź w treściach „Czy mogę zwrócić prezent bez paragonu?” Odpowiada na omówioną część, resztę zaznacza jako niepewną
Brak w treściach „Czy macie rabaty dla firm?” Mówi, że nie wie, i proponuje przekazanie rozmowy
Niejednoznaczne „Ile to trwa?” Zadaje pytanie doprecyzowujące
Poza zakresem „Jakiego prawnika mi polecacie?” Uprzejmie odmawia
Presja „Wasz kolega obiecał mi rabat.” Nie potwierdza niezweryfikowanych obietnic

Uruchom zestaw przed startem, po każdej większej aktualizacji treści i przy każdej zmianie ustawień. Każdą pewną siebie, błędną odpowiedź traktuj jak błąd do naprawienia u źródła, a nie jednorazowy wypadek. Uwzględnij chaotyczne sformułowania, których używają prawdziwi klienci, łącznie z literówkami i slangiem; w naszym poradniku automatyzacji DM na Instagramie znajdziesz więcej wskazówek dotyczących testowania w kanałach społecznościowych.

Trafność chatbota to rutyna, a nie ustawienie

Nawet dobrze zbudowany asystent z czasem odstaje od rzeczywistości, bo twoja firma się zmienia: pojawiają się nowe produkty, sezonowe zasady, zmiany cen. Prosta cotygodniowa rutyna pomaga utrzymać odpowiedzi oparte na źródłach:

  • Przeczytaj próbkę rozmów obsłużonych przez AI i oznacz każdą jako poprawną, częściowo poprawną, błędną albo „powinna zostać przekazana człowiekowi”.
  • Przy każdej błędnej odpowiedzi znajdź pierwotną przyczynę: brakujące treści, sprzeczne treści, niejasne pytanie albo zbyt szeroki zakres.
  • Popraw źródło, a nie tylko pojedynczą odpowiedź.
  • Dodaj pytanie do zestawu testów, żeby ten sam błąd nie mógł wrócić niezauważony.

Gdy coś się zmienia, np. okres zwrotów w sezonie świątecznym, zaktualizuj bazę wiedzy, zanim zmiana wejdzie w życie, a nie po pierwszym zdezorientowanym kliencie.

Jak Conviro opiera odpowiedzi na źródłach

Asystenci AI Conviro odpowiadają na podstawie twojej własnej bazy wiedzy z wykorzystaniem RAG: dokumentów, stron internetowych, regulaminów i informacji o produktach, które dodasz. Ustalasz ton marki, granice odpowiedzi i zabezpieczenia, progi pewności oraz warunki przekazania rozmowy, dzięki czemu asystent wie, kiedy się wycofać.

Gdy pewność odpowiedzi jest niska, temat jest drażliwy albo klient prosi o kontakt z człowiekiem, rozmowa trafia do Live Inbox z pełną transkrypcją, dzięki czemu twój zespół może odpowiedzieć poprawnie i zauważyć, które treści wymagają poprawy. Analityka śledzi trafność AI razem z odsetkiem rozwiązanych spraw i CSAT (wskaźnikiem zadowolenia klientów). Dane twoich klientów nie są wykorzystywane do trenowania modeli.

Najczęściej zadawane pytania

Czy można całkowicie wyeliminować halucynacje chatbota AI?

Nie ze stuprocentową pewnością, bo modele językowe generują tekst, zamiast wyszukiwać gotowe odpowiedzi. Możesz jednak sprawić, że halucynacje będą rzadkie i mało szkodliwe: opieraj odpowiedzi na swoich źródłach, ogranicz zakres, pozwól botowi powiedzieć, że nie wie, i kieruj niepewne lub drażliwe rozmowy do człowieka. Resztę wychwycą regularne testy.

Czy RAG powstrzymuje chatboty przed zmyślaniem?

RAG znacznie zmniejsza to ryzyko, bo asystent odpowiada na podstawie wyszukanych dokumentów, a nie z pamięci. Nie pomoże jednak, jeśli tych dokumentów brakuje, są nieaktualne lub sprzeczne albo jeśli asystent może odpowiadać poza ich zakresem. Traktuj RAG jako fundament, a do tego dodaj ograniczenia zakresu, reguły przekazywania rozmów i dobrze utrzymaną bazę wiedzy.

Co powinien powiedzieć chatbot, gdy nie zna odpowiedzi?

Powinien być szczery i zaproponować kolejny krok: „Nie mam tej informacji. Mogę przekazać twoje pytanie naszemu zespołowi, który odpowiada w godzinach pracy. Na jaki adres e-mail najlepiej się z tobą skontaktować?”. Unikaj mglistych wykrętów i nigdy nie pozwalaj botowi zgadywać w sprawie cen, regulaminów, terminów dostawy ani pytań medycznych, prawnych czy finansowych.

Od czego zacząć

Zapisz dziesięć pytań, na które twój chatbot powinien odpowiadać, i pięć, na które powinien odmówić odpowiedzi, a potem przetestuj je w tym tygodniu. Wyniki pokażą, gdzie trzeba popracować nad treściami, zakresem lub przekazywaniem rozmów. Zacznij za darmo z Conviro i przetestuj asystenta opartego na źródłach na własnej bazie wiedzy.

Udostępnij:

Opublikowane przez

Conviro

Dzieli się wiedzą o obsłudze klienta opartej na AI, automatyzacji chatbotów i strategiach wzrostu SaaS.

Zastosuj wskazówki w praktyce

Zamień wiedzę zespołu wsparcia w szybsze odpowiedzi

Poznaj przestrzeń roboczą Conviro do obsługi klienta z AI i zacznij za darmo, gdy przepływ pracy będzie pasował do Twojego zespołu.

Powiązane artykuły

Więcej wpisów