CONVIRO
Customer Success

Analiza luk w bazie wiedzy: znajdź pytania, na które twój chatbot nie umie odpowiedzieć

Najsłabsze odpowiedzi chatbota wskazują prosto na brakujące treści. Oto cotygodniowa analiza luk w bazie wiedzy: wychwyć sygnały, ustal priorytety według liczby pytań i wartości,…

Conviro
5 listopada 20267 min czytania
Analiza luk w bazie wiedzy: znajdź pytania, na które twój chatbot nie umie odpowiedzieć
W tym artykule

Większość zespołów ocenia chatbota po pytaniach, na które dobrze odpowiada. Znacznie bardziej przydatne są jednak pytania, na które odpowiedzieć nie umie, bo każde z nich wskazuje konkretny fragment treści, który jest brakujący, nieaktualny lub niejasny i który możesz poprawić.

Analiza luk w bazie wiedzy to regularna praca polegająca na znajdowaniu pytań, z którymi twój asystent AI radzi sobie słabo, ustalaniu przyczyn i poprawianiu treści, które za nimi stoją. Prowadzona co tydzień staje się jednym z najtańszych sposobów na poprawę jakości odpowiedzi: bez nowych narzędzi, bez ponownego trenowania modelu, tylko z lepszym materiałem źródłowym.

Z tego przewodnika dowiesz się, na jakie sygnały zwracać uwagę, jak wygląda cotygodniowy proces, jak ustalać priorytety i jak pisać odpowiedzi, które naprawdę zamykają lukę.

Najważniejsze wnioski

  • Luki ujawniają się jako odpowiedzi awaryjne, przekazania rozmów z powodu niskiej pewności, słabe oceny i klienci przeformułowujący to samo pytanie.
  • Ustalaj priorytety według tego, jak często pytanie się pojawia i ile jest warta dobra odpowiedź.
  • Popraw treści źródłowe, a potem ponownie przetestuj dokładnie te pytania, które się nie powiodły.

Co jest luką w wiedzy

Nie każda słaba odpowiedź ma tę samą przyczynę. Rozpoznanie typu luki podpowiada, jak ją usunąć.

Typ luki Jak to wygląda Typowe rozwiązanie
Brakujące treści „Czy wysyłacie do Norwegii?”, a w bazie wiedzy nic tego nie obejmuje Napisz odpowiedź
Nieaktualne treści Asystent podaje zeszłoroczne godziny otwarcia w święta Zaktualizuj lub usuń stare źródło
Ukryte treści Odpowiedź jest na 34. stronie długiego pliku PDF Dodaj krótki, osobny wpis
Sprzeczne treści Dwa dokumenty podają różne terminy na zwrot Połącz je w jedną wersję
Niedopasowane słownictwo Klienci piszą „zwrot pieniędzy”, a w twoich dokumentach jest tylko „refundacja” Dodaj do treści słowa, których używają klienci
Celowo poza zakresem Pytania medyczne lub prawne Zostaw przekazanie rozmowy, treści nie trzeba poprawiać

Ostatni wiersz jest ważny. Na niektóre pytania asystent nigdy nie powinien odpowiadać, a przekazanie rozmowy w takiej sytuacji oznacza, że system działa zgodnie z założeniami.

Sygnały: jak wychwycić pytania, na które chatbot nie odpowiada

Szukaj tych wzorców w rozmowach i analityce:

  • Odpowiedzi awaryjne. Odpowiedzi w rodzaju „Nie mam informacji na ten temat” to najwyraźniejszy sygnał.
  • Przekazania rozmów z powodu niskiej pewności. Oddziel je od przekazań wywołanych drażliwymi tematami lub prośbami klientów. Na lukę w treściach wskazują zwykle tylko te pierwsze.
  • Niskie oceny zadowolenia w rozmowach, które asystent obsłużył samodzielnie.
  • Przeformułowywanie pytań. Klient, który pyta dwa razy o to samo innymi słowami, zwykle za pierwszym razem nie dostał tego, czego potrzebował.
  • Powtarzające się odpowiedzi konsultantów. Jeśli konsultanci co tydzień wpisują tę samą odpowiedź po przekazaniu rozmowy, ta odpowiedź powinna trafić do bazy wiedzy.

Nasz przegląd wskaźników analityki chatbota wyjaśnia, jak te sygnały łączą się ze współczynnikiem rozwiązanych spraw i CSAT.

Cotygodniowa analiza luk w bazie wiedzy krok po kroku

Wybierz stały termin w tygodniu, np. poniedziałkowy poranek, i jedną osobę odpowiedzialną. Potem:

  1. Zbierz sygnały z całego tygodnia. Odpowiedzi awaryjne, przekazania rozmów z powodu niskiej pewności, niskie oceny i powtarzające się odpowiedzi konsultantów.
  2. Pogrupuj je według tematów. Dziesięć różnie sformułowanych pytań o wysyłkę do Norwegii to jedna luka, a nie dziesięć.
  3. Zdiagnozuj każdą grupę według opisanych wyżej typów luk.
  4. Ustal priorytety na liście (patrz następna sekcja).
  5. Napisz lub popraw treści dla najważniejszych pozycji.
  6. Przetestuj ponownie z użyciem dokładnie tych sformułowań klientów, które się nie powiodły, oraz kilku wariantów.
  7. Zapisz zmianę z datą, żeby w kolejnym tygodniu sprawdzić, czy luka została zamknięta.

W zespole, który obsługuje na przykład 1500 rozmów miesięcznie, w typowym tygodniu może to dać kilkanaście grup tematycznych. Nie musisz poprawiać wszystkich naraz: regularne postępy z tygodnia na tydzień się sumują.

Jak ustalać priorytety: liczba pytań razy wartość

Oceń każdą lukę na dwóch osiach: jak często się pojawia i ile jest warta dobra odpowiedź. Największą wartość mają pytania przed zakupem, które blokują transakcję, pytania związane z rezygnacjami lub reklamacjami oraz wszystko, co ma znaczenie dla zgodności z przepisami.

Wysoka wartość Niska wartość
Dużo pytań Popraw w tym tygodniu Popraw w tym tygodniu krótką odpowiedzią
Mało pytań Popraw wkrótce, a do tego czasu upewnij się, że przekazanie rozmowy działa Lista zaległości albo zostaw zespołowi

Luka rzadka, ale cenna, np. pytanie, które dwa razy w miesiącu zadają potencjalni klienci z dużych firm, zasługuje na uwagę, nawet jeśli nigdy nie znajdzie się na szczycie listy najczęstszych pytań.

Jak pisać odpowiedzi, które zamykają lukę

Samo dodanie treści nie wystarczy: muszą to być treści, z których asystent potrafi skorzystać. Kilka zasad:

  • Zacznij od bezpośredniej odpowiedzi, a potem dodaj warunki i wyjątki.
  • Jeden temat w jednym wpisie, żeby wyszukiwanie znalazło właściwy fragment.
  • Używaj słów klientów obok wewnętrznej terminologii.
  • Podawaj daty przy wszystkim, co jest ograniczone w czasie, np. przy godzinach otwarcia w święta czy promocjach.
  • Usuń lub zaktualizuj starą wersję, żeby nie tworzyć sprzeczności.

Porównaj ogólnikowy wpis z poprawionym:

Przed: „Czas wysyłki zależy od miejsca docelowego.”

Po: „Czy wysyłacie do Norwegii? Tak. Zamówienia do Norwegii docierają zwykle w ciągu 5–8 dni roboczych. Ponieważ Norwegia nie należy do UE, przy doręczeniu mogą obowiązywać cło lub VAT importowy.”

Liczby są poglądowe, liczy się struktura. Więcej o porządkowaniu treści przeczytasz w naszym przewodniku po tworzeniu bazy wiedzy dla AI.

Panel analizy luk w wiedzy w Conviro

Conviro ma teraz panel analizy luk w wiedzy, który pokazuje pytania, na które twój asystent AI nie potrafił dobrze odpowiedzieć. Zamiast czytać transkrypcje jedna po drugiej w poszukiwaniu słabych punktów, możesz od niego zaczynać cotygodniowy przegląd.

Połącz go z analityką Conviro dotyczącą zadowolenia klientów, współczynnika rozwiązanych spraw i trafności AI oraz z przekazaniami rozmów, które twój zespół widzi we wspólnej skrzynce Live Inbox, a zobaczysz pełny obraz. Dwie niedawne nowości sprawiają, że każda poprawka daje więcej. Konfigurowalne tryby bezpieczeństwa pozwalają utrzymać asystenta w trybie restrykcyjnym, dzięki czemu luki ujawniają się jako uczciwe przekazania rozmów, a nie zgadywane odpowiedzi. A dzięki odpowiedziom międzyjęzykowym odpowiedź napisana raz w jednym języku może służyć klientom pytającym w innych. Więcej o tym, jak asystenci AI Conviro odpowiadają na podstawie twoich treści, znajdziesz na stronie funkcji.

Najczęściej zadawane pytania

Jak często przeglądać pytania, na które chatbot nie odpowiedział?

W większości małych i średnich zespołów sprawdza się rytm cotygodniowy. Jest na tyle częsty, żeby wychwycić nowe luki, zanim się nagromadzą, a każdy przegląd pozostaje krótki. Przeglądaj częściej po wprowadzeniu nowości, zmianie zasad, nowej linii produktów albo w szczycie sezonu, gdy szybko pojawiają się nowe pytania.

Czym różni się luka w wiedzy od halucynacji?

Luka w wiedzy to brakujące lub niejasne treści: asystent nie może znaleźć dobrej odpowiedzi. Halucynacja to zmyślona odpowiedź podana jako fakt. Restrykcyjne ustawienia odpowiedzi zamieniają wiele potencjalnych halucynacji w widoczne luki, które łatwiej znaleźć i usunąć dzięki regularnym przeglądom.

Czy trzeba poprawiać każde pytanie, na które chatbot nie umie odpowiedzieć?

Nie. Niektóre pytania są celowo poza zakresem, np. porady medyczne, opinie prawne czy prośby dotyczące konkretnego konta, które wymagają człowieka. W takich przypadkach zadbaj o to, żeby przekazanie rozmowy było szybkie, a klient wiedział, co będzie dalej. Pracę nad treściami skup na częstych lub cennych pytaniach, na które chcesz, żeby asystent odpowiadał.

Kto powinien odpowiadać za aktualizacje bazy wiedzy?

Powierz tę odpowiedzialność jednej osobie, zwykle komuś z obsługi klienta lub customer success, kto regularnie czyta rozmowy. Ta osoba może angażować współpracowników z działu produktu, prawnego czy sprzedaży przy konkretnych odpowiedziach. Bez osoby odpowiedzialnej luki są zauważane, ale rzadko usuwane.

Zrób z tego nawyk

Zarezerwuj w tym tygodniu cykliczny 45-minutowy termin, pobierz słabe odpowiedzi z ostatnich siedmiu dni i popraw trzy najważniejsze. W przyszłym tygodniu powtórz. Zacznij za darmo z Conviro i sprawdź, na które pytania twój asystent jeszcze nie umie odpowiedzieć.

Udostępnij:

Opublikowane przez

Conviro

Dzieli się wiedzą o obsłudze klienta opartej na AI, automatyzacji chatbotów i strategiach wzrostu SaaS.

Zastosuj wskazówki w praktyce

Zamień wiedzę zespołu wsparcia w szybsze odpowiedzi

Poznaj przestrzeń roboczą Conviro do obsługi klienta z AI i zacznij za darmo, gdy przepływ pracy będzie pasował do Twojego zespołu.

Powiązane artykuły

Więcej wpisów