CONVIRO
AI & Chatbots

Como medir a precisão de um chatbot de IA sem uma equipa de ciência de dados

Uma forma prática de medir a precisão do chatbot com uma amostra semanal, uma grelha de avaliação em quatro critérios e uma folha de cálculo, e de seguir as más respostas até à…

Conviro
2 de setembro de 20266 min de leitura
Como medir a precisão de um chatbot de IA sem uma equipa de ciência de dados
Disponível em:NLENETITESLTDEFRPLPTTR
Neste artigo

O seu chatbot está a dar as respostas certas? A maioria das equipas responde com uma impressão: algumas boas conversas que alguém viu, ou uma captura de ecrã má que circulou pelo escritório. Nenhuma das duas diz grande coisa.

É possível medir a precisão do chatbot a sério com três ferramentas simples: uma amostra aleatória semanal de conversas reais, uma grelha de avaliação com quatro critérios (correta, completa, fundamentada, no tom certo) e uma folha de cálculo para acompanhar a evolução. Leva cerca de uma hora por semana e não exige mais matemática do que uma percentagem.

Pontos-chave

  • Avalie uma amostra aleatória semanal de respostas reais da IA, e não apenas as conversas de que alguém se queixou.
  • Avalie cada resposta segundo quatro critérios: correta, completa, fundamentada numa fonte e no tom certo.
  • A maioria dos problemas de precisão tem origem na base de conhecimento, por isso cada nota baixa deve terminar com uma correção do conteúdo e um novo teste.

O que significa "precisa" numa resposta de IA

Uma resposta pode estar certa por acaso. Se o chatbot diz que o prazo de devolução é de 30 dias, e é, mas nada na base de conhecimento o diz, a próxima resposta pode dizer 14. É por isso que a precisão precisa de mais do que uma dimensão.

Atribua a cada resposta da IA 0, 1 ou 2 pontos em quatro critérios:

Critério Pergunta a fazer 2 pontos 1 ponto 0 pontos
Correta É verdade para este cliente? Totalmente correta Pequeno erro Errada ou enganadora
Completa Respondeu a tudo o que foi perguntado? A tudo Faltou um pormenor Faltou o essencial
Fundamentada Consegue encontrar o excerto que a sustenta? Claramente sustentada Parcialmente sustentada Não está em nenhuma fonte
Tom Adequa-se à marca e ao momento? Com a voz da marca Ligeiramente desajustada Inadequada

Cada resposta tem uma nota máxima de 8. A precisão semanal é a soma de todas as notas a dividir pelo máximo possível. Assinale à parte um erro crítico em qualquer resposta com 0 no critério Correta; uma promessa de reembolso errada pesa mais do que dez respostas um pouco rígidas.

O método de amostragem semanal

Passo 1: retire uma amostra aleatória

Todas as semanas, abra um conjunto aleatório de conversas em que a IA respondeu. Se trata, por exemplo, 1 500 conversas por mês, 30 a 50 respostas da IA por semana chegam para identificar padrões. Distribua a amostra pelos vários canais e inclua algumas conversas que terminaram numa transferência para um humano.

A aleatoriedade é importante. Se só rever as conversas com uma nota de CSAT baixa, vê as falhas mais ruidosas e perde os erros silenciosos que os clientes nunca reportaram. Reveja também as conversas sinalizadas, mas num grupo à parte.

Passo 2: avalie respostas, não conversas

Uma conversa pode conter quatro respostas da IA: duas ótimas, uma incompleta e uma errada. Avaliá-las separadamente diz-lhe exatamente o que falhou.

Passo 3: alinhe os critérios dos avaliadores

Se forem duas pessoas a avaliar, peça a ambas que avaliem as mesmas dez respostas na primeira semana e comparem. As divergências costumam revelar uma regra pouco clara, por exemplo se indicar um preço antigo é um pequeno erro ou uma resposta errada. Registe a decisão por escrito.

Passo 4: registe tudo

Uma folha de cálculo com estas colunas é suficiente: data, canal, pergunta, resposta da IA, as quatro notas, total, erro crítico, fonte encontrada, tipo de falha, correção necessária.

Avaliar as respostas do chatbot verificando as fontes

A nota de fundamentação é a que mais ensina. Para cada resposta, encontre o excerto da base de conhecimento que a sustenta. Se a sua ferramenta mostra as fontes em que uma resposta se baseou, comece por aí; caso contrário, procure os factos principais nos seus documentos.

Quando a fonte falta ou está errada, a falha costuma encaixar num de cinco tipos:

Tipo de falha O que se vê Correção
Conteúdo em falta A pergunta não está coberta em lado nenhum Escrever a resposta e acrescentá-la
Conteúdo desatualizado A fonte existe, mas é antiga Atualizar ou remover a versão antiga
Conteúdo contraditório Duas fontes não coincidem Manter uma só verdade e apagar a outra
Falha de recuperação O conteúdo certo existe, mas a IA não o usou Reescrever os títulos com as palavras dos clientes
Extrapolação A IA acrescentou pormenores que nenhuma fonte contém Reforçar as salvaguardas ou o modo de segurança

O conteúdo contraditório é o mais traiçoeiro: uma tabela de preços antiga em PDF e uma página web mais recente vão ganhar, cada uma, algumas das vezes. O nosso guia para evitar alucinações em chatbots de IA aprofunda o tema da extrapolação.

Acompanhar a qualidade das respostas da IA ao longo do tempo

A nota de uma semana é um retrato instantâneo. A tendência diz-lhe se o seu trabalho está a dar frutos.

Coloque num gráfico, lado a lado, a precisão semanal e o número de erros críticos. Depois, divida ambos por tema (envios, devoluções, especificações de produto, faturação), porque uma nota global pode manter-se estável enquanto um tema piora sem se dar por isso. Marque no gráfico a data de cada alteração à base de conhecimento ou às definições, para ver o efeito.

Combine a sua avaliação manual com o que a plataforma já recolhe. A análise de dados da Conviro mostra o CSAT, as taxas de resolução e a precisão da IA, e o painel de lacunas de conhecimento lista as perguntas a que o assistente não conseguiu responder bem; explicámos como usá-lo no artigo sobre análise de lacunas de conhecimento. As transcrições completas na Live Inbox permitem ler a conversa em torno de uma resposta antes de a avaliar.

Corrija a base de conhecimento e volte a testar

Medir só ajuda se levar a correções. Feche o ciclo todas as semanas:

  1. Ordene as notas baixas da semana por tipo de falha.
  2. Corrija o conteúdo: acrescente as respostas em falta, apague os ficheiros desatualizados, resolva as contradições.
  3. Volte a fazer a pergunta original e confirme que a nova resposta tem uma boa nota.
  4. Acrescente a pergunta a uma lista de regressão que volta a testar depois de cada alteração importante à base de conhecimento.

Ao fim de algumas semanas, essa lista de regressão torna-se o seu próprio conjunto de testes. Se a extrapolação continuar a aparecer, reveja o rigor com que o seu assistente de IA se deve cingir às fontes; a Conviro permite escolher um modo de segurança contra alucinações mais rigoroso precisamente para isso.

Perguntas frequentes

Qual é uma boa taxa de precisão para um chatbot?

Não existe uma referência universal, porque a precisão depende do tipo de perguntas que recebe e do rigor com que avalia. Parta dos seus próprios dados de base das primeiras duas ou três semanas de avaliação e procure melhorá-los de forma consistente. Acompanhe os erros críticos à parte e tente reduzi-los a zero, já que uma resposta errada sobre dinheiro ou segurança pesa mais do que muitas respostas boas.

Quantas respostas do chatbot devo rever por semana?

As suficientes para ver padrões sem esgotar os avaliadores. Para a maioria das equipas pequenas e médias, 30 a 50 respostas da IA por semana funcionam bem e levam cerca de uma hora. Se trabalha com vários canais ou idiomas, garanta que todos aparecem na amostra e reveja mais respostas depois de alterações importantes à base de conhecimento ou do lançamento de um produto.

Qual é a diferença entre a precisão do chatbot e a taxa de resolução?

A taxa de resolução diz-lhe quantas conversas terminaram sem intervenção humana. A precisão diz-lhe se as respostas estavam certas. Um chatbot pode apresentar uma taxa de resolução elevada com pouca precisão se os clientes saírem com respostas erradas e nunca voltarem para se queixar. Meça as duas e trate a precisão como a salvaguarda da taxa de resolução.

Comece pela amostra desta semana

Copie a grelha de avaliação para uma folha de cálculo, retire 30 respostas aleatórias da IA e avalie-as na sexta-feira. Dentro de um mês, saberá que temas precisam de trabalho e se as suas correções se mantêm. Se ainda está a escolher uma plataforma, comece grátis com a Conviro e faça a mesma avaliação com as suas próprias conversas.

Partilhar:

Publicado por

Conviro

Partilha insights sobre suporte ao cliente com IA, automação de chatbots e estratégias de crescimento SaaS.

Ponha o guia em prática

Transforme o conhecimento de suporte em respostas mais rápidas

Explore o espaço de trabalho de suporte com IA do Conviro e comece grátis quando o fluxo se adequar à sua equipa.

Artigos relacionados

Mais publicações