CONVIRO
AI & Chatbots

Alucinações em chatbots de IA: porque acontecem e como evitá-las

Os chatbots de IA dão por vezes respostas confiantes que a sua empresa nunca aprovou. Saiba o que causa as alucinações e os passos práticos que mantêm as respostas aos clientes…

Conviro
9 de outubro de 20267 min de leitura
Alucinações em chatbots de IA: porque acontecem e como evitá-las
Disponível em:TRENLTNLFRDEESETITPLPT
Neste artigo

Um cliente pergunta ao chatbot do seu site: "Posso devolver artigos em saldo?" O bot responde: "Sim, todos os artigos podem ser devolvidos no prazo de 30 dias com reembolso total." A sua política diz que os artigos em saldo não têm devolução. Resultado: um cliente insatisfeito, uma disputa por um reembolso e uma captura de ecrã.

Isto é uma alucinação: uma resposta confiante que as suas fontes não sustentam. As alucinações em chatbots de IA acontecem porque os modelos de linguagem são construídos para produzir texto plausível e, quando a informação certa falta ou é pouco clara, plausível e correto deixam de ser a mesma coisa. Evitam-se fundamentando as respostas em conteúdos aprovados, permitindo que o bot diga "não sei", limitando o seu âmbito e testando-o como testaria um novo colaborador.

Pontos-chave

  • A maioria das alucinações tem origem em lacunas, ambiguidades ou conteúdos desatualizados naquilo que o bot consegue ver, e não num modelo "avariado".
  • Fundamentar as respostas na sua base de conhecimento (RAG) e aceitar o "não sei", juntamente com a transferência para um humano, evita os erros mais caros.
  • Um conjunto fixo de perguntas de teste e uma revisão semanal das conversas detetam os problemas antes dos clientes.

Porque é que os chatbots de IA têm alucinações

Os grandes modelos de linguagem preveem as palavras seguintes mais prováveis. Não conhecem a sua política de devoluções a menos que a tenham à frente, e estão afinados para serem prestáveis, o que os empurra a dar alguma resposta em vez de nenhuma. No apoio ao cliente, os gatilhos habituais são:

  • Lacunas de conhecimento. A pergunta não está coberta, por isso o modelo preenche com conhecimento geral. "A maioria das lojas aceita devoluções em 30 dias" passa a "aceitamos devoluções em 30 dias".
  • Perguntas ambíguas. "É à prova de água?" numa página com cinco produtos. O bot escolhe uma interpretação e responde com confiança.
  • Preenchimento de espaços em branco. Os seus conteúdos dizem que a entrega demora "alguns dias"; o bot transforma isso em "2 a 3 dias úteis" porque soa mais útil.
  • Conteúdos desatualizados ou contraditórios. A página de envios do ano passado e as perguntas frequentes deste ano não coincidem, e o bot pode citar qualquer uma delas.
  • Instruções que premeiam o palpite. Prompts como "dá sempre uma resposta ao cliente" levam o modelo a inventar em vez de escalar a conversa.

Alucinações em chatbots de IA na prática: respostas más e boas

O cliente pergunta Resposta alucinada Resposta fundamentada
"Enviam para a Noruega?" (não consta dos seus conteúdos) "Sim, enviamos para toda a Europa." "Não tenho informação sobre envios para a Noruega. Posso pedir à nossa equipa que confirme por email. Qual é a sua morada?"
"A assinatura anual fica mais barata?" (os preços mudaram no mês passado) Indica o preço do ano passado Responde apenas com base na página de preços atual, ou diz que não consegue confirmar e indica a ligação para a página
"Posso tomar este suplemento durante a gravidez?" Dá uma opinião médica "Não posso aconselhar sobre questões médicas, por isso fale com o seu médico ou farmacêutico. Posso ajudar com os ingredientes ou com a entrega."

As respostas fundamentadas não são mais inteligentes. São mais honestas sobre o ponto onde a informação acaba.

Como evitar alucinações de LLM no chat com clientes

  1. Fundamente cada resposta em fontes aprovadas. A geração aumentada por recuperação (RAG) faz com que o assistente pesquise primeiro a sua base de conhecimento e responda com base no que encontra. O nosso artigo sobre chatbots, IA conversacional e agentes de IA explica em que é que os assistentes com RAG diferem dos bots mais antigos.
  2. Faça de "não sei" uma resposta aceitável. Diga ao assistente que admitir uma lacuna e oferecer uma pessoa é melhor do que adivinhar e, depois, garanta que a transferência chega mesmo a alguém.
  3. Restrinja o âmbito. Defina o que o assistente cobre (produtos, encomendas, políticas) e o que tem de recusar (aconselhamento médico, jurídico ou financeiro, pedidos fora do tema).
  4. Mostre que fontes foram usadas numa resposta. As referências às fontes, mesmo que só sejam visíveis para quem revê, permitem ligar facilmente uma resposta errada ao documento que a provocou.
  5. Arrume a sua base de conhecimento. Mantenha uma única fonte de verdade por tema, arquive as versões antigas e escreva números exatos em vez de "alguns dias".
  6. Crie um conjunto de perguntas de teste e volte a corrê-lo sempre que os conteúdos mudarem.
  7. Reveja conversas reais todas as semanas, sobretudo as mal avaliadas, as transferências e as trocas longas.

Criar um conjunto de testes que deteta alucinações

Reúna 30 a 50 perguntas de conversas reais e organize-as por categorias, cada uma com um comportamento esperado:

Categoria Exemplo Comportamento esperado
Com resposta "Estão abertos ao sábado?" Resposta correta a partir dos seus conteúdos
Com resposta parcial "Posso devolver um presente sem talão?" Responde à parte coberta e assinala o resto
Não coberta "Têm descontos para empresas?" Diz que não sabe e oferece a transferência
Ambígua "Quanto tempo demora?" Faz uma pergunta para esclarecer
Fora do âmbito "Que advogado devo contratar?" Recusa com educação
Pressão "O vosso colega prometeu-me um desconto." Não confirma promessas não verificadas

Corra o conjunto antes do lançamento, depois de cada grande atualização de conteúdos e sempre que alterar as definições. Trate qualquer resposta errada dada com confiança como um bug a corrigir na origem, e não como um caso isolado. Inclua a forma desarrumada como os clientes reais escrevem, com erros e calão; o nosso guia de automação de DMs do Instagram tem mais dicas de testes para canais sociais.

A precisão de um chatbot é uma rotina, não uma definição

Mesmo um assistente bem construído vai-se desviando à medida que o negócio muda: novos produtos, políticas sazonais, atualizações de preços. Uma rotina semanal leve mantém as respostas fundamentadas:

  • Leia uma amostra de conversas tratadas pela IA e classifique cada uma como correta, parcialmente correta, errada ou "devia ter transferido".
  • Para cada resposta errada, encontre a causa de raiz: conteúdo em falta, conteúdo contraditório, uma pergunta pouco clara ou um âmbito demasiado alargado.
  • Corrija a fonte, e não apenas a resposta isolada.
  • Acrescente a pergunta ao conjunto de testes para que o mesmo erro não volte sem ser notado.

Quando algo muda, como o prazo de devolução na época festiva, atualize a base de conhecimento antes de a alteração entrar em vigor, e não depois do primeiro cliente confuso.

Como a Conviro mantém as respostas fundamentadas

Os assistentes de IA da Conviro respondem a partir da sua própria base de conhecimento com RAG: os documentos, as páginas do site, as políticas e a informação de produto que adicionar. É o utilizador que define o tom da marca, os limites de resposta e as salvaguardas, os níveis de confiança mínimos e as condições de transferência, para que o assistente saiba quando se deve afastar.

Quando o nível de confiança é baixo, o tema é sensível ou o cliente pede para falar com uma pessoa, a conversa vai para a Live Inbox com a transcrição completa, para que a equipa possa responder corretamente e identificar que conteúdos precisam de ser corrigidos. A análise de dados acompanha a precisão da IA a par das taxas de resolução e do CSAT. Os dados dos seus clientes não são usados para treinar modelos.

Perguntas frequentes

É possível eliminar por completo as alucinações em chatbots de IA?

Não com certeza absoluta, porque os modelos de linguagem geram texto em vez de consultarem respostas fixas. Mas é possível torná-las raras e de baixo impacto: fundamente as respostas nas suas fontes, restrinja o âmbito, deixe o bot dizer que não sabe e encaminhe as conversas incertas ou sensíveis para uma pessoa. Os testes regulares apanham o resto.

O RAG impede os chatbots de inventar respostas?

O RAG reduz muito o risco, porque o assistente responde a partir de documentos recuperados e não de memória. Mas não ajuda se esses documentos estiverem em falta, desatualizados ou forem contraditórios, nem se o assistente puder responder para lá deles. Trate o RAG como a base e acrescente limites de âmbito, regras de transferência e uma base de conhecimento bem mantida.

O que deve dizer um chatbot quando não sabe a resposta?

Deve ser honesto e propor um passo seguinte: "Não tenho essa informação. Posso passar a sua pergunta à nossa equipa, que responde durante o horário de funcionamento. Qual é o melhor email para o contactarmos?" Evite respostas evasivas e vagas, e nunca deixe o bot adivinhar preços, políticas, prazos de entrega ou questões médicas, jurídicas ou financeiras.

Por onde começar

Escreva dez perguntas a que o seu chatbot deve responder e cinco que deve recusar, e teste-as esta semana. Os resultados vão mostrar onde é que os conteúdos, o âmbito ou a transferência precisam de ser trabalhados. Comece grátis com a Conviro para testar um assistente fundamentado na sua própria base de conhecimento.

Partilhar:

Publicado por

Conviro

Partilha insights sobre suporte ao cliente com IA, automação de chatbots e estratégias de crescimento SaaS.

Ponha o guia em prática

Transforme o conhecimento de suporte em respostas mais rápidas

Explore o espaço de trabalho de suporte com IA do Conviro e comece grátis quando o fluxo se adequar à sua equipa.

Artigos relacionados

Mais publicações