CONVIRO
AI & Chatbots

Precisión del chatbot: cómo medirla sin un equipo de ciencia de datos

Una forma práctica de medir la precisión del chatbot con una muestra semanal, una rúbrica de puntuación de cuatro criterios y una hoja de cálculo, y de rastrear las respuestas…

Conviro
2 de septiembre de 20266 min de lectura
Precisión del chatbot: cómo medirla sin un equipo de ciencia de datos
En este artículo

¿Da tu chatbot las respuestas correctas? La mayoría de los equipos responden con una sensación: unas cuantas conversaciones buenas que vio alguien o una captura de pantalla desastrosa que circuló por la oficina. Ninguna de las dos dice gran cosa.

Puedes medir bien la precisión del chatbot con tres herramientas sencillas: una muestra aleatoria semanal de conversaciones reales, una rúbrica de puntuación con cuatro criterios (correcta, completa, basada en fuentes y con el tono adecuado) y una hoja de cálculo para seguir la tendencia. Te llevará más o menos una hora a la semana y no necesitas más matemáticas que un porcentaje.

Puntos clave

  • Puntúa una muestra aleatoria semanal de respuestas reales de la IA, no solo las conversaciones de las que alguien se ha quejado.
  • Evalúa cada respuesta con cuatro criterios: correcta, completa, basada en una fuente y con el tono adecuado.
  • La mayoría de los problemas de precisión vienen de la base de conocimiento, así que cada puntuación baja debe terminar con una corrección del contenido y una nueva prueba.

Qué significa que una respuesta de la IA sea "precisa"

Una respuesta puede acertar por casualidad. Si el chatbot dice que tu plazo de devolución es de 30 días y es cierto, pero no hay nada en tu base de conocimiento que lo diga, la siguiente respuesta puede decir 14. Por eso la precisión necesita más de una dimensión.

Puntúa cada respuesta de la IA con 0, 1 o 2 en cuatro criterios:

Criterio Qué preguntarte 2 puntos 1 punto 0 puntos
Correcta ¿Es cierta para este cliente? Totalmente correcta Error menor Errónea o engañosa
Completa ¿Responde a todo lo que se preguntó? A todo Le falta un detalle Se le escapa lo principal
Basada en fuentes ¿Encuentras el fragmento que la respalda? Claramente respaldada Respaldada en parte No está en ninguna fuente
Tono ¿Encaja con tu marca y con el momento? Fiel a la marca Algo desajustado Inadecuado

Cada respuesta se puntúa sobre 8. La precisión semanal es la suma de todas las puntuaciones dividida entre el máximo posible. Lleva un indicador aparte de error crítico para cualquier respuesta con un 0 en Correcta: una promesa de reembolso equivocada importa más que diez respuestas algo rígidas.

El método de muestreo semanal

Paso 1: saca una muestra aleatoria

Cada semana, abre un conjunto aleatorio de conversaciones en las que haya respondido la IA. Si gestionas, por ejemplo, 1.500 conversaciones al mes, de 30 a 50 respuestas de la IA a la semana son más que suficientes para detectar patrones. Reparte la muestra entre canales e incluye algunas que terminaron en un traspaso.

Que sea aleatoria es importante. Si solo revisas las conversaciones con una CSAT baja, verás los fallos más ruidosos y te perderás los errores silenciosos de los que los clientes nunca se quejaron. Revisa también las conversaciones señaladas, pero en un grupo aparte.

Paso 2: puntúa respuestas, no conversaciones

Una conversación puede contener cuatro respuestas de la IA: dos muy buenas, una incompleta y una errónea. Puntuarlas por separado te dice exactamente qué falló.

Paso 3: calibra a los revisores

Si revisan dos personas, haz que ambas puntúen las mismas diez respuestas la primera semana y comparad los resultados. Los desacuerdos suelen destapar una regla poco clara, como si citar un precio antiguo es un error menor o una respuesta errónea. Deja la decisión por escrito.

Paso 4: regístralo

Basta con una hoja de cálculo con estas columnas: fecha, canal, pregunta, respuesta de la IA, las cuatro puntuaciones, total, error crítico, fuente encontrada, tipo de fallo y corrección necesaria.

Evalúa las respuestas del chatbot revisando sus fuentes

La puntuación de Basada en fuentes es la que más te enseña. Para cada respuesta, busca el fragmento de tu base de conocimiento que la respalda. Si tu herramienta muestra en qué fuentes se basó una respuesta, empieza por ahí; si no, busca los datos clave en tus documentos.

Cuando el respaldo falta o es erróneo, el fallo suele encajar en uno de estos cinco tipos:

Tipo de fallo Lo que ves Corrección
Contenido que falta La pregunta no está cubierta en ningún sitio Redacta la respuesta y añádela
Contenido desactualizado La fuente existe, pero es antigua Actualiza o elimina la versión antigua
Contenido contradictorio Dos fuentes no coinciden Quédate con una sola verdad y borra la otra
Fallo de recuperación El contenido correcto existe, pero la IA no lo usó Reescribe los encabezados con las palabras del cliente
Extralimitación La IA añadió detalles que no están en ninguna fuente Ajusta las salvaguardas o el modo de seguridad

El contenido contradictorio es el más traicionero: una lista de precios antigua en PDF y una página web más reciente ganarán cada una parte de las veces. Nuestra guía para evitar las alucinaciones de los chatbots de IA profundiza en la extralimitación.

Sigue la calidad de las respuestas de la IA a lo largo del tiempo

La puntuación de una semana es una foto fija. La tendencia te dice si tu trabajo está dando resultado.

Representa en un gráfico la precisión semanal y el número de errores críticos, uno al lado del otro. Después, desglosa ambos por tema (envíos, devoluciones, especificaciones de producto, facturación), porque la puntuación global puede mantenerse estable mientras un tema empeora sin que nadie lo note. Marca en el gráfico la fecha de cada cambio en la base de conocimiento o en la configuración para ver su efecto.

Combina tu puntuación manual con lo que tu plataforma ya recoge. La analítica de Conviro informa del CSAT, las tasas de resolución y la precisión de la IA, y el panel de lagunas de conocimiento enumera las preguntas que el asistente no ha sabido responder bien; explicamos cómo usarlo en el análisis de lagunas de conocimiento. Las transcripciones completas en Live Inbox te permiten leer la conversación en torno a una respuesta antes de puntuarla.

Corrige la base de conocimiento y vuelve a probar

Medir solo sirve si lleva a corregir. Cierra el ciclo cada semana:

  1. Ordena las puntuaciones bajas de la semana por tipo de fallo.
  2. Corrige el contenido: añade las respuestas que faltan, borra los archivos desactualizados y resuelve las contradicciones.
  3. Vuelve a hacer la pregunta original y confirma que la nueva respuesta puntúa bien.
  4. Añade la pregunta a una lista de regresión que vuelvas a plantear después de cada cambio importante en la base de conocimiento.

En unas pocas semanas, esa lista de regresión se convierte en tu propio conjunto de pruebas. Si la extralimitación sigue apareciendo, revisa con qué rigor debe ceñirse tu asistente de IA a sus fuentes; Conviro te permite elegir un modo de seguridad contra alucinaciones más estricto precisamente para eso.

Preguntas frecuentes

¿Qué porcentaje de precisión de un chatbot se considera bueno?

No hay una referencia universal, porque la precisión depende del tipo de preguntas que recibes y de lo estricta que sea tu puntuación. Fija tu propio punto de partida con las dos o tres primeras semanas de revisiones y, después, intenta mejorarlo de forma constante. Lleva aparte los errores críticos y llévalos hacia cero, porque una respuesta errónea sobre dinero o seguridad pesa más que muchas buenas.

¿Cuántas respuestas del chatbot debo revisar cada semana?

Las suficientes para ver patrones sin agotar a los revisores. Para la mayoría de los equipos pequeños y medianos, de 30 a 50 respuestas de la IA a la semana funcionan bien y llevan más o menos una hora. Si atiendes varios canales o idiomas, asegúrate de que todos aparecen en la muestra, y revisa más después de cambios importantes en la base de conocimiento o del lanzamiento de un producto.

¿Qué diferencia hay entre la precisión del chatbot y la tasa de resolución?

La tasa de resolución te dice cuántas conversaciones terminaron sin intervención humana. La precisión te dice si las respuestas eran correctas. Un chatbot puede tener una tasa de resolución alta con una precisión baja si los clientes se van con respuestas erróneas y nunca vuelven a quejarse. Mide las dos y trata la precisión como la salvaguarda de la resolución.

Empieza con la muestra de esta semana

Copia la rúbrica en una hoja de cálculo, saca 30 respuestas aleatorias de la IA y puntúalas el viernes. En un mes sabrás qué temas necesitan trabajo y si tus correcciones se mantienen. Si todavía estás eligiendo plataforma, empieza gratis con Conviro y haz la misma revisión con tus propias conversaciones.

Compartir:

Publicado por

Conviro

Comparte conocimientos sobre soporte al cliente con IA, automatización de chatbots y estrategias de crecimiento SaaS.

Pon la guía en práctica

Convierte el conocimiento de tu soporte en respuestas más rápidas

Explora el workspace de soporte con IA de Conviro y empieza gratis cuando el flujo encaje con tu equipo.

Artículos relacionados

Más publicaciones