Precisión del chatbot: cómo medirla sin un equipo de ciencia de datos
Una forma práctica de medir la precisión del chatbot con una muestra semanal, una rúbrica de puntuación de cuatro criterios y una hoja de cálculo, y de rastrear las respuestas…

En este artículo
¿Da tu chatbot las respuestas correctas? La mayoría de los equipos responden con una sensación: unas cuantas conversaciones buenas que vio alguien o una captura de pantalla desastrosa que circuló por la oficina. Ninguna de las dos dice gran cosa.
Puedes medir bien la precisión del chatbot con tres herramientas sencillas: una muestra aleatoria semanal de conversaciones reales, una rúbrica de puntuación con cuatro criterios (correcta, completa, basada en fuentes y con el tono adecuado) y una hoja de cálculo para seguir la tendencia. Te llevará más o menos una hora a la semana y no necesitas más matemáticas que un porcentaje.
Puntos clave
- Puntúa una muestra aleatoria semanal de respuestas reales de la IA, no solo las conversaciones de las que alguien se ha quejado.
- Evalúa cada respuesta con cuatro criterios: correcta, completa, basada en una fuente y con el tono adecuado.
- La mayoría de los problemas de precisión vienen de la base de conocimiento, así que cada puntuación baja debe terminar con una corrección del contenido y una nueva prueba.
Qué significa que una respuesta de la IA sea "precisa"
Una respuesta puede acertar por casualidad. Si el chatbot dice que tu plazo de devolución es de 30 días y es cierto, pero no hay nada en tu base de conocimiento que lo diga, la siguiente respuesta puede decir 14. Por eso la precisión necesita más de una dimensión.
Puntúa cada respuesta de la IA con 0, 1 o 2 en cuatro criterios:
| Criterio | Qué preguntarte | 2 puntos | 1 punto | 0 puntos |
|---|---|---|---|---|
| Correcta | ¿Es cierta para este cliente? | Totalmente correcta | Error menor | Errónea o engañosa |
| Completa | ¿Responde a todo lo que se preguntó? | A todo | Le falta un detalle | Se le escapa lo principal |
| Basada en fuentes | ¿Encuentras el fragmento que la respalda? | Claramente respaldada | Respaldada en parte | No está en ninguna fuente |
| Tono | ¿Encaja con tu marca y con el momento? | Fiel a la marca | Algo desajustado | Inadecuado |
Cada respuesta se puntúa sobre 8. La precisión semanal es la suma de todas las puntuaciones dividida entre el máximo posible. Lleva un indicador aparte de error crítico para cualquier respuesta con un 0 en Correcta: una promesa de reembolso equivocada importa más que diez respuestas algo rígidas.
El método de muestreo semanal
Paso 1: saca una muestra aleatoria
Cada semana, abre un conjunto aleatorio de conversaciones en las que haya respondido la IA. Si gestionas, por ejemplo, 1.500 conversaciones al mes, de 30 a 50 respuestas de la IA a la semana son más que suficientes para detectar patrones. Reparte la muestra entre canales e incluye algunas que terminaron en un traspaso.
Que sea aleatoria es importante. Si solo revisas las conversaciones con una CSAT baja, verás los fallos más ruidosos y te perderás los errores silenciosos de los que los clientes nunca se quejaron. Revisa también las conversaciones señaladas, pero en un grupo aparte.
Paso 2: puntúa respuestas, no conversaciones
Una conversación puede contener cuatro respuestas de la IA: dos muy buenas, una incompleta y una errónea. Puntuarlas por separado te dice exactamente qué falló.
Paso 3: calibra a los revisores
Si revisan dos personas, haz que ambas puntúen las mismas diez respuestas la primera semana y comparad los resultados. Los desacuerdos suelen destapar una regla poco clara, como si citar un precio antiguo es un error menor o una respuesta errónea. Deja la decisión por escrito.
Paso 4: regístralo
Basta con una hoja de cálculo con estas columnas: fecha, canal, pregunta, respuesta de la IA, las cuatro puntuaciones, total, error crítico, fuente encontrada, tipo de fallo y corrección necesaria.
Evalúa las respuestas del chatbot revisando sus fuentes
La puntuación de Basada en fuentes es la que más te enseña. Para cada respuesta, busca el fragmento de tu base de conocimiento que la respalda. Si tu herramienta muestra en qué fuentes se basó una respuesta, empieza por ahí; si no, busca los datos clave en tus documentos.
Cuando el respaldo falta o es erróneo, el fallo suele encajar en uno de estos cinco tipos:
| Tipo de fallo | Lo que ves | Corrección |
|---|---|---|
| Contenido que falta | La pregunta no está cubierta en ningún sitio | Redacta la respuesta y añádela |
| Contenido desactualizado | La fuente existe, pero es antigua | Actualiza o elimina la versión antigua |
| Contenido contradictorio | Dos fuentes no coinciden | Quédate con una sola verdad y borra la otra |
| Fallo de recuperación | El contenido correcto existe, pero la IA no lo usó | Reescribe los encabezados con las palabras del cliente |
| Extralimitación | La IA añadió detalles que no están en ninguna fuente | Ajusta las salvaguardas o el modo de seguridad |
El contenido contradictorio es el más traicionero: una lista de precios antigua en PDF y una página web más reciente ganarán cada una parte de las veces. Nuestra guía para evitar las alucinaciones de los chatbots de IA profundiza en la extralimitación.
Sigue la calidad de las respuestas de la IA a lo largo del tiempo
La puntuación de una semana es una foto fija. La tendencia te dice si tu trabajo está dando resultado.
Representa en un gráfico la precisión semanal y el número de errores críticos, uno al lado del otro. Después, desglosa ambos por tema (envíos, devoluciones, especificaciones de producto, facturación), porque la puntuación global puede mantenerse estable mientras un tema empeora sin que nadie lo note. Marca en el gráfico la fecha de cada cambio en la base de conocimiento o en la configuración para ver su efecto.
Combina tu puntuación manual con lo que tu plataforma ya recoge. La analítica de Conviro informa del CSAT, las tasas de resolución y la precisión de la IA, y el panel de lagunas de conocimiento enumera las preguntas que el asistente no ha sabido responder bien; explicamos cómo usarlo en el análisis de lagunas de conocimiento. Las transcripciones completas en Live Inbox te permiten leer la conversación en torno a una respuesta antes de puntuarla.
Corrige la base de conocimiento y vuelve a probar
Medir solo sirve si lleva a corregir. Cierra el ciclo cada semana:
- Ordena las puntuaciones bajas de la semana por tipo de fallo.
- Corrige el contenido: añade las respuestas que faltan, borra los archivos desactualizados y resuelve las contradicciones.
- Vuelve a hacer la pregunta original y confirma que la nueva respuesta puntúa bien.
- Añade la pregunta a una lista de regresión que vuelvas a plantear después de cada cambio importante en la base de conocimiento.
En unas pocas semanas, esa lista de regresión se convierte en tu propio conjunto de pruebas. Si la extralimitación sigue apareciendo, revisa con qué rigor debe ceñirse tu asistente de IA a sus fuentes; Conviro te permite elegir un modo de seguridad contra alucinaciones más estricto precisamente para eso.
Preguntas frecuentes
¿Qué porcentaje de precisión de un chatbot se considera bueno?
No hay una referencia universal, porque la precisión depende del tipo de preguntas que recibes y de lo estricta que sea tu puntuación. Fija tu propio punto de partida con las dos o tres primeras semanas de revisiones y, después, intenta mejorarlo de forma constante. Lleva aparte los errores críticos y llévalos hacia cero, porque una respuesta errónea sobre dinero o seguridad pesa más que muchas buenas.
¿Cuántas respuestas del chatbot debo revisar cada semana?
Las suficientes para ver patrones sin agotar a los revisores. Para la mayoría de los equipos pequeños y medianos, de 30 a 50 respuestas de la IA a la semana funcionan bien y llevan más o menos una hora. Si atiendes varios canales o idiomas, asegúrate de que todos aparecen en la muestra, y revisa más después de cambios importantes en la base de conocimiento o del lanzamiento de un producto.
¿Qué diferencia hay entre la precisión del chatbot y la tasa de resolución?
La tasa de resolución te dice cuántas conversaciones terminaron sin intervención humana. La precisión te dice si las respuestas eran correctas. Un chatbot puede tener una tasa de resolución alta con una precisión baja si los clientes se van con respuestas erróneas y nunca vuelven a quejarse. Mide las dos y trata la precisión como la salvaguarda de la resolución.
Empieza con la muestra de esta semana
Copia la rúbrica en una hoja de cálculo, saca 30 respuestas aleatorias de la IA y puntúalas el viernes. En un mes sabrás qué temas necesitan trabajo y si tus correcciones se mantienen. Si todavía estás eligiendo plataforma, empieza gratis con Conviro y haz la misma revisión con tus propias conversaciones.
Publicado por
Conviro
Comparte conocimientos sobre soporte al cliente con IA, automatización de chatbots y estrategias de crecimiento SaaS.
Pon la guía en práctica
Convierte el conocimiento de tu soporte en respuestas más rápidas
Explora el workspace de soporte con IA de Conviro y empieza gratis cuando el flujo encaje con tu equipo.
Artículos relacionados
Más publicaciones
AI & Chatbots
Seguridad de la IA en atención al cliente: paradas para las conversaciones que no le corresponden
7 min de lectura
Leer artículo
AI & Chatbots
Chatbot vs IA conversacional vs agente de IA: ¿en qué se diferencian?
7 min de lectura
Leer artículo
AI & Chatbots
Alucinaciones de los chatbots de IA: por qué ocurren y cómo evitarlas
7 min de lectura
Leer artículo