CONVIRO
AI & Chatbots

Veri Bilimi Ekibi Olmadan Yapay Zekâ Chatbot Doğruluğu Nasıl Ölçülür?

Haftalık bir örneklem, dört kriterli bir puanlama tablosu ve bir elektronik tabloyla chatbot doğruluğunu ölçmenin pratik yolu; ayrıca hatalı yanıtların bilgi bankanızdaki…

Conviro
2 Eylül 20266 dk okuma
Veri Bilimi Ekibi Olmadan Yapay Zekâ Chatbot Doğruluğu Nasıl Ölçülür?
Şu dillerde mevcut:NLENETITESLTDEFRPLPTTR
Bu yazıda

Chatbot'unuz doğru yanıtlar veriyor mu? Çoğu ekip bu soruyu bir hisle yanıtlar: Birinin gördüğü birkaç iyi konuşma ya da ofiste elden ele dolaşan kötü bir ekran görüntüsü. İkisi de size pek bir şey söylemez.

Chatbot doğruluğunu üç basit araçla düzgün şekilde ölçebilirsiniz: Gerçek konuşmalardan alınan haftalık rastgele bir örneklem, dört kriterli bir puanlama tablosu (doğru, eksiksiz, kaynağa dayalı, uygun tonda) ve eğilimi takip etmek için bir elektronik tablo. Haftada yaklaşık bir saat sürer ve yüzde hesabının ötesinde matematik gerektirmez.

Öne çıkanlar

  • Yalnızca birinin şikâyet ettiği konuşmaları değil, gerçek yapay zekâ yanıtlarından alınan haftalık rastgele bir örneklemi puanlayın.
  • Her yanıtı dört kritere göre değerlendirin: doğru, eksiksiz, bir kaynağa dayalı ve uygun tonda.
  • Doğruluk sorunlarının çoğu bilgi bankasından kaynaklanır; bu yüzden her düşük puan bir içerik düzeltmesi ve yeniden testle sonuçlanmalıdır.

Bir yapay zekâ yanıtı için "doğru" ne demek?

Bir yanıt tesadüfen doğru olabilir. Chatbot iade sürenizin 30 gün olduğunu söylüyor ve bu doğruysa ama bilgi bankanızda bunu söyleyen hiçbir şey yoksa, bir sonraki yanıt 14 gün diyebilir. Bu yüzden doğruluk tek bir boyuttan fazlasını gerektirir.

Her yapay zekâ yanıtını dört kritere göre 0, 1 veya 2 puanla değerlendirin:

Kriter Sorulacak soru 2 puan 1 puan 0 puan
Doğru Bu müşteri için doğru mu? Tamamen doğru Küçük bir hata Yanlış veya yanıltıcı
Eksiksiz Sorulan her şeyi yanıtladı mı? Her şeyi Bir ayrıntıyı atladı Asıl noktayı atladı
Kaynağa dayalı Yanıtı destekleyen bölümü bulabiliyor musunuz? Açıkça destekleniyor Kısmen destekleniyor Hiçbir kaynakta yok
Ton Markanıza ve o ana uygun mu? Markaya uygun Biraz yerinde değil Uygunsuz

Her yanıt 8 üzerinden puanlanır. Haftalık doğruluk, tüm puanların toplamının alınabilecek en yüksek puana bölünmesiyle bulunur. Doğru kriterinden 0 alan her yanıt için ayrı bir kritik hata işareti tutun; yanlış verilmiş tek bir para iadesi sözü, biraz resmî kaçmış on yanıttan daha önemlidir.

Haftalık örnekleme yöntemi

1. adım: Rastgele bir örneklem çekin

Her hafta yapay zekânın yanıt verdiği konuşmalardan rastgele bir küme açın. Örneğin ayda 1.500 konuşma yönetiyorsanız, haftada 30 ila 50 yapay zekâ yanıtı örüntüleri fark etmek için fazlasıyla yeterlidir. Örneklemi kanallara yayın ve temsilciye devirle biten konuşmalardan da birkaçını ekleyin.

Rastgelelik önemlidir. Yalnızca düşük CSAT (müşteri memnuniyeti puanı) alan konuşmaları incelerseniz en gürültülü başarısızlıkları görür, müşterilerin hiç bildirmediği sessiz hataları kaçırırsınız. İşaretlenmiş konuşmaları da inceleyin, ancak ayrı bir grupta.

2. adım: Konuşmaları değil, yanıtları puanlayın

Tek bir konuşmada dört yapay zekâ yanıtı olabilir: ikisi harika, biri eksik, biri yanlış. Bunları ayrı ayrı puanlamak, tam olarak neyin başarısız olduğunu gösterir.

3. adım: Değerlendiricileri aynı çizgiye getirin

İki kişi inceleme yapıyorsa ilk hafta ikisinin de aynı on yanıtı puanlamasını sağlayın ve sonuçları karşılaştırın. Anlaşmazlıklar genellikle belirsiz bir kuralı ortaya çıkarır; örneğin eski bir fiyatı söylemenin küçük bir hata mı yoksa yanlış bir yanıt mı sayılacağı gibi. Verdiğiniz kararı yazıya dökün.

4. adım: Kayıt altına alın

Şu sütunlara sahip bir elektronik tablo işinizi görür: tarih, kanal, soru, yapay zekâ yanıtı, dört puan, toplam, kritik hata, bulunan kaynak, hata türü, gereken düzeltme.

Chatbot yanıtlarını kaynaklarını kontrol ederek değerlendirin

En çok şeyi Kaynağa dayalı puanından öğrenirsiniz. Her yanıt için bilgi bankanızda onu destekleyen bölümü bulun. Aracınız bir yanıtın hangi kaynaklardan yararlandığını gösteriyorsa oradan başlayın; göstermiyorsa belgelerinizde temel bilgileri arayın.

Destek eksik veya yanlış olduğunda, hata genellikle beş türden birine girer:

Hata türü Ne görürsünüz? Düzeltme
Eksik içerik Soru hiçbir yerde ele alınmamış Yanıtı yazın ve ekleyin
Güncel olmayan içerik Kaynak var ama eski Eski sürümü güncelleyin veya kaldırın
Çelişkili içerik İki kaynak birbirini tutmuyor Tek bir doğruyu tutun, diğerini silin
Bilgi getirme hatası Doğru içerik var, ama yapay zekâ kullanmamış Başlıkları müşterinin kullandığı ifadelerle yeniden yazın
Haddini aşma Yapay zekâ hiçbir kaynakta olmayan ayrıntılar eklemiş Güvenlik sınırlarını (guardrails) veya güvenlik modunu sıkılaştırın

En sinsi olanı çelişkili içeriktir: Eski bir PDF fiyat listesi ile daha yeni bir web sayfası zaman zaman birbirine baskın gelir. Yapay zekâ chatbot halüsinasyonlarını önleme rehberimiz haddini aşma konusunu daha ayrıntılı ele alıyor.

Yapay zekâ yanıt kalitesini zaman içinde takip edin

Tek bir haftanın puanı anlık bir görüntüdür. Emeğinizin karşılığını alıp almadığınızı eğilim gösterir.

Haftalık doğruluk oranını ve kritik hata sayısını yan yana grafiğe dökün. Ardından ikisini de konulara (kargo, iadeler, ürün özellikleri, faturalandırma) göre ayırın; çünkü genel puan sabit kalırken bir konu sessizce kötüleşebilir. Etkisini görebilmek için her bilgi bankası veya ayar değişikliğinin tarihini grafikte işaretleyin.

Manuel puanınızı, platformunuzun zaten topladığı verilerle birlikte değerlendirin. Conviro'nun analitikleri CSAT, çözüm oranları ve yapay zekâ doğruluğunu raporlar; bilgi boşluğu içgörüleri paneli de asistanın iyi yanıtlayamadığı soruları listeler. Bu paneli nasıl kullanacağınızı bilgi boşluğu analizi yazımızda anlattık. Live Inbox'taki tam konuşma dökümleri, bir yanıtı puanlamadan önce etrafındaki konuşmayı okumanızı sağlar.

Bilgi bankasını düzeltin, ardından yeniden test edin

Ölçüm ancak düzeltmelere yol açarsa işe yarar. Döngüyü her hafta kapatın:

  1. Haftanın düşük puanlarını hata türüne göre sıralayın.
  2. İçeriği düzeltin: Eksik yanıtları ekleyin, güncel olmayan dosyaları silin, çelişkileri giderin.
  3. Asıl soruyu yeniden sorun ve yeni yanıtın iyi puan aldığını teyit edin.
  4. Soruyu, her büyük bilgi bankası değişikliğinden sonra yeniden sorduğunuz bir regresyon listesine ekleyin.

Birkaç hafta içinde bu regresyon listesi kendi test paketinize dönüşür. Haddini aşma tekrar tekrar görülüyorsa yapay zekâ asistanınızın kaynaklarına ne kadar sıkı bağlı kalması gerektiğini gözden geçirin; Conviro tam da bunun için daha katı bir halüsinasyon güvenlik modu seçmenize olanak tanır.

Sıkça Sorulan Sorular

İyi bir chatbot doğruluk oranı ne kadar olmalı?

Evrensel bir karşılaştırma ölçütü yoktur; çünkü doğruluk, sorularınızın dağılımına ve ne kadar katı puanladığınıza bağlıdır. İlk iki üç haftanın incelemelerinden kendi başlangıç değerinizi belirleyin, ardından bu değeri istikrarlı şekilde yükseltmeyi hedefleyin. Kritik hataları ayrıca takip edin ve sıfıra doğru indirin; çünkü para veya güvenlikle ilgili tek bir yanlış yanıt, birçok iyi yanıttan daha ağır basar.

Her hafta kaç chatbot yanıtını incelemeliyim?

Değerlendiricileri tüketmeden örüntüleri görmeye yetecek kadar. Çoğu küçük ve orta ölçekli ekip için haftada 30 ila 50 yapay zekâ yanıtı işe yarar ve kabaca bir saat sürer. Birden fazla kanalda veya dilde hizmet veriyorsanız her birinin örneklemde yer aldığından emin olun; büyük bilgi bankası değişikliklerinden veya bir ürün lansmanından sonra daha fazla yanıt inceleyin.

Chatbot doğruluğu ile çözüm oranı arasındaki fark nedir?

Çözüm oranı, kaç konuşmanın bir insana ihtiyaç duyulmadan sona erdiğini gösterir. Doğruluk ise yanıtların doğru olup olmadığını gösterir. Müşteriler yanlış yanıtlarla ayrılıp şikâyet etmek için hiç geri dönmezse, bir chatbot düşük doğrulukla yüksek bir çözüm oranı gösterebilir. İkisini de ölçün ve doğruluğu çözüm oranının güvenlik sınırı olarak görün.

Bu haftanın örneklemiyle başlayın

Puanlama tablosunu bir elektronik tabloya kopyalayın, rastgele 30 yapay zekâ yanıtı çekin ve cuma günü puanlayın. Bir ay içinde hangi konuların iyileştirme gerektirdiğini ve düzeltmelerinizin kalıcı olup olmadığını bileceksiniz. Hâlâ bir platform seçiyorsanız Conviro ile ücretsiz başlayın ve aynı incelemeyi kendi konuşmalarınız üzerinde yapın.

Paylaş:

Yayınlayan

Conviro

Yapay zekâ destekli müşteri desteği, chatbot otomasyonu ve SaaS büyüme stratejileri hakkında içgörüler paylaşıyoruz.

Rehberi uygulamaya geçirin

Destek bilginizi daha hızlı yanıtlara dönüştürün

Conviro'nun yapay zekâlı müşteri desteği çalışma alanını keşfedin; iş akışı ekibinize uyduğunda ücretsiz başlayın.

İlgili yazılar

Daha Fazla Yazı