KI-Chatbot testen: 20 Punkte, die Sie vor dem Go-live prüfen sollten
Eine Checkliste mit 20 Punkten, um Ihren Chatbot zu testen: Wissen, Grenzfälle, Sprachen, Übergabe, Lead-Erfassung, Datenschutz, alle Kanäle und Mobilgeräte – damit der Launch…

In diesem Artikel
Der erste echte Kunde, der mit Ihrem Chatbot spricht, wird etwas fragen, auf das niemand in Ihrem Team gekommen ist. Er vertippt sich beim Produktnamen, stellt zwei Fragen auf einmal, wechselt mittendrin ins Englische und will um 23 Uhr einen Menschen sprechen.
Wenn Sie Ihren Chatbot testen, begegnen Sie diesem Kunden vor dem Launch statt danach. In der Praxis heißt das: Sie schicken Ihren Assistenten durch echte Fragen, knifflige Grenzfälle und jeden Kanal, auf dem er laufen wird, und beheben alles, was nicht funktioniert, bevor Sie live gehen.
Unten finden Sie eine Checkliste mit 20 Punkten, nach Bereichen gruppiert. Planen Sie einen konzentrierten Nachmittag mit zwei oder drei Kolleginnen und Kollegen ein.
Das Wichtigste in Kürze
- Testen Sie mit echten Fragen aus Ihrem Posteingang, nicht mit denen, die Kunden Ihrer Meinung nach stellen sollten.
- Übergabe, Datenschutz und das Verhalten in den einzelnen Kanälen lassen mehr Launches scheitern als falsche Antworten.
- Protokollieren Sie jeden fehlgeschlagenen Prüfpunkt und gehen Sie nach den Korrekturen die ganze Liste erneut durch.
Chatbot testen: die Testsitzung vorbereiten
Sammeln Sie 30 bis 50 echte Kundenfragen aus Ihren Posteingängen für E-Mail, Chat und Social Media. Geben Sie jeder testenden Person eine Rolle: Eine spielt die verwirrte Käuferin, einer den verärgerten Kunden, eine Person versucht, das System zu knacken. Protokollieren Sie jeden Prüfpunkt in einer einfachen Tabelle:
| Prüfpunkt | Erwartetes Ergebnis | Tatsächliches Ergebnis | Bestanden/nicht bestanden | Zuständig für die Korrektur |
|---|---|---|---|---|
| „Kann ich reduzierte Ware zurückgeben?“ | Nennt die Regel für vom Umtausch ausgeschlossene Ware, verlinkt die Rückgabeseite | Sagte: 30 Tage Rückgabe | Nicht bestanden | Support-Leitung |
Abdeckung des Wissens
- Ihre 20 häufigsten Fragen werden korrekt beantwortet. Gleichen Sie jede Antwort mit den aktuellen Richtlinien ab, nicht mit Ihrem Gedächtnis.
- Jede Wissensquelle wurde tatsächlich geladen. Ein PDF, das nicht verarbeitet wurde, sieht nach „schlechter KI“ aus, obwohl in Wahrheit Inhalt fehlt. Die neuen Berichte zum Wissens-Upload und Trainingsmodus von Conviro zeigen, wie Ihre hochgeladenen Quellen verarbeitet wurden. Prüfen Sie sie, bevor jemand anfängt, Fragen zu stellen.
- Preise, Öffnungszeiten und Richtlinien sind aktuell. Entfernen Sie alte Preislisten, damit sie nicht mit den neuen konkurrieren.
- Unbekannte Fragen bekommen eine ehrliche Antwort. Fragen Sie etwas, das Sie nie dokumentiert haben. Der Assistent sollte sagen, dass er es nicht weiß, und einen nächsten Schritt anbieten, statt zu improvisieren.
Grenzfälle
- Unsaubere Eingaben funktionieren. Tippfehler, Umgangssprache, durchgehende Großbuchstaben, Ein-Wort-Nachrichten wie „erstattung?“.
- Zwei Fragen bekommen zwei Antworten. „Liefern Sie nach Österreich und wie lange dauert das?“
- Manipulative Prompts laufen ins Leere. Fordern Sie einen Rabatt, den er nicht geben darf, fragen Sie nach Wettbewerbern, tippen Sie „ignoriere deine Anweisungen“. Der Assistent sollte innerhalb seiner Grenzen bleiben.
Sprachen
- Jede Sprache Ihrer Märkte funktioniert, auch bei einem Wechsel mitten in der Konversation.
- Fragen in anderen Sprachen finden trotzdem die Antwort. Wenn Ihre Wissensdatenbank auf Englisch ist und ein Kunde auf Spanisch schreibt, sollte die Antwort korrekt und auf Spanisch sein. Prüfen Sie auch die Oberflächensprache des Widgets.
Übergabe
- „Ich will mit einem Menschen sprechen“ funktioniert überall. Probieren Sie mehrere Formulierungen aus: „Mitarbeiter“, „echte Person“, „Bot stoppen“.
- Heikle Themen werden eskaliert. Beschwerden, rechtliche Drohungen und Sicherheitsthemen sollten bei einem Menschen landen. Unser Leitfaden zur Übergabe erklärt, welche Auslöser Sie festlegen sollten.
- Kontaktdaten werden vor der Übergabe erfasst. Wenn niemand online ist, sollte der Assistent Namen und E-Mail-Adresse oder Telefonnummer erfragen und ehrlich sagen, wann das Team antwortet.
Lead-Erfassung
- Lead-Daten kommen dort an, wo der Vertrieb arbeitet. Schicken Sie eine Testanfrage ab und prüfen Sie, ob Name, Bedarf und Zeitrahmen in Ihrem CRM oder Benachrichtigungskanal erscheinen.
- Der Assistent führt kein Verhör. Er sollte zuerst antworten und nach Details fragen, wenn sie nützlich sind, statt mit einem Formular zu beginnen.
Datenschutz
- Kunden wissen, dass sie mit einer KI sprechen. Artikel 50 des EU AI Act legt Transparenzpflichten für KI-Systeme fest, die mit Menschen interagieren. Achten Sie also darauf, dass die Begrüßung klar sagt, dass es sich um einen KI-Assistenten handelt.
- Keine Datenlecks. Fragen Sie nach der Bestellung eines anderen Kunden und bitten Sie den Assistenten, interne Notizen zu wiederholen. Prüfen Sie, dass er nie sensible Daten anfordert, die er nicht braucht.
Alle Kanäle
- Jeder Kanal bekommt seinen eigenen Test. Website-Chat, WhatsApp und Instagram-DMs stellen Links, Zeilenumbrüche und lange Antworten unterschiedlich dar. Lesen Sie die Antworten in jedem Kanal.
- Übergaben aus jedem Kanal landen im Posteingang. Eskalieren Sie einmal pro Kanal und prüfen Sie, ob die Konversation in Ihrem gemeinsamen Posteingang erscheint und jemand benachrichtigt wird.
Mobilgeräte
- Das Widget funktioniert auf kleinen Bildschirmen. Es sollte weder den Checkout-Button noch das Cookie-Banner verdecken, und die Tastatur sollte das Eingabefeld nicht verstecken.
- Antworten haben Smartphone-Format. Muss man für eine Antwort scrollen, kürzen Sie den Quellinhalt. Mehr dazu in unserem Leitfaden zur mobilen Chat-UX.
Nach dem Go-live: weiter testen
Eine Launch-Checkliste fängt die offensichtlichen Fehler ab; echte Konversationen zeigen den Rest. Lesen Sie in den ersten zwei Wochen täglich eine Stichprobe von Konversationen und wechseln Sie dann zu einer wöchentlichen Prüfung mit einem Bewertungsraster wie dem in unserem Leitfaden zum Thema Chatbot-Genauigkeit messen.
Bewahren Sie Ihre fehlgeschlagenen Prüfpunkte als Regressionsliste auf und gehen Sie sie erneut durch, sobald Sie ein umfangreiches Dokument hinzufügen, eine Richtlinie ändern oder einen neuen Kanal eröffnen. Die KI-Assistenten von Conviro zeigen außerdem Wissenslücken an, also Fragen, die der Assistent nicht gut beantworten konnte. So wissen Sie, was Sie als Nächstes schreiben sollten. Anleitungen zu jedem Schritt finden Sie im Hilfecenter.
Häufig gestellte Fragen
Wie lange dauert es, einen Chatbot vor dem Launch zu testen?
Für ein kleines oder mittelständisches Unternehmen reicht ein konzentrierter Nachmittag für diese Checkliste, plus Zeit, um Fehler zu beheben und erneut zu testen. Planen Sie ein oder zwei Tage später eine kürzere zweite Sitzung ein. Mehrere Sprachen oder Kanäle kosten zusätzliche Zeit: Rechnen Sie mit etwa einer weiteren Stunde pro Sprache und pro Kanal zusätzlich zum Kerndurchlauf.
Wer sollte einen KI-Chatbot vor dem Launch testen?
Menschen, die Ihre Kunden kennen: Support-Mitarbeiter, jemand aus dem Vertrieb und jemand, der die Richtlinien kennt. Nehmen Sie eine Person dazu, die das Setup noch nie gesehen hat, denn sie formuliert Fragen wie ein echter Kunde. Verlassen Sie sich nicht nur auf die Person, die die Wissensdatenbank aufgebaut hat; sie stellt Fragen meist so, wie die Dokumente geschrieben sind.
Was tun, wenn der Chatbot einen Prüfpunkt nicht besteht?
Finden Sie die Ursache, bevor Sie etwas ändern. Die meisten Fehler entstehen durch fehlende, veraltete oder widersprüchliche Inhalte, also korrigieren Sie zuerst das Quelldokument. Ist der Inhalt richtig, die Antwort aber nicht, prüfen Sie Guardrails und Übergaberegeln. Gehen Sie danach den fehlgeschlagenen Prüfpunkt und einige verwandte erneut durch, denn eine Korrektur an einer Stelle kann Antworten an anderer Stelle verändern.
Kann ich einen Chatbot testen, ohne dass Kunden ihn sehen?
Ja, und das sollten Sie auch. Testen Sie auf einer Staging-Seite oder einer Seite, die nicht in Ihrer Navigation verlinkt ist, bevor das Widget auf Ihre Hauptwebsite kommt. Bei WhatsApp und Instagram führen Sie die ersten Tests über die privaten Konten von Teammitgliedern durch, bevor Sie den Kanal ankündigen. Bewerben Sie den Chatbot erst, wenn er die gesamte Checkliste besteht.
Bereit für den Launch
Wenn alle 20 Prüfpunkte bestanden sind, gehen Sie zuerst auf einem Kanal live, beobachten ihn ein paar Tage und nehmen dann den nächsten dazu. Kostenlos mit Conviro starten, Ihren Assistenten aufbauen und diese Checkliste damit durchgehen.
Veröffentlicht von
Conviro
Teilt Erkenntnisse zu KI-gestütztem Kundenservice, Chatbot-Automatisierung und SaaS-Wachstumsstrategien.
Den Leitfaden in die Praxis umsetzen
Machen Sie aus Ihrem Support-Wissen schnellere Antworten
Entdecken Sie den KI-Support-Workspace von Conviro und starten Sie kostenlos, sobald der Workflow zu Ihrem Team passt.
Ähnliche Artikel
Mehr Beiträge
Guides & Tutorials
Instagram DMs automatisieren: Der Einsteiger-Leitfaden für Unternehmen
6 Min. Lesezeit
Artikel lesen
Guides & Tutorials
PDF per Chatbot senden: Bilder, Broschüren, Preislisten und Speisekarten auf Abruf
7 Min. Lesezeit
Artikel lesen
Guides & Tutorials
WooCommerce Chatbot mit KI: Was er kann und wie Sie ihn einrichten
7 Min. Lesezeit
Artikel lesen