CONVIRO
AI & Chatbots

KI-Sicherheit im Kundenservice: Sicherheitsstopps für Konversationen, die nicht zur KI gehören

Manche Kundennachrichten gehören nicht in die Hände einer KI: Verzweiflung, Drohungen, Rechtsstreitigkeiten, Notfälle und Beleidigungen. So definieren Sie Sicherheitsstopps,…

Conviro
4. November 20267 Min. Lesezeit
KI-Sicherheit im Kundenservice: Sicherheitsstopps für Konversationen, die nicht zur KI gehören
In diesem Artikel

„Wenn das heute nicht behoben wird, meldet sich mein Anwalt bei Ihnen.“

„Ich sehe eigentlich in nichts mehr einen Sinn.“

Jedes Unternehmen, das mit Kunden kommuniziert, bekommt früher oder später solche Nachrichten. Ein Assistent, der darauf mit „Ich verstehe Ihren Frust! Hier ist unsere Rückgaberichtlinie“ antwortet, liefert die denkbar schlechteste Reaktion.

KI-Sicherheit im Kundenservice beginnt mit einer Regel: Manche Konversationen gehören nicht zur KI. Wenn eine Nachricht auf Verzweiflung, Drohungen, einen Rechtsstreit, einen medizinischen Notfall oder Beleidigungen hindeutet, sollte der Assistent aufhören zu antworten, etwas Kurzes und Menschliches schicken und schnell eine Person einbeziehen. Hier lesen Sie, welche Situationen einen Stopp erfordern, wie ein guter Stopp aussieht und wie Sie Stopps dokumentieren und auswerten.

Das Wichtigste in Kürze

  • Legen Sie vorab fest, bei welchen Themen die KI stoppt: Verzweiflung, Drohungen, Rechtsstreitigkeiten, medizinische Notfälle, Beleidigungen und Belästigung.
  • Ein guter Stopp pausiert die KI, schickt eine kurze, vorformulierte Zwischennachricht und übergibt die gesamte Konversation an die richtige Person.
  • Protokollieren Sie jeden Stopp und werten Sie das Protokoll wöchentlich aus. So werden Ihre Regeln präziser, und niemand geht verloren.

Welche sensiblen Konversationen die KI stoppen sollten

Nicht jede verärgerte Nachricht braucht einen Stopp. Ein Kunde, der sich über ein verspätetes Paket ärgert, ist normaler Support. Die Grenze ist überschritten, wenn es um die persönliche Sicherheit, rechtliche Risiken oder das Wohlergehen eines Menschen geht.

Situation Typische Signale Was passieren sollte
Verzweiflung oder Selbstgefährdung Hoffnungslosigkeit, Andeutungen, sich selbst zu verletzen Stoppen, Notfallkontakte nennen, sofort eine Person benachrichtigen
Gewaltandrohungen Drohungen gegen Mitarbeiter, Kunden oder Räumlichkeiten Stoppen, nicht darauf eingehen, an eine Führungskraft eskalieren
Rechtsstreitigkeiten Anwälte, Gericht, förmliche Beschwerden, strittige Rückbuchungen Stoppen, den Eingang bestätigen, an die zuständige Person für Beschwerden weiterleiten
Medizinische Notfälle Schwere Symptome, allergische Reaktionen, Verletzungen Stoppen, auf den Rettungsdienst verweisen, das Team benachrichtigen
Beleidigungen und Belästigung Beschimpfungen, diskriminierende Ausdrücke, sexuelle Inhalte gegen Mitarbeiter Stoppen oder höflich beenden, zur Prüfung markieren
Schutz gefährdeter Personen Hinweise, dass ein Minderjähriger oder eine schutzbedürftige Person in Gefahr ist Stoppen und eine benannte Ansprechperson benachrichtigen

Zwei Grundsätze sorgen dafür, dass das funktioniert. Im Zweifel stoppen: Ein Fehlalarm kostet ein Teammitglied eine Minute, ein übersehener Fall kann deutlich mehr kosten. Und konkret sein: „Sensible Themen“ ist keine Regel, „jede Erwähnung rechtlicher Schritte, eines Anwalts oder eines Gerichts“ dagegen schon.

Warum die KI nicht versuchen sollte zu deeskalieren

Es ist verlockend, einen gut eingestellten Assistenten schwierige Gespräche mit Empathie führen zu lassen. Widerstehen Sie der Versuchung.

  • Generiertes Mitgefühl wirkt hohl auf jemanden, der aufgebracht ist, und wer sich nicht gehört fühlt, wird noch wütender.
  • Was die KI sagt, wird dokumentiert. In einem Rechtsstreit erzeugt ein Assistent, der zu Erstattungen oder Schuldfragen improvisiert, Aussagen, an denen sich Ihr Unternehmen womöglich messen lassen muss.
  • Die KI kann nicht handeln. Sie kann nicht nach jemandem sehen, Hilfe rufen oder eine Ausnahme genehmigen. Ein Mensch kann das.
  • Menschen haben ein Recht darauf zu wissen, mit wem sie sprechen. Die Transparenzregeln des EU AI Act verlangen bereits, dass Nutzer erfahren, dass sie mit einer KI chatten. In einer Krise sollten sie schnell einen Menschen erreichen.

Anweisungen im Prompt allein können versagen. Sie brauchen Stoppbedingungen, die konsequent geprüft werden, und dazu eine Rückfallebene: Ist sich der Assistent nicht sicher, übergibt er, statt zu raten.

So sieht ein guter Sicherheitsstopp aus

Ein Sicherheitsstopp besteht aus fünf Teilen:

  1. Die KI hört auf zu antworten – in dieser Konversation. Keine Produktvorschläge, keine Rückfragen.
  2. Eine kurze Zwischennachricht wird verschickt, vorab geschrieben und geprüft.
  3. Die Konversation wird übergeben – an Ihr Team, mit dem vollständigen Transkript und allen erfassten Angaben.
  4. Die richtige Person wird benachrichtigt – sofort, nicht erst, wenn das nächste Mal jemand in die Warteschlange schaut.
  5. Das Ereignis wird protokolliert – mit Grund, Uhrzeit und der Person, die übernommen hat.

Beispiele für Zwischennachrichten

Halten Sie sie kurz und ruhig:

  • Rechtsstreit: „Danke für Ihre Nachricht. Ich habe das an unser Team weitergegeben, und eine Mitarbeiterin oder ein Mitarbeiter meldet sich direkt bei Ihnen.“
  • Verzweiflung: „Es tut mir wirklich leid, dass es Ihnen so geht. Jemand aus unserem Team ist gleich für Sie da. Wenn Sie in unmittelbarer Gefahr sind, rufen Sie bitte die 112 oder Ihre örtliche Notrufnummer an.“
  • Medizinischer Notfall: „Das klingt dringend. Bitte rufen Sie jetzt die 112 oder Ihre örtliche Notrufnummer an. Ich habe außerdem unser Team informiert.“
  • Beleidigungen: „Ich pausiere diese Konversation jetzt. Unser Team prüft sie und meldet sich bei Ihnen.“

Eskalationsregeln für Chatbots: Wer wird wann benachrichtigt?

Ein Stopp ist nur so gut wie die Übergabe dahinter. Legen Sie vorab fest:

  • Wer für welche Art von Stopp zuständig ist. Rechtliche Drohungen gehen an den Inhaber oder die Beschwerdeverantwortliche, Beleidigungen gegen Mitarbeiter an eine Führungskraft, Fälle zum Schutz gefährdeter Personen an eine benannte Ansprechperson.
  • Wie diese Personen benachrichtigt werden. Nutzen Sie eine Benachrichtigung, die sie wirklich sehen, keinen Ordner, in den sie freitags schauen.
  • Was außerhalb der Geschäftszeiten passiert. Ist nachts niemand erreichbar, sollte die Zwischennachricht sagen, wann mit einer Antwort zu rechnen ist, und bei Notfällen, wo es jetzt Hilfe gibt.
  • Ob die KI wieder übernehmen darf. Bei den meisten Arten von Stopps nicht. Hat ein Mensch übernommen, bleibt die KI draußen.

Wenn Sie bereits eine Eskalationsmatrix haben, geben Sie den Sicherheitsstopps eine eigene Zeile ganz oben. Unser Leitfaden zum Aufbau einer Eskalationsmatrix im Support zeigt das Format, und der Beitrag zur Übergabe vom Chatbot an einen Mitarbeiter behandelt die Mechanik einer sauberen Übergabe.

Gestoppte Konversationen protokollieren und auswerten

Jeder Stopp sollte eine Spur hinterlassen: was ihn ausgelöst hat, wann, wer reagiert hat und wie es ausgegangen ist. Werten Sie das Protokoll wöchentlich aus und achten Sie auf:

  • Verpasste Stopps, bei denen eine Konversation hätte stoppen sollen, es aber nicht tat. Verschärfen Sie die Regel.
  • Fehlalarme, bei denen eine gewöhnliche Beschwerde einen Stopp ausgelöst hat. Formulieren Sie die Regel konkreter.
  • Langsame Übernahmen. Hat der Stopp funktioniert, aber eine Stunde lang hat niemand reagiert, beheben Sie die Benachrichtigung, nicht die KI.

Behandeln Sie diese Transkripte als sensible Daten: Beschränken Sie, wer sie sehen darf, und bewahren Sie sie nur so lange auf wie nötig. Dies ist eine allgemeine Orientierung und keine Rechtsberatung. Klären Sie Ihre konkreten Pflichten mit einer Beraterin oder einem Berater.

Wie Conviro die KI aus den falschen Konversationen heraushält

Conviro hat Ende August Sicherheitsstopps für Konversationen eingeführt, genau für diese Momente: Bewegt sich eine Konversation in einen Bereich, den der Assistent nicht übernehmen sollte, stoppt die KI, statt zu improvisieren. Die Sicherheitsstopps ergänzen die Einstellungen, die Sie bereits für jeden KI-Assistenten festlegen, darunter Antwortgrenzen, Konfidenzschwellen, deterministische Guardrails und Übergabebedingungen.

Übergebene Konversationen landen im gemeinsamen Live Inbox mit Transkript, erkanntem Anliegen, Tags und erfassten Angaben. So muss niemand, der übernimmt, den Kunden bitten, eine belastende Geschichte noch einmal zu erzählen. Benachrichtigungs- und Routing-Regeln bestimmen, wer davon erfährt, und eine Übergabe an einen Mitarbeiter ist auf jedem Kanal jederzeit möglich.

Häufig gestellte Fragen

Wann sollte ein Chatbot an einen Menschen übergeben?

Wenn der Kunde nach einer Person fragt, wenn der Assistent sich bei seiner Antwort nicht sicher ist und immer dann, wenn es um Sicherheit, Rechtsstreitigkeiten, gesundheitliche Notfälle, Beleidigungen oder schutzbedürftige Menschen geht. In diesen Fällen sollte die KI stoppen, eine kurze Zwischennachricht schicken und die gesamte Konversation an jemanden übergeben, der handeln kann.

Kann ein KI-Chatbot erkennen, wenn ein Kunde in Not ist?

Viele klare Signale kann er erkennen, etwa ausdrückliche Aussagen der Hoffnungslosigkeit oder direkte Bitten um Hilfe, subtile Signale wird er aber übersehen. Deshalb sollten Stoppregeln breit gefasst sein, Menschen sollten gestoppte Konversationen regelmäßig prüfen, und Kunden sollten jederzeit einfach durch Nachfragen einen Menschen erreichen können.

Was sollte ein Chatbot jemandem in einer Krise schreiben?

Etwas Kurzes, Ruhiges und Vorformuliertes: die Person wahrnehmen, ankündigen, dass ein Mensch kommt, und Notfallkontakte nennen, etwa die 112 in der EU. Er sollte keine Beratung versuchen, keine bohrenden Fragen stellen und nicht mit Verkaufs- oder Supportinhalten weitermachen. Eine geschulte Person sollte so schnell wie möglich übernehmen.

Wo Sie anfangen sollten

Listen Sie Ihre Stopp-Kategorien auf, schreiben Sie für jede eine Zwischennachricht und legen Sie fest, wer benachrichtigt wird, auch außerhalb der Geschäftszeiten. Testen Sie dann jede einzelne, bevor Sie sich darauf verlassen. Kostenlos mit Conviro starten und einen Assistenten einrichten, der weiß, wann er sich zurückziehen muss.

Teilen:

Veröffentlicht von

Conviro

Teilt Erkenntnisse zu KI-gestütztem Kundenservice, Chatbot-Automatisierung und SaaS-Wachstumsstrategien.

Den Leitfaden in die Praxis umsetzen

Machen Sie aus Ihrem Support-Wissen schnellere Antworten

Entdecken Sie den KI-Support-Workspace von Conviro und starten Sie kostenlos, sobald der Workflow zu Ihrem Team passt.

Ähnliche Artikel

Mehr Beiträge