Eine KI-Sentimentanalyse im Support ordnet einer Kundennachricht einen Ton zu: positiv, neutral oder negativ, manchmal mit einer Zahl oder einer Intensitätsstufe. Bei vielen Gesprächen ist das eine nützliche Abkürzung, aber eben nur eine Abkürzung. Das Modell bewertet Wörter und ihre Anordnung; es prüft weder die Bestellung noch die Frist oder das, was dein Team vorher zugesagt hat. Sobald das Etikett über die Reihenfolge der Bearbeitung entscheidet, wird jeder Klassifizierungsfehler zu einem organisatorischen Fehler.
Dieser Leitfaden behandelt das Lesen und Prüfen des Werts, nicht das Formulieren von Antworten. Fertige Sätze für verärgerte Menschen findest du im Leitfaden zum Thema verärgerten Kunden antworten. Hier erfährst du, welche Nachrichten am häufigsten falsch eingestuft werden, wie du eine manuelle Kontrollstichprobe aufbaust und warum die Stimmung nie allein die Priorität festlegen sollte.
Was ein Sentimentwert tatsächlich misst
Ein Sentimentwert beschreibt die Richtung der Emotion in einem Text, manchmal auch ihre Stärke. Er beschreibt nicht, wie schwer der Fall wiegt. Wer ruhig von einer doppelten Kartenbelastung schreibt, bekommt womöglich ein neutrales Etikett. Wer sich scherzhaft über die Farbe der Verpackung beschwert, landet vielleicht im negativen Bereich. Beide Ergebnisse können sprachlich korrekt und trotzdem irreführend für deine Ticketwarteschlange sein.
Die zweite Falle ist ein Wert nahe null. Er kann eine Nachricht ohne Emotion bedeuten oder eine, in der sich Lob und Beschwerde gegenseitig aufheben. Beide verlangen eine andere Reaktion, und ein Etikett allein unterscheidet sie nicht. Bevor du eine Alarmschwelle festlegst, prüfe in der Dokumentation des Werkzeugs, was es genau liefert: ein Etikett, die Konfidenz des Modells oder die Intensität der Emotion. Bei Microsoft bedeutet eine hohe Konfidenz, dass sich das Modell beim Etikett sicher ist, nicht dass der Kunde besonders verärgert ist.
Die Dokumentation von Google Cloud Natural Language beschreibt einen Wert von -1,0 bis 1,0 und eine separate Stärke (Magnitude); ein Wert nahe null kann auf einen neutralen oder einen gemischten Text hindeuten, und die Stärke hilft, beides zu unterscheiden. Sie sagt nicht, wie genau das Modell bei deinen Gesprächen ist. Google Cloud: Grundlagen der Natural Language API.
Wo die Klassifizierung am häufigsten danebenliegt
Fehler häufen sich bei einigen Nachrichtentypen, die im Kundenservice täglich vorkommen. Die Tabelle fasst sie zusammen, jeweils mit einer Prüfung, die ein Teammitglied in wenigen Sekunden erledigt. Die Beispielnachrichten sind für diesen Leitfaden erfunden.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Nachrichtentyp | Was das Modell lesen kann | Was ein Mensch prüft |
|---|---|---|
| Ironie: „Super, zum dritten Mal dieselbe Frage“ | Positiver Ton wegen des Wortes „super“ | Ob der Kunde diese Angaben wirklich schon gemacht hat |
| Kurze Antwort: „ok.“ oder „na gut“ | Neutraler Ton | Zustimmung, Resignation oder Ende der Geduld |
| Gemischter Ton: Lob für das Produkt, Kritik an der Lieferung | Wert nahe null | Welcher Teil eine Aktion des Teams verlangt |
| Höfliche Nachricht über ein ernstes Problem | Neutraler oder positiver Ton | Geld, persönliche Daten, Sicherheit oder eine Frist |
| Harte Worte über eine Kleinigkeit | Sehr negativer Ton | Die tatsächliche Auswirkung auf den Kunden |
Der gemeinsame Nenner ist einfach: Das Modell sieht nur Text. Es kennt das frühere Gespräch nicht, weiß nicht, dass dies die vierte Nachricht zum selben Fall ist, und unterscheidet den Scherz eines Stammkunden nicht von einer Kündigungsdrohung. Der Wert für die ganze Nachricht ist zudem oft eine einfache Zusammenfassung der Satzwerte, sodass ein wichtiger Satz zwischen mehreren Höflichkeitsformeln untergeht.
Microsoft schreibt in seinem Transparenzhinweis zur Sentimentanalyse, dass das Modell Sarkasmus möglicherweise nicht erkennt, mit Produkt- und Servicebewertungen trainiert wurde und den Gesamtwert als einfache Zusammenfassung der Sätze berechnet, ohne ihre Bedeutung zu gewichten. Das beschreibt ein Werkzeug, keine Messung anderer Modelle. Microsoft: Transparenzhinweis zur Sentimentanalyse.
Sprachen, Abkürzungen und Sprachwechsel
Eine Liste unterstützter Sprachen sagt dir, dass das Werkzeug den Text annimmt, nicht dass es ihn so gut bewertet wie Englisch. Dynamics 365 Customer Service bewertet Gespräche in mehr als 40 Sprachen, darunter Deutsch und Polnisch, und Microsoft warnt zugleich, dass Dialekte und Sprachformen, die in den Trainingsdaten seltener vorkommen, eine geringere Genauigkeit haben können. Im Chat kommen Tippfehler, fehlende Umlaute, Abkürzungen und englische Einschübe mitten im deutschen Satz hinzu.
Wenn du Kunden in mehreren Sprachen betreust, teste jede Sprache separat mit deinen eigenen Nachrichten. Ein gutes Ergebnis in einer Sprache überträgt sich nicht auf eine andere. Wie bei maschineller Übersetzung, die der Leitfaden zum mehrsprachigen Kundenservice behandelt, hilft der Wert beim Verstehen, ersetzt aber nicht das Lesen der Nachricht.
Manuelle Stichprobe: Prüfe den Wert an deinen eigenen Gesprächen
Bevor ein Etikett in einen Alarm oder einen Bericht einfließt, vergleiche es mit der Einschätzung von Menschen anhand abgeschlossener Gespräche. Dafür brauchst du kein Analystenteam. Es genügen eine Stichprobe, zwei Personen und eine einfache Tabelle mit Spalten für Ausschnitt, Ergebnis des Werkzeugs, die Bewertung jeder Person und eine Anmerkung.
- Wähle unterschiedliche Fälle.Nimm Gespräche aus mehreren Kategorien, Kanälen und Sprachen, nicht nur aus der letzten Woche. Füge bewusst kurze, ironische und gemischte Nachrichten hinzu.
- Bewerte ohne Blick auf das Ergebnis.Zwei Personen bewerten den Ton unabhängig, bevor sie das Etikett des Werkzeugs sehen. Sonst wird das Modellergebnis leicht zum Bezugspunkt.
- Vergleiche Abweichungen.Prüfe zuerst, wo sich die beiden Personen uneinig sind. Wenn schon Menschen unterschiedlich urteilen, hat das Modell kein stabiles Muster, das es treffen kann.
- Halte Fehlertypen fest.Benenne bei jeder Abweichung vom Werkzeug die Ursache: Ironie, kurzer Satz, andere Sprache, gemischter Ton oder fehlender Kontext aus früheren Nachrichten.
- Entscheide über den Einsatz.Lege fest, wofür der Wert taugt, etwa für den Blick auf einen Trend, und wofür nicht, etwa für die Reihenfolge der Bearbeitung. Wiederhole die Stichprobe nach einem Wechsel des Werkzeugs oder des Angebots.
Wenn du Gespräche bereits mit einem QA-Bewertungsbogen im Kundenservice prüfst, ergänze den Kundenton als eigene Spalte neben den fünf Kriterien. Rechne ihn nicht in die Bewertung des Teammitglieds ein. Ein Kunde kann wegen eines Fehlers von letzter Woche verärgert sein, für den die Person im Chat gar nichts kann.
Stimmung ist ein Signal, keine Priorität
Lege die Reihenfolge der Bearbeitung nach Fakten fest: Auswirkung auf den Kunden, Fristen, Geld, persönliche Daten und Sicherheit. Die Stimmung kann ein Signal sein, eine Nachricht früher zu lesen, sollte einen Fall aber nicht allein nach oben oder unten schieben. Sonst belohnst du die lautesten Kunden, während ein ruhiger Kunde mit gesperrtem Konto länger wartet. Regeln für die Warteschlange beschreibt der Leitfaden zu Prioritäten in der Ticketwarteschlange.
Dieselbe Grenze gilt für die Beurteilung von Menschen. Ein Sentimentwert aus einem Gespräch sollte weder Bonus noch Leistungsbeurteilung beeinflussen, ohne dass jemand die Quelle liest. Microsoft stellt ausdrücklich klar, dass die Sentimentfunktion in Dynamics 365 nicht für Entscheidungen über Beschäftigung, Vergütung oder Belohnungen gedacht ist. Wenn dein Team die Etiketten sieht, sag ihm, wofür sie da sind und wofür nicht.
Die Dokumentation zu Dynamics 365 Customer Service beschreibt Alarme, wenn die Stimmung auf eine gewählte Schwelle wie „Slightly negative“ sinkt, die Bewertung in mehr als 40 Sprachen und einen Hinweis zu Personalentscheidungen. Genauigkeitswerte für einzelne Sprachen nennt sie nicht. Microsoft Learn: Sentimentanalyse in Dynamics 365.
Einschätzung des Teams statt automatischem Etikett
Meetlead vergibt keinen automatischen Sentimentwert und setzt keine Priorität nach Stimmung. Das Teammitglied liest die Nachricht im Kontext des gesamten Gesprächsverlaufs und hält Erkenntnisse von Hand fest: mit einem Tag, einer Ticketpriorität oder einer Notiz für die nächste Person. In Meet AI kann Copilot einen privaten Antwortentwurf auf Basis der Wissensdatenbank vorbereiten, doch ein Mensch entscheidet, ob er gesendet wird und in welchem Ton.
Eine gute Notiz lautet nicht „Kunde verärgert“. Sie lautet „Kunde nennt die Bestellnummer zum dritten Mal und wartet seit 10 Tagen auf die Erstattung“. Ein solcher Eintrag übersteht jede Übergabe und braucht keine Deutung. Mehr dazu, wie du solche Einträge schreibst, findest du im Leitfaden zu internen Notizen. Wenn du die Sicht des Kunden direkt erfahren willst, frag nach dem Gespräch, statt aus dem Ton zu raten; dabei hilft eine CSAT-Umfrage.
- Die Notiz beschreibt Tatsache und Auswirkung, nicht nur die Emotion des Kunden.
- Die Priorität ergibt sich aus Auswirkung, Frist oder Risiko, nicht aus der Schärfe der Worte.
- Ironie und kurze Antworten werden im Kontext früherer Nachrichten gelesen.
- Nachrichten in einer anderen Sprache liest jemand, der diese Sprache beherrscht.
- Der Ton des Kunden fließt nicht in die Leistungsbewertung des Teammitglieds ein.
Fragen zur Sentimentanalyse
Ist KI-Sentimentanalyse im Support nutzlos? Nein. Sie eignet sich gut, um große Mengen zu überblicken, etwa wenn du sehen willst, ob negative Nachrichten nach einer Preisänderung zugenommen haben. Als Entscheidung über ein einzelnes Gespräch taugt sie weniger. Betrachte sie als Hinweis, wo du hinschauen solltest, und lies vor jeder Handlung den Originaltext.
Wie groß sollte die manuelle Stichprobe sein? Eine Zahl für jedes Unternehmen gibt es nicht. Die Stichprobe sollte alle wichtigen Fallkategorien, Kanäle und Sprachen abdecken und bewusst gewählte schwierige Nachrichten enthalten. Wenn eine weitere Gesprächsrunde deine Schlüsse nicht mehr ändert und die Abweichungen immer dieselben Nachrichtentypen betreffen, weißt du genug, um über den Einsatz des Werts zu entscheiden.
