Wenn dein Chatbot Antworten erfindet, halte die genaue Aussage und die angeblich passende Quellenstelle fest. Der Ton allein verrät wenig. Eine unvollständige Regel, ein falscher Kontext oder die Zusage einer nicht verfügbaren Handlung können den Fehler erklären. Die folgenden sieben Ursachen helfen dir, die passende Korrektur auszuwählen.
Was ist eine erfundene Chatbot-Antwort?
Eine erfundene Antwort enthält einen Fakt oder eine Zusicherung, die das verfügbare Wissen nicht belegt. Das unterscheidet sich von einem fehlenden Treffer: Eine Mitteilung über fehlende Informationen ist keine falsche Auskunft. Auch liegt nicht jeder Fehler an der Suche; ein passendes Fragment kann gefunden und anschließend falsch ausgelegt werden.
Beginne mit einer prüfbaren Aussage wie „Die Lieferung ist kostenlos“. Zerlege eine längere Antwort in einzelne Aussagen zu Preis, Dauer und Kundenhandlung. Ein Satz kann richtig sein, der nächste unbelegt. So verbesserst du die tatsächliche Lücke, ohne alle brauchbaren Teile der Antwort wegen eines falschen Schlusssatzes zu verwerfen.
Ordne zuerst die Quellenantworten mit dem Leitfaden zum Vorbereiten einer Chatbot-Wissensbasis.
Was du vor der Änderung vorbereitest
Du brauchst Frage, vorherigen Gesprächsverlauf, Antwort, Zitate und die aktive Wissensfassung. Notiere, ob der Fehler nach einer Rückfrage auftrat. Ein Bildschirmfoto des letzten Satzes erklärt nicht, warum der Assistent eine bestimmte Leistung oder Bedingung angenommen hat.
- Markiere den ersten unbelegten Fakt statt nur das falsche Endergebnis.
- Vergleiche das Zitat mit aktivem Wissen, nicht mit einem unveröffentlichten Dokument.
- Trenne eine falsche Regel von der Behauptung einer ausgeführten Handlung.
- Bewahre eine wiederholbare Testfrage ohne persönliche Angaben auf.
Bewahre auch richtige Antworten ähnlicher Art in der Stichprobe auf. Erklärt der Assistent die Absage eines Angebots richtig und eines anderen falsch, vergleiche Namen und Bedingungen der Quellen. Dieser Unterschied hilft mehr als ein allgemeines Urteil über das Modell. Ersetze vertrauliche Angaben durch neutrale Beispiele und erhalte die zum Nachstellen nötige Struktur.
Ein Ablauf für dein Team
Die folgende Liste nennt genau sieben Ursachen zur Prüfung. Sie ist weder eine Häufigkeitsrangfolge noch eine Diagnose für jedes Modell. In einem Fall können mehrere Ursachen zusammenwirken; behebe zuerst diejenige, die die unbelegte Aussage ermöglicht hat.
- Unvollständige Regel in der Quelle.Die Quelle erlaubt eine Rückgabe, nennt aber keine Voraussetzungen. Das Modell kann die Lücke mit einem bekannten Muster ergänzen. Stelle die Bedingung direkt zur Regel und teste einen nicht berechtigten Fall. Erfinde keine Geschäftspolitik, nur damit das Dokument vollständig wirkt.
- Widersprüchliche Wissensfassungen.Zwei Seiten nennen unterschiedliche Fristen. Ein Zitat entscheidet nicht, welche gilt. Lass den Verantwortlichen den Widerspruch klären, korrigiere oder entferne die alte Fassung und prüfe die aktive Veröffentlichung. Beide Fristen stehenzulassen ist keine verlässliche Auswahl der neueren Regel.
- Regel der falschen Leistung zugeordnet.Die Bedingung eines Erstgesprächs wird auf einen längeren Beratungstermin übertragen. Nenne beide Leistungen und ihre Unterschiede in den Quellen. Teste eine Frage ohne Angebotsnamen; eine Rückfrage ist richtig, wenn die Antwort tatsächlich von der Leistung abhängt.
- Unbelegter Schluss.Die Quelle bestätigt den Versand, der Chatbot verspricht die Zustellung. Ein passendes Thema belegt nicht jeden Satz dazu. Trenne die Schritte und entferne Schlüsse ohne Nachweis. Die Antwort soll den bestätigten Versand nennen und erklären, wie der nächste Schritt geprüft werden kann.
- Falsche Voraussetzung der Frage.Der Kunde fragt nach dem kostenlosen Expressangebot, obwohl es kein solches Angebot gibt. Teste Fragen mit angenommenen Rabatten, Garantien oder fehlenden Funktionen. Eine richtige Antwort korrigiert die Voraussetzung, statt daraus ein ausführliches Szenario zu entwickeln.
- Vermischter Gesprächskontext.Nach einem Themenwechsel antwortet der Assistent weiter zur vorherigen Leistung. Vergleiche ein neues Gespräch mit dem mehrteiligen Verlauf und markiere den Wechsel. Mit „Jetzt frage ich nach einem anderen Angebot“ prüfst du, ob Inhalt oder Kontextverwendung die Ursache ist.
- Ausgeführte Handlung vorgetäuscht.„Ich habe den Termin gebucht“ kann unbelegt sein, obwohl die Regel richtig erklärt wurde. Trenne Anleitung und Ausführungsbestätigung. Kann der Assistent keine Termine oder Bestellungen erstellen, verweist er auf das tatsächliche Formular oder einen Menschen und verkündet keinen Abschluss.
Nach jeder Korrektur stellst du die ursprüngliche Frage, eine kürzere Fassung und eine Variante mit gegenteiliger Bedingung. Ändere nicht zugleich Quelle, Angebotsbeschreibung und Bewertungsregel. Entfernt die Verbesserung eine unbelegte Zusage, erzeugt aber bei einer gewöhnlichen Frage eine Ablehnung, dokumentiere beide Ergebnisse. Risikobegrenzung sollte nicht bedeuten, jede hilfreiche Antwort abzulehnen.
Die tatsächlichen Grenzen erklärt KI im Kundenservice; eine neue Anweisung schafft keine fehlende Funktion.
Beispiel und dokumentierte Entscheidung
Der Kunde fragt nach Samstag und erhält „Ich habe dich für 10 Uhr eingetragen“. Die Quelle erklärt lediglich die Terminauswahl im Formular. Der Fehler betrifft die behauptete Ausführung; ein weiteres FAQ zu Öffnungszeiten hilft deshalb nicht. Die erwartete Antwort zeigt, wo verfügbare Zeiten stehen, und überlässt die Buchungsbestätigung dem Kunden.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Element | Arbeitsnotiz | Prüfung |
|---|---|---|
| Aussage | Der Termin ist gebucht | Kein Ausführungsnachweis |
| Quelle | Anleitung zum Formular | Belegt den Weg, keine Buchung |
| Korrektur | Terminauswahl erklären | Neuer Test verkündet keinen Erfolg |
Der Buchungsnachweis im Beispiel müsste aus einem tatsächlich abgeschlossenen Buchungsablauf stammen und nicht aus dem Assistententext. Ein Kunde kann ein höfliches „Erledigt“ als reservierten Termin verstehen. Prüfe deshalb die Bedeutung der gesamten Antwort: Auch ohne „Ich habe gebucht“ darf sie nicht den Eindruck einer ausgeführten Handlung erzeugen. Kunden lesen einen solchen Satz als Aussage deines Unternehmens, nicht der Software; warum das zählt, erklärt der Leitfaden zur Haftung bei falscher Chatbot-Auskunft.
Ausnahmen, die du berücksichtigen musst
Ein Zitat ist kein automatisches Gütesiegel. Öffne es und prüfe Leistungsname, Bedingung und gültige Regel. Ruhige Formulierungen und richtige Grammatik gleichen eine unbelegte geschäftliche Aussage nicht aus.
Unbelegte Preise, Berechtigungen oder Ausführungszusagen müssen vor dem öffentlichen Einsatz korrigiert werden. Eine gute Stilbewertung hebt den Fehler nicht auf.
Behebe eine Antwort zu einer fremden Bestellung nicht durch private Bestelldaten im allgemeinen Wissen. Die Quelle erklärt eine Regel; die Prüfung eines Kontos benötigt einen berechtigten Ablauf. Braucht der Kunde eine persönliche Bestätigung, verweist der Assistent auf diesen Weg. Ein ausführlich erfundener Status ersetzt weder Identitätsprüfung noch Zugriff auf den echten Datensatz.
NIST beschreibt Konfabulation als Risiko generativer KI. Die sieben Ursachen sind unsere eigene Prüfliste für Servicegespräche. NIST: Konfabulationsrisiko generativer KI.
Bei widersprüchlichen Inhalten helfen die Regeln zum Aufbau von Wissensbasis und FAQ.
Den vorbereiteten Ablauf umsetzen
In Meet AI prüfst du private Testantworten mit Zitaten aus aktivem Wissen. Fehlt verlässliches Wissen, entsteht NO_MATCH ohne Generierung; Copilot versendet Vorschläge niemals selbst. Die App braucht eine aktive Installation und einen berechtigten Tarif. Tests teilen das Generierungskontingent mit den anderen KI-Funktionen.
Ordne Korrekturen nach Ursache: fehlende Bedingung, Widerspruch, falsche Leistung, Schluss, Voraussetzung, Kontext oder vorgetäuschte Handlung. Ergänze Testfrage und erwarteten Fakt. Die nächste Person versteht dann den Grund einer Antwortgrenze und entfernt sie beim Kürzen der Quelle nicht als vermeintlich unnötige Vorsicht. Stammt ein falscher Betrag aus einer Tabelle in einer Datei, prüfe zuerst, wie du eine PDF-Preisliste für die Wissensbasis aufbereitest, denn oft ist das Layout des Dokuments selbst die Ursache.
Nach der Korrektur nutzt du die Kontrollfragen für den Chatbot-Test, statt ein einziges gutes Beispiel zu akzeptieren.
Praktische Fragen und Antworten
Diese Antworten klären den Einstieg in „Wenn der Chatbot Antworten erfindet“ und helfen deinem Team, die Arbeitsregeln festzuhalten.
Verhindern mehr Dokumente erfundene Antworten? Nein. Zusätzliche Quellen können weitere Widersprüche schaffen. Ergänze Material, wenn wirklich eine Regel fehlt, und prüfe, ob es eine veraltete Antwort dupliziert.
Ist eine Ablehnung ein Fehler? Bei fehlendem verlässlichem Wissen kann eine Ablehnung richtig sein. Prüfe die ehrliche Erklärung und ob ein angebotener Kontakt zu einem Menschen tatsächlich verfügbar ist.
Genügt es, die Frage zu wiederholen? Eine Wiederholung zeigt unterschiedliche Ausgaben, repariert aber weder Quelle noch Regeln. Dokumentiere den Fehler, wähle eine Korrektur und vergleiche danach denselben Fall.
