Regressionstests für deinen KI-Chatbot prüfen, ob ein Wissensupdate zuvor richtige Antworten verschlechtert hat. Du behältst Fragen und Abnahmekriterien, änderst die Quelle und vergleichst anschließend beide Ergebnisse. Dieser Ablauf begleitet den laufenden Betrieb nach dem ersten Start: Nur die neue Information zu prüfen reicht nicht, wenn alte Antworten ihre Quelle verlieren oder widersprüchliche Bedingungen übernehmen.
Friere den Datensatz für Chatbot-Regressionstests ein
Bewahre Kundenfragen im ursprünglichen Wortlaut zusammen mit dem Quellenverweis der bisher richtigen Antwort auf. Halte erforderliche Fakten und zulässige Nichtantworten fest, statt einen einzigen perfekten Satz zu verlangen.
Beispiel: Die Frage zum Versand bleibt bestehen, obwohl du ausschließlich die Rückgabeanleitung überarbeitest. Lösche einen alten Test nicht, nur weil die neue Antwort ihn nicht mehr besteht.
Quickchat empfiehlt in seiner Dokumentation denselben Datensatz nach Wissensänderungen erneut auszuführen und Ergebnisse zu vergleichen; unsere Abnahmekriterien sind ein eigener Vorschlag. Quickchat-Dokumentation zu Tests.
Den Veröffentlichungsablauf behandelt Chatbot-Wissen aktualisieren; hier beurteilst du die Folgen einer vorbereiteten Änderung.
Ein Beispieldatensatz nach einer geänderten Leistungsfrist enthält sechs unterschiedliche Verhaltensweisen. Ersetze Angebotsnamen und Fakten durch freigegebene Angaben und behalte Kontrollfragen zu Inhalten, die nicht geändert wurden.
- „Wann wird die Leistung erbracht?“ — Die Antwort nennt die neue Frist aus der aktuellen Richtlinie statt des früheren Werts.
- „Gilt die Ausnahme weiterhin?“ — Die zuvor richtige Antwort bewahrt die unveränderte Ausnahmenbedingung.
- „Wo prüfe ich den Bearbeitungsstand?“ — Kontaktweg und passende Adresse bleiben trotz einer anderen Aktualisierung richtig.
- „Und nach dieser Frist?“ — Der zweite Schritt bewahrt den Leistungskontext und die richtige Grenze.
- „Gibt es eine Variante, die nicht auf der Website steht?“ — Der Assistent erfindet kein neues Angebot.
- „Welche Quelle bestätigt die Frist?“ — Der Beleg öffnet die freigegebene Version, die genau diesen Fakt unterstützt.
Bewahre das frühere Ergebnis und absichtlich geänderte erwartete Fakten für jeden Fall auf. Prüfe unveränderte Fragen nicht großzügiger, nur weil die Hauptfrage zur Änderung nun besteht.
Trenne gewollte Änderungen von Verschlechterungen
Markiere Fälle, deren richtiges Ergebnis sich mit einer neuen Unternehmensregel ändern muss, und behalte eine Kontrollgruppe unveränderter Themen. Ein freigegebener neuer Fakt in der Quelle belegt die gewollte Änderung; ein anderer Wortlaut allein nicht.
Beispiel: Eine neue Bearbeitungsfrist ändert einen Test, die Kontaktadresse muss jedoch weiterhin richtig bleiben. Verlange keine wortgleiche Antwort, solange Bedeutung und sämtliche notwendigen Bedingungen stimmen.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Prüfung | Maßnahme | Nachweis der Umsetzung |
|---|---|---|
| Friere den Datensatz für Chatbot-Regressionstests ein | Bewahre Kundenfragen im ursprünglichen Wortlaut zusammen mit dem Quellenverweis der bisher richtigen Antwort auf. | Halte erforderliche Fakten und zulässige Nichtantworten fest, statt einen einzigen perfekten Satz zu verlangen. |
| Trenne gewollte Änderungen von Verschlechterungen | Markiere Fälle, deren richtiges Ergebnis sich mit einer neuen Unternehmensregel ändern muss, und behalte eine Kontrollgruppe unveränderter Themen. | Ein freigegebener neuer Fakt in der Quelle belegt die gewollte Änderung; ein anderer Wortlaut allein nicht. |
| Vergleiche unter denselben Gesprächsbedingungen | Wiederhole Fragen in derselben Sprache mit identischem Gesprächsverlauf und trenne einzelne Fragen von mehrstufigen Dialogen. | Notiere Datum, aktive Wissensversion und Ergebnis jedes Falls, damit du den Vergleich wiederholen kannst. |
| Prüfe Quellenbelege und sichere Antwortgrenzen | Öffne zitierte Quellen und kontrolliere, ob sie die konkrete Antwort einschließlich Einschränkungen und Ausnahmen tatsächlich belegen. | Ein bestandener Fall braucht richtige Fakten, die passende Quelle und darf keine unbefugte Zusage enthalten. |
| Entscheide ausdrücklich über die neue Version | Ordne jede Verschlechterung der Quellenabdeckung, der Redaktion oder einem unklaren Testkriterium zu und bestimme die Korrektur vor dem erneuten Test. | Im Abnahmeprotokoll stehen freigegebene Änderungen, offene Fehler und die entscheidende verantwortliche Person. |
| Ergänze einen Fall nach einem echten Fehler | Füge eine Frage hinzu, wenn sie eine eigene Bedingung oder einen wiederholbaren Fehler aufdeckt, und bewahre die bestehenden Kontrollfälle. | Jeder neue Fall erhält einen Grund und ein erwartetes Ergebnis, das die zuständige Person bestätigt. |
Für den Vergleich genügt ein Dokument: eine Zeile pro Frage, getrennte alte und neue Ergebnisse sowie eine begründete Entscheidung. Die erste Abnahme hat ein anderes Ziel; dafür gibt es Chatbot-Tests vor dem Start.
Vergleiche unter denselben Gesprächsbedingungen
Wiederhole Fragen in derselben Sprache mit identischem Gesprächsverlauf und trenne einzelne Fragen von mehrstufigen Dialogen. Notiere Datum, aktive Wissensversion und Ergebnis jedes Falls, damit du den Vergleich wiederholen kannst.
Beispiel: Nach der Angebotsfrage schreibt die Person „und für Kinder?“; beide Versionen erhalten denselben Verlauf. Wiederhole einen unklaren Fall und bewahre beide Ergebnisse auf, statt nur das günstigere auszuwählen.
Beispiel für mehrere Gesprächsschritte: Die Person fragt „Kann ich die Variante nach dem Kauf ändern?“, erhält Bedingungen und ergänzt „Und wenn die Frist schon vorbei ist?“. Bewahre beide Nachrichten und den benötigten Fakt der zweiten Antwort auf: Die Ausnahme muss erkannt werden, ohne unbefugt eine Zustimmung zu erteilen.
Beginne den vollständigen Dialog für jede Version neu, denn die zweite Nachricht allein bedeutet ohne Verlauf etwas anderes. Wiederholt die neue Antwort nur die Grundregel, markierst du verlorenen Kontext, auch wenn der erste Schritt weiterhin besteht.
Entscheide nach Auswirkungen statt nach grünen Zeilen. Eigenes Beispiel: Die aktualisierte Frist stimmt, eine Ausnahmeantwort zitiert eine entfernte Seite und eine Frage außerhalb des Angebots erhält eine erfundene Zusage. Den ersten Fall akzeptierst du als gewollte Änderung, beim zweiten prüfst du die Quelle und der dritte verhindert die Abnahme wegen falscher Fakten.
Teste Korrekturen zusammen mit unveränderten Kontrollthemen, damit eine behobene Schwäche keine neue verdeckt. Bewahre frühere Begründungen nach einem erfolgreichen erneuten Lauf auf; sie erklären die Aufnahme dieser Bedingungen in den Datensatz.
Prüfe Quellenbelege und sichere Antwortgrenzen
Öffne zitierte Quellen und kontrolliere, ob sie die konkrete Antwort einschließlich Einschränkungen und Ausnahmen tatsächlich belegen. Ein bestandener Fall braucht richtige Fakten, die passende Quelle und darf keine unbefugte Zusage enthalten.
Beispiel: Eine nicht angebotene Leistung muss weiterhin als Informationslücke behandelt werden, ohne erfundene Preisliste. Ein falscher Fakt verhindert die Abnahme, auch wenn andere Fälle den Durchschnitt verbessert haben.
- Bewahre frühere Ergebnisse und die aktive Wissensversion auf.
- Markiere Fakten, die sich absichtlich mit der Richtlinie ändern.
- Prüfe mindestens eine Frage ohne verfügbare Antwort.
- Öffne die Quelle jeder als Verschlechterung markierten Antwort.
- Notiere Entscheidung und Reihenfolge der Korrekturen vor dem nächsten Lauf.
Eine fehlende Antwort und eine erfundene Antwort brauchen unterschiedliche Maßnahmen; Quellenprobleme erklärt warum Chatbots Antworten erfinden.
Entscheide ausdrücklich über die neue Version
Ordne jede Verschlechterung der Quellenabdeckung, der Redaktion oder einem unklaren Testkriterium zu und bestimme die Korrektur vor dem erneuten Test. Im Abnahmeprotokoll stehen freigegebene Änderungen, offene Fehler und die entscheidende verantwortliche Person.
Beispiel: Ein gelöschtes Dokument enthielt die einzige Erklärung einer Ausnahme; stelle den freigegebenen Inhalt an der richtigen Stelle wieder her. Eine technisch erfolgreiche Veröffentlichung beweist nicht, dass jede Antwort inhaltlich korrekt ist.
Im privaten Test von Meet AI kannst du Antworten und zitierte Quellen prüfen. Du brauchst ein Konto, passende Berechtigungen und eine aktive Anwendung in einem berechtigten Tarif. Tests teilen das Generierungskontingent mit Antworten und Copilot; das Vergleichsblatt führst du selbst und veröffentlichst Wissen separat.
Ergänze einen Fall nach einem echten Fehler
Füge eine Frage hinzu, wenn sie eine eigene Bedingung oder einen wiederholbaren Fehler aufdeckt, und bewahre die bestehenden Kontrollfälle. Jeder neue Fall erhält einen Grund und ein erwartetes Ergebnis, das die zuständige Person bestätigt.
Beispiel: Eine Frage kombiniert Produkte mit unterschiedlichen Bedingungen und deckt eine Antwort aus dem falschen Angebot auf. Vergrößere den Datensatz nicht mit vielen Varianten, die keine zusätzliche relevante Abdeckung schaffen.
Plane Prüfzeit und Testverbrauch vor dem nächsten Update mit den Kosten für KI im Kundenservice.
Fragen aus der Praxis
Braucht jede Änderung den gesamten Datensatz? Eine kleine Änderung kann mit betroffenen Fällen beginnen, doch eine feste Kontrollgruppe außerhalb des Themas bleibt nötig. Vor einer größeren Veröffentlichung führst du den vereinbarten vollständigen Vergleich durch.
Ist ein anderer Wortlaut eine Regression? Allein dadurch entsteht kein Fehler. Prüfe Fakten, Bedingungen, Quellen und den nächsten Schritt. Ein Stilunterschied wird relevant, wenn er eine Ausnahme versteckt oder eine Anweisung inhaltlich verändert.
Was passiert bei einer falschen alten Antwort? Korrigiere das erwartete Ergebnis anhand einer freigegebenen Quelle und dokumentiere den Grund. Eine fehlerhafte alte Antwort darf nicht zum Maßstab für die neue Version werden.
