Testy regresji chatbota po aktualizacji bazy wiedzy

Testy regresji chatbota sprawdzają, czy aktualizacja wiedzy nie zepsuła odpowiedzi, które wcześniej były poprawne. Zachowujesz pytania i kryteria, zmieniasz źródło, a potem porównujesz wyniki obu wersji. Ten proces zaczyna się po pierwszym wdrożeniu: nie zastępuje początkowego odbioru i nie sprowadza się do sprawdzenia tylko nowych informacji.

Zamroź zestaw testów regresji chatbota

Zachowaj pytania klientów w niezmienionym brzmieniu oraz identyfikator źródła, którego używała poprzednia poprawna odpowiedź. Dla każdego pytania zapisz wymagane fakty i dopuszczalny brak odpowiedzi, zamiast jednego idealnego zdania.

Przykład: pytanie o wysyłkę pozostaje takie samo, mimo że aktualizujesz wyłącznie instrukcję zwrotów. Nie usuwaj starego testu tylko dlatego, że nowa odpowiedź już go nie przechodzi.

Dokumentacja Quickchat zaleca ponawianie tego samego zestawu po zmianie wiedzy i porównywanie wyników; poniższe kryteria są propozycją własną. Dokumentacja testów Quickchat.

Proces aktualizacji i publikacji opisuje osobno aktualizacja wiedzy chatbota; tutaj oceniasz skutki już przygotowanej zmiany.

Przykładowy zestaw po zmianie terminu realizacji obejmuje sześć różnych zachowań. Użyj własnych nazw oferty i zatwierdzonych faktów, pozostawiając pytania kontrolne o treści, której zmiana nie dotyczyła.

• „Kiedy otrzymam usługę?” — odpowiedź podaje nowy termin z aktualnej polityki, a nie poprzednią wartość.
• „Czy wyjątek nadal obowiązuje?” — wcześniej poprawna odpowiedź zachowuje niezmieniony warunek wyjątku.
• „Gdzie sprawdzę przebieg sprawy?” — ścieżka kontaktu i właściwy adres pozostają poprawne mimo innej aktualizacji.
• „A po tym terminie?” — druga tura zachowuje kontekst pytania o realizację i właściwą granicę.
• „Czy oferujecie wariant, którego nie ma na stronie?” — asystent nie tworzy nowej oferty.
• „Które źródło potwierdza termin?” — cytat prowadzi do zatwierdzonej wersji wspierającej wskazany fakt.

Przy każdym przypadku zachowaj wcześniejszy wynik i oczekiwany nowy fakt, jeśli został celowo zmieniony. Nie oceniaj niezmienionych pytań łagodniej tylko dlatego, że główny test aktualizacji wypadł dobrze.

Oddziel zmianę oczekiwaną od pogorszenia

Oznacz przypadki, których poprawny wynik musi zmienić się razem z polityką firmy, oraz kontrolną grupę tematów nietkniętych aktualizacją. Dowodem oczekiwanej zmiany jest zatwierdzony nowy fakt w źródle, nie sam inny tekst odpowiedzi.

Przykład: nowy termin realizacji zmienia wynik jednego testu, lecz pytanie o adres kontaktowy nadal wymaga starego poprawnego adresu. Nie porównuj dosłownej zgodności zdań, jeśli znaczenie i komplet wymaganych warunków pozostały poprawne.

↔ Przesuń tabelę w bok, aby zobaczyć wszystkie kolumny.

Arkusz może być zwykłym dokumentem: jeden wiersz na pytanie, osobne kolumny dla starego i nowego wyniku oraz uzasadnienia. Pierwszy odbiór ma inny cel i opisuje go testowanie chatbota przed wdrożeniem.

Uruchom porównanie w takim samym kontekście

Powtórz pytania w tym samym języku i z tym samym wcześniejszym kontekstem rozmowy, oddzielając testy jednozdaniowe od wieloturowych. Zapisz datę, wersję aktywnej wiedzy i wynik każdego przypadku, aby porównanie było odtwarzalne.

Przykład: po pytaniu o ofertę klient pisze tylko „a dla dzieci?”; obie wersje dostają identyczną historię. Gdy wynik jest niejednoznaczny, powtórz test i zachowaj oba wyniki zamiast wybierać korzystniejszy.

Przykładowy przebieg wieloturowy: klient pyta „Czy mogę zmienić wariant po zakupie?”, dostaje opis warunków, a następnie dodaje „A jeśli termin już minął?”. W arkuszu zapisz obie wiadomości oraz fakt, którego oczekujesz w drugiej odpowiedzi: rozpoznanie wyjątku i niewydawanie nieuprawnionej zgody.

Uruchom cały przebieg od nowa dla każdej wersji, bo pojedyncza druga wiadomość nie ma takiego samego znaczenia bez historii. Jeśli nowa odpowiedź powtarza wyłącznie ogólne warunki, zaznacz utratę kontekstu, nawet gdy pierwszy krok nadal przechodzi test.

Decyzję odbioru podejmuj według skutku, nie liczby zielonych wierszy. Własny przykład: po aktualizacji termin jest poprawny, lecz odpowiedź dotycząca wyjątku cytuje usuniętą stronę, a pytanie spoza oferty otrzymuje wymyśloną obietnicę. Pierwszy przypadek akceptujesz jako zamierzoną zmianę, drugi kierujesz do przeglądu źródła, trzeci blokuje przyjęcie odpowiedzi ze względu na fałszywy fakt.

Poprawione przypadki testujesz razem z kontrolą tematów niezmienionych, żeby korekta jednego błędu nie ukryła nowego. Zachowaj stare uzasadnienia także po udanym kolejnym uruchomieniu; pokażą, dlaczego konkretne warunki znalazły się w zestawie.

Sprawdź cytaty i bezpieczne granice odpowiedzi

Otwórz cytowane źródła i sprawdź, czy wspierają konkretną odpowiedź, włącznie z ograniczeniami oraz wyjątkami. Wynik pozytywny wymaga zgodnego faktu, właściwego źródła i braku nieuprawnionej obietnicy.

Przykład: pytanie o nieoferowaną usługę nadal powinno kończyć się brakiem wiarygodnej informacji, a nie dopisanym cennikiem. Fałszywy fakt blokuje odbiór, nawet gdy pozostałe przypadki poprawiły średni wynik.

• Zachowaj kopię poprzednich wyników i nazwę aktywnej wersji wiedzy.
• Oznacz fakty, które celowo zmieniły się w nowej polityce.
• Sprawdź przynajmniej jeden przypadek bez dostępnej odpowiedzi.
• Otwórz źródło każdej odpowiedzi uznanej za pogorszenie.
• Zapisz decyzję i kolejność poprawek przed kolejnym uruchomieniem.

Brak odpowiedzi i odpowiedź zmyślona wymagają różnych działań; źródłowe przyczyny tej drugiej opisuje poradnik o zmyślonych odpowiedziach chatbota.

Ustal decyzję dla nowej wersji

Przypisz wykryte pogorszenie do źródła, redakcji albo niejasnego kryterium testu i określ poprawkę przed ponownym sprawdzeniem. Lista odbioru pokazuje zaakceptowane zmiany, otwarte błędy i osobę podejmującą decyzję.

Przykład: usunięty dokument zabrał jedyną odpowiedź o wyjątku; przywracasz poprawną treść do właściwego źródła. Nie traktuj udanej publikacji technicznej jako dowodu poprawności wszystkich odpowiedzi.

W Meet AI możesz sprawdzić pytania w prywatnym teście i otworzyć cytowane źródła. Potrzebujesz konta, uprawnień oraz aktywnej aplikacji w odpowiednim planie; testy dzielą limit generacji z odpowiedziami i Copilotem. Arkusz porównawczy przygotowujesz samodzielnie, a wiedza jest publikowana osobno.

Rozszerz zestaw po rzeczywistej wpadce

Dodaj nowe pytanie tylko wtedy, gdy ujawniło osobny warunek lub powtarzalny błąd, zachowując dotychczasową część kontrolną. Każdy nowy przypadek ma powód dodania i oczekiwany wynik zatwierdzony przez właściciela informacji.

Przykład: pytanie łączy dwa produkty o różnych warunkach i ujawnia odpowiedź przeniesioną z niewłaściwej oferty. Nie rozbudowuj zestawu dziesiątkami parafraz, które nie zwiększają pokrycia istotnych zachowań.

Zaplanuj czas ludzi i zużycie testów przed kolejnymi zmianami, korzystając z budżetu AI w obsłudze klienta.

Pytania, które pojawiają się w praktyce

Czy każda zmiana wymaga całego zestawu? Drobna zmiana może zacząć się od dotkniętych przypadków, ale zachowaj stałą grupę kontrolną spoza zmienionego tematu. Przed przyjęciem większej publikacji wykonaj pełne uzgodnione porównanie.

Czy inne brzmienie oznacza regresję? Nie. Oceniaj fakty, warunki, źródła i użyteczność następnego kroku. Różnica stylistyczna staje się problemem, gdy ukrywa wyjątek albo zmienia znaczenie instrukcji.

Co zrobić, gdy stara odpowiedź była błędna? Popraw oczekiwany wynik na podstawie zatwierdzonego źródła i zachowaj informację o tej korekcie. Nie używaj błędnego poprzedniego tekstu jako wzorca dla nowej wersji.