Pierwszy miesiąc po wdrożeniu: na co patrzeć, żeby nie wyciągnąć złych wniosków

Pierwszy miesiąc po wdrożeniu jest najgorszym możliwym momentem na ocenę efektu i najlepszym na wykrycie błędów. Te dwie rzeczy bardzo łatwo pomylić, bo panel pokazuje liczby od pierwszego dnia i kusi, żeby je czytać tak samo jak za pół roku. Tylko że w tym okresie prawie wszystko jest jeszcze zmienną: reguły widoczności są domyślne, zespół uczy się reagować, część zdarzeń nie jest jeszcze poprawnie zapisywana, a wolumen jest na tyle mały, że dwie rozmowy więcej zmieniają obraz. Wniosek wyciągnięty z takich danych bywa trwalszy niż same dane — decyzja o wyłączeniu kanału po dziesięciu dniach zwykle nie doczekuje się rewizji.

Pierwszy tydzień to sprawdzenie instalacji, nie ocena wyniku

W pierwszym tygodniu odpowiadacie na jedno pytanie: czy to w ogóle działa tak, jak zakładaliście. Nie „czy się opłaca”, nie „czy klienci korzystają”, tylko czy każdy element łańcucha — od wyświetlenia widgetu, przez wiadomość, po powiadomienie u operatora — faktycznie dochodzi do końca. Najczęstsza przyczyna ciszy w pierwszych dniach nie leży po stronie klientów, tylko po stronie konfiguracji, o której nikt nie pomyślał, bo w wersji testowej wszystko działało.

• Wiadomość wysłana z podstrony innej niż strona główna dociera do panelu i widać ją w rozmowie.
• Powiadomienie o nowej rozmowie dociera do osoby, która akurat ma dyżur, a nie tylko do konta administratora.
• Prośba o telefon trafia na listę i ma widoczny status, a nie ginie między zgłoszeniami.
• Widget pokazuje się na podstronach, na których miał się pokazywać, i nie pokazuje się tam, gdzie miał być wyłączony.
• Reguły widoczności zachowują się tak samo na telefonie, jak na komputerze.
• Grafik dostępności odpowiada realnym godzinom pracy, a poza nimi klient dostaje przewidywalną informację.
• Cele biznesowe zapisywane przez stronę faktycznie się zapisują, a nazwy zdarzeń zgadzają się z tym, co ustaliliście.
• Zgłoszenie ma numer i oś zdarzeń, po której da się odtworzyć, co się z nim działo.

Ta lista wygląda banalnie do momentu, w którym któryś punkt nie przechodzi. W praktyce najczęściej wysypują się dwa: powiadomienia trafiające do niewłaściwej osoby oraz reguły widoczności ograniczające widget do wąskiego fragmentu serwisu. Oba dają dokładnie ten sam objaw — mało rozmów — i oba bywają interpretowane jako brak zainteresowania klientów. Różnica polega na tym, że jedno da się naprawić w kilka minut, a drugie kosztuje miesiąc zmarnowanych danych.

Drugą częścią weryfikacji jest przejście ścieżki samodzielnie, z telefonu, poza godzinami pracy. Nie z konta testowego i nie w trybie podglądu, tylko tak jak zrobi to klient. Zdumiewająco często dopiero wtedy widać, że formularz prosi o dane, których nikt nie potrzebuje, że komunikat poza godzinami brzmi jak odmowa, albo że po wysłaniu wiadomości nie pojawia się żadne potwierdzenie.

Czego nie oceniać w pierwszym miesiącu i dlaczego

Część wskaźników po prostu nie jest jeszcze gotowa do czytania. Nie dlatego, że narzędzie ich nie liczy, tylko dlatego, że wielkość próby, świeżość danych i etap uczenia się zespołu zaburzają wynik w sposób, którego nie da się skorygować komentarzem. Warto powiedzieć to zespołowi na starcie, zanim ktoś zbuduje slajd z konwersją kanału po dwóch tygodniach.

• Konwersja kanałuPrzy kilkudziesięciu rozmowach różnica kilku zamówień przesuwa wynik o kilkanaście punktów. To wahanie, nie efekt.
• Skuteczność automatyzacjiAutomatyczne wiadomości i reguły dopiero zbierają przypadki brzegowe. Ocena po pierwszych dniach mierzy głównie to, czego nie przewidzieliście.
• Opłacalność kanałuKoszt jest znany od pierwszego dnia, przychód z części spraw pojawia się długo po rozmowie. Zestawienie ich teraz zawsze wyjdzie na niekorzyść.
• Porównania między osobamiJedna osoba miała dyżur w szczycie, druga w martwym tygodniu. Przy tej skali to opowieść o grafiku, a nie o ludziach.
• Trend tygodniowyCztery punkty pomiarowe nie tworzą trendu. Tworzą wykres, który wygląda jak trend i jest chętnie pokazywany.
• Wpływ zmian w treściJeżeli w tym samym miesiącu zmieniacie stronę, godziny i zespół, żadnej z tych zmian nie przypiszecie skutku.

Szczególnie kosztowna jest ostatnia pozycja. Pierwszy miesiąc kusi, żeby przy okazji poprawić wszystko naraz — treść pierwszej wiadomości, moment pojawienia się widgetu, formularz i godziny dyżurów. Efekt jest taki, że po miesiącu wiecie, że coś się zmieniło, i nie wiecie, co zadziałało. Kiedy taka zmiana ma sens jako świadomy eksperyment i jakiej próby wymaga, opisujemy w tekście o testach A/B na stronie.

Zanim uznacie liczbę za wynik, sprawdźcie metadane raportu: wersję definicji metryk, świeżość danych i pokrycie zakresu. W pierwszym miesiącu pokrycie bywa niepełne z najbardziej prozaicznych powodów — kanał ruszył w środę, a raport obejmuje cały tydzień. Zakresy dzisiaj, 7, 30 i 90 dni oraz zakres własny w Meetlead nie zmieniają tego faktu, tylko pozwalają go zobaczyć.

Trzy rzeczy warte obserwacji od pierwszego dnia

Jest jednak coś, co w pierwszym miesiącu ma pełną wartość, i to od razu: informacja jakościowa. Treść pytań, ich rozkład w czasie i sprawy, które utknęły, nie wymagają dużej próby, żeby coś powiedzieć. Dziesięć rozmów wystarczy, żeby zauważyć, że siedem z nich dotyczy tego samego niejasnego punktu na stronie. Żaden wskaźnik konwersji nie da wam tej informacji szybciej.

Powtarzające się pytania są w tym okresie najcenniejszym materiałem, bo prowadzą do zmian, które działają niezależnie od kanału: część z nich kończy się poprawką treści na stronie, część uzupełnieniem sekcji z odpowiedziami. Jeżeli natomiast zastanawiacie się, które zdarzenia na stronie w ogóle warto zapisywać jako cele, dobór opisujemy osobno w artykule o mikrokonwersjach na stronie — pierwszy miesiąc to dobry moment, żeby ustalić definicje, a nie żeby czytać z nich wyniki.

Najczęstsze błędy pierwszego miesiąca

Błędy tego okresu mają wspólny mianownik: biorą się z niecierpliwości. Wdrożenie kosztowało czas i zaangażowanie, więc naturalnym odruchem jest szukanie potwierdzenia, że było warto — albo szybkiego zamknięcia tematu, gdy potwierdzenia nie widać. Trzy wzorce wracają najczęściej.

1. Za dużo ustawień na start.Reguły widoczności na kilkunastu podstronach, automatyczne wiadomości w kilku wariantach i rozbudowany formularz od pierwszego dnia. Każde z tych ustawień może być przyczyną ciszy i żadnego nie da się później wykluczyć. Startujcie z minimalną konfiguracją i dokładajcie po jednej rzeczy.
2. Ocena po ciszy w pierwszym tygodniu.Pierwsze dni to zwykle najmniejszy ruch, bo nikt jeszcze nie wie, że kanał istnieje, a część odwiedzających go po prostu nie zauważa. Wniosek „nie ma zainteresowania” wyciągnięty po czterech dniach opisuje wielkość próby, nie rynek.
3. Wyłączenie kanału po kilku dniach.Najdroższy z błędów, bo kasuje dane i zwykle jest nieodwracalny politycznie — do tematu nikt nie wraca przez rok. Jeżeli musicie coś ograniczyć, ograniczcie godziny albo zakres podstron, ale zostawcie ciągłość pomiaru.

Czwarty błąd jest mniej widoczny: przypisanie kanału osobie, która ma go obsługiwać „przy okazji”. Nowy kanał wymaga w pierwszych tygodniach więcej uwagi niż docelowo, bo każda sprawa jest pierwsza swojego rodzaju, a odpowiedzi nie ma jeszcze w żadnym szablonie. Jeżeli kanał ma jednego właściciela tylko z nazwy, pierwszy urlop zamienia wolumen w liczbę, która opisuje grafik, a nie zainteresowanie klientów.

Co powinno się zmienić po pierwszym miesiącu

Koniec pierwszego miesiąca nie jest momentem oceny wyniku, tylko momentem uporządkowania. Poniższa lista to decyzje, które da się podjąć na podstawie tego, co już wiecie, i które sprawiają, że drugi miesiąc dostarczy danych nadających się do porównywania.

• Reguły widoczności widgetu ustalone świadomie: lista podstron zamknięta i zapisana, a nie odziedziczona po ustawieniu domyślnym.
• Grafik dostępności dopasowany do godzin, w których faktycznie napływają zapytania.
• Jedna osoba odpowiedzialna za kanał, z ustalonym zastępstwem na czas urlopu i choroby.
• Definicje celów biznesowych zamknięte i nazwane tak samo w panelu i w rozmowach zespołu.
• Odpowiedzi na trzy najczęstsze pytania poprawione na stronie, a nie tylko powtarzane w rozmowach.
• Ustalony zakres raportowania i termin przeglądu, wraz z osobą, która go prowadzi.
• Zapisany punkt odniesienia: stan konfiguracji i definicji na koniec miesiąca, żeby późniejsze zmiany dało się datować.

Ostatni punkt jest najczęściej pomijany i najbardziej się zwraca. Bez zapisanego stanu wyjściowego każda późniejsza rozmowa o poprawie kończy się sporem o to, od kiedy właściwie liczycie. Wystarczy krótka notatka z datą, listą aktywnych reguł, godzinami dyżuru i nazwami celów — jedna strona, do której wracacie przy każdej zmianie definicji.

Kiedy zacząć porównywać liczby

Nie ma jednej daty, po której dane stają się wiarygodne. Są natomiast warunki, których spełnienie da się sprawdzić. Pierwszy: konfiguracja nie zmieniała się przez cały porównywany okres. Drugi: zakres obejmuje pełne tygodnie, najlepiej pełne miesiące kalendarzowe, żeby nie porównywać okresu z jednym dniem wolnym do okresu z trzema. Trzeci: liczba obserwacji jest na tyle duża, że kilka spraw więcej lub mniej nie przesuwa wyniku o kilkanaście procent.

Czas pierwszej odpowiedzi i czas rozwiązania warto liczyć w medianie i wartości skrajnej, w godzinach pracy — dokładnie po to, żeby jedna nocna wiadomość nie decydowała o obrazie miesiąca. Sama metodyka takiego pomiaru ma swoje pułapki i opisujemy ją osobno w tekście o czasie pierwszej odpowiedzi na czacie. To, co warto pokazywać na stałe, gdy dane są już stabilne, zebraliśmy w artykule o raporcie z obsługi klienta.

Zostaje jeszcze jedna pułapka, o której na starcie prawie nikt nie myśli: pierwszy miesiąc mógł wypaść w okresie nietypowym dla waszej branży. Wdrożenie tuż przed sezonem albo tuż po nim daje punkt odniesienia, do którego nie warto się przywiązywać. Sposoby na porównania odporne na ten efekt opisujemy w tekście o sezonowości ruchu i zapytań.

Podsumowanie mieści się w jednym zdaniu: w pierwszym miesiącu sprawdzacie instalację i czytacie treść, a nie liczby. Zespół, który to zaakceptuje, wchodzi w drugi miesiąc z działającym kanałem i uporządkowanymi definicjami. Zespół, który zacznie od wykresów, zwykle kończy z wnioskiem o klientach wyciągniętym z ustawienia, którego nikt nie sprawdził.