Spadek czy sezon: jak odróżnić wahanie od realnej zmiany

Większość „spadków”, o których mówi się na spotkaniach, nie jest spadkiem. To różnica w liczbie dni roboczych, święto, które wypadło w środku tygodnia, jednorazowy szczyt sprzed miesiąca zawyżający punkt odniesienia albo — najczęściej i najrzadziej podejrzewana — przerwa w pomiarze. Umiejętność odróżnienia wahania od zmiany oszczędza zespołowi kilku niepotrzebnych zwrotów w strategii rocznie.

Dlaczego porównanie miesiąc do miesiąca prawie zawsze kłamie

Porównanie dwóch kolejnych miesięcy jest najłatwiejsze do wykonania i najtrudniejsze do zinterpretowania. Zestawia ze sobą okresy, które różnią się długością, układem dni tygodnia i liczbą dni wolnych, a różnicę przypisuje temu, co akurat zmieniało się w firmie. Zanim uznasz wynik za sygnał, warto odjąć od niego kalendarz.

Przykład wyłącznie ilustracyjny, bez odniesienia do jakichkolwiek danych branżowych: przy stałej liczbie zapytań dziennie miesiąc z dwudziestoma dniami roboczymi i miesiąc z dwudziestoma dwoma dadzą wynik, który w tabeli wygląda jak wyraźna zmiana kierunku, a w rzeczywistości jest tylko dwoma dodatkowymi dniami pracy. Dlatego pierwsze pytanie przy każdym spadku brzmi nie „dlaczego”, tylko „ile dni porównujemy”.

Trzy porównania, które mówią więcej niż jedno

Jedno porównanie zawsze da odpowiedź, tylko nie zawsze prawdziwą. Trzy zestawienia patrzące na te same dane z różnych stron pozwalają odróżnić szum od kierunku, bo każde z nich neutralizuje inne źródło zakłócenia.

• Rok do rokuTen sam miesiąc rok wcześniej ma zbliżony układ sezonu i zwykle podobną intencję odwiedzających. Neutralizuje sezonowość, ale nie neutralizuje zmian w firmie — pamiętaj, co robiliście wtedy, a czego nie robicie teraz.
• Średnia z kilku okresówZamiast porównywać z jednym poprzednim miesiącem, porównaj z przeciętną z kilku ostatnich. Pojedynczy nietypowy okres przestaje wtedy pełnić rolę wzorca, którym nigdy nie był.
• Ten sam dzień tygodniaWtorek do wtorku, poniedziałek do poniedziałku. To najprostszy sposób, żeby sprawdzić, czy zmienił się rytm, czy tylko układ kalendarza w wybranym zakresie.

Jeśli wszystkie trzy porównania pokazują ten sam kierunek, prawdopodobnie masz do czynienia ze zmianą. Jeśli wskazują różne rzeczy, masz do czynienia z wahaniem i jedynym rozsądnym działaniem jest poczekać na kolejny okres. To niepopularna rekomendacja, ale tańsza niż przebudowa strony na podstawie jednego tygodnia.

Jak rozpoznać własną sezonowość, gdy masz krótką historię

Porównanie rok do roku zakłada, że masz rok danych. Przy pół roku pomiaru to porównanie po prostu nie istnieje, a mimo to trzeba jakoś odpowiedzieć na pytanie, czy sierpniowy spokój jest normalny. Da się — pod warunkiem, że przyjmiesz skromniejsze wnioski.

1. Zacznij od rytmu tygodnia.Rozkład na dni tygodnia widać już po kilku tygodniach pomiaru. To najmocniejszy wzorzec, jaki masz na starcie, i tłumaczy sporą część różnic między okresami.
2. Sprawdź rytm w zapytaniach, nie tylko w odsłonach.Liczba rozmów i próśb o kontakt bywa stabilniejsza niż ruch, bo mniej zależy od kampanii. Rozbieżność między nimi sama w sobie jest informacją.
3. Potraktuj wiedzę zespołu jako hipotezę, nie dowód.Sprzedaż zwykle wie, kiedy w branży „nic się nie dzieje”. Zapisz to jako hipotezę do sprawdzenia w danych, zamiast przyjmować od razu za wyjaśnienie.
4. Zacznij prowadzić kalendarz zdarzeń od dziś.Kampanie, publikacje, zmiany na stronie, wdrożenia, przerwy w pomiarze. Za rok ten kalendarz będzie wart więcej niż każdy raport, bo pozwoli odróżnić sezon od tego, co sami zrobiliście.
5. Nie nazywaj sezonu po jednym roku.Jedno powtórzenie to zbieg okoliczności, dopiero kolejne zaczyna być wzorcem. Do tego czasu mów „tak było”, a nie „tak zawsze jest”.

Przy krótkiej historii danych najważniejsze jest, żeby wiedzieć, ile z tej historii faktycznie zostało zmierzone. Raporty w Meetlead podają wprost wersję definicji metryk, świeżość danych oraz pokrycie odsłon, identyfikatorów sesji, źródeł wejścia i dat realizacji próśb o telefon. Pokrycie podane wprost jest tu ważniejsze niż ładny wykres — bez niego nie wiadomo, czy patrzysz na spadek, czy na lukę w pomiarze.

Zdarzenia jednorazowe, które psują punkt odniesienia

Spadek bywa złudzeniem optycznym wywołanym przez poprzedni okres. Jeśli miesiąc wcześniej wydarzyło się coś nietypowego, punkt odniesienia przestaje reprezentować normalny stan i każde kolejne porównanie wypada źle, choć nic się nie pogorszyło.

Awaria pomiaru ma jedną cechę odróżniającą ją od realnego spadku: jest zbyt równa. Realny spadek rzadko dotyka wszystkich źródeł, urządzeń i podstron jednocześnie i w tym samym stopniu, a przerwa w mierzeniu — tak. Warto też pamiętać, że część zdarzeń w ogóle nie trafia do standardowych narzędzi analitycznych; opisujemy to w tekście o granicach Google Analytics.

Kiedy spadek jest realny i co sprawdzić najpierw

Czasem spadek jest po prostu spadkiem. Zwykle rozpoznasz go po tym, że wytrzymuje kilka niezależnych sprawdzeń naraz — a nie po tym, że jest duży.

• Utrzymuje się przez kilka kolejnych okresów, nie przez jeden tydzień.
• Widać go po przeliczeniu na dzień roboczy i w porównaniu tego samego dnia tygodnia.
• Nie tłumaczy go święto, urlopowy okres ani zakończona kampania.
• Dotyczy wybranych źródeł, urządzeń lub podstron, a nie wszystkiego równomiernie.
• Pokrycie danych i wersja definicji metryk pozostały bez zmian.
• Widać go równolegle w kilku miarach — ruchu, zapytaniach i realizacji próśb o telefon.

Jeśli lista się zgadza, kolejność sprawdzania ma znaczenie. Zaczynanie od hipotez rynkowych jest kuszące, ale to najdroższa droga do odpowiedzi, którą często dałoby się znaleźć w kwadrans po stronie technicznej.

1. Pomiar.Czy skrypt działa na wszystkich szablonach, czy nie zmieniła się konfiguracja zgód, czy raport nie obejmuje okresu wdrożenia.
2. Źródła wejścia.Spadek zwykle zaczyna się w jednym kanale. Rozbicie na źródła zawęża pytanie z „co się dzieje” do „co się dzieje w tym jednym miejscu”.
3. Wejścia i pierwszy krok.Ten sam wolumen wejść przy mniejszej liczbie zapytań to inny problem niż mniejsza liczba wejść. Ścieżkę od wizyty do kontaktu opisujemy w tekście o <a href="/blog/sciezka-klienta-na-stronie/">ścieżce klienta na stronie</a>.
4. Dostępność obsługi.Mniej odpowiedzi to czasem mniej zapytań w statystykach. Rozkład godzinowy i obsadę omawiamy osobno w artykule o <a href="/blog/obsada-zespolu-obslugi-klienta/">obsadzie zespołu obsługi klienta</a>.
5. Treść i oferta.Dopiero na końcu zmiany w komunikacji, cenniku i konkurencyjności oferty — bo tu weryfikacja trwa najdłużej i najtrudniej ją cofnąć.

Jak rozmawiać o wahaniach, żeby nie gasić pożarów bez pożaru

Największym kosztem błędnie odczytanego spadku nie jest zły wniosek, tylko reakcja na niego: przerwana kampania, cofnięta zmiana na stronie, tydzień pracy zespołu poświęcony na wyjaśnianie różnicy, która wynikała z liczby wtorków w miesiącu. Kilka ustaleń w sposobie mówienia o danych ogranicza to bardziej niż kolejny wykres.

• Podawaj zawsze zakres dat, nie samą liczbę — „mniej niż w lipcu” to nie jest informacja.
• Rozdziel obserwację od hipotezy: co widać w danych, a co jest twoim wyjaśnieniem.
• Ustal z góry, po ilu okresach uznajecie zmianę za trend, zanim zobaczycie wynik.
• Zapisuj w kalendarzu zdarzeń wszystko, co mogło wpłynąć na pomiar lub ruch.
• Przy każdym spadku pytaj o pokrycie danych, zanim zapytasz o przyczynę.
• Powiedz wprost, czego z posiadanych danych nie da się rozstrzygnąć.

Pomaga też ograniczenie liczby liczb w raporcie. Zestaw kilku miar pokazywanych zawsze w tym samym zakresie i z tą samą definicją jest znacznie odporniejszy na nadinterpretację niż tabela ze wszystkim; piszemy o tym przy okazji raportu z obsługi klienta. Wspólna strefa czasowa ma tu równie prozaiczne znaczenie — dane liczone w czasie lokalnym Europe/Warsaw przypisują wieczorne zapytania do właściwego dnia, co przy analizie dzień po dniu przestaje być szczegółem.