Rozbieżność między dwoma narzędziami to nie usterka, tylko domyślny stan rzeczy. Problem zaczyna się dopiero wtedy, gdy zespół przez tydzień szuka „błędu”, zamiast ustalić, co każda z liczb właściwie mierzy — i która z nich odpowiada na pytanie, które ktoś zadał na spotkaniu.
Zgodność co do jednego jest niemożliwa i nie jest celem
Dwa narzędzia mierzące „wizyty” nie mierzą tej samej rzeczy. Każde ma własną definicję jednostki, własny moment zapisu zdarzenia, własny zegar i własne reguły odsiewu. Nawet gdyby wszystkie działały bezbłędnie, wynik nie byłby identyczny — bo pytania, na które odpowiadają, są różne.
- DefinicjaCzym jest sesja, użytkownik, wizyta i konwersja w tym konkretnym narzędziu.
- MomentW której sekundzie wizyty zdarzenie zostaje policzone i zapisane.
- PróbkaKogo pomiar w ogóle widzi po zgodach, blokadach i filtrach botów.
- ZegarO której godzinie zaczyna się doba raportowa i według jakiej strefy.
Celem nie jest doprowadzenie obu liczb do zgodności, tylko wyjaśnienie różnicy na tyle, żeby przestała blokować decyzję. Zgodność co do jednej sesji byłaby zresztą podejrzana — oznaczałaby, że dwa narzędzia liczą dokładnie to samo, a więc jedno z nich jest zbędne.
Bez jawnej definicji i jawnego pokrycia porównujesz dwie liczby, o których nic nie wiesz. Zobacz, jak Meetlead podaje wersję definicji metryk i pokrycie danych przy każdym raporcie.
Siedem powodów, dla których liczby się rozjeżdżają
Prawie każda rozbieżność, jaką widzieliśmy, sprowadza się do jednego z siedmiu mechanizmów albo do ich kombinacji. Warto znać nie tylko sam powód, ale i kierunek — który z systemów zawyża, a który zaniża, gdy dany mechanizm zadziała.
| Powód | Na czym polega | W którą stronę przesuwa liczbę |
|---|---|---|
| Inna definicja sesji i użytkownika | Jedno narzędzie zamyka sesję po przerwie w aktywności, inne po zmianie źródła wejścia, a użytkownika utożsamia z identyfikatorem przeglądarki | W górę tam, gdzie okno sesji jest krótsze i jedna wizyta rozpada się na kilka |
| Inny moment liczenia | Jedno liczy wejście przy pierwszym żądaniu strony, inne dopiero po wykonaniu skryptu, po zgodzie albo po pierwszej interakcji | W dół tam, gdzie liczenie zaczyna się później — szybkie wyjścia wypadają z pomiaru |
| Różne strefy czasowe | Doba raportowa zaczyna się o innej godzinie, więc ten sam „wtorek” obejmuje inny zbiór zdarzeń | W obie strony, najmocniej na krótkich zakresach i przy ruchu wieczornym |
| Różne traktowanie zgód i blokad | Część narzędzi nie zapisuje nic bez zgody, część zbiera zdarzenia techniczne, część uzupełnia brak modelem | W dół tam, gdzie pomiar czeka na zgodę i nie modeluje reszty |
| Filtrowanie botów | Każdy dostawca ma własną listę automatów i własne reguły odsiewu ruchu nieludzkiego | W górę tam, gdzie filtr jest łagodniejszy albo aktualizowany rzadziej |
| Próbkowanie | Przy szerokich zakresach i wąskich segmentach raport bywa liczony na części zdarzeń i skalowany | W obie strony, z rosnącym błędem przy małych segmentach |
| Opóźnienie przetwarzania | Dane dobijają jeszcze przez godziny po zdarzeniu, a raport pobrany rano pokazuje niepełny wczoraj | W dół dla najświeższych dni, do wyrównania po pełnym przetworzeniu |
Do tego dochodzi ósmy, najbardziej banalny powód: różny zakres dat. Jeden raport obejmuje ostatnie trzydzieści dni licząc od dzisiaj, drugi pełny miesiąc kalendarzowy. Zanim zaczniesz szukać czegokolwiek innego, sprawdź, czy oba okna to naprawdę te same doby.
Świadomie nie podajemy „dopuszczalnego” progu rozbieżności w procentach. Taki próg zależy od wielkości ruchu, struktury urządzeń, udziału odrzuconych zgód i tego, które dwa systemy porównujesz — liczba przepisana z cudzego artykułu byłaby tu bardziej myląca niż pomocna. Jedyny wiarygodny punkt odniesienia to twoja własna, zapisana różnica z okresu, w którym pomiar działał poprawnie.
Jaka różnica jest normalna, a jaka podejrzana
Skoro nie ma uniwersalnego progu, potrzebny jest inny test. Sensowne kryterium nie dotyczy wielkości różnicy, tylko jej zachowania w czasie. Stabilna rozbieżność jest cechą konfiguracji. Rozbieżność, która nagle zmienia rozmiar albo kierunek, jest zdarzeniem i wymaga wyjaśnienia.
| Objaw | Raczej różnica definicji | Raczej awaria pomiaru |
|---|---|---|
| Zachowanie w czasie | Różnica utrzymuje stały rząd wielkości od tygodni | Różnica pojawiła się albo skoczyła w konkretnym dniu |
| Rozkład na segmenty | Widoczna równomiernie na wszystkich stronach i urządzeniach | Skupiona na jednej podstronie, jednej przeglądarce albo jednym źródle |
| Kierunek | Zawsze to samo narzędzie pokazuje więcej | Kierunek się odwrócił bez zmiany w konfiguracji |
| Zbieżność ze zmianą | Brak związku z wdrożeniami | Start pokrywa się z wdrożeniem, zmianą szablonu albo banera zgód |
| Skala | Część ruchu, przewidywalna i policzalna | Zniknięcie całej kategorii zdarzeń albo liczba równa zeru |
Zero jest tu najważniejszym sygnałem. Narzędzia pomiarowe rzadko mylą się o rząd wielkości, ale bardzo często przestają zbierać konkretny typ zdarzenia po wdrożeniu. Jeżeli metryka, która miała wartość, ma teraz dokładnie zero, to prawie na pewno nie jest kwestia definicji.
Osobno warto wykluczyć rytm kalendarza. Jeśli różnica rośnie w te same dni tygodnia albo w tym samym miesiącu co rok wcześniej, to najpierw sprawdź metodę odróżniania wahania od zmiany, opisaną w artykule o sezonowości ruchu i zapytań.
Najczęstszym momentem, w którym różnica przestaje być normą i staje się awarią, jest wdrożenie nowej wersji strony. Listę rzeczy, które wtedy przestają działać, zebraliśmy w artykule o przebudowie strony a pomiarze.
Jak sprawdzić, czy to awaria, a nie różnica definicji
Ta procedura zajmuje kilkadziesiąt minut i zamyka większość sporów. Kolejność ma znaczenie, bo każdy krok odcina jedną grupę wyjaśnień. Odwrotna kolejność kończy się grzebaniem w kodzie, zanim ktokolwiek sprawdził daty.
- Wyrównaj okno czasu.Ten sam zakres dat, ta sama strefa czasowa, ta sama godzina początku doby. Najlepiej jeden pełny tydzień, zamknięty co najmniej dwa dni temu.
- Sprawdź świeżość danych.Jeżeli którykolwiek raport dopiero się przetwarza, porównanie jest bezwartościowe. Odczekaj albo cofnij zakres.
- Zapisz definicje obok siebie.Wypisz z dokumentacji obu narzędzi, czym jest jednostka, którą porównujesz. Bardzo często spór kończy się na tym kroku.
- Zejdź do jednego segmentu.Jedna podstrona, jedno urządzenie, jedno źródło wejścia. Różnica na całości miesza ze sobą kilka mechanizmów naraz.
- Porównaj kształt, nie poziom.Nałóż oba przebiegi dzień po dniu. Zgodny kształt przy różnym poziomie to różnica definicji. Rozjeżdżający się kształt to zdarzenie.
- Znajdź dzień graniczny.Jeżeli kształt się rozjeżdża, ustal dokładną dobę startu i zestaw ją z listą wdrożeń oraz zmian w banerze zgód.
- Zejdź do pojedynczych przypadków.Wykonaj wizytę testową i sprawdź, czy pojawia się w obu systemach. Jeden brakujący przypadek mówi więcej niż tydzień dyskusji o procentach.
Ostatni krok jest tym, który realnie rozstrzyga, i wymaga narzędzia pozwalającego zejść od wskaźnika do konkretnych sesji, rozmów i zgłoszeń. W Meetlead z każdego wskaźnika przechodzi się do listy pojedynczych przypadków, które się na niego złożyły, w zakresach dzisiaj, siedem, trzydzieści i dziewięćdziesiąt dni albo we własnym oknie dat.
Spór o procenty rozstrzyga jedna wizyta, którą da się otworzyć i obejrzeć. Zobacz, jak Meetlead łączy wskaźnik z konkretnymi sesjami, rozmowami i zgłoszeniami.
Jedno źródło prawdy dla jednej decyzji
Najtrwalsze rozwiązanie nie polega na uzgodnieniu liczb, tylko na przypisaniu decyzji do źródła. Dla każdego powtarzalnego pytania wybierasz jedno narzędzie, zapisujesz ten wybór i trzymasz się go także wtedy, gdy inne narzędzie pokazuje wygodniejszą liczbę.
| Pytanie | Źródło rozstrzygające | Dlaczego to | Do czego nie używać |
|---|---|---|---|
| Ile było wizyt i skąd przyszły | Analityka ruchu | Ma najszerszy obraz wejść i kampanii | Do oceny przebiegu pojedynczej wizyty |
| Co użytkownik zrobił na stronie | Nagrania i mapy ciepła | Widzi przebieg, nie tylko sumy | Do liczenia całkowitego ruchu |
| Ile było rozmów i zgłoszeń | Panel obsługi | Zapisuje każdy kontakt razem z jego historią | Do rozliczania kampanii reklamowych |
| Ile kosztowało pozyskanie | System reklamowy plus panel obsługi | Koszt jest po jednej stronie, efekt po drugiej | Do oceny jakości treści na stronie |
Ta zasada działa tylko wtedy, gdy wybrane źródło jawnie mówi, czego nie widzi. Raporty Meetlead podają obok liczb wersję definicji metryk, świeżość danych i pokrycie odsłon, identyfikatorów sesji, źródeł wejścia oraz dat realizacji próśb o telefon, a wszystkie daty liczone są w strefie Europe/Warsaw. Sesje bez zapisanego źródła są oznaczane jako niepokryte, zamiast dostawać wymyślone pochodzenie — dzięki temu porównanie z drugim systemem dotyczy tej samej, opisanej próbki.
- Dla każdego stałego wskaźnika w raporcie wiadomo, z którego narzędzia pochodzi.
- Zakres dat i strefa czasowa są podane wprost, a nie domyślne dla każdego narzędzia osobno.
- Znana jest wersja definicji metryk, według której liczono wskaźnik.
- Pokrycie i udział przypadków niepokrytych są widoczne obok liczby, nie w przypisie.
- Zapisana jest typowa różnica względem drugiego źródła z okresu, gdy pomiar działał poprawnie.
- Każdy wskaźnik da się rozwinąć do listy pojedynczych sesji, rozmów albo zgłoszeń.
Przy budowie stałego zestawu wskaźników przydaje się też zasada ograniczania liczby pozycji — opisujemy ją w tekście o raporcie z obsługi klienta. Im mniej liczb w dokumencie, tym mniej powierzchni na spór o to, która z nich jest prawdziwa.
Definicja, pokrycie i strefa czasowa podane obok wskaźnika kończą większość dyskusji, zanim się zaczną. Umów wdrożenie — pokażemy to na twoich raportach.
Jak o tym rozmawiać z agencją i z zespołem
Rozbieżność liczb ma nieprzyjemną właściwość: bardzo szybko zamienia się w pytanie, kto się pomylił. Agencja słyszy zarzut o zawyżanie wyników, zespół wewnętrzny słyszy zarzut o zepsuty pomiar, a rozmowa przestaje dotyczyć danych. Wystarczy zmienić pierwsze zdanie, żeby tego uniknąć.
- Zamiast „wasze dane są złe”„Mam dwie różne liczby na to samo okno czasu — ustalmy, co każda z nich liczy”.
- Zamiast „która jest prawdziwa”„Do której decyzji używamy której — i co zapisujemy jako źródło rozstrzygające”.
- Zamiast „popraw to”„Sprawdźmy, czy różnica jest stała, czy pojawiła się w konkretnym dniu”.
- Zamiast „nie wierzę raportowi”„Pokażcie definicję metryki i pokrycie danych, na których liczono ten wskaźnik”.
Wspólny język jest tu ważniejszy niż wynik jednego sprawdzenia. Jeżeli obie strony przyjmą, że raport bez podanej definicji i pokrycia jest niekompletny, kolejna rozbieżność zajmie kwadrans zamiast tygodnia. Warto też zawczasu ustalić, że różnica sama w sobie nie jest zarzutem wobec nikogo.
Osobnym tematem są granice samej analityki ilościowej — zgody, progi danych i mylące nazwy metryk rozkładamy w artykule o tym, czego nie pokaże Google Analytics. Dobór samych zdarzeń do pomiaru opisujemy w tekście o mikrokonwersjach na stronie, a łączenie pojedynczych wizyt w jedną historię w przewodniku po ścieżce klienta na stronie. Search Console i systemy reklamowe warto traktować tak samo: jako źródła z własną definicją, a nie jako kontrolę poprawności analityki.
