Testy A/B na stronie: ile ruchu naprawdę trzeba i co robić, gdy go nie masz

Test A/B jest narzędziem statystycznym, a statystyka potrzebuje liczb. Przy kilkuset wizytach miesięcznie i kilku konwersjach różnica między wersjami będzie w całości mieścić się w zwykłych wahaniach. Można taki test uruchomić, poczekać dwa tygodnie i ogłosić zwycięzcę — tylko że ten zwycięzca będzie wylosowany, a nie wyłoniony.

Co decyduje o tym, czy test ma sens

Wymagana liczba odwiedzin zależy od trzech rzeczy: obecnego współczynnika konwersji, wielkości zmiany, którą chcesz wykryć, oraz przyjętej pewności wyniku. Im rzadsza konwersja i im mniejsza spodziewana poprawa, tym więcej ruchu trzeba — i zależność ta rośnie znacznie szybciej, niż podpowiada intuicja.

• Bazowa konwersjaPrzy 1% potrzebujesz wielokrotnie więcej wizyt niż przy 10%, żeby zobaczyć tę samą różnicę względną.
• Wykrywalna zmianaWykrycie poprawy o 20% jest znacznie tańsze niż wykrycie poprawy o 3%.
• Liczba wariantówKażdy dodatkowy wariant dzieli ruch i wydłuża test, często ponad rozsądek.
• Cykl tygodniowyTest krótszy niż dwa pełne tygodnie miesza efekt zmiany z efektem dnia tygodnia.

Zamiast zgadywać, użyj kalkulatora wielkości próby — jest ich w sieci wiele i są darmowe. Wpisz swoją realną konwersję i realną liczbę wizyt na testowanej stronie. Jeżeli wynik mówi, że test musiałby trwać osiem miesięcy, masz odpowiedź: to nie jest narzędzie dla tej strony w tym momencie.

Błędy, przez które nawet dobry test kłamie

Nawet przy wystarczającym ruchu łatwo doprowadzić do wyniku, który wygląda przekonująco i nie ma pokrycia. Poniższe pomyłki powtarzają się niemal we wszystkich zespołach zaczynających testowanie.

Ostatni wiersz jest szczególnie zdradliwy w Polsce, gdzie udział ruchu mobilnego bywa bardzo wysoki. Jak rozdzielać taką analizę, opisujemy w artykule o konwersji na urządzeniach mobilnych.

Co robić, gdy ruchu jest za mało

To najważniejsza część tego tekstu i jednocześnie ta, którą większość poradników pomija. Brak możliwości testowania nie oznacza, że masz zgadywać. Oznacza tylko, że dowody będą jakościowe, a nie statystyczne — i przy małych liczbach są one po prostu skuteczniejsze.

1. Obejrzyj, jak ludzie korzystają ze strony.Dziesięć nagrań sesji z jednej podstrony wskaże problemy, których żaden test nie wykryje szybciej.
2. Sprawdź wzorzec na mapach.Kliknięcia w nieklikalne elementy i zasięg przewijania to fakty, nie hipotezy do testowania.
3. Przeczytaj pytania klientów.Powtarzalne pytanie oznacza brakującą informację. Nie trzeba testować, czy warto ją dodać.
4. Napraw rzeczy oczywiście zepsute.Błąd walidacji albo przycisk poza ekranem nie wymaga dowodu statystycznego.
5. Testuj duże zmiany, nie odcienie.Przy małym ruchu wykrywalne są tylko wyraźne różnice. Odcień przycisku nigdy nią nie będzie.
6. Mierz efekt przed i po.Mniej wiarygodne niż test równoległy, ale przy dużej zmianie i długim oknie zwykle wystarczające.

Uwaga o pomiarze przed i po: jest podatny na sezonowość, zmiany w kampaniach i wahania jakości ruchu. Nie traktuj go jak dowodu, tylko jak wskazówkę. Jeśli po zmianie wynik rośnie, a jednocześnie spada liczba pytań o tę samą rzecz, masz dwa niezależne sygnały wskazujące w tę samą stronę — i to zwykle wystarczy do decyzji.

Co testować, jeśli już masz ruch

Test kosztuje czas i ruch, więc powinien dotyczyć rzeczy, o których naprawdę nie wiadomo, jak zadziałają. Testowanie tego, co i tak trzeba naprawić, jest marnowaniem obu zasobów.

Hipotezy do testowania najlepiej zbierać z tego samego materiału, z którego robisz diagnozę: obserwacji, map, nagrań i pytań. Uporządkowany proces ich zbierania i priorytetyzacji opisujemy w audycie konwersji strony, a sposób doboru mierzonych zdarzeń w artykule o mikrokonwersjach.

Krótka lista kontrolna przed uruchomieniem testu

• Znasz obecną konwersję testowanej strony, a nie całego serwisu.
• Policzona wielkość próby mieści się w rozsądnym czasie trwania testu.
• Test potrwa co najmniej dwa pełne tygodnie i obejmie weekendy.
• Ustalona jest jedna główna metryka, powiązana z realnym wynikiem biznesowym.
• Zmieniasz jedną rzecz naraz albo świadomie testujesz cały wariant strony.
• Wynik będzie oglądany osobno dla telefonu i komputera.
• Data zakończenia jest ustalona z góry, a nie zależna od bieżącego wyniku.
• Wiesz, co zrobisz przy wyniku nierozstrzygniętym — bo taki jest najczęstszy.

Ostatni punkt oszczędza najwięcej rozczarowań. Większość testów nie kończy się spektakularnym zwycięstwem, tylko brakiem istotnej różnicy. To również jest wynik: mówi, że zmiana nie ma znaczenia i można przestać się o nią spierać.