Ein A/B-Test ist ein statistisches Werkzeug, und Statistik braucht Zahlen. Bei einigen hundert Besuchen im Monat und wenigen Conversions liegt der Unterschied zwischen den Varianten vollständig innerhalb normaler Schwankungen. Du kannst einen solchen Test starten, zwei Wochen warten und einen Sieger ausrufen — nur wurde dieser Sieger dann ausgelost und nicht ermittelt.
Wovon abhängt, ob ein Test sinnvoll ist
Die erforderliche Besucherzahl hängt von drei Dingen ab: deiner aktuellen Conversion-Rate, der Größe der Veränderung, die du erkennen willst, und der gewünschten Sicherheit des Ergebnisses. Je seltener die Conversion und je kleiner die erwartete Verbesserung, desto mehr Traffic brauchst du — und dieser Bedarf wächst deutlich schneller, als die Intuition vermuten lässt.
- Ausgangs-Conversion-RateBei 1 % brauchst du um ein Vielfaches mehr Besuche als bei 10 %, um denselben relativen Unterschied zu erkennen.
- Erkennbare VeränderungEine Verbesserung um 20 % nachzuweisen, ist deutlich günstiger als eine Verbesserung um 3 %.
- Anzahl der VariantenJede zusätzliche Variante teilt den Traffic weiter auf und verlängert den Test — oft über ein sinnvolles Maß hinaus.
- WochenzyklusEin Test, der kürzer als zwei volle Wochen läuft, vermischt die Wirkung der Änderung mit dem Wochentagseffekt.
Statt zu raten, nutze einen Rechner für die Stichprobengröße. Davon gibt es online viele und sie sind kostenlos. Gib deine tatsächliche Conversion-Rate und die reale Besucherzahl der getesteten Seite ein. Wenn das Ergebnis besagt, dass der Test acht Monate dauern müsste, hast du deine Antwort: Für diese Seite ist er momentan nicht das richtige Werkzeug.
Wenn die getestete Seite nicht mindestens einige hundert Conversions pro Monat erzielt, wird ein A/B-Test nur selten rechtzeitig etwas belegen. Dann erfährst du durch Verhalten und Gespräche schneller, was wirklich passiert — sieh dir an, wie das in Meetlead funktioniert.
Fehler, durch die selbst ein guter Test lügt
Selbst bei genügend Traffic entsteht leicht ein Ergebnis, das überzeugend aussieht, aber nicht belastbar ist. Die folgenden Fehler wiederholen sich in fast allen Teams, die mit dem Testen beginnen.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Fehler | So sieht er aus | Folge |
|---|---|---|
| Nachsehen und vorzeitig stoppen | Tägliche Kontrolle und Abbruch, sobald eine Variante führt | Ein Sieger wird aufgrund einer kurzfristigen Schwankung ausgerufen |
| Zu kurze Laufzeit | Ein Test über vier Werktage | Der Wochentagseffekt wird mit der Wirkung der Änderung verwechselt |
| Mehrere Dinge gleichzeitig testen | Neue Überschrift, neue Farbe und neues Layout | Es bleibt unklar, was gewirkt hat |
| Falsche Kennzahl | Klicks statt Bestellungen messen | Die Variante gewinnt und verkauft weniger |
| Segmente ignorieren | Ein gemeinsames Ergebnis für Mobilgeräte und Desktop | Eine Verbesserung auf einem Gerät verdeckt eine Verschlechterung auf dem anderen |
Die letzte Zeile ist in Polen besonders tückisch, wo der Anteil mobiler Zugriffe oft sehr hoch ist. Wie du eine solche Analyse aufteilst, erklären wir im Artikel über die Conversion auf Mobilgeräten.
Was du bei zu wenig Traffic tun kannst
Das ist der wichtigste Teil dieses Artikels und zugleich der, den die meisten Ratgeber auslassen. Wenn du nicht testen kannst, musst du nicht raten. Die Belege sind dann qualitativ statt statistisch — und bei kleinen Zahlen sind sie schlicht wirksamer.
- Sieh dir an, wie Menschen die Website nutzen.Zehn Sitzungsaufzeichnungen von einer Unterseite zeigen dir Probleme, die kein Test schneller aufdecken würde.
- Prüfe das Muster auf Heatmaps.Klicks auf nicht klickbare Elemente und die Scrolltiefe sind Tatsachen, keine Hypothesen, die du erst testen musst.
- Lies die Fragen deiner Kundschaft.Eine wiederkehrende Frage weist auf eine fehlende Information hin. Ob sie ergänzt werden sollte, musst du nicht erst testen.
- Behebe offensichtlich defekte Dinge.Ein Validierungsfehler oder eine Schaltfläche außerhalb des Bildschirms braucht keinen statistischen Beleg.
- Teste große Änderungen, keine Nuancen.Bei wenig Traffic lassen sich nur deutliche Unterschiede erkennen. Der Farbton einer Schaltfläche wird nie dazugehören.
- Miss die Wirkung vorher und nachher.Das ist weniger verlässlich als ein paralleler Test, reicht bei einer großen Änderung und einem langen Zeitraum aber meist aus.
Bevor du eine Testinfrastruktur aufbaust, entferne die Hürden, die in einer Aufzeichnung mit bloßem Auge erkennbar sind. Buche eine Einführung — wir helfen dir, die erste Verhaltensanalyse auf deiner Website einzurichten.
Ein Hinweis zur Vorher-Nachher-Messung: Sie ist anfällig für Saisonalität, Kampagnenänderungen und Schwankungen in der Traffic-Qualität. Betrachte sie nicht als Beweis, sondern als Hinweis. Wenn das Ergebnis nach der Änderung steigt und zugleich weniger Fragen zum selben Thema eingehen, hast du zwei unabhängige Signale in dieselbe Richtung — und das genügt meist für eine Entscheidung.
Was du testen solltest, wenn du genug Traffic hast
Ein Test kostet Zeit und Traffic. Deshalb sollte er Dinge betreffen, bei denen du wirklich nicht weißt, wie sie wirken. Zu testen, was ohnehin repariert werden muss, verschwendet beide Ressourcen.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Änderung | Testen? | Warum |
|---|---|---|
| Eine andere Preisdarstellung | Ja | Die Reaktion ist schwer vorherzusagen und die Wirkung kann groß sein |
| Das Formular um drei Felder kürzen | Messen lohnt sich, aber warte mit der Entscheidung nicht darauf | Die Richtung ist klar, offen ist nur das Ausmaß der Wirkung |
| Einen Validierungsfehler beheben | Nein | Das ist ein Defekt, keine Hypothese |
| Eine neue Angebotsstruktur | Ja | Große Änderung, deutliche Wirkung, messbares Ziel |
| Der Farbton einer Schaltfläche | Meist nicht | Die Wirkung ist meist kleiner als die Nachweisgrenze |
Testhypothesen sammelst du am besten aus demselben Material, das du für die Diagnose verwendest: Beobachtungen, Heatmaps, Aufzeichnungen und Fragen. Einen strukturierten Prozess zum Sammeln und Priorisieren beschreiben wir im Conversion-Audit einer Website. Wie du die zu messenden Ereignisse auswählst, erfährst du im Artikel über Mikro-Conversions. Wie viele Besuche eine Heatmap selbst braucht, bevor sie eine Hypothese stützt, erklärt unser Leitfaden zur Heatmap-Stichprobe.
Kurze Checkliste vor dem Teststart
- Du kennst die aktuelle Conversion-Rate der getesteten Seite, nicht die der gesamten Website.
- Die berechnete Stichprobengröße lässt sich innerhalb einer sinnvollen Testdauer erreichen.
- Der Test läuft mindestens zwei volle Wochen und schließt Wochenenden ein.
- Eine primäre Kennzahl mit Bezug zu einem echten Geschäftsergebnis steht fest.
- Du änderst jeweils nur eine Sache oder testest bewusst eine vollständige Seitenvariante.
- Das Ergebnis wird für Smartphone und Computer getrennt betrachtet.
- Das Enddatum steht im Voraus fest und hängt nicht vom laufenden Ergebnis ab.
- Du weißt, was du bei einem uneindeutigen Ergebnis tun wirst — denn das ist der häufigste Ausgang.
Der letzte Punkt erspart dir die meisten Enttäuschungen. Die meisten Tests enden nicht mit einem spektakulären Sieg, sondern ohne signifikanten Unterschied. Auch das ist ein Ergebnis: Es zeigt, dass die Änderung keine Rolle spielt und du mit deinem Team nicht weiter darüber streiten musst.
Eine Aufzeichnung, eine Heatmap und eine Kundenfrage liefern dir innerhalb einer Woche Antworten — unabhängig von der Größe des Traffics. Sieh dir die Verhaltensanalyse in Meetlead an und finde heraus, wie viele Hypothesen ohne Test entfallen.
