Eine Abweichung zwischen zwei Tools ist kein Fehler, sondern der Normalzustand. Zum Problem wird sie erst, wenn ein Team eine Woche lang nach dem „Fehler“ sucht, statt zu klären, was die beiden Zahlen tatsächlich messen – und welche davon die Frage beantwortet, die im Meeting gestellt wurde.
Vollständige Übereinstimmung ist unmöglich – und auch nicht das Ziel
Zwei Tools, die „Besuche“ messen, messen nicht dasselbe. Jedes verwendet eine eigene Definition der Einheit, einen eigenen Zeitpunkt für die Ereigniserfassung, eine eigene Uhr und eigene Filterregeln. Selbst wenn beide fehlerfrei arbeiteten, wären die Ergebnisse nicht identisch – denn sie beantworten unterschiedliche Fragen.
- DefinitionWas in diesem konkreten Tool als Sitzung, Nutzer, Besuch und Conversion gilt.
- ZeitpunktIn welcher Sekunde eines Besuchs ein Ereignis gezählt und gespeichert wird.
- StichprobeWelche Personen die Messung nach Einwilligungen, Blockierungen und Bot-Filtern überhaupt erfasst.
- UhrZu welcher Uhrzeit ein Berichtstag beginnt und welche Zeitzone gilt.
Das Ziel besteht nicht darin, beide Zahlen zur Deckung zu bringen. Die Abweichung muss nur so weit erklärt werden, dass sie keine Entscheidung mehr blockiert. Eine Übereinstimmung bis auf eine einzelne Sitzung wäre sogar verdächtig: Sie würde bedeuten, dass beide Tools exakt dasselbe zählen und eines davon somit überflüssig ist.
Ohne eine offengelegte Definition und Abdeckung vergleichst du zwei Zahlen, über die du nichts weißt. Sieh, wie Meetlead bei jedem Bericht die Version der Kennzahlendefinition und die Datenabdeckung ausweist.
Sieben Gründe, warum die Zahlen auseinanderlaufen
Fast jede Abweichung, die wir beobachtet haben, lässt sich auf einen der folgenden sieben Mechanismen oder auf eine Kombination daraus zurückführen. Wichtig ist nicht nur der Grund selbst, sondern auch seine Richtung: Welches System zählt zu viel und welches zu wenig, wenn der jeweilige Mechanismus greift? Ein neueres Beispiel sind Besuche aus KI-Assistenten, die ein Tool einem Referrer oder UTM-Parameter und ein anderes dem direkten Traffic zuordnet; wie du sie prüfst, zeigt der Leitfaden zu Besuchern aus ChatGPT.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Grund | Worin er besteht | In welche Richtung er die Zahl verschiebt |
|---|---|---|
| Andere Definition von Sitzung und Nutzer | Ein Tool beendet eine Sitzung nach einer Aktivitätspause, ein anderes nach einem Wechsel der Zugriffsquelle; ein Nutzer wird mit einer Browserkennung gleichgesetzt | Nach oben, wenn das Sitzungsfenster kürzer ist und ein Besuch in mehrere Sitzungen zerfällt |
| Anderer Messzeitpunkt | Ein Tool zählt den Besuch mit der ersten Seitenanfrage, ein anderes erst nach Ausführung des Skripts, nach einer Einwilligung oder nach der ersten Interaktion | Nach unten, wenn die Messung später beginnt – schnelle Abgänge fallen aus der Erfassung |
| Unterschiedliche Zeitzonen | Der Berichtstag beginnt zu einer anderen Uhrzeit, sodass derselbe „Dienstag“ eine andere Ereignismenge umfasst | In beide Richtungen, am deutlichsten bei kurzen Zeiträumen und abendlichem Traffic |
| Unterschiedlicher Umgang mit Einwilligungen und Blockierungen | Einige Tools speichern ohne Einwilligung gar nichts, andere erfassen technische Ereignisse, wieder andere modellieren fehlende Daten | Nach unten, wenn die Messung auf eine Einwilligung wartet und den Rest nicht modelliert |
| Bot-Filterung | Jeder Anbieter hat eine eigene Bot-Liste und eigene Regeln zum Herausfiltern nicht menschlichen Traffics | Nach oben, wenn der Filter weniger streng ist oder seltener aktualisiert wird |
| Stichprobenverfahren | Bei großen Zeiträumen und engen Segmenten wird ein Bericht mitunter aus einem Teil der Ereignisse berechnet und hochgerechnet | In beide Richtungen, mit wachsendem Fehler bei kleinen Segmenten |
| Verarbeitungsverzögerung | Noch Stunden nach einem Ereignis treffen Daten ein; ein morgens abgerufener Bericht zeigt deshalb einen unvollständigen Vortag | Nach unten bei den jüngsten Tagen, bis die Verarbeitung vollständig abgeschlossen ist |
Hinzu kommt ein achter, besonders banaler Grund: unterschiedliche Datumsbereiche. Ein Bericht umfasst die letzten dreißig Tage ab heute, der andere einen vollständigen Kalendermonat. Bevor du nach einer anderen Ursache suchst, prüfe, ob beide Zeitfenster tatsächlich dieselben Tage enthalten.
Wir nennen bewusst keinen prozentualen Schwellenwert für eine „zulässige“ Abweichung. Ein solcher Wert hängt vom Trafficvolumen, der Geräteverteilung, dem Anteil abgelehnter Einwilligungen und den beiden verglichenen Systemen ab. Eine Zahl aus einem fremden Artikel wäre hier eher irreführend als hilfreich. Die einzig belastbare Vergleichsbasis ist deine eigene dokumentierte Abweichung aus einem Zeitraum, in dem die Messung korrekt funktionierte.
Welche Abweichung normal und welche verdächtig ist
Da es keinen universellen Schwellenwert gibt, braucht es einen anderen Test. Ein sinnvolles Kriterium ist nicht die Größe der Abweichung, sondern ihr Verhalten im Zeitverlauf. Eine stabile Abweichung ist ein Merkmal der Konfiguration. Ändert sie plötzlich ihre Größe oder Richtung, handelt es sich um ein Ereignis, das erklärt werden muss.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Anzeichen | Eher ein Definitionsunterschied | Eher ein Messausfall |
|---|---|---|
| Verhalten im Zeitverlauf | Die Abweichung bleibt über Wochen in derselben Größenordnung | Die Abweichung trat an einem bestimmten Tag auf oder machte dort einen Sprung |
| Verteilung auf Segmente | Sie ist auf allen Seiten und Geräten gleichmäßig sichtbar | Sie konzentriert sich auf eine Unterseite, einen Browser oder eine Quelle |
| Richtung | Immer dasselbe Tool zeigt mehr an | Die Richtung hat sich ohne Konfigurationsänderung umgekehrt |
| Zusammenhang mit einer Änderung | Kein Zusammenhang mit Releases | Der Beginn fällt mit einem Release, einem Vorlagenwechsel oder einer Änderung des Einwilligungsbanners zusammen |
| Ausmaß | Ein vorhersehbarer und berechenbarer Teil des Traffics | Eine vollständige Ereigniskategorie verschwindet oder die Zahl fällt auf null |
Die Null ist hier das wichtigste Signal. Mess-Tools liegen nur selten um eine ganze Größenordnung daneben, hören nach einem Release aber häufig auf, einen bestimmten Ereignistyp zu erfassen. Wenn eine Kennzahl zuvor einen Wert hatte und nun exakt null beträgt, liegt es fast sicher nicht an der Definition.
- Montag
Tool A zeigt mehr Besuche als B; die Abweichung besteht seit einem Monat
- Dienstag, Release
Die Seitenvorlage wird geändert, das Messskript rutscht im Code weiter nach unten
- Mittwoch
Die Abweichung wächst, aber nur auf Mobilgeräten und nur auf einer Unterseite
- Donnerstag
Die Conversions dieser Unterseite fallen in Tool B auf null, in A bleiben sie bestehen
- Freitag
Die Prüfung in den Sitzungsaufzeichnungen bestätigt, dass das Ereignis vor dem Verlassen der Seite nicht gesendet wird
Prüfe außerdem den Kalenderrhythmus. Wenn die Abweichung an denselben Wochentagen oder im selben Monat wie im Vorjahr wächst, solltest du zunächst die Methode zur Unterscheidung von Schwankung und Veränderung anwenden, die wir im Artikel über die Saisonalität von Traffic und Anfragen beschreiben.
Am häufigsten wird eine normale Abweichung beim Release einer neuen Website-Version zu einem Ausfall. Welche Dinge dabei typischerweise nicht mehr funktionieren, haben wir im Artikel über den Website-Relaunch und die Messung zusammengestellt.
So prüfst du, ob ein Ausfall statt eines Definitionsunterschieds vorliegt
Dieses Verfahren dauert einige Dutzend Minuten und beendet die meisten Diskussionen. Die Reihenfolge ist wichtig, weil jeder Schritt eine Gruppe möglicher Erklärungen ausschließt. In umgekehrter Reihenfolge wird im Code gesucht, bevor überhaupt jemand die Datumsbereiche geprüft hat.
- Zeitfenster angleichen.Derselbe Datumsbereich, dieselbe Zeitzone und dieselbe Uhrzeit für den Tagesbeginn. Verwende am besten eine vollständige Woche, die vor mindestens zwei Tagen endete.
- Datenaktualität prüfen.Wenn einer der Berichte noch verarbeitet wird, ist der Vergleich wertlos. Warte oder verschiebe den Bereich weiter in die Vergangenheit.
- Definitionen nebeneinander notieren.Schreib aus der Dokumentation beider Tools heraus, wie die verglichene Einheit jeweils definiert ist. Sehr häufig endet die Diskussion bereits bei diesem Schritt.
- Auf ein Segment eingrenzen.Eine Unterseite, ein Gerät, eine Zugriffsquelle. Eine Abweichung in der Gesamtsumme vermischt mehrere Mechanismen gleichzeitig.
- Verlauf statt Niveau vergleichen.Lege beide Kurven Tag für Tag übereinander. Ein gleicher Verlauf auf unterschiedlichem Niveau spricht für einen Definitionsunterschied. Auseinanderlaufende Kurven weisen auf ein Ereignis hin.
- Den ersten betroffenen Tag finden.Wenn die Kurven auseinanderlaufen, bestimme den genauen Starttag und vergleiche ihn mit der Liste der Releases und Änderungen am Einwilligungsbanner.
- Einzelfälle prüfen.Führe einen Testbesuch durch und prüfe, ob er in beiden Systemen erscheint. Ein einziger fehlender Fall sagt mehr aus als eine Woche Diskussion über Prozentwerte.
Der letzte Schritt entscheidet tatsächlich über die Ursache. Dafür brauchst du ein Tool, das von einer Kennzahl zu konkreten Sitzungen, Gesprächen und Tickets führt. In Meetlead lässt sich jede Kennzahl zu einer Liste der Einzelfälle aufschlüsseln, aus denen sie besteht – für heute, sieben, dreißig und neunzig Tage oder einen eigenen Datumsbereich.
Eine Diskussion über Prozentwerte entscheidet ein einzelner Besuch, den du öffnen und ansehen kannst. Sieh, wie Meetlead eine Kennzahl mit konkreten Sitzungen, Gesprächen und Tickets verknüpft.
Wenn eine Seite unter mehreren URLs erscheint, hilft der Leitfaden: URL-Parameter in Berichten: eine Seite, viele Zeilen.
Eine verlässliche Quelle für jede Entscheidung
Die dauerhafteste Lösung besteht nicht darin, Zahlen anzugleichen, sondern jeder Entscheidung eine Quelle zuzuweisen. Für jede wiederkehrende Frage wählst du ein Tool, dokumentierst diese Wahl und bleibst auch dann dabei, wenn ein anderes Tool die angenehmere Zahl zeigt.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Frage | Maßgebliche Quelle | Warum diese Quelle | Wofür du sie nicht verwenden solltest |
|---|---|---|---|
| Wie viele Besuche gab es, und woher kamen sie? | Traffic-Analytics | Es bietet den umfassendsten Überblick über Zugriffe und Kampagnen | Zur Bewertung des Verlaufs eines einzelnen Besuchs |
| Was hat ein Nutzer auf der Website getan? | Sitzungsaufzeichnungen und Heatmaps | Sie zeigen den Ablauf statt nur Summen | Zur Ermittlung des gesamten Traffics |
| Wie viele Gespräche und Tickets gab es? | Kundenservice-Panel | Es speichert jeden Kontakt zusammen mit seinem Verlauf | Zur Abrechnung von Werbekampagnen |
| Wie viel kostete die Akquise? | Werbesystem plus Kundenservice-Panel | Die Kosten liegen auf der einen, das Ergebnis auf der anderen Seite | Zur Bewertung der Inhaltsqualität auf der Website |
Dieses Prinzip funktioniert nur, wenn die ausgewählte Quelle offenlegt, was sie nicht sieht. Meetlead-Berichte weisen neben den Zahlen die Version der Kennzahlendefinition, die Datenaktualität und die Abdeckung von Seitenaufrufen, Sitzungskennungen, Zugriffsquellen und den Ausführungsdaten von Rückrufwünschen aus; sämtliche Daten werden in der Zeitzone Europe/Warsaw berechnet. Sitzungen ohne erfasste Quelle werden als nicht abgedeckt gekennzeichnet, statt ihnen eine erfundene Herkunft zuzuweisen. Dadurch bezieht sich der Vergleich mit einem zweiten System auf dieselbe klar beschriebene Stichprobe.
- Für jede feste Kennzahl im Bericht ist bekannt, aus welchem Tool sie stammt.
- Datumsbereich und Zeitzone werden ausdrücklich genannt und nicht in jedem Tool separat als selbstverständlich vorausgesetzt.
- Die Version der Kennzahlendefinition, nach der die Kennzahl berechnet wurde, ist bekannt.
- Abdeckung und Anteil nicht abgedeckter Fälle stehen direkt neben der Zahl, nicht in einer Fußnote.
- Die typische Abweichung gegenüber der zweiten Quelle aus einem Zeitraum mit korrekt funktionierender Messung ist dokumentiert.
- Jede Kennzahl lässt sich zu einer Liste einzelner Sitzungen, Gespräche oder Tickets aufschlüsseln.
Beim Aufbau eines festen Kennzahlensets hilft außerdem das Prinzip, die Zahl der Positionen zu begrenzen. Wir erläutern es im Beitrag über den Kundenservicebericht. Je weniger Zahlen ein Dokument enthält, desto weniger Anlass gibt es für Streit darüber, welche davon die richtige ist.
Definition, Abdeckung und Zeitzone direkt neben einer Kennzahl beenden die meisten Diskussionen, bevor sie beginnen. Implementierung vereinbaren – wir zeigen es dir anhand deiner Berichte.
So sprichst du mit deiner Agentur und deinem Team über Abweichungen
Zahlenabweichungen haben eine unangenehme Eigenschaft: Sehr schnell wird daraus die Frage, wer einen Fehler gemacht hat. Die Agentur hört den Vorwurf, Ergebnisse aufgebläht zu haben, das interne Team den Vorwurf einer defekten Messung – und das Gespräch dreht sich nicht mehr um Daten. Schon ein anderer Einstiegssatz verhindert dies.
- Statt „Deine Daten sind falsch“„Für dasselbe Zeitfenster liegen mir zwei verschiedene Zahlen vor – klären wir, was jede davon zählt.“
- Statt „Welche Zahl ist richtig?“„Welche Zahl verwenden wir für welche Entscheidung, und welche Quelle dokumentieren wir als maßgeblich?“
- Statt „Korrigiere das“„Prüfen wir, ob die Abweichung konstant ist oder an einem bestimmten Tag auftrat.“
- Statt „Ich glaube dem Bericht nicht“„Zeig die Definition der Kennzahl und die Abdeckung der Daten, auf denen sie berechnet wurde.“
Eine gemeinsame Sprache ist hier wichtiger als das Ergebnis einer einzelnen Prüfung. Wenn beide Seiten akzeptieren, dass ein Bericht ohne ausgewiesene Definition und Abdeckung unvollständig ist, dauert die Klärung der nächsten Abweichung eine Viertelstunde statt einer Woche. Zudem sollte im Voraus feststehen, dass eine Abweichung an sich kein Vorwurf an irgendjemanden ist.
Ein eigenes Thema sind die Grenzen quantitativer Analytics. Einwilligungen, Datenschwellen und irreführende Kennzahlennamen untersuchen wir im Artikel darüber, was Google Analytics nicht zeigt. Die Auswahl geeigneter Messereignisse beschreiben wir im Beitrag über Mikro-Conversions auf der Website, das Zusammenführen einzelner Besuche zu einer Geschichte im Leitfaden zur Customer Journey auf der Website. Behandle Search Console und Werbesysteme genauso: als Quellen mit einer eigenen Definition, nicht als Kontrolle dafür, ob Analytics korrekt arbeitet.
