Signifikanzrechner

Ein Unterschied ist signifikant, wenn er in dieser Größe nur selten zufällig entsteht

Zählst du Anfragen, Bestellungen oder Conversions, schwankt die Zahl zufällig, auch wenn sich nichts geändert hat. Denn jeder Kunde entscheidet für sich, ob und wann er anfragt oder kauft. Ein Unterschied ist signifikant, wenn ein so großer oder größerer Unterschied allein durch Zufall nur selten entsteht. Selten heißt dabei üblicherweise: in höchstens 5 von 100 Fällen.

Wie oft ein mindestens so großer Unterschied allein durch Zufall entstünde, zeigt der Rechner im Ergebnis. In der Statistik heißt diese Zahl p-Wert. Sie sagt nicht, wie wahrscheinlich es ist, dass sich tatsächlich nichts geändert hat („The ASA Statement on p-Values“, Wasserstein und Lazar, 2016).

Der Signifikanzrechner hat zwei Modi:

Zwei Zeiträume: Anzahlen aus gleich langen Zeiträumen vergleicht der Rechner mit der Wurzelregel

Im Modus „Zwei Zeiträume“ trägst du ein, wie oft etwas in zwei gleich langen Zeiträumen vorkam, etwa Anfragen oder Bestellungen, ohne Besucherzahl. In beiden Zeiträumen muss gleich gezählt worden sein. Hat sich dazwischen das Tracking oder der Cookie-Banner geändert, kann der Unterschied allein von der Messung kommen.

Der Rechner nutzt eine Faustregel, die ich Wurzelregel nenne: Ein Unterschied ist signifikant, wenn er größer ist als 1 plus zweimal die Wurzel aus der Summe beider Zahlen. Diese Grenze heißt im Rechner Prüfwert. Die Wurzelregel beruht auf einer Näherung aus der Statistik für zwei Anzahlen in gleich langen Zeiträumen („Comparisons of 2 Intensities“, Hanley, McGill University, 2012). Bei 165 Anfragen im Vergleichszeitraum und 115 im aktuellen ist der Unterschied 50 und der Prüfwert 2 × √280 + 1 ≈ 34,5. Der Unterschied ist signifikant.

• Unter sechs Ereignissen in beiden Zeiträumen zusammen ist kein Unterschied signifikant. Der Rechner meldet dann „Zu wenig Daten“.
• „Nicht signifikant – knapp“ heißt: Nach dem genauen Binomialtest wäre der Unterschied signifikant, nach der Faustregel nicht. Aus diesem genauen Test stammt auch die Prozentzahl im Ergebnis. Werte einen solchen Unterschied höchstens als Hinweis.

In Schwankungen in Marketing-Zahlen: Zufall, Saison oder Trend? beschreibe ich, mit welchem Zeitraum du vergleichst und wie lang er sein sollte, damit Saison und Feiertage das Ergebnis nicht verzerren.

A/B-Test: Conversion-Raten zweier Varianten vergleicht der Rechner mit dem z-Test

Im Modus „A/B-Test“ trägst du für Variante A und Variante B ein, wie viele Besucher sie hatten und wie viele davon konvertiert haben. Die Besucherzahlen dürfen verschieden sein. Der Rechner vergleicht die beiden Conversion-Raten mit dem z-Test für zwei Anteile. Ab einem z-Wert von 1,96 nach oben oder unten ist der Unterschied signifikant, das entspricht der Grenze von 5 von 100 Fällen.

Für den Test braucht jede Variante mindestens fünf Conversions und fünf Besucher ohne Conversion. Darunter ist die Näherung des z-Tests zu ungenau, und der Rechner meldet „Zu wenig Daten“.

Kennst du nur die Zahl der Conversions und hat das Testwerkzeug die Besucher gleichmäßig auf beide Varianten aufgeteilt, nimm den Modus „Zwei Zeiträume“.

Die Skala zeigt, ob deine Zahl im Zufallsbereich liegt

Die Skala über dem Ergebnis hat vier Elemente:

• Die schwarze Marke steht für den Vergleichszeitraum oder Variante A.
• Der Punkt steht für den aktuellen Zeitraum oder Variante B. Liegt er außerhalb des grauen Bereichs und reichen die Daten, ist er ausgefüllt und der Unterschied signifikant.
• Der graue Bereich enthält alle Werte, deren Unterschied zu deiner Vergleichszahl nicht signifikant wäre. An seinen Rändern stehen die Signifikanzgrenzen: Bei 165 Anfragen im Vergleichszeitraum sind es 129 und weniger oder 205 und mehr; 130 wäre nicht signifikant.
• Trägst du unter „Relevant ab“ eine Schwelle ein, zeigen sie die farbigen gestrichelten Linien.

Mit einer Schwelle für relevante Unterschiede ordnet der Rechner das Ergebnis in eine Belegstufe ein

„Signifikant“ heißt nicht, dass ein Unterschied groß genug ist, damit du deshalb etwas änderst. Trag deshalb unter „Relevant ab“ ein, ab welchem Unterschied du handeln würdest, und zwar bevor du die Zahlen einträgst. Die Prozentzahl bezieht sich auf den Vergleichszeitraum, beim A/B-Test auf die Conversion-Rate von A: 20 % heißt dort etwa von 1 % auf 1,2 %. Legst du die Schwelle erst nach dem Ergebnis fest, kannst du sie passend zum gewünschten Ergebnis wählen.

Die Belegstufe sagt, wie gut ein Ergebnis eine Entscheidung stützt. Der Rechner unterscheidet vier:

Ist der Unterschied mindestens so groß wie deine Schwelle, reichen die Daten aber nicht, nennt der Rechner die nötige Menge. Er ermittelt sie je Modus anders:

• Bei zwei Zeiträumen nennt er die Anzahl im Vergleichszeitraum, ab der ein Anstieg und ein Rückgang in Höhe deiner Schwelle signifikant wären.
• Beim A/B-Test nennt er die Besucherzahl je Variante, mit der ein Test einen Unterschied in Höhe deiner Schwelle in 80 von 100 Fällen erkennt, bei der Grenze von 5 % in beide Richtungen. Diese 80 % heißen Power.

Die Power von 80 % beschreibt der Statistiker Jacob Cohen als Konvention für die Planung von Tests („A Power Primer“, 1992). Ist ein A/B-Test signifikant, bevor er die nötige Besucherzahl erreicht hat, stuft der Rechner ihn als Signal ein. Beendest du einen Test beim ersten signifikanten Ergebnis, erklärst du deutlich öfter als in 5 von 100 Fällen eine Variante zum Gewinner, die in Wahrheit nicht besser ist (Johari, Koomen, Pekelis und Walsh, „Peeking at A/B Tests: Why it matters, and what to do about it“, KDD 2017). Üblich ist deshalb, die Besucherzahl vor dem Start festzulegen und erst auszuwerten, wenn beide Varianten sie erreicht haben.

Beim A/B-Test grenzt die zufällige Aufteilung die Ursache ein, bei zwei Zeiträumen prüfst du sie selbst

Woher ein signifikanter Unterschied kommt, hängt davon ab, was du vergleichst:

• Bei zwei Zeiträumen kann ein Unterschied etwa von einer eigenen Maßnahme, der Saison, dem Markt oder der Messung kommen.
• Teilt das Testwerkzeug die Besucher zufällig auf und laufen beide Varianten zur selben Zeit, lässt sich ein signifikanter Unterschied der Variante zuschreiben.

Prüfst du viele Zahlen auf einmal, ist im Schnitt bis zu eine von 20 allein durch Zufall signifikant, auch wenn sich bei keiner etwas geändert hat. Üblich ist deshalb, vorher festzulegen, welche Zahl du prüfst, und eine andere auffällige Zahl höchstens als Signal zu werten.

Häufige Fragen