Schwankungen in Marketing-Zahlen: Zufall, Saison oder Trend? In 4 Schritten prüfen
Wann ist eine Veränderung deiner Monatszahlen mehr als Zufall und Saison, und wann ein Grund, eine Maßnahme zu ändern?
Das Wichtigste in Kürze
- Ist der Unterschied zum Vorjahr mehr als Zufall, ist ein Trend belegt. Ohne weitere Hinweise liefert nur ein Trend Grund zum Handeln.
- Bei kleinen Zahlen wie 20 Anfragen im Monat entstehen große Unterschiede oft allein durch Zufall.
- Vergleiche deine Zahlen mit dem Vorjahreszeitraum, also derselben Saison. Fasse bei wenigen Anfragen mehrere Monate zusammen.
Jede Veränderung deiner Monatszahlen ist Zufall, Saison, ein Trend oder eine Mischung daraus
Jeden Monat wertest du die Berichte aus Google Analytics oder Matomo und die Leads im CRM aus und berichtest an die Geschäftsführung. Im August kommen deutlich weniger Anfragen als im Juli, und die Geschäftsführung fragt, warum. Im Frühjahr hast du Maßnahmen umgestellt, weil deine Zahlen dafür sprachen. Jetzt kannst du nicht sicher sagen, ob der Rückgang im August nur die übliche Sommerpause ist oder ob sich seitdem etwas verändert hat.
Jede Veränderung gegenüber dem Vormonat ist eine zufällige Schwankung, eine saisonale Schwankung, ein Trend oder eine Mischung daraus. Die beiden Arten von Schwankungen gleichen sich von selbst wieder aus, ein Trend dagegen hält an. Sinken deine Anfragen jedes Jahr im Sommer und steigen im Herbst, ist das eine saisonale Schwankung. Wirkt eine Maßnahme, würde sich das als Trend zeigen.
| Art der Veränderung | Woher sie kommt | Woran du sie erkennst |
|---|---|---|
| Zufällige Schwankung | aus vielen Einzelentscheidungen deiner Kunden, auch wenn sich nichts geändert hat | Der Unterschied ist nicht größer, als er bei dieser Menge allein durch Zufall entstehen kann. Ein Trend ist damit nicht ausgeschlossen. |
| Saisonale Schwankung | aus Schulferien, Feiertagen, Budgets und dem Bedarf nach Jahreszeit | Im Vorjahr gab es zwischen denselben Monaten eine ähnliche Veränderung. |
| Trend | aus deinem Marketing, dem Markt, der Suchmaschine oder anderen Einflüssen | Gegenüber dem Vorjahr ist der Unterschied mehr als Zufall und nicht mit einer Änderung an der Messung zu erklären. |
Kannst du die drei Arten unterscheiden, kannst du der Geschäftsführung sagen, wie gut belegt ist, dass der Rückgang im August ein Trend ist, und ob ihr daher eure Maßnahmen ändern solltet.
Wer auf Schwankungen reagiert, ändert Maßnahmen ohne Grund und erfährt nicht, welche wirken
Änderst du eine Maßnahme nur wegen einer normalen Schwankung, änderst du sie ohne Grund und erfährst nicht, ob und wie die Maßnahme wirkt. Das liegt an drei Effekten: Der Eingriff kann die Schwankung vergrößern, eine Änderung sieht erfolgreicher oder erfolgloser aus, als sie ist, und die Wirkungen einzelner Änderungen lassen sich nicht voneinander trennen.
Bei W. Edwards Deming heißt ein Eingriff in einen Prozess, der nur zufällig schwankt, Tampering. Er vergrößert die Schwankung (W. Edwards Deming, The New Economics, 2. Auflage 1994, Kap. 9, wiedergegeben von Yonatan Reshef, University of Alberta, in „Deming’s funnel experiment“).
Wie das geschieht, zeigt Demings Trichterexperiment: Kugeln fallen durch einen Trichter auf ein Ziel. Wer den Trichter nach jeder Kugel um ihre Abweichung in die Gegenrichtung verschiebt, vergrößert die Streuung um das Ziel („The Funnel Experiment“, Deming Institute; Reshef, University of Alberta).
Übertragen aufs Marketing: Nach einem schwachen Monat erhöhst du das Budget, nach einem starken senkst du es. Schwanken deine Zahlen nur zufällig und wirken diese Änderungen, vergrößerst du damit die Schwankung deiner Zahlen.
Auf einen ungewöhnlich schwachen Monat folgt meist ein Monat näher am Durchschnitt, auch ohne dein Zutun. Das heißt Regression zur Mitte („Regression to the mean: what it is and how to deal with it“, Barnett, van der Pols und Dobson, 2005). Eine Änderung nach einem schwachen Monat sieht deshalb erfolgreich aus, eine nach einem starken Monat erfolglos.
Änderst du mehrere Dinge kurz nacheinander, kannst du die Wirkung einer einzelnen Änderung weder von den anderen noch von der Schwankung trennen. In der Versuchsplanung heißt das Vermengung, englisch Confounding.
Reagierst du auf Schwankungen, beruhen eure Entscheidungen tatsächlich auf Zufall und der Saison, auch wenn sie auf Zahlen zu beruhen scheinen. Um eine Schwankung von einem Trend zu unterscheiden, musst du zunächst wissen, wie stark Zufall und Saison deine Zahlen verändern können.
Bei kleinen Zahlen entstehen große Unterschiede oft allein durch Zufall
Je kleiner eine Zahl ist, desto größer sind im Verhältnis die Unterschiede, die allein durch Zufall entstehen. Zufall heißt hier beispielsweise: Du kannst weder vorhersehen noch beeinflussen, ob ein Kunde in diesem oder im nächsten Monat anfragt. Bekommt ihr im Schnitt 20 Anfragen im Monat, macht eine einzelne Anfrage mehr oder weniger schon 5 % aus.
Bei zwei Monaten mit zusammen 40 Anfragen entsteht allein durch Zufall in rund 43 % der Fälle ein Unterschied wie 17 zu 23 oder ein größerer, also fast jedes zweite Mal, obwohl sich nichts geändert hat. Bei 17 zu 23 hat der stärkere Monat gut ein Drittel mehr Anfragen. Bei zusammen 36 Anfragen entsteht noch in 6,5 % der Fälle eine rein zufällige Verdopplung wie 12 zu 24 oder ein größerer Unterschied in die eine oder andere Richtung.
Ein Unterschied gilt als mehr als Zufall, wenn er signifikant ist: Ein mindestens so großer Unterschied käme allein durch Zufall selten vor. Üblich ist die Grenze von höchstens 5 von 100 Fällen. Gemessen daran ist auch die Verdopplung von 12 auf 24 noch nicht signifikant. Bei rund 20 Anfragen im Monat zeigt ein Vergleich zweier Monate deshalb kaum, ob sich etwas verändert hat.
Der Jahresverlauf deiner Zahlen hängt vor allem von Schulferien und Feiertagen ab und zeigt sich erst über mehrere Jahre
Saisonale Schwankungen kehren jedes Jahr zur selben Zeit wieder, am deutlichsten rund um Schulferien und Feiertage. Erst deine eigenen Zahlen über mehrere Jahre zeigen, wann und wie stark diese Schwankungen in deinem Geschäft ausfallen. Der Jahresverlauf deiner Zahlen entsteht aus drei Einflüssen:
- Schulferien und Feiertage, je nach Region deiner Kunden
- Budgets und Planungszyklen
- Bedarf nach Jahreszeit
Schulferien und Feiertage. Über Weihnachten und Neujahr sinken Besuche und Klicks oft stark, und die Anfragen gehen oft gegen null.
Auf den Websites von B2B-Anbietern, die ich betreut habe, lagen die organischen Klicks aus der Google-Suche zwischen Weihnachten und Neujahr fast durchweg 60 bis 80 % unter denen einer typischen Woche im November oder Februar. Gemessen habe ich das in der Google Search Console.
In den Sommerferien sinken die Zahlen meist stark, oft auch im Frühjahr, wenn sich Feiertage wie Ostern häufen.
Lage und Länge der Schulferien hängen davon ab, wo deine Kunden sitzen. In Deutschland liegen die Sommerferien gestaffelt zwischen dem 20. Juni und dem 15. September (Ländervereinbarung der Kultusministerkonferenz (KMK), 2020, Art. 25 Abs. 2) und verschieben sich von Jahr zu Jahr. Bis 2030 beginnen sie in Bayern und Baden-Württemberg immer zuletzt („KMK beschließt Sommerferienzeitraum 2025 bis 2030“, KMK, 2021); hast du dort viele Kunden, kommt dein Rückgang im Sommer entsprechend später.
Budgets und Planungszyklen. Viele erleben, dass im ersten Quartal und von September bis November die meisten Anfragen kommen. Dann starten Unternehmen oft neue Projekte: zu Jahresbeginn mit dem neuen Budget, im Herbst, wenn nach dem Sommerurlaub die Entscheider wieder da sind. Wie stark das ausfällt, ist je Branche und Kunde verschieden.
Bedarf nach Jahreszeit. Bei manchen Angeboten hängt der Bedarf von der Jahreszeit oder vom Wetter ab.
Bei vielen Unternehmen gehen die Zahlen zu ähnlichen Zeiten zurück oder steigen; wann genau und wie stark, kannst du nur an deinen eigenen Zahlen ablesen. Das erste Jahr zeigt den Verlauf, das zweite, ob er sich wiederholt. Etwa im dritten Jahr zeigt sich, ob sich der Verlauf festigt. Für eine statistische Zerlegung in Saison und Trend verlangt die Statistiksoftware Minitab mindestens 2 volle Jahre und empfiehlt 4 bis 5 („Enter your data for Decomposition“, Minitab-Hilfe).
Bei Phocus Direct, wo ich arbeite, kamen 2025 wie 2026 im Juni und Juli die meisten Anfragen, nicht wie bei vielen im ersten Quartal. Im August kamen in beiden Jahren weniger Anfragen als im Monatsdurchschnitt des Jahres. Für diese drei Monate hat sich der Verlauf im zweiten Jahr wiederholt; ob er sich festigt, zeigt 2027.
(Bild vergrößern)Ein anderer Einfluss kann die Zahlen eines Jahres steigen oder sinken lassen, etwa eine große Messe, ein Lieferengpass oder ein neues Produkt. Dann weichen sie vom üblichen Jahresverlauf ab. Lass die betroffenen Monate weg, wenn du deinen Jahresverlauf bestimmst.
Kennst du den Jahresverlauf deiner Zahlen, kannst du größere Veränderungen gegenüber dem Vormonat leichter erklären und erkennen, ob eine Abweichung von verschobenen Schulferien kommt. Ohne ihn hältst du einen saisonalen Rückgang oder Anstieg leicht für einen Trend. Ob sich über die Saison hinaus etwas verändert hat, zeigt erst ein Vergleich, der sie berücksichtigt.
Ist die Veränderung deiner Zahlen nur eine Schwankung oder ein Trend?
In vier Schritten findest du heraus, ob eine Veränderung eine Schwankung oder ein Trend ist. Ereignis heißt dabei alles, was du zählst, etwa Anfragen, Aufträge, Website-Besuche oder Klicks auf einen Artikel.
Schwankung oder Trend in 4 Schritten
Für jede Zahl, nach der du entscheidest:
- Mit demselben Zeitraum des Vorjahres vergleichen.
- Den Zeitraum – Monat, Quartal, Halbjahr oder Jahr – so lang wählen, dass genug Anfragen, Besuche oder andere gezählte Ereignisse für eine Aussage zusammenkommen.
- Prüfen, ob der Unterschied mehr als Zufall ist.
- Einordnen, ob die Veränderung eine Schwankung oder ein Trend ist.
Verglichen wird immer die Anzahl der Ereignisse in zwei gleich langen Zeiträumen. Was du je nach Ergebnis tust, steht im Abschnitt nach Schritt 4.
Je nachdem, wo du stehst, steigst du an einer anderen Stelle ein:
- Du vergleichst Monat gegen Vormonat: Beginne mit Schritt 1.
- Du siehst einen Rückgang im Sommer oder zum Jahreswechsel und fragst, ob das normal ist: Die Antwort steht im Abschnitt zum Jahresverlauf.
- Du vergleichst schon gegen das Vorjahr und fragst, ob ein Unterschied mehr als Zufall ist: Beginne mit Schritt 2.
- Du hast noch kein Vorjahr zum Vergleich: Lies den Abschnitt zum Jahresverlauf und danach Schritt 1.
Ich zeige die Schritte an zwei fiktiven Fällen: Im Fall A kamen im Juli 21 Anfragen und im August 12, im Fall B 17 und 9.
Schritt 1: Vergleiche deine Zahlen mit demselben Zeitraum des Vorjahres
Vergleiche eine Zahl mit demselben Zeitraum des Vorjahres. Dort liegen dieselben Schulferien, Feiertage und Planungszyklen wie in diesem Jahr, soweit sie sich nicht verschoben haben. Der Unterschied zwischen beiden Zahlen enthält die saisonale Schwankung deshalb kaum noch. Gegen den Vormonat vergleichst du zwei Monate, in denen Schulferien und Feiertage verschieden liegen.
In den Fällen A und B kamen im Vorjahr jeweils 22 Anfragen im Juli und 15 im August. Ab jetzt vergleichst du mit denselben Monaten des Vorjahres: im Fall A den August mit 12 gegen 15 Anfragen, im Fall B mit 9 gegen 15.
Ein Vergleich mit dem Vorjahr zeigt die Veränderung über 12 Monate. Dreht sich die Entwicklung, liegt die Zahl oft noch Monate über oder unter dem Vorjahreswert: Sind deine Anfragen ein Jahr lang gestiegen und gehen ab Mai zurück, liegen sie im Sommer oft noch über dem Vorjahr. In der amtlichen Statistik zeigt sich eine Wende so erst etwa ein halbes Jahr später (Methodenbericht Saisonbereinigung, Bundesagentur für Arbeit, 2014, S. 7). Schritt 2 zeigt, wie du bei Anfragen damit umgehst.
War das Vorjahr ungewöhnlich, kann eine Veränderung allein durch dieses Vorjahr entstehen, etwa durch eine große Messe oder einen Lieferengpass im Vorjahr. Das heißt Basiseffekt; KfW Research beschreibt ihn für die Inflationsrate („Preisschwankungen in der Corona-Pandemie – der Einfluss von Basiseffekten“, 2021). Prüfe deshalb, ob der Vorjahreszeitraum selbst ungewöhnlich war. War er es, prüfe, ob du etwa die Anfragen von einer Messe herausrechnen kannst.
Hast du noch kein volles Vorjahr zum Vergleich, behandle deine Aussagen als vorläufig. Prüfe dann bei jeder Veränderung, ob sie mit Schulferien oder Feiertagen zusammenfällt, etwa ein Rückgang im August mit den Sommerferien. Dann kann sie saisonal sein.
Schritt 2: Wähle den Zeitraum so lang, dass ein erheblicher Unterschied signifikant sein kann
Wähle den Zeitraum – Monat, Quartal, Halbjahr oder Jahr – so lang, dass ein erheblicher Unterschied signifikant sein kann. Erheblich nenne ich einen Unterschied, ab dem du an einer Maßnahme etwas ändern würdest. Je mehr Ereignisse du je Monat zählst, desto kürzer darf der Zeitraum sein: Website-Besuche kannst du eher Monat für Monat vergleichen als Anfragen.
Zeitraum wählen
So findest du den kürzesten Zeitraum, in dem ein erheblicher Unterschied signifikant sein kann:
- Vor dem Vergleich festlegen, ab welcher Veränderung du an einer Maßnahme etwas ändern würdest, etwa plus oder minus 30 %. Das ist deine Schwelle für einen erheblichen Unterschied.
- Die Zahl im Vorjahreszeitraum nehmen, zuerst im Monat, und ausrechnen, wie hoch sie mit dieser Veränderung nach oben und nach unten wäre.
- In der Tabelle unter diesem Kasten ablesen oder mit dem Taschenrechner nach Schritt 3 des Vorgehens prüfen, ob ein solcher Unterschied signifikant wäre. Liegt deine Zahl zwischen zwei Zeilen der Tabelle, nimm die nächstkleinere.
- Ist der Unterschied nicht signifikant, die Punkte 2 und 3 mit dem nächstlängeren Zeitraum wiederholen: Quartal, Halbjahr, Jahr.
Diese Tabelle zeigt, ab welcher Anzahl ein Unterschied zum Vorjahreszeitraum signifikant ist, je nach Anzahl im Vorjahreszeitraum:
| Im Vorjahreszeitraum | Signifikant mehr ab | Signifikant weniger bei |
|---|---|---|
| 20 | 36 (+80 %) | 8 und weniger (−60 %) |
| 60 | 86 (+43 %) | 39 und weniger (−35 %) |
| 120 | 155 (+29 %) | 90 und weniger (−25 %) |
| 240 | 287 (+20 %) | 197 und weniger (−18 %) |
Je kleiner die Zahl im Vorjahreszeitraum, desto größer muss die Veränderung in Prozent sein, damit sie signifikant ist. Für die Signifikanz reicht bei einem Rückgang ein etwas kleinerer Unterschied als bei einem Anstieg; den Grund zeigt Schritt 3 des Vorgehens.
Für sehr kleine Zahlen, etwa Aufträge, gilt eine Untergrenze: Zählst du in beiden Zeiträumen zusammen weniger als sechs Ereignisse, ist kein Unterschied zwischen ihnen signifikant. Bei genau sechs ist nur sechs zu null signifikant, und das knapp: Allein durch Zufall käme es in die eine oder andere Richtung in 3,1 % der Fälle vor. Bei fünf Ereignissen käme fünf zu null in 6,3 % vor. Unter sechs Ereignissen nimmst du einen längeren Zeitraum.
Ein fiktives Beispiel mit rund 20 Anfragen im Monat und einer Schwelle von 30 %: Im Monat wären es 20 gegen 26 oder 14 Anfragen, im Quartal 60 gegen 78 oder 42 – beides nicht signifikant. Im Halbjahr wären es 120 gegen 156 oder 84, und das ist signifikant. Du müsstest also mindestens Halbjahre vergleichen.
Du kannst auch bewusst einen längeren Zeitraum nehmen oder mehrere Zeiträume nebeneinander vergleichen. Ist der Zeitraum länger als ein Monat, vergleichst du im Monatsbericht die Summe seit Jahresbeginn mit demselben Zeitraum des Vorjahres. Im März zählst du darin erst drei Monate zusammen, ein Halbjahr erst ab Ende Juni. Bis dahin belegt ein Unterschied darin noch keinen Trend; Schritt 4 zeigt, wie du ihn einordnest.
Ein langer Zeitraum zeigt eine Veränderung nur nach und nach: Beginnt ein Rückgang im Mai, betrifft er im Halbjahr Januar bis Juni nur zwei von sechs Monaten, und in der Summe ist nur rund ein Drittel davon zu sehen. Bei Anfragen nimmst du diese Verzögerung für eine belastbare Aussage in Kauf. Bei vielen Ereignissen je Woche, etwa bei Website-Besuchen, gibt die Regel der 8 Wochen aus Schritt 4 des Vorgehens früher als der Halbjahresvergleich einen Hinweis auf einen Rückgang.
Vergleichst du Monate oder Quartale, prüfe, ob Ostern und die Schulferien in der Region deiner Kunden in beiden verglichenen Zeiträumen liegen. Wenn nicht, fasse die betroffenen Monate zusammen: Lag Ostern im einen Jahr im März und im anderen im April, vergleiche März und April gemeinsam.
Zähle bei einem Monatsvergleich außerdem die Arbeitstage beider Monate nach; ihre Zahl ist je Monat und Jahr verschieden. Fallen deine gemessenen Ereignisse meist auf Arbeitstage, ändert ein Arbeitstag mehr oder weniger die Monatssumme bei rund 20 Arbeitstagen um etwa 5 %. Ein Unterschied dieser Größe kann allein von den Arbeitstagen kommen. Bei einer Schwelle von 30 % fällt das kaum ins Gewicht. Liegt deine Schwelle in der Nähe von 5 %, vergleiche einen längeren Zeitraum.
Die Bundesbank bereinigt Monatszahlen um Arbeitstage und die Lage der Feiertage, wo sich ein solcher Einfluss nachweisen lässt (Erläuterungen zu den saisonbereinigten Wirtschaftszahlen, Deutsche Bundesbank). Je länger der Zeitraum, desto kleiner ist der Anteil eines verschobenen Feiertags an der Summe.
Schritt 3: Prüfe mit der Wurzelregel, ob der Unterschied in deinen Zahlen mehr als Zufall ist
Ob ein Unterschied mehr als Zufall ist, prüfst du mit einer Faustregel, die ich hier Wurzelregel nenne. Ist der Unterschied zwischen beiden Zahlen größer als 1 plus zweimal die Wurzel aus ihrer Summe, dem Prüfwert, ist er signifikant. Die Wurzelregel beruht auf einer Näherung aus der Statistik für zwei Anzahlen in gleich langen Zeiträumen („Comparisons of 2 Intensities“, Hanley, McGill University, 2012). Die 1 ist eine übliche Korrektur für kleine Zahlen: Ohne sie gilt dort mancher Unterschied als signifikant, der genau gerechnet noch Zufall sein kann.
Die Wurzelregel
So prüfst du mit dem Taschenrechner, ob ein Unterschied mehr als Zufall ist, am Beispiel von 20 Anfragen im Vorjahresmonat und 40 in diesem:
- Die beiden Zahlen nehmen: 20 und 40.
- Den Unterschied ausrechnen: 40 − 20 = 20.
- Den Prüfwert ausrechnen: Summe 20 + 40 = 60, Wurzel daraus ≈ 7,75, mal 2 ≈ 15,5, plus 1 ≈ 16,5.
- Vergleichen: Liegt der Unterschied über dem Prüfwert, ist er signifikant. Der Unterschied von 20 liegt über 16,5 und ist signifikant. Bei 20 gegen 30 wäre er es nicht: 10 liegt unter 2 × √50 + 1 ≈ 15,1.
Ausrechnen lässt sich die Wurzelregel auch mit meinem Signifikanzrechner.
Auch ein Plus von 50 % gegenüber dem Vormonat, etwa von 10 auf 15 Anfragen, ist nach der Wurzelregel nicht signifikant: 5 liegt unter 2 × √25 + 1 = 11. Ein mindestens so großer Unterschied würde allein durch Zufall in rund 42 % der Fälle entstehen. Gegenüber dem Vormonat steckt darin zusätzlich die Saison.
Weil der Prüfwert mit der Summe beider Zahlen wächst, reicht bei einem Rückgang ein etwas kleinerer Unterschied. Bei 20 im Vorjahr ist ein Rückgang um 12 auf 8 signifikant: Der Prüfwert ist rund 11,6. Ein gleich großer Anstieg auf 32 ist es nicht: Der Prüfwert ist rund 15,4.
Für deinen eigenen Vergleich rechnest du die Wurzelregel mindestens im Zeitraum aus Schritt 2. In den Fällen A und B mit rund 20 Anfragen im Monat und einer Schwelle von 30 % ist der Zeitraum wie im Beispiel aus Schritt 2 mindestens ein Halbjahr. Im August vergleichst du deshalb die Summe seit Jahresbeginn, also die Anfragen von Januar bis August gegen dieselben Monate des Vorjahres: 8 Monate, also länger als ein Halbjahr.
- Fall A: Von Januar bis August kamen 140 Anfragen, im Vorjahr 165. Der Unterschied ist 25, der Prüfwert 2 × √305 + 1 ≈ 36. Der Unterschied ist nicht signifikant.
- Fall B: Für den August allein: 9 gegen 15, Unterschied 6, Prüfwert ≈ 11, nicht signifikant. Von Januar bis August kamen 115 Anfragen gegen 165 im Vorjahr: Unterschied 50, Prüfwert 2 × √280 + 1 ≈ 34. Dieser Unterschied ist signifikant.
Die Wurzelregel kann auch die KI für dich rechnen, am besten mit einem Rechenwerkzeug und für alle Zahlen deines Berichts auf einmal; den Bericht erstellt sie gleich mit. Kennt sie den Kontext deines Geschäfts und hat sie Zugriff auf weitere Datenquellen, ordnet sie auch einen Unterschied ein, der allein noch keinen Trend belegt. Sie prüft dann etwa, ob andere Zahlen in dieselbe Richtung zeigen. Wie du diesen Kontext dauerhaft für die KI ablegst, beschreibe ich in KI-Wissensbasis fürs Marketing aufbauen.
Schritt 4: Ordne ein – belegt ist ein Trend, wenn der Unterschied signifikant und erheblich ist und nicht von der Messung kommt
Je nachdem, was bei Schritt 3 herauskommt, ordnest du das Ergebnis in eine von vier Belegstufen ein:
| Belegstufe | Bedingung | Was sie für deine Frage heißt |
|---|---|---|
| Befund | signifikant und erheblich mindestens im Zeitraum aus Schritt 2; nicht durch eine Änderung an der Messung erklärt | ein Trend |
| Signal | erheblich, aber nicht signifikant oder signifikant nur in einem kürzeren Zeitraum als in Schritt 2 gewählt; oder zeitgleich mit einer Änderung an der Messung | vielleicht ein Trend, noch nicht belegt |
| Ohne Befund | nicht erheblich | eine Schwankung oder eine zu kleine Veränderung, um etwas zu ändern |
| Zu wenig Daten | unter 6 Ereignissen in beiden Zeiträumen zusammen | offen |
Belegt ist ein Trend, wenn der Unterschied zum Vorjahreszeitraum signifikant und erheblich ist und sich nicht mit einer Änderung an der Messung erklären lässt. Dann ist der Unterschied ein Befund, die stärkste Stufe.
Die Stufe Signal empfehle ich, weil du bei kleinen Zahlen selten einen signifikanten Unterschied bekommst, auch wenn sich wirklich etwas verändert hat. Nur auf Befunde zu warten hieße, deutliche Hinweise zu ignorieren. Ein Signal ist noch kein Beleg, aber ein Grund, genauer hinzusehen. Auch die American Statistical Association rät, Schlüsse nicht allein an einer festen Grenze wie 5 von 100 Fällen festzumachen („The ASA Statement on p-Values“, Wasserstein und Lazar, 2016).
Ein erheblicher Unterschied ist höchstens ein Signal, wenn du einen kürzeren Zeitraum ansiehst als in Schritt 2 gewählt, etwa den einzelnen Monat oder im Frühjahr die Summe seit Jahresbeginn. Auch ein signifikanter Unterschied ist dann nur ein Signal.
Nach einer Änderung am Cookie-Banner oder am Tracking kann eine Veränderung allein von der Messung kommen. Führe deshalb eine Änderungshistorie, in der du jede Änderung an Messung und Maßnahmen mit Datum festhältst.
Zeigt das Vorjahr zwischen denselben Monaten eine ähnliche Veränderung, lässt sich der größte Teil der Veränderung zum Vormonat mit der Saison erklären. Ist der Unterschied zum Vorjahreszeitraum zudem nicht signifikant, lässt sich der Rest mit Zufall erklären. Für die Fälle A und B nimmst du die Schwelle von 30 % aus Schritt 2:
- Fall A: Seit Januar liegen die Anfragen 15 % unter dem Vorjahr. Das ist nicht erheblich, also ohne Befund. Den Rückgang von Juli auf August hatte auch das Vorjahr, von 22 auf 15 Anfragen: Er ist vor allem saisonal.
- Fall B: Im August liegen die Anfragen 40 % unter dem Vorjahresmonat. Das ist erheblich, im einzelnen Monat aber nicht signifikant: ein Signal. Seit Januar liegen sie 30 % unter dem Vorjahr. Das ist signifikant und knapp erheblich, also ein Befund, sofern sich an der Messung nichts geändert hat.
Hättest du deine Schwelle vorher bei 35 % festgelegt, wäre derselbe Rückgang im Fall B ohne Befund. Legst du sie erst nach dem Vergleich fest, bestimmst du mit ihr das Ergebnis.
Bei vielen Ereignissen, etwa bei Website-Besuchen, ist schon ein kleinerer Unterschied signifikant. Dort entscheidest du danach, ob er erheblich ist und anhält.
Ob eine Veränderung anhält, erkennst du dort anhand der Regel der 8 Wochen: Liegt eine Zahl 8 Wochen lang durchgehend über oder durchgehend unter der jeweiligen Vorjahreswoche, ist das ein starker Hinweis auf einen Trend. Hier zählst du keine Summe, sondern die Wochen in Folge, die alle über oder alle unter der Vorjahreswoche liegen.
Hat sich nichts geändert, liegt jede Woche mit gleicher Chance über oder unter der Vorjahreswoche, wie bei einem Münzwurf. Achtmal hintereinander dasselbe Ergebnis kommt bei einem einzelnen Blick zufällig in weniger als 1 % der Fälle vor (2 × ½⁸ ≈ 0,8 %). Schaust du ein ganzes Jahr lang jede Woche hin, siehst du eine solche Folge zufällig etwa in jedem fünften bis sechsten Jahr; deshalb ist sie ein Hinweis und kein Beleg.
Die Regel stammt aus der Qualitätskontrolle in der Fertigung. Dort bezieht sie sich auf den Mittelwert eines stabilen Prozesses, hier auf die Vorjahreswoche (Western-Electric-Regeln aus dem Statistical Quality Control Handbook von Western Electric, 1956, in „controlrules“ von MathWorks als we4 und we8).
Verschieben sich die Schulferien, können allein deshalb mehrere Wochen in Folge alle über oder alle unter der Vorjahreswoche liegen. Außerdem eignet sich die Regel nur bei vielen Ereignissen je Woche, etwa bei Website-Besuchen. Für Anfragen nimmst du den längeren Vergleich aus Schritt 2: Bei rund fünf Anfragen je Woche hat oft eine Woche genauso viele Anfragen wie ihre Vorjahreswoche.
Weitere Hinweise auf einen Trend sind eine äußere Ursache kurz vor Beginn der Veränderung, etwa ein Update der Suchmaschine, und eine zweite unabhängige Datenquelle mit einer Veränderung in dieselbe Richtung. Für einen Trend spricht etwa, wenn gegenüber dem Vorjahr die Anfragen zurückgehen und zugleich in der Google Search Console die Impressionen für Suchanfragen mit deinem Firmennamen sinken. Ein Signal bleibt auch mit der Regel der 8 Wochen und diesen Hinweisen ein Signal. Zusammen mit ihnen kann es aber eine Entscheidung begründen.
Ein Befund zeigt, dass sich ein Unterschied mit Zufall und Saison schlecht erklären lässt. Welche Maßnahme ihn verursacht hat, zeigt erst ein Test mit Kontrollgruppe, in dem nur ein Teil der Zielgruppe die Maßnahme bekommt. Nach meiner Erfahrung ist ein solcher Test im Marketing selten möglich, am ehesten bei bezahlten Anzeigen mit größeren Impressions- und Klickzahlen.
Ein Befund allein zeigt auch nicht, warum sich eine Zahl verändert: Steigen die Klicks auf einen Artikel, kann das Interesse am Thema gestiegen sein oder das Ranking in der Suchmaschine. Das prüfst du getrennt.
Allein auf Grundlage der Zahl änderst du eine Maßnahme nur bei einem Befund, und im Bericht nennst du, wie gut eine Veränderung belegt ist
Allein auf Grundlage der Zahl änderst du eine Maßnahme nur bei einem Befund. Im Monatsbericht an die Geschäftsführung nennst du zu jeder Veränderung, wie gut sie belegt ist. Je Belegstufe tust du Folgendes:
- Befund: Prüfe, woher der Trend kommt – eigene Maßnahme, Markt, Suchmaschine oder andere Einflüsse –, und richte deine Maßnahmen danach aus.
- Signal: Beobachte die Zahl und prüfe im nächsten Zeitraum, ob sich das Signal bestätigt.
- Ohne Befund: Ändere nichts.
- Zu wenig Daten: Entscheide nicht nach dieser Zahl.
Auch nach Signalen kannst du entscheiden. Mehrere Signale in dieselbe Richtung oder ein Signal zusammen mit deiner Erfahrung oder mit Rückmeldungen von Kunden und aus dem Vertrieb können eine Entscheidung begründen. Schreib eine solche Entscheidung im Bericht als deine, nicht als Ergebnis der Zahl. Auch nichts zu ändern ist übrigens eine Entscheidung.
In deinem Monatsbericht stehen meist viele Zahlen nebeneinander, etwa die Anfragen je Kanal, die Besuche einzelner Seiten und die Klicks auf einzelne Artikel. Prüfst du jede davon gegen das Vorjahr, ist oft eine signifikant, obwohl sich nichts geändert hat. Das folgt aus der Grenze von 5 von 100 Fällen: Hat sich bei 20 Zahlen nichts geändert, ist im Schnitt etwa eine davon allein durch Zufall signifikant.
Lege deshalb vorher fest, welche Zahlen du vergleichst. Nimm am besten die Zahlen, nach denen du entscheidest. Werte eine auffällige Zahl, die du nicht vorher festgelegt hast, höchstens als Signal. Lässt du die KI rechnen, kann sie dabei eine Korrektur für viele Vergleiche anwenden, etwa nach Benjamini und Hochberg („Controlling the False Discovery Rate“, 1995).
Solange seit Jahresbeginn weniger Zeit vergangen ist, als der Zeitraum aus Schritt 2 dauert, ist ein Unterschied höchstens ein Signal, bei einem Halbjahr also bis einschließlich Mai. Für die Angaben im Bericht:
- Gib ein Signal als Richtung an, etwa „mehr Anfragen als im Vorjahr“.
- Schreib zu jedem Prozentwert gegen das Vorjahr, ob der Unterschied signifikant ist.
- Unter 6 Ereignissen in beiden Zeiträumen zusammen nenne nur die Rohzahlen ohne Prozent.
- Ohne Vorjahr kennzeichne deine Aussagen als vorläufig.
Im Fall A sagst du der Geschäftsführung: „Die Anfragen sind von Juli auf August zurückgegangen wie im Vorjahr. Seit Januar liegen sie 15 % unter dem Vorjahr; der Unterschied ist nicht signifikant und lässt sich mit Zufall erklären.“ Im Fall B: „Im August kamen weniger Anfragen als im Vorjahresmonat. Seit Januar liegen sie 30 % unter dem Vorjahr; der Unterschied ist signifikant und lässt sich mit Zufall und Saison kaum erklären. Ich prüfe jetzt, woher der Rückgang kommt.“
Fazit: Vergleiche deine Zahlen immer mit dem Vorjahr, in so langen Zeiträumen wie nötig
Meine Empfehlung: Vergleiche deine Zahlen immer mit demselben Zeitraum des Vorjahres, in so langen Zeiträumen, dass genug Ereignisse für eine Aussage zusammenkommen.
Lerne außerdem den Jahresverlauf deiner Zahlen über die Jahre kennen. Damit kannst du größere Veränderungen gegenüber dem Vormonat leichter erklären.
Gehst du so vor, reagierst du nicht mehr auf Schwankungen, die sich von selbst ausgleichen. Du und die Geschäftsführung könnt beurteilen, ob eine Veränderung ein Grund zum Handeln ist. Zeigt sich ein Trend, setzt ihr Zeit und Budget gezielt ein: Bei einem Rückgang steuert ihr gegen, bei einem Anstieg baut ihr eher aus, was ihr zuletzt getan habt.
Häufige Fragen
Woran erkennt man, ob ein Rückgang in Marketing-Zahlen saisonal ist oder ein Trend?
Der Vergleich mit demselben Zeitraum des Vorjahres zeigt, ob ein Rückgang saisonal ist oder ein Trend: Dort liegen weitgehend dieselben Schulferien und Feiertage. Belegt ist ein Trend, wenn der Unterschied zum Vorjahr mehr als Zufall, für dich Grund genug zum Handeln und nicht durch eine Änderung an der Messung erklärt ist. Bei kleinen Zahlen wie rund 20 Anfragen im Monat brauchst du dafür oft ein Halbjahr oder länger, damit genug Anfragen zusammenkommen.
Ab welcher Menge ist ein Unterschied in Marketing-Zahlen signifikant?
Signifikant kann ein Unterschied in Marketing-Zahlen erst sein, wenn zwei gleich lange Zeiträume zusammen mindestens sechs Anfragen oder andere gezählte Ereignisse enthalten. Je kleiner die Zahlen, desto größer muss der Unterschied in Prozent sein. Bei 20 Anfragen im Vorjahreszeitraum ist ein Anstieg erst ab 36 (+80 %) signifikant und ein Rückgang erst bei 8 und weniger (−60 %), bei 240 schon ab 287 (+20 %) oder bei 197 und weniger (−18 %). Die Faustregel dafür: Der Unterschied muss größer sein als 1 plus zweimal die Wurzel aus der Summe beider Zahlen.
Ist es normal, dass Zahlen im B2B-Marketing im Sommer und über Weihnachten sinken?
Ja, im B2B-Marketing gehen Anfragen, Website-Besuche und Klicks in den Sommerferien und über Weihnachten und Neujahr oft stark zurück; über die Feiertage gehen die Anfragen oft gegen null. Erst deine eigenen Zahlen über mehrere Jahre zeigen, wie stark der Rückgang in deinem Geschäft ausfällt. In Deutschland verschieben sich die Sommerferien je Bundesland und Jahr. Der Vergleich mit demselben Zeitraum des Vorjahres zeigt, ob sich über die Saison hinaus etwas verändert hat.
Warum sollte man Marketing-Zahlen mit dem Vorjahr statt mit dem Vormonat vergleichen?
Im selben Zeitraum des Vorjahres liegen weitgehend dieselben Schulferien, Feiertage und Planungszyklen, deshalb enthält der Unterschied zum Vorjahr kaum noch saisonale Schwankungen. Gegen den Vormonat vergleichst du dagegen zwei Monate, in denen Schulferien und Feiertage verschieden liegen, etwa den Juli mit dem Urlaubsmonat August. Prüfe, ob sich Schulferien oder Ostern verschoben haben und ob das Vorjahr selbst ungewöhnlich war, etwa durch eine große Messe.
Wie prüft man ohne Statistikprogramm, ob ein Unterschied in Marketing-Zahlen mehr als Zufall ist?
Mit einer Faustregel und dem Taschenrechner: Ein Unterschied zwischen zwei Anzahlen aus gleich langen Zeiträumen ist signifikant, wenn er größer ist als 1 plus zweimal die Wurzel aus der Summe beider Anzahlen. Ein Beispiel: 20 Anfragen im Vorjahresmonat und 40 in diesem ergeben einen Unterschied von 20. Er ist größer als 1 plus zweimal die Wurzel aus der Summe 60, rund 16,5, und damit signifikant.
Hat dir der Artikel gefallen, hast du Fragen oder eigene Erfahrungen dazu? Dann lass mir einen Kommentar da.
Zum KommentarformularKommentare
Noch keine Kommentare. Schreib den ersten.