A/B Testing ohne Statistik-Angst: Setup, Laufzeit, Auswertung.
A/B Testing: Statistische Signifikanz verstehen – ohne Mathestudium
A/B Testing ist keine Raketenwissenschaft. Aber es gibt ein paar Grundregeln, die viele ignorieren.
Der häufigste A/B-Test-Fehler
Der Test wird nach 3 Tagen abgebrochen, weil Variante B "eindeutig gewinnt". Klingt vernünftig. Ist aber falsch. Zu früh abgebrochen bedeutet: Zufälliges Rauschen wird als Signal interpretiert. Das nennt sich Peeking Problem – und es führt zu falschen Entscheidungen.
Wie lange muss ein Test laufen?
Mindestens eine volle Geschäftswoche (um Wocheneffekte auszugleichen). Idealerweise bis zur statistischen Signifikanz bei einem vorab definierten Confidence Level (95% ist Standard). Und: mit einer vorab kalkulierten Mindeststichprobengröße.
Es gibt kostenlose Sample Size Calculators, die das einfach ausrechnen.
Was getestet werden sollte
Headlines und CTAs bringen oft die größten Effekte – und sind einfach zu testen. Dann: Formularlänge, Seitenlayout, Preisdarstellung, Bilder. Nicht: Kleine Designänderungen wie Button-Farbe ohne klare Hypothese.
Jeder Test braucht eine Hypothese: "Wenn wir X ändern, erwarten wir Y, weil Z."
Tool-Empfehlungen
Google Optimize ist Geschichte. Aktuelle Optionen: VWO, Optimizely (enterprise-nah), AB Tasty, oder – für selbst gehostete Variante – GrowthBook.
Für viele kleinere Projekte: Feature Flags + eigenes Event-Tracking sind günstiger und transparenter als teure Testing-Suites.
Was nach dem Test kommt
Die Gewinnervariante deployen – und dokumentieren, warum sie gewonnen hat. Diese Learnings sind wertvoller als die Conversion-Verbesserung selbst.
Checkliste A/B Testing
Hypothesis schriftlich formuliert
Mindeststichprobengröße vorab berechnet
Test-Dauer fixiert (nicht vorzeitig abbrechen)
Nur eine Variable pro Test geändert
Segmentierung geprüft (kein Traffic-Split nach Gerät oder Uhrzeit verzerrt)
Ergebnisse und Learnings dokumentiert
A/B Testing Strategie fehlt noch?
markom.digital hilft beim Aufbau eines strukturierten Testing-Prozesses – von der ersten Hypothese bis zur ausgewerteten Testserie.
