Shopify A/B-Tests: Wie viel Traffic?

20.000 Besuche im Monat klingen nach viel. Wenn nur ein Viertel davon auf der betroffenen Produktseite landet, bleiben für den Test deutlich weniger Menschen. Für die Planung zählen die teilnahmeberechtigten, eindeutig zugeteilten Besucher.

Ein Beispiel mit offen gelegten Annahmen

Nimm an, bisher bestellen 2,0 % der Besucher dieser Seite. Eine Steigerung auf 2,4 % wäre groß genug, um die Änderung umzusetzen. Das sind 0,4 Prozentpunkte oder 20 % relativ. Wir planen zwei gleich große Gruppen, einen zweiseitigen Vergleich zweier Anteile, 5 % Signifikanzniveau und 80 % Teststärke.

Mit der üblichen Normalapproximation braucht der Test rund 21.100 Personen je Gruppe, zusammen also rund 42.200. Bei 1.000 geeigneten neuen Besuchern pro Tag wären das etwa sechs Wochen. Bei 100 pro Tag über ein Jahr. Das ist eine Beispielrechnung, keine Vorhersage für deinen Shop.

Was die Rechnung kippen kann

Wiederkehrende Besucher dürfen nicht jedes Mal als neue Person zählen. Starke Rabattaktionen oder ein Tracking-Wechsel mitten im Test machen die Auswertung schwieriger. Und wer eine viel kleinere Veränderung erkennen möchte, braucht mehr Daten. Kontrolliere außerdem, ob die Traffic-Verteilung ungefähr der geplanten Zuteilung entspricht.

Welche Entscheidung treffen wir?

Schreib vorab auf, was bei positivem, negativem und unklarem Ergebnis passiert. Wenn der Test zu lange dauern würde, beobachten wir stattdessen einige Kunden bei derselben Aufgabe. Einen kaputten Link reparieren wir direkt.

Wie unterschiedlich ein Warenkorbsignal und der tatsächliche Umsatz ausfallen können, zeigt der SWISSpur-Test. Für die Planung deines eigenen Tests findest du hier meine Arbeitsweise.