A/B-Test-Signifikanzrechner — Kostenloses Tool
Prüfe, ob der Sieger deines A/B-Tests echt ist. Gib Impressionen und Conversions beider Varianten ein und sieh jede Conversion-Rate, den relativen Uplift, den p-Wert und ein Ergebnis in Klartext.
Variante A (Kontrolle)
Variante B (Herausforderer)
Funktionen
- Conversion-Rate beider Varianten nebeneinander
- Relativer Uplift — wie stark der Herausforderer die Kontrolle schlägt
- Zweiseitiger p-Wert aus einem Zwei-Stichproben-z-Test
- Verweigert ein Urteil unter 100 Impressionen oder 5 Conversions je Variante
- Läuft vollständig im Browser — nichts wird hochgeladen
Häufig gestellte Fragen
Was sagt statistische Signifikanz wirklich aus?
Genau eine enge Sache: wie wahrscheinlich ein Unterschied dieser Größe wäre, wenn beide Varianten gleich gut liefen. Ein p-Wert unter 0,05 heißt, dass ein solcher Unterschied durch Zufall allein ungewöhnlich wäre. Er sagt NICHT, dass der Unterschied wirtschaftlich groß genug ist, dass er nächsten Monat noch gilt, dass Variante B ihn verursacht hat oder dass du den Test beenden kannst — das bleiben deine Entscheidungen.
Warum steht dort manchmal „Zu wenig Daten“ statt eines Ergebnisses?
Weil ein p-Wert aus einer Handvoll Ereignissen Rauschen im Ergebnisgewand ist. Hat eine Variante weniger als 100 Impressionen oder weniger als 5 Conversions, ist der Test zu schwach, um etwas auszusagen — der Rechner sagt das, statt eine Zahl zu drucken, nach der jemand handeln würde.
Welcher Test wird verwendet?
Ein zweiseitiger Zwei-Stichproben-z-Test auf der gepoolten Proportion — der Standard zum Vergleich zweier Conversion-Raten. Der p-Wert stammt aus einer Normalverteilungsnäherung, die bei den Stichprobengrößen, ab denen das Tool ein Urteil zulässt, genau ist.
Ist 95 % das richtige Konfidenzniveau?
Es ist Konvention, kein Gesetz. 95 % bedeutet, rund eine 1-zu-20-Chance zu akzeptieren, einen Sieger auszurufen, der keiner ist. Ist die Änderung billig und umkehrbar, kannst du auf schwächere Evidenz handeln; ist sie teuer, warte auf mehr Daten oder setze die Schwelle strenger.
Werden meine Daten irgendwohin gesendet?
Nein. Alle Berechnungen laufen in deinem Browser. Nichts wird hochgeladen, gespeichert oder protokolliert, und ein Konto ist nicht nötig.
