Calcolatore di significatività test A/B — Strumento Gratuito
Verifica se il vincitore del tuo test A/B è reale. Inserisci impression e conversioni delle due varianti per vedere ogni tasso di conversione, l'incremento relativo, il valore p e un verdetto in parole semplici.
Variante A (controllo)
Variante B (sfidante)
Caratteristiche
- Tasso di conversione di ciascuna variante, affiancati
- Incremento relativo: di quanto la sfidante batte il controllo
- Valore p bilaterale da un test z su due proporzioni
- Rifiuta di dichiarare un vincitore sotto 100 impression o 5 conversioni per variante
- Funziona interamente nel browser: non viene caricato nulla
Domande frequenti
Che cosa dice davvero la significatività statistica?
Una cosa sola e ben delimitata: quanto sarebbe probabile una differenza di questa ampiezza se le due varianti rendessero allo stesso modo. Un valore p sotto 0,05 significa che quella differenza sarebbe insolita per solo caso. NON dice che la differenza sia commercialmente rilevante, che reggerà il mese prossimo, che la variante B ne sia la causa o che tu possa fermare il test: quelle restano valutazioni tue.
Perché a volte compare «dati insufficienti» invece di un verdetto?
Perché un valore p calcolato su una manciata di eventi è rumore travestito da risultato. Se una variante ha meno di 100 impression o meno di 5 conversioni, il test ha una potenza troppo bassa per dire qualcosa, quindi il calcolatore lo dichiara invece di stampare un numero su cui qualcuno agirebbe.
Quale test viene usato?
Un test z bilaterale su due proporzioni con proporzione combinata, il confronto standard tra due tassi di conversione. Il valore p deriva da un'approssimazione normale, accurata alle numerosità campionarie per cui lo strumento concede un verdetto.
Il 95% di confidenza è la soglia giusta?
È la convenzione, non una legge. Il 95% significa accettare circa 1 possibilità su 20 di proclamare un vincitore che non lo è. Se la modifica è economica e reversibile puoi agire con prove più deboli; se è costosa, aspetta più dati o alza la soglia.
I miei dati vengono inviati da qualche parte?
No. Tutti i calcoli avvengono nel tuo browser. Nulla viene caricato, salvato o registrato, e non serve un account.
