Calculadora de significancia de test A/B — Herramienta gratuita
Comprueba si el ganador de tu test A/B es real. Introduce impresiones y conversiones de ambas variantes para ver cada tasa de conversión, la mejora relativa, el valor p y un veredicto en lenguaje claro.
Variante A (control)
Variante B (retadora)
Características
- Tasa de conversión de cada variante, una al lado de la otra
- Mejora relativa: cuánto supera la retadora al control
- Valor p bilateral con una prueba z de dos proporciones
- Se niega a declarar ganador por debajo de 100 impresiones o 5 conversiones por variante
- Funciona por completo en tu navegador: no se sube nada
Preguntas frecuentes
¿Qué me dice realmente la significancia estadística?
Te dice una sola cosa concreta: qué probabilidad tendría una diferencia así si las dos variantes rindieran igual. Un valor p por debajo de 0,05 significa que esa diferencia sería rara solo por azar. NO te dice que la diferencia sea lo bastante grande para importar en el negocio, que se mantenga el mes que viene, que la variante B sea la causa ni que puedas parar el test: esas siguen siendo decisiones tuyas.
¿Por qué a veces dice «datos insuficientes» en lugar de dar un veredicto?
Porque un valor p calculado con un puñado de eventos es ruido disfrazado de resultado. Si alguna variante tiene menos de 100 impresiones o menos de 5 conversiones, la prueba tiene demasiada poca potencia como para informar de nada, así que la calculadora lo dice en vez de imprimir un número sobre el que la gente actuaría.
¿Qué prueba utiliza?
Una prueba z de dos proporciones bilateral sobre la proporción combinada, el contraste estándar para comparar dos tasas de conversión. El valor p sale de una aproximación normal, precisa en los tamaños de muestra con los que la herramienta permite un veredicto.
¿El 95 % de confianza es el umbral correcto?
Es la convención, no una ley. El 95 % implica aceptar aproximadamente 1 posibilidad entre 20 de declarar un ganador que no lo es. Si el cambio es barato y reversible, quizá actúes con menos evidencia; si es caro, espera más datos o usa un umbral más estricto.
¿Se envían mis datos a algún sitio?
No. Todos los cálculos ocurren en tu navegador. No se sube, guarda ni registra nada, y no hace falta cuenta.
