Tamaño muestral en un test A/B: cuánta visita necesitas de verdad

El error más caro en A/B testing no es elegir mal la variante: es parar el test cuando el número parece bonito. Para no caer en eso hay que decidir el tamaño de la muestra antes de empezar.

Los cinco datos que necesitas

1. Conversión base: la tasa actual de la página. Sácala de las últimas 2–4 semanas estables, sin promociones.
2. Mejora mínima detectable (MDE): el cambio más pequeño que te haría cambiar de opinión. Si mueves un botón, quizá te sirve un 10 %. Si cambias el modelo de precios, un 2 % puede ser mucho dinero.
3. Nivel de confianza: 95 % es el estándar (α = 0,05).
4. Potencia: 80 % habitual (β = 0,20). Es la probabilidad de detectar una mejora real si existe.
5. Número de variantes: dos en un A/B, más en un A/B/n.

La fórmula (dos proporciones)

Para dos variantes con el mismo reparto:

n = (z_α/2 + z_β)² · (p₁(1 − p₁) + p₂(1 − p₂)) / (p₂ − p₁)²

Donde p₁ es la conversión base, p₂ la que quieres detectar y los z salen del nivel de confianza y la potencia.

Con 95 % de confianza y 80 % de potencia, (z_α/2 + z_β)² ≈ 7,85. Si usas la versión simplificada que ignora la varianza de p₂:

n ≈ 15,7 · p₁(1 − p₁) / (p₂ − p₁)²

Da un número algo menor que la fórmula completa; sirve para hacerte una idea, pero para decidir usa la completa (o la calculadora).

Ejemplo resuelto

Tienda con 3 % de conversión que quiere detectar una subida hasta el 3,5 % (0,5 puntos absolutos):

n = 7,85 · (0,03·0,97 + 0,035·0,965) / 0,005²
n = 7,85 · (0,0291 + 0,0338) / 0,000025
n ≈ 19.700 visitantes por variante

Es decir, unas 39.400 visitas para el test completo. Con 1.500 visitas diarias son 26 días. Si eso es demasiado, tienes dos salidas honestas: probar un cambio más grande (una mejora mayor) o aceptar menos sensibilidad.

Tabla de referencia

Visitantes por variante para 95 % de confianza y 80 % de potencia (fórmula completa):

Conversión base	MDE 10 % rel.	MDE 20 % rel.	MDE 50 % rel.
1 %	163.000	42.700	7.750
2 %	80.700	21.100	3.820
3 %	53.200	13.900	2.510
5 %	31.300	8.150	1.480
10 %	14.700	3.840	683
20 %	6.510	1.680	290

Regla mental: cada vez que reduces la mejora a la mitad, el tamaño necesario se multiplica por cuatro. Detectar un 2 % cuando querías detectar un 4 % no cuesta el doble: cuesta cuatro veces más.

Qué hacer cuando no llegas

• Sube el MDE: prueba cambios más audaces. Un titular nuevo necesita menos muestra que un cambio de color de botón.
• Mide un paso anterior: si tu conversión final es la compra, usa add_to_cart como objetivo principal. Hay más eventos y la señal llega antes.
• Usa todo el tráfico: no limites el test a una sola página si el cambio aplica a varias.
• No bajes la confianza al 90 % para “llegar antes”: cambias el criterio a mitad del problema, no lo resuelves.

Cuándo el test ya está decidido

Con muestras muy pequeñas la estadística no ayuda. Si tienes 200 visitas por variante y una convierte 3 veces más, la probabilidad de que sea mejor puede llegar al 90 %, pero el intervalo de confianza será tan ancho que no podrás defender la decisión. En ese caso es mejor aplicar el cambio por criterio de producto y seguir midiendo después.

Cómo lo calcula fluxAB

El panel muestra la probabilidad bayesiana de que cada variante sea la mejor y los visitantes acumulados, así que puedes comparar el avance con el tamaño que calculaste aquí. Si quieres la calculadora rápida, usa la calculadora de tamaño muestral o la calculadora bayesiana.