8 errores que arruinan tus test A/B (y cómo evitarlos)

Después de revisar cientos de experimentos, los fallos se repiten. Estos ocho son los que más caro salen.

1. Cambiar varias cosas a la vez

Si la variante B tiene otro titular, otra foto y otro botón, un resultado positivo no te dice qué copiar. Cambia una variable por test; lo demás déjalo igual.

Excepción: cuando el cambio es un rediseño completo y solo te interesa saber si el conjunto funciona mejor.

2. Parar en cuanto va ganando

Mirar el panel cada hora y cerrar cuando la variante supera el 90 % es la forma más fiable de publicar un falso positivo. Fija el tamaño de muestra (o el criterio bayesiano) antes de lanzar y respétalo.

3. Durar menos de una semana

El comportamiento cambia según el día: lunes por la mañana no es sábado por la noche. Un test de 48 horas mide el día en que lo lanzaste, no a tus visitantes. Mínimo 7 días completos, idealmente dos ciclos.

4. Medir una conversión que casi nadie hace

Si tu conversión es “compra” y tienes 300 visitas semanales, el test tardará meses. Usa un objetivo intermedio (add_to_cart, begin_checkout, registro) y mantén la compra como métrica secundaria.

5. Ignorar el móvil

En la mayoría de tiendas el 70 % del tráfico es móvil. Un cambio que se ve perfecto en escritorio puede romper el layout en un iPhone SE. Revisa la variante en móvil antes de lanzar y segmenta los resultados por dispositivo.

6. Romper la atribución

• Instalar el script dos veces (snippet + GTM): las exposiciones se duplican.
• Cambiar el nombre del evento de conversión a mitad del test: la mitad de las conversiones desaparecen.
• Redirigir a otra URL sin conservar los parámetros de campaña: pierdes el origen del tráfico.

7. Probar sobre una página que cambia sola

Si estás editando el tema mientras el test corre, o si la página tiene contenido rotativo (recomendados aleatorios, banners por fecha), la comparación deja de ser limpia. Congela los cambios durante el experimento.

8. No documentar nada

Sin un registro, el equipo repite tests que ya perdió y discute decisiones antiguas de memoria. Guarda, como mínimo:

Campo	Ejemplo
Hipótesis	”Un titular con el beneficio sube el add_to_cart”
Variante	Titular nuevo, mismo layout
Métrica	add_to_cart
Duración	14 días
Resultado	+0,4 pp, 94 % de probabilidad
Decisión	Aplicado / descartado y por qué

Checklist antes de lanzar

• Una sola variable cambiada
• Conversión definida y verificada con un evento real
• Tamaño de muestra calculado (o criterio bayesiano acordado)
• Duración mínima de 7 días
• Variante revisada en móvil y escritorio
• Script instalado una sola vez
• Sin cambios de tema previstos durante el test
• Hipótesis escrita antes de empezar

Si cumples la lista, tu test ya es mejor que la media. Puedes empezar con el plan gratuito de fluxAB, que incluye editor visual, mapas de calor y 5.000 visitantes al mes.