Test A/B: cuándo compensa, cuánto cuesta y qué necesitas antes

El test A/B es un método que consiste en servir dos versiones de una página a la vez, repartir el tráfico entre ellas y quedarse con la que produce más del resultado que importa.

La mecánica es sencilla y está explicada por todas partes. Lo que decide si funciona no es la mecánica, sino si tienes tráfico suficiente para que la respuesta signifique algo. Casi todos los artículos sobre el tema los escriben las empresas que venden las herramientas, así que se saltan la pregunta de si deberías probar. Este empieza ahí, porque para buena parte de los sitios la respuesta honesta es: todavía no.

El umbral lo fija la aritmética, no el entusiasmo. Para detectar una mejora realista, digamos una quinta parte más de conversiones, hacen falta unas 100 conversiones por variante antes de que el resultado se separe del azar. Eso son 200 conversiones por prueba, y con una tasa del 2 % significa unas 10 000 sesiones en la página que se prueba.

Por debajo, las pruebas no fallan de forma ruidosa. Producen un ganador que es ruido, lo publicas y el efecto nunca aparece en las cifras del mes. Dos rondas así y el equipo concluye que probar no funciona, cuando lo que no funcionaba era probar con ese volumen.

La calculadora de tamaño de muestra de Evan Miller toma tu tasa de partida y la mejora más pequeña sobre la que actuarías, y te dice cuántos visitantes por variante hacen falta.

Tres cosas, cada una cuestión de horas y no de semanas. Si falta alguna, obtienes resultados con los que no puedes actuar, y eso sale más caro que no probar, porque las conclusiones se citarán durante un año. La cifra dentro de la hipótesis es lo que impide que un resultado plano se reinterprete después como una pequeña victoria.

Medición de conversiones que se dispare una vez desde cada camino, verificada a mano. Una base de al menos ocho semanas para saber cómo es la variación normal. Y una hipótesis escrita con una cifra dentro: no «un formulario más corto irá mejor» sino «pasar el formulario de nueve a cuatro campos subirá los envíos al menos un 15 %».

Nadie tiene tráfico para probarlo todo, así que el orden importa más que la lista. La tabla siguiente muestra por dónde empezamos según el tipo de página, sacado de auditorías y no de la teoría, con el tráfico aproximado necesario para una respuesta limpia en un mes. Los volúmenes valen para una tasa cercana al 2 %: con un 5 %, cuenta casi la mitad. Un apunte sobre el orden: empieza por la página que más sesiones recibe, no por la que más te molesta. Rara vez son la misma, y la segunda consume un mes para un resultado que nadie notará.

El patrón detrás: la primera prueba en cualquier página debería ser una retirada, no una adición. Las retiradas se construyen antes, se leen mejor y ganan más veces, porque la mayoría de las páginas cargan más de lo que necesitan.

Divide las sesiones necesarias entre tus sesiones semanales en esa página y redondea a semanas enteras. A semanas, porque el tráfico no se comporta igual entre semana que en fin de semana, y cortar a mitad inclina el resultado hacia los días que hayan entrado. Fija también la fecha de fin antes de empezar: una prueba sin final definido corre hasta que alguien quiere ver un resultado.

Dos reglas mantienen honesta una prueba en marcha. No mires antes del final previsto, porque pararás en un pico. Y no hagas correr dos pruebas sobre el mismo flujo a la vez si tu herramienta no gestiona la interacción.

El split testing SEO responde a otra pregunta y funciona distinto. En lugar de repartir usuarios, repartes páginas: la mitad de un conjunto de plantillas parecidas recibe el cambio y la otra no, y comparas el tráfico orgánico entre los grupos durante varias semanas. En la práctica eso implica también que los dos tipos de prueba no deben correr a la vez sobre la misma plantilla.

La razón es que un buscador ve una versión de una URL y no dos, así que repartir por usuario no puede medir un efecto de posicionamiento. Eso también desmonta la preocupación habitual. La documentación de Google sobre pruebas en sitios web dice explícitamente que un test A/B bien implementado no acarrea penalización.

Las pruebas SEO piden más paciencia: cuatro a seis semanas como mínimo y al menos veinte páginas comparables.

Los ejemplos que más circulan son los más fotogénicos, y el color del botón es el peor de todos. Sobrevive por un caso de estudio famoso de 2009 y porque es lo más fácil de cambiar. En nuestras auditorías nunca ha sido la palanca principal de una página.

La regla que más tiempo ahorra: no pruebes nada que publicarías igualmente. Si la versión actual está rota, es ilegible o contradice el anuncio que trajo al visitante, arréglala. Una prueba sobre una página rota mide cuál de las versiones rotas es menos mala.

Descarta también cualquier cosa que no pueda mover la cifra una quinta parte con tu volumen. Probar colores con poco tráfico es en realidad probar la paciencia del equipo.

Una prueba tiene tres desenlaces posibles y la mayoría de los equipos solo prevé uno. Un ganador claro es el caso raro. Un perdedor claro resulta útil de verdad, porque demuestra que el supuesto detrás de la página es falso. Y un resultado plano, el más frecuente, significa que el cambio era demasiado pequeño para tu volumen, no que la idea fuese mala.

Escribe la regla de interpretación antes de empezar: qué cifra cuenta como victoria, cuál como plana y qué harás en cada caso. Anota además quién decide: un resultado sin responsable designado se queda parado.

El trabajo de Nielsen Norman Group sobre estudios cuantitativos trata la cuestión de la muestra con más detalle.

Los fallos que vemos se repiten y ninguno es de naturaleza estadística. Son de proceso, y por eso cambiar de herramienta casi nunca los arregla.

• Parar pronto en un buen día, con lo que un lanzamiento de moneda se convierte en decisión
• Probar algo tan pequeño que ni un efecto real se vería con tu volumen
• Cambiar dos cosas a la vez y aprender qué pareja ganó en lugar de qué cambio funcionó
• No escribir nunca el resultado esperado, así que cualquier desenlace se reporta como éxito
• Probar durante un pico estacional y aplicar la conclusión al resto del año

«Las pruebas de las que aprendemos algo son aquellas en las que habíamos escrito qué esperábamos y nos equivocamos.» - responsable de conversión en Vezert

Ninguno de estos fallos se arregla cambiando de herramienta. Se arreglan escribiendo tres líneas antes de lanzar: qué esperas, cuándo paras y quién decide.

La herramienta es la partida más pequeña. Una herramienta de pruebas decente cuesta entre 0 € y 200 € al mes con los volúmenes que tienen la mayoría de los sitios B2B, y el plan gratuito de varias basta para una prueba a la vez. El coste real está en la construcción y el análisis. Cuenta además el coste de oportunidad: el mes que ocupa una prueba es un mes en el que esa página no recibe ninguna otra mejora. Con poco tráfico ese coste suele superar el valor de la respuesta.

Calcula de tres a ocho horas por prueba de implementación en una página normal, más una hora para leer bien el resultado. A tarifas de agencia son de 400 € a 1.200 € por prueba, y un programa de una prueba al mes ronda los 1.000 € a 2.500 € con herramienta e informes incluidos.

Hay una partida que nunca aparece en el presupuesto: el tiempo de decisión. Los programas mueren mucho más a menudo por resultados sin leer que por herramientas malas.

Si tu página principal supera las 10 000 sesiones al mes, empieza por la prueba de retirada de la tabla y escribe antes la cifra esperada. Si no, dedica el mismo presupuesto a tráfico y usa una auditoría CRO para encontrar los problemas que no necesitan una prueba para ser evidentes.

La mayor parte de lo que encuentra una primera auditoría no es comprobable de todos modos. Está roto, y lo roto se arregla en lugar de probarse. Nuestro trabajo de optimización de conversión separa ambas cosas antes de construir nada.