Pruebas avanzadas: lo que le pueden enseñar 4000 pruebas A / B

El colaborador Jason Puckett resume una presentación de SMX Advanced 2017 sobre las lecciones aprendidas de 11 años de optimización de conversión. En él, el orador Ayat Shukairy explica qué es fundamental para el éxito de cualquier programa de pruebas A / B.

SMX Advanced siempre ha presentado a los mejores talentos de la industria discutiendo lo que les apasiona: el marketing de búsqueda. La conferencia de la semana pasada en Seattle no fue diferente.

Ayat Shukairy, cofundador y vicepresidente de soluciones para clientes en Invesp, compartió nueve lecciones de 11 años de experiencia en pruebas A / B. El objetivo de la presentación fue presentar los muchos matices que forman parte de un plan de pruebas A / B exitoso. Después de 4000 implementaciones exitosas de optimización de la tasa de conversión (CRO), Shukairy ha desarrollado una gran base de conocimientos.

Ayat Shukairy

A continuación, he enumerado las nueve conclusiones clave de Shukairy, junto con algunas ideas y comentarios adicionales:

1. A menudo nos centramos en lo incorrecto

Shukairy nos aconsejó que dejemos de enfocarnos en el corto plazo. Necesitamos tener en cuenta nuestros planes de prueba a largo plazo al ejecutar nuestras estrategias.

Además, Shukairy le recordó a la audiencia que sea escéptica con respecto a los ascensores gigantes en el desempeño; Si observa un gran aumento en las tasas de conversión (CVR), verifique que (a) haya ejecutado la prueba el tiempo suficiente para producir resultados significativos y (b) esta prueba no sea un valor atípico.

2. Cree una narrativa de sitio web convincente

Hay tres tipos de pruebas A / B: prueba a nivel de elemento, prueba a nivel de página (diseño) y prueba de flujo de visitantes. Shukairy señala que las pruebas a nivel de página pueden producir entre un 7 y un 9 por ciento de mejora en el CVR, mientras que las pruebas de flujo de visitantes son algo que le brindará mejoras mayores (las implementaciones exitosas pueden mostrar una mejora del 16 al 18 por ciento).

Sin embargo, incluso los mejores probadores alcanzarán un umbral sin una narrativa convincente. Defina su narrativa y «sorprenda» a sus visitantes.

3. No asuma que vive en el vacío

La experiencia de su sitio web es solo un punto de contacto único para los clientes, por lo que es importante considerar su sitio web dentro del contexto de toda su marca. Considere su marca desde la perspectiva de sus clientes potenciales. Pregúntese: «¿Cómo ve mi marca mi audiencia?» Comprenda cada punto de contacto y su impacto en el consumidor, ya que cada punto de contacto puede afectar las tasas de conversión.

4. No asuma que sabe todo sobre los clientes

Escuche a los clientes a través de la investigación cualitativa. Se deben realizar encuestas y encuestas para descubrir motivaciones antes de lanzar pruebas A / B en su experiencia web. Una investigación de mercado bien pensada es esencial para desarrollar una buena hipótesis.

5. Obtenga la participación de todos

Asegúrese de obtener la aceptación de todas las partes interesadas del cliente con respecto a las filosofías de CRO. Necesita que todos en diferentes departamentos tengan derechos para tener éxito. Cuanta más información, discusión y participación reciba de los diferentes departamentos, más exitosos serán sus esfuerzos de CRO.

6. Acepta el fracaso

Shukairy señaló que solo el 13 por ciento de las pruebas A / B informan mejoras significativas, lo que significa que el 87 por ciento no. Deje que este hecho cambie su forma de pensar sobre CRO. La mayoría de las veces, sus pruebas no lograrán impulsar un crecimiento significativo. Eso significa que debe impulsar e innovar en su falla, utilizando pruebas A / B fallidas para generar oportunidades de investigación.

7. Alinee los objetivos de su sitio web con los KPI comerciales generales

Una herramienta de prueba es tan útil como los conocimientos prácticos que se obtienen de ella. Entonces, cuando mida los resultados de sus pruebas A / B, pregúntese: «¿Cuál es el impacto del dólar?» Si no puede responder a esta pregunta, es posible que deba actualizar sus informes para asegurarse de que está midiendo los KPI (indicadores clave de rendimiento) que se alinean más estrechamente con los objetivos comerciales.

Utilice los datos para descubrir problemas que obstaculizan el crecimiento y asegúrese de que los problemas que resuelva tengan un impacto directo en los KPI más importantes.

8. Comprender las estadísticas de las pruebas A / B

Hay una estadística clave que la mayoría de los evaluadores infrautilizan: el poder estadístico. El poder estadístico es la probabilidad de que una prueba estadística detecte un efecto cuando, de hecho, hay un efecto por detectar. Un poder estadístico alto reduce la probabilidad de cometer un error de Tipo II (concluyendo que no hay efecto cuando en realidad lo hay).

Las pruebas con un alto poder estadístico y un alto umbral de confianza reducirán la probabilidad de un falso positivo, por lo que siempre recopile un tamaño de muestra significativo antes de determinar los resultados.

9. Tenga cuidado con la contaminación de los resultados de sus pruebas A / B

Ejecute pruebas durante más tiempo y no realice cambios mientras se ejecuta la prueba. Cualquier cambio que realice en el entorno de prueba durante una prueba contaminará sus resultados. Esto incluye recortar las variaciones de bajo rendimiento, cambiar el porcentaje de asignación de tráfico, etc.

Si es absolutamente necesario realizar un cambio en el entorno, deberá reiniciar las pruebas y comenzar con una muestra limpia.

Pensando diferente sobre CRO

Considerándolo todo, pensé que Ayat Shukairy dio una presentación maravillosa. Una vez hecho, le pregunté: «¿Qué consejo general le darías a los probadores A / B?»

Ella respondio, «Cambie su forma de pensar sobre la optimización de la tasa de conversión «.


Las opiniones expresadas en este artículo pertenecen al autor invitado y no necesariamente a El Blog informatico. Los autores del personal se enumeran aquí.


Deja un comentario