USO DE LOS TEST A-B

USO DE LOS TEST A-B

Estoy seguro que lanzando nuevas versiones y funciones de sitios web, rediseños y otras mejoras la mayoría de los managers de servicios de Internet, antes que nada (después de fiesta, claro) quieren saber cómo el lanzamiento afectó la vida de los usuarios, los indicadores financieros y el ecosistema en general. Y lo quieren incluso si el lanzamiento ha sido realizado bajo el eslogan “¡Bueno, esto obviamente va a ser mejor!”, es decir, sin ningún KPI u objetivo.

Una manera bastante lógica de analizar cómo el lanzamiento ha afectado los KPIs es comparar estos KPIs antes y después del lanzamiento. En la práctica, desafortunadamente, este método resulta increíblemente poco confiable. Debido a la estacionalidad, factores aleatorios, influencias externas y otras fuerzas mayores, las conclusiones de este análisis no son nada en absoluto.

Daré un triste ejemplo. El 29 de marzo de 2010, la empresa Afisha lanzó una nueva versión del sitio web Afisha.ru: aquí hay una lista incompleta de cambios que aparecieron en el sitio en el momento del lanzamiento. Los cambios afectaron a los principales elementos de navegación del sitio, pero no existía una certeza del 100% por adelantado de que estos cambios tuvieran un efecto positivo en el tráfico.

Pronto se hizo obvio: el tráfico disminuyó. Para la semana del 29 de marzo al 4 de abril, el sitio fue visitado por un 18% menos de usuarios que una semana antes*. Las visitas a la página cayeron a un 25%*.

Visitantes a Afisha.ru*:

USO DE LOS TEST A-B

* datos de Top.Mail.ru

El problema del diagnóstico del problema fue que por la mañana del mismo día en que se lanzó la nueva versión del sitio, dos bombas explotaron en el metro de Moscú, y el fin de semana anterior al lanzamiento se ha mejorado mucho el tiempo. Es decir, la caída del tráfico también podría verse afectada por el miedo de la gente de aparecer en lugares públicos después de los ataques terroristas y por el deseo de pasar más tiempo al aire libre que en el interior y esto significa menos interés en el cine, conciertos, teatros y otros entretenimientos.

Al final, todo fue explicado con cambios del tiempo, ya que parte del descenso del tráfico comenzó el 27 de marzo. Sin embargo, fue imposible decir exactamente qué impacto tuvo el lanzamiento de la nueva versión del sitio web sobre los KPIs.

Así viene la conclusión: hay que hacer los Test A-B. Solo los test A-B brinda la posibilidad de un experimento limpio que filtra la estacionalidad y factores externos.