Польза A B тестов

Я уверен, что большинство менеджеров интернет-сервисов, запуская новые версии сайтов, редизайны, фичи и прочие улучшения, первым делом (вторым после того как отметят) хотят знать, как запуск повлиял на жизнь пользователей, финансовые показатели и экосистему в целом. Причем хотят даже в том случае, если запуск проходил под лозунгом «Ну это же Очевидно будет лучше!», то есть без каких-либо KPI и целей.

Вполне логичный способ исследовать, как запуск повлиял на KPI — в лоб сравнить эти KPI до и после запуска. На практике, к сожалению, такой способ оказывается фантастически ненадежным. Из-за сезонности, случайных факторов, внешних воздействий и прочих форсмажоров выводы, сделанные путем такого исследования, не стоят ровным счетом ничего.

Приведу нерадостный пример. 29 марта 2010 года компания Афиша запустила новую версию сайта Afisha.ru — вот неполный список изменений, которые появились на сайте в момент запуска. Изменения затрагивали основные навигационные элементы сайта, при этом заранее не было 100% уверенности, что эти изменения положительно повлияют на трафик.

Скоро стало очевидно — трафик упал. За неделю с 29 марта по 4 апреля сайт посетили на 18% меньше пользователей, чем неделей раньше*. Просмотры страниц упали на 25%*.

Посетители Afisha.ru*:

Польза A B тестов

* данные Top.Mail.ru

Проблема в диагностировании проблемы заключалась в том, что утром того же дня, когда был произведен запуск новой версии сайта, в московском метро взорвались две бомбы, а в выходные, предшествовавшие запуску на улице резко потеплело. То есть на падение трафика могли также повлиять и боязнь людей после терактов появляться в общественных местах, и желание больше времени проводить на улице, а не в помещении — и то и другое означает меньший интерес к кино, концертам, театрам и прочим развлечениям.

В итоге всё списали на погоду, потому что некоторое падение трафика началось еще 27 марта. Однако, какое конкретно влияние на KPI сайта оказал запуск новой версии, в данной ситуации сказать уже было невозможно.

Отсюда вывод — делайте A B тесты. Только A/B тест дает возможность чистого эксперимента, отфильтровывающего сезонность и внешние факторы.