Я уверен, что большинство менеджеров интернет-сервисов, запуская новые версии сайтов, редизайны, фичи и прочие улучшения, первым делом (вторым после того как отметят) хотят знать, как запуск повлиял на жизнь пользователей, финансовые показатели и экосистему в целом. Причем хотят даже в том случае, если запуск проходил под лозунгом «Ну это же очевидно будет лучше!», то есть без каких-либо KPI и целей.
Вполне логичный способ исследовать, как запуск повлиял на KPI — в лоб сравнить эти KPI до и после запуска. На практике, к сожалению, такой способ оказывается фантастически ненадежным. Из-за сезонности, случайных факторов, внешних воздействий и прочих форсмажоров выводы, сделанные путем такого исследования, не стоят ровным счетом ничего.
Приведу нерадостный пример. 29 марта 2010 года компания Афиша запустила новую версию сайта Afisha.ru. Изменения затрагивали основные навигационные элементы сайта, при этом заранее не было 100% уверенности, что эти изменения положительно повлияют на трафик.
Скоро стало очевидно — трафик упал. За неделю с 29 марта по 4 апреля сайт посетили на 18% меньше пользователей, чем неделей раньше*. Просмотры страниц упали на 25%.
Посетители Afisha.ru*:
Проблема в диагностировании проблемы заключалась в том, что утром того же дня, когда был произведен запуск новой версии сайта, в московском метро взорвались две бомбы, а в выходные, предшествовавшие запуску на улице резко потеплело. То есть на падение трафика могли также повлиять и боязнь людей после терактов появляться в общественных местах, и желание больше времени проводить на улице, а не в помещении — и то и другое означает меньший интерес к кино, концертам, театрам и прочим развлечениям.
В итоге все списали на погоду, потому что некоторое падение трафика началось еще 27 марта. Однако, какое конкретно влияние на KPI сайта оказал запуск новой версии, в данной ситуации сказать уже было невозможно.
Отсюда вывод — делайте A/B тесты. Только A/B тест дает возможность чистого эксперимента, отфильтровывающего сезонность и внешние факторы.