В продолжение истории про A/B тесты. Для оценки отложенного эффекта по наводке коллег появилась еще одна интересная задача. У вас есть медийный сайт (например, новостной портал, спортивный портал или Look At Me) — то есть сайт, на который люди периодически заходят, чтобы что-нибудь почитать/посмотреть. Есть бюджет на привлечение трафика. Есть несколько очевидных метрик, с помощью…
Один из самых значимых моментов, который стоит знать и понимать об охвате сайта — это то, что ни при каких обстоятельствах нельзя совершать над охватом сайта простых арифметических операций, а именно сложение, вычитание, умножение и деление охвата на число. Если я сложу охват сайта за первую неделю с охватом сайта за вторую неделю, разве я…
Нашел на компьютере потерянную статью. Довольно давно собирался опубликовать ее в ЖЖ. В итоге публикую в своем новом блоге. Итак, сначала задача. Есть аудитория интернета, состоящая из N пользователей (N — известное большое число). И есть некий сайт, количество посетителей которого A требуется узнать. Спрашивать у всех N пользователей, посещали ли они нужный сайт, накладно,…
Статья про опыт руководства командой интернет-аналитиков в предвыборном штабе Барака Обамы в 2008 году. Про A/B тесты я уже писал в предыдущем обзоре. С президентских выборов в США 2008 года прошло 12 лет. Тем не менее, для нас этот опыт до сих пор актуален по двум причинам. Во-первых, в российском интернет-бизнесе еще мало кто использует…
Сегодня обсудим A/B тесты на довольно хорошем примере. Итак, начнем. Задача, подсказанная моим знакомым — провести A/B тест с оценкой отложенного эффекта (например, возвращаемости пользователей или churn rate). Дальнейшая постановка задачи полностью вымышленная и нужна только для иллюстрации решения. Есть сайт ivi.ru. Одна из задач продакт-менеджера — увеличить время жизни пользователя на сервисе. Поскольку сервис…
