A/B тесты помогают выигрывать президентские выборы

Статья про опыт руководства командой интернет-аналитиков в предвыборном штабе Барака Обамы в 2008 году. Про A B тесты я уже кстати писал в предыдущем обзоре.

Для нас этот опыт актуален по двум причинам. Во-первых, в российском интернет-бизнесе еще мало кто использует тестирование для постоянной оптимизации бизнес-процессов — нет такой культуры. Есть готовность платить высокие зарплаты экспертам, которые будут говорить, как правильно, но нет готовности вкладываться в инструменты и процессы, благодаря которым можно будет знать точно, как на самом деле правильно. Во-вторых, последние пару лет заметен существенный рост готовности россиян участвовать в политической и общественной жизни страны — вкладываться своим временем и деньгами в достижение конкретных результатов. Эту готовность уже есть кому и куда направлять, но опять же нет опыта и культуры оптимизировать эти процессы.

Несколько интересных моментов:

1. Из $656 млн, собранных Обамой за время предвыборной кампании (а это примерно в три раза больше, чем собрал оппонирующий республиканец МакКейн), $500 млн были собраны онлайн.

2. За счет оптимизации страницы с формой подписки удалось увеличить конверсию формы на 40%. Оптимизация заключалась в том, что кнопку «Sign Up» формы переименовали в «Learn More», а фотографию Обамы и надписью «Get Involved» заменили на фотографию Обамы с женой и детьми и надписью «Change We Can Believe In».

A/B тесты помогают выигрывать президентские выборы

3. Для разных сегментов аудитории могут лучше работать разные варианты. Когда тестировали кнопку «Donate Now», оказалось, что для неподписанных посетителей лучше всего работает кнопка «Donate And Get A Gift». Для тех кто подписался, но еще не перечислял деньги — кнопка «Please Donate». А для тех кто подписался и уже перечислял деньги ранее — кнопка «Contribute». При этом одни и те же варианты у разных сегментов аудитории давали разброс изменения конверсии от -25% до +25%, то есть если бы был внедрен один и тот же вариант на всю аудиторию, результаты могли быть не лучше, а то и хуже первоначального варианта кнопки.

4. После резкого выступления республиканцев, в котором они наговорили много нехорошего про демократов и конкретно Обаму, демократы сделали внеплановую рассылку с предложением пожертвовать деньги и тем самым доказать, что республиканцы не правы. Рассылка принесла дополнительные $10 млн в течение суток. То есть важно использовать внешние факторы.

5. Важно, что вы просите от пользователей. Одним из каналов привлечения денег в предвыборную кампанию был магазин сувениров (футболки, CD и т.п.). Разные варианты продвижения магазина давали разную конверсию. Например, просто ссылка на главную страницу интернет-магазина давала $0,17 с одного получателя рассылки. А ссылка на форму пожертвования с текстом «Пожертвуй $100 или больше и получи футболку» давала $0,30 с одного получателя рассылки.

А теперь вопрос — кто-нибудь подобные тестирования проводит на своих интернет-продуктах? И если нет, то почему?