A/B тестирование: чем полезно для маркетинга и как провести исследование без ошибок

Проведение A/B-тестирования — необходимый шаг перед любыми изменениями на сайте. Кроме того, метод поможет найти новые идеи. Вы увидите, чего хотят ваши пользователи, что им нравится, и сможете предложить им улучшения. А значит, у вас будет больше заинтересованных посетителей и покупателей.

Рассмотрим подробнее эффективность A/B тестирования в маркетинге. По его итогам вы сможете:

• сделать сайт удобнее для пользователей. Меняйте дизайн, обновляйте контент, улучшайте юзабилити и следите за тем, как это воспринимают пользователи;

• сделать объявления привлекательнее. Пробуйте разные заголовки, тексты, иллюстрации, настройки и узнавайте, что лучше привлекает клиентов. Сравнивайте разные метрики, например CPC (стоимость кликов), CTR (доли кликов от просмотров объявлений), стоимость каждого привлечённого потенциального клиента и реального заказчика;

• найти возможности и снизить риски. Сравнивайте разные варианты и определяйте, что работает лучше. Протестируйте идею на небольшом количестве посетителей и оцените, стоит ли запускать её на всю аудиторию. Также A/B тестирование поможет вовремя уйти от неудачной модели.

A/B тестирование, сравнение разных вариантов, — необходимый этап настройки рекламных кампаний. Никто не может предсказать, что понравится потенциальным клиентам вашего бизнеса, поэтому важно быть готовым сравнивать разные варианты и искать лучший. В этом поможет Точка Реклама. Ответьте на несколько вопросов о вашем бизнесе, и система подберёт оптимальные каналы продвижения, после чего вы сможете запустить кампании. Мы упростим работу с рекламой и поможем получить от неё максимум.

A/B тестирование предполагает одновременное сравнение двух вариантов. Одной группе пользователей предлагается вариант A, другой — B. Если альтернатив больше, это такое же сплит тестирование, но в формате A/B/n. Нельзя просто взять и поменять сайт и посмотреть, что получится. Есть риск сделать неправильные выводы и потерять деньги.

Также не стоит запускать сначала один вариант, потом второй и сравнивать результаты. Велик риск получить неверные данные. Конечно, это касается в первую очередь сезонных бизнесов, а также периодов перед какими-то праздниками, когда люди активно ищут подарки. Но даже если спрос на ваш товар стабильный, важно сравнивать версии в один период, чтобы не вмешались посторонние факторы. Например, если первый этап идёт в «обычное» время, а второй — после какой-то глобальной тревожной новости, поведение пользователей окажется очень разным, без всякой связи с проверяемой гипотезой.

Кроме того, важно правильно выбрать аудиторию и верно оценить результаты. Ниже подробно опишем метод A/B тестирования и покажем, как избежать ошибок на каждом этапе.

Перед началом тестирования сформулируйте гипотезу — предположение, которое вы хотите проверить. Идеи можно получить, например, в общении с клиентами, наблюдении за их поведением на сайте, анализе конкурентов.

Гипотеза для проведения A/B тестирования может быть нулевой или альтернативной. В нулевой мы предполагаем, что обновления элементов на сайте или в объявлении не принесут существенных улучшений или ухудшений в метриках. В альтернативных гипотезах, наоборот, ожидается, что изменения будут. Гипотеза формулируется в виде «Если сделать X, то…». Например, «Если мы изменим описание нашей услуги, конверсия (превращение посетителей в покупателей) вырастет на 10%». Гипотеза может оправдаться или нет.

За один раз можно проверить только одну гипотезу, иначе смешается множество факторов и вы не сделаете правильный вывод. Предположим, вы считаете, что на лендинге нужно заменить текст, сделать дизайн более ярким и по-другому расположить кнопки. Каждое из обновлений вносит свой вклад. Например, может оказаться, что новый текст более привлекателен для пользователей, слишком яркая палитра раздражает некоторых из них, а расположение кнопок ни на что особо не влияет. В таком случае лучшей комбинацией будет новый текст + старый дизайн. Но если вы не проверите каждую вашу идею отдельно, вы не сможете прийти к такому выводу. Поэтому, если вы хотите изменить несколько элементов, тестируйте их по очереди.

С объявлениями аналогично: если вы замените и заголовок, и текст, и иллюстрации, и суть предложения, будет сложно отследить, что повлияло на результат.

Можно отслеживать одну или нескольких метрик. Часто стоит следить за несколькими показателями. Например, если дать яркие обещания в рекламном объявлении, по нему будут часто кликать, но не найдя на сайте желаемого, пользователи разочаруются и уйдут. То есть важный показатель CTR (click through rate, доля кликов среди просмотров) вырастет, а конверсия — упадёт, количество заказчиков среди посетителей станет меньше.

Как мы показали выше, для качественного проведения A/B тестирования необходимо:

• достаточное количество аудитории;
• достаточное время;
• статистически значимый результат.

Сколько пользователей нужно в вашем случае и какой результат можно считать статистически значимым? Ответить на этот вопрос помогут калькуляторы для A/B тестирования — найти их можно по соответствующему запросу в поиске.

Для расчёта длительности теста и количества пользователей нужно определить:

• количество визитов на сайт/просмотров страницы и т. д.;
• текущую конверсию — какая доля пользователей оформляет заказ, оставляет свои контакты и. т. д.;
• какое изменение в абсолютных и относительных показателях вы хотите отследить.

Рассмотрим пример — калькулятор AB Tasty

Предположим, конверсия на нашем сайте составляет 1%.

Minimal detectable effect — это минимальное изменение, которое мы хотим отследить. Здесь, например, нам нужно увидеть рост или спад на 15% — то есть до 1,15% и выше или до 0,85% и ниже. Изменение, например, на 0,1% мы не увидим.

Нас устраивает статистическая значимость на уровне 95% — рекомендованный стандарт, то есть мы уверенно исключаем случайности.

Если задать такие параметры, калькулятор покажет, что нам нужно 70 589 посетителей на каждую версию.

Если мы проводим A/B тест, а не A/B/n, где сравниваются три и более версии, и у нас 15 000 посетителей в день, то исследование нужно вести в течение 9 дней.

Также калькуляторы помогут определить статистическую значимость результатов, о которой мы говорили выше. Например, такую задачу решает калькулятор на vwo.com. Предположим, у нас было по 1000 пользователей в каждой группе, и в одной на кнопку нажали 100 человек, а в другой — 45. Это достаточно большая разница, и результат можно считать статистически значимым. P-value — вероятность того, что так вышло случайно, нулевая. Если вы не нарушили методику A/B тестирования, значит, второй вариант действительно обеспечивает лучшую конверсию.

Как мы показали выше, для получения корректных результатов нельзя просто внести изменения на сайт и посмотреть, что получилось. Соблюсти методику A/B тестирования помогут специальные сервисы — например, «Эксперименты», встроенные в Яндекс.Метрику, уже упомянутые AB Tasty и VMO (но они больше подходят для крупных проектов), Optimizely и другие.

Инструменты дают следующие возможности:

• создать версии лендинга в визуальном редакторе — то есть вы сможете поменять контент, дизайн, кнопки и любые другие детали без знаний программирования, чтобы создать альтернативную версию для тестирования;

• установить параметры аудитории для эксперимента — например, в нём могут участвовать все посетители или небольшая группа. Некоторые инструменты допускают очень точные настройки для создания максимально репрезентативной выборки;

• установить метрики, которые будете отслеживать — можно анализировать непосредственно конверсии и множество дополнительных параметров, которые помогут лучше понять пользователей.

Например, вот так выглядит отчёт в «Экспериментах» , встроенных в Яндекс.Метрику. В отчёте отображаются изменения в абсолютных и относительных показателях (дельта), а также minimal detectable effect и P-Value, о которых мы рассказали выше.

Чтобы воспользоваться инструментами для проведения A/B тестирования, нужно разместить на проверяемой странице код сервиса.

И в Яндекс Директе, и в VK Рекламе есть группы объявлений, позволяющие сравнить, как аудитория воспринимает разные варианты объявления. У креативов в группе единые настройки, но можно экспериментировать, например, с иллюстрациями, призывами к действию, упоминаниями конкретных товаров или спецпредложений. Также можно настроить разные посадочные страницы.

В VK Рекламе разные объявления показываются с одной частотой, а затем, когда набирается равное количество просомтров, вы видите статистику по каждому и можете выбрать наиболее эффективное для вашего бизнеса. Также алгоритмы могут чаще показывать более успешный вариант, если вы выберете соответствующие настройки при создании кампании.

Яндекс Директ автоматически выбирает лучший креатив и начинает показывать его чаще.

Ответив на несколько вопросов в сервисе Точка Реклама вы получите рекомендации по оптимальным каналам продвижения именно для вашего бизнеса и сможете запустить рекламные кампании.

А если вы специалист по рекламе, предлагаем зарегистрироваться и стать нашим партнёром: вы получите бонусы для себя и своих клиентов.