A/B тестирование: чем полезно для маркетинга и как провести исследование без ошибок

Даже если сайт и реклама работают неплохо, всегда хочется получить больше. А когда результаты не оправдывают ожиданий, изменения тем более необходимы. Но перед радикальными обновлениями нужно убедиться, что они действительно принесут пользу, а не ухудшат ситуацию. Как же это проверить? Поможет популярный в маркетинге метод — A/B тестирование. Вы одновременно сравните, например, две версии контента, дизайна сайта, рекламного объявления и выберете лучшее решение для вашего бизнеса. В статье опишем методику A/B тестирования, рассмотрим распространённые ошибки в его проведении, предложим эффективные инструменты.

Зачем нужны A/B тестирования в маркетинге

Проведение A/B-тестирования — необходимый шаг перед любыми изменениями на сайте. Кроме того, метод поможет найти новые идеи. Вы увидите, чего хотят ваши пользователи, что им нравится, и сможете предложить им улучшения. А значит, у вас будет больше заинтересованных посетителей и покупателей.

Рассмотрим подробнее эффективность A/B тестирования в маркетинге. По его итогам вы сможете:

  • сделать сайт удобнее для пользователей. Меняйте дизайн, обновляйте контент, улучшайте юзабилити и следите за тем, как это воспринимают пользователи;

  • сделать объявления привлекательнее. Пробуйте разные заголовки, тексты, иллюстрации, настройки и узнавайте, что лучше привлекает клиентов. Сравнивайте разные метрики, например CPC (стоимость кликов), CTR (доли кликов от просмотров объявлений), стоимость каждого привлечённого потенциального клиента и реального заказчика;

  • найти возможности и снизить риски. Сравнивайте разные варианты и определяйте, что работает лучше. Протестируйте идею на небольшом количестве посетителей и оцените, стоит ли запускать её на всю аудиторию. Также A/B тестирование поможет вовремя уйти от неудачной модели.

A/B тестирование, сравнение разных вариантов, — необходимый этап настройки рекламных кампаний. Никто не может предсказать, что понравится потенциальным клиентам вашего бизнеса, поэтому важно быть готовым сравнивать разные варианты и искать лучший. В этом поможет Точка Реклама. Получите аудит страницы и проводите тестирование успешнее!
Получите аудит от Точка Рекламы бесплатно
Зарегистрируйтесь, чтобы получить анализ и советы по развитию вашего сайта, сообщества ВКонтакте, магазина на маркетплейсе или Авито

Методика A/B тестирования: этапы проведения исследования

A/B тестирование предполагает одновременное сравнение двух вариантов. Одной группе пользователей предлагается вариант A, другой — B. Если альтернатив больше, это такое же сплит-тестирование, но в формате A/B/n.

Нельзя просто взять и поменять сайт и посмотреть, что получилось. Есть риск сделать неправильные выводы и потерять деньги. Также не стоит запускать сначала один вариант, потом второй и сравнивать результаты. Велик риск получить неверные данные. Конечно, это касается в первую очередь сезонных бизнесов, а также периодов перед какими-то праздниками, когда люди активно ищут подарки. Но даже если спрос на ваш товар стабильный, важно сравнивать версии в один период, чтобы не вмешались посторонние факторы. Например, если первый этап идёт в «обычное» время, а второй — после какой-то глобальной тревожной новости, поведение пользователей окажется очень разным, без всякой связи с проверяемой гипотезой.

Кроме того, важно правильно выбрать аудиторию и верно оценить результаты. Ниже подробно опишем метод A/B тестирования и покажем, как избежать ошибок на каждом этапе.

Выбор гипотезы для проведения A/B тестирования

Перед началом тестирования сформулируйте гипотезу — предположение, которое вы хотите проверить. Идеи можно получить, например, в общении с клиентами, наблюдении за их поведением на сайте, анализе конкурентов.

Гипотеза для проведения A/B тестирования может быть нулевой или альтернативной. В нулевой мы предполагаем, что обновления элементов на сайте или в объявлении не принесут существенных улучшений или ухудшений в метриках. В альтернативных гипотезах, наоборот, ожидается, что изменения будут. Гипотеза формулируется в виде «Если сделать X, то…». Например, «Если мы изменим описание нашей услуги, конверсия (превращение посетителей в покупателей) вырастет на 10%». Гипотеза может оправдаться или нет.

За один раз можно проверить только одну гипотезу, иначе смешается множество факторов и вы не сделаете правильный вывод. Предположим, вы считаете, что на лендинге нужно заменить текст, сделать дизайн более ярким и по-другому расположить кнопки. Каждое из обновлений вносит свой вклад. Например, может оказаться, что новый текст более привлекателен для пользователей, слишком яркая палитра раздражает некоторых из них, а расположение кнопок ни на что особо не влияет. В таком случае лучшей комбинацией будет новый текст + старый дизайн. Но если вы не проверите каждую вашу идею отдельно, вы не сможете прийти к такому выводу. Поэтому, если вы хотите изменить несколько элементов, тестируйте их по очереди.

С объявлениями аналогично: если вы замените и заголовок, и текст, и иллюстрации, и суть предложения, будет сложно отследить, что повлияло на результат.

Выбор маркетинговых метрик для проведения A/B тестирования

Можно отслеживать одну или несколько метрик. Часто стоит следить за множеством показателей. Например, если дать яркие обещания в рекламном объявлении, по нему будут часто кликать, но не найдя на сайте желаемого, пользователи разочаруются и уйдут. То есть важный показатель CTR (click through rate, доля кликов среди просмотров) вырастет, а конверсия — упадёт, количество заказчиков среди посетителей станет меньше.

Выбор аудитории для тестирования

Можно разделить всех посетителей сайта на две половины, и первой показывать вариант A, а второй — B. Есть и альтернативы: например, можно провести тест на 20% аудитории, а затем сравнить конверсии в группах.

Но в любом случае выборка должна быть репрезентативной. Проще говоря, вам нужно достаточно людей в каждой группе. А каждая группа должна быть маленькой копией всей вашей аудитории.

Предположим, среди ваших покупателей 20% мужчин и 80% женщин. Распределение по возрастам тоже неоднородное. Значит, в каждой группе должно быть такое же соотношение. Иначе результаты будут отражать предпочтения лишь части пользователей, а не всей аудитории. Тогда при запуске новой версии на всех посетителей результат получится не таким, как вы ожидали.

Как мы сказали выше, для качественных результатов A/B тестирования вам нужно определённое количество пользователей. Поэтому нужно понять, за какое время вы получите столько трафика. В этом помогут калькуляторы для A/B тестов, которые мы рассмотрим ниже. В большинстве же случаев оптимально проводить исследование в течение 10−14 дней.

Проведение A/B тестирования

Подытожим основные принципы качественного проведения A/B тестирования:
  • за один раз проверяем одну гипотезу (касающуюся одного элемента);
  • все варианты, касающиеся одной гипотезы, тестируются одновременно;
  • необходима репрезентативная выборка — вы должны быть уверены, что полученный результат не случаен.

Провести A/B тестирование в рекламе относительно просто: вы создаёте разные объявления в рекламном кабинете. Работать с сайтом чуть сложнее — потребуются специальные сервисы. О них мы расскажем в отдельном разделе.

Анализ результатов A/B тестирования

Казалось бы, всё просто: если вариант B показал хотя бы чуть более высокие результаты, чем A, значит, он лучше. Но всё немного сложнее: даже если вы не допустили ошибок, о которых мы писали выше, всегда остаётся место для случайности. Например, если у вас 1000 пользователей в каждой группе, и в одной на кнопку нажали 50 человек, а в другой — 55, это слишком маленькая разница, чтобы делать выводы. Поэтому важна статистическая значимость результата. Как её определить, расскажем ниже.
Получите аудит от Точка Рекламы бесплатно
Зарегистрируйтесь, чтобы получить анализ и советы по развитию вашего сайта, сообщества ВКонтакте, магазина на маркетплейсе или Авито

Бесплатные калькуляторы для проведения A/B тестирования

Как мы показали выше, для качественного проведения A/B тестирования необходимо:
  • достаточное количество аудитории;
  • достаточное время;
  • статистически значимый результат.

Сколько пользователей нужно в вашем случае и какой результат можно считать статистически значимым? Ответить на этот вопрос помогут калькуляторы для A/B тестирования — найти их можно по соответствующему запросу в поиске.

Для расчёта длительности теста и количества пользователей нужно определить:
  • количество визитов на сайт/просмотров страницы и т. д.;
  • текущую конверсию — какая доля пользователей оформляет заказ, оставляет свои контакты и. т. д.;
  • какое изменение в абсолютных и относительных показателях вы хотите отследить.

Рассмотрим пример — калькулятор AB Tasty

Предположим, конверсия на нашем сайте составляет 1%.

Minimal detectable effect — это минимальное изменение, которое мы хотим отследить. Здесь, например, нам нужно увидеть рост или спад на 15% — то есть до 1,15% и выше или до 0,85% и ниже. Изменение, например, на 0,1% мы не увидим.

Нас устраивает статистическая значимость на уровне 95% — рекомендованный стандарт, то есть мы уверенно исключаем случайности.

Если задать такие параметры, калькулятор покажет, что нам нужно 70 589 посетителей на каждую версию.
Калькулятор для A/B тестов
Калькулятор ABTasty показывает, какой срок и сколько пользователей нужно для достоверного результата A/B тестирования
Если мы проводим A/B тест, а не A/B/n, где сравниваются три и более версии, и у нас 15 000 посетителей в день, то исследование нужно вести в течение 9 дней.

Также калькуляторы помогут определить статистическую значимость результатов, о которой мы говорили выше. Например, такую задачу решает калькулятор на vwo.com. Предположим, у нас было по 1000 пользователей в каждой группе и в одной на кнопку нажали 100 человек, а в другой — 45. Это достаточно большая разница, и результат можно считать статистически значимым. P-value — вероятность случайности — нулевая. Если вы не нарушили методику A/B тестирования, значит, второй вариант действительно обеспечивает лучшую конверсию.
Достоверность результатов A/B теста
Калькулятор статистической значимости A/B теста VMO

Инструменты для A/B тестирования на сайте


Как мы показали выше, для получения корректных результатов нельзя просто внести изменения на сайт и посмотреть, что получилось. Соблюсти методику A/B тестирования помогут специальные сервисы — например, «Эксперименты», встроенные в Яндекс. Метрику, уже упомянутые AB Tasty и VMO (но они больше подходят для крупных проектов), Optimizely и другие.

Инструменты дают следующие возможности:

  • создать версии лендинга в визуальном редакторе — то есть вы сможете поменять контент, дизайн, кнопки и любые другие детали без знаний программирования, чтобы создать альтернативную версию для тестирования;

  • установить параметры аудитории для эксперимента — например, в нём могут участвовать все посетители или небольшая группа. Некоторые инструменты допускают очень точные настройки для создания максимально репрезентативной выборки;

  • установить метрики, которые будете отслеживать — можно анализировать непосредственно конверсии и множество дополнительных параметров, которые помогут лучше понять пользователей.

Например, вот так выглядит отчёт в «Экспериментах», встроенных в Яндекс.Метрику. В отчёте отображаются изменения в абсолютных и относительных показателях (дельта), а также minimal detectable effect и P-Value, о которых мы рассказали выше.

Чтобы воспользоваться инструментами для проведения A/B тестирования, нужно разместить на проверяемой странице код сервиса.
Инструменты для A/B тестов
Результаты эксперимента: вторая кнопка работает намного лучше, вероятность случайности исключена

A/B тестирование в рекламе

И в Яндекс Директе, и в VK Рекламе есть группы объявлений, позволяющие сравнить, как аудитория воспринимает разные варианты объявления. У креативов в группе единые настройки, но можно экспериментировать, например, с иллюстрациями, призывами к действию, упоминаниями конкретных товаров или спецпредложений. Также можно настроить разные посадочные страницы.

В VK Рекламе разные объявления показываются с одной частотой, а затем, когда набирается равное количество просмотров, вы видите статистику по каждому и можете выбрать наиболее эффективное для вашего бизнеса. Также алгоритмы могут чаще показывать более успешный вариант, если вы выберете соответствующие настройки при создании кампании.

Яндекс Директ автоматически выбирает лучший креатив и начинает показывать его чаще.

Зарегистрировавшись в сервисе Точка Реклама вы получите аудиты ваших страниц — сайта, карточек на Wildberries, объявлений на Авито.
Получите аудит от Точка Рекламы бесплатно
Зарегистрируйтесь, чтобы получить анализ и советы по развитию вашего сайта, сообщества ВКонтакте, магазина на маркетплейсе или Авито
Ещё интересные статьи