A/B-тестирование: как принимать решения на основе данных, а не догадок

A/B-тестирование (A/B-test) — это метод сравнения двух вариантов одного элемента, например фото в таргетированной рекламе, заголовка лендинга и даже текста на кнопке. Его суть проста: аудиторию случайным образом делят на две группы, одной показывают вариант А (контрольный, старый), другой — вариант B (тестовый, новый). Затем анализируют, какой вариант лучше достигает поставленной цели.

Теперь, когда ясно, что такое A/B тестирование, легко увидеть, для чего оно нужно в маркетинге.

• Проверка гипотез без риска — можно не вкладывать много сил и денег в полное обновление сайта, а отследить влияние изменений на небольшом лендинге.

• Улучшение пользовательского опыта — можно посмотреть, как аудитория взаимодействует с разными вариантами и выбрать тот, что удобнее.

• Эффективное внедрение изменений — без действий вслепую, попыток что-то угадать, споров между участниками команды.

Ещё раз подчеркнём, что классический A/B-тест — это сравнение двух вариантов, когда одновременно часть аудитории видит старое решение, часть — новое. Кажется, что удобнее просто внести изменение и оценить результаты, но это неправильно. При таком подходе данные иногда становятся неточными: вмешиваются посторонние факторы — например, сезонность или новостной фон.

В общем виде проведение A/B-тестов в маркетинге выглядит так.

1. Выбор подходящего времени для проведения A/B-тестирования.
2. Формулировка гипотезы и выбор метрики для отслеживания.
3. Выбор аудитории.
4. Оценка результатов.
5. Внедрение изменений.

В теории всё просто, но на практике возникает много вопросов — ниже рассматриваем их подробнее.

A/B-тестирование — это ограниченный по времени процесс. Вы видите лишь «сегодняшние» реакции потенциальных покупателей. Поэтому для проведения A/B-теста лучше выбрать «нормальное» время — не пик сезона, не «Чёрную пятницу», не сложный период, когда вышла тревожная новость и всем стало не до вашего продукта. Например, если запустить A/B-тест в дни предновогодних распродаж, когда растёт спрос на всё, влияние нового слогана может быть не таким заметным, как в спокойное время.

Перед проведением A/B теста нужно решить, чего вы хотите добиться своим изменением — например, увеличить охваты или продажи, тратить меньше на рекламу. А затем — выбрать метрику, которую будете отслеживать.

В маркетинге при проведении A/B-тестирования рекламы особенно важно следить не только за кликами и конверсией, но и за деньгами. Предположим, интернет-магазин хочет увеличить CTR рекламных объявлений — это важная метрика, но её недостаточно, чтобы судить о результате. Если по новому объявлению кликают намного чаще, чем по старому, а продажи почти не растут, получается, что бюджет тратится зря.

До проведения A/B-теста нужно чётко сформулировать предположение в формате «Если мы сделаем X, то метрика Y изменится на N%». Например, «Если изменить цвет кнопки "Купить" с синего на красный, конверсия увеличится на 10%». Важно проверять только один элемент за раз, иначе невозможно понять, что именно повлияло на результат.

Предположим, вы считаете, что на лендинге нужно заменить текст, сделать дизайн ярче и по-другому расположить кнопки. Каждое обновление вносит свой вклад. Например, может оказаться, что новый текст привлекательнее, слишком яркая палитра раздражает, а расположение кнопок не имеет значения. Лучшей комбинацией будет новый текст + старый дизайн. Но если не проверить каждую идею отдельно, прийти к этому решению не получится.

Для правильного A/B-анализа аудитория должна быть репрезентативной — отражать всех ваших пользователей. Предположим, среди покупателей 20% мужчин и 80% женщин. Распределение по возрастам тоже неоднородное. Значит, в каждой группе должно быть примерно такое же соотношение. Иначе результаты будут отражать предпочтения лишь части пользователей, а не всей аудитории. Например, нельзя допустить, чтобы один вариант видели только женщины моложе 25, а второй — мужчины старше 45.

Длительность A/B зависит от двух факторов:

• Цикличность. A/B-тест должен длиться не менее недели. Так вы учтёте, как минимум, разницу спроса между будними днями и выходными. Также важно учесть цикл сделки. Например, к покупке квартир люди готовятся месяцами и спустя неделю судить о результате сложно.

• Трафик. Пользователей должно быть достаточно, чтобы не перепутать случайность с устойчивым трендом. Проще говоря, если в каждой группе по 10 человек, и в одной по новой кнопке кликнули двое, а в другой — четверо, это слишком мало, чтобы делать выводы.

Оценить нужный объём трафика помогают специальные сервисы, многие из них доступны бесплатно.

Для расчёта важно определить:

• Количество визитов на сайт/просмотров страницы и т. д.
• Текущую конверсию — какая доля пользователей оформляет заказ, оставляет свои контакты и. т. д.
• Какое изменение в абсолютных и относительных показателях вы хотите отследить.

Рассмотрим пример — калькулятор AB Tasty.

Предположим, конверсия на нашем сайте составляет 1%.

Minimal detectable effect — это минимальное изменение, которое нужно отследить. Здесь, например, нам нужно увидеть рост или спад на 15% — то есть до 1,15% и выше или до 0,85% и ниже. Изменение, например, на 0,1% мы не увидим.

Нас устраивает статистическая значимость на уровне 95% — рекомендованный стандарт, то есть мы уверенно исключаем случайности.

Если задать такие параметры, калькулятор покажет, что нам нужно 70 589 посетителей на каждую версию.

При проведении A/B теста важно не путать случайности и закономерности. Например, если в двух группах по 1000 пользователей, и в одной на кнопку нажали 50 человек, а в другой — 55, это слишком маленькая разница, чтобы делать выводы. Поэтому важна статистическая значимость результата.

Можно не строить догадки, а воспользоваться калькулятором, который подскажет, насколько статистически значим ваш результат.

Например, такую задачу решает сервис на vwo.com.

Предположим, у нас было по 1000 пользователей в каждой группе. В одной на кнопку нажали 100 человек, а в другой — 45. Это достаточно большая разница, и результат можно считать статистически значимым. P-value — вероятность случайности — нулевая. Если вы не нарушили методику A/B тестирования, значит, второй вариант действительно обеспечивает лучшую конверсию.

Как мы показали выше, для получения корректных результатов нельзя просто внести изменения на сайт и посмотреть, что получилось. Соблюсти методику A/B-тестирования помогут специальные сервисы — например, «Эксперименты», встроенные в Яндекс Метрику, уже упомянутые AB Tasty и VMO (но они больше подходят для крупных проектов), Optimizely и другие.

Инструменты дают следующие возможности.

• Создать версии лендинга в визуальном редакторе — можно поменять контент, дизайн, кнопки и любые другие детали без знаний программирования, чтобы создать альтернативную версию для A/B-тестирования.

• Установить параметры аудитории для эксперимента — например, в нём могут участвовать все посетители или небольшая группа. Некоторые инструменты допускают очень точные настройки для создания максимально репрезентативной выборки.

• Установить метрики, которые будете отслеживать — можно анализировать непосредственно конверсии и множество дополнительных параметров, позволяющих лучше понять пользователей.

Например, вот так выглядит отчёт в «Экспериментах». В отчёте отображаются изменения в абсолютных и относительных показателях (дельта), а также minimal detectable effect и P-Value, о которых мы рассказали выше.

Чтобы воспользоваться инструментами для проведения A/B тестирования, нужно разместить на проверяемой странице код сервиса.

И в Яндекс Директе, и в VK Рекламе есть группы объявлений, позволяющие сравнить, как аудитория воспринимает разные варианты объявления. У креативов в группе единые настройки, но можно экспериментировать, например, с иллюстрациями, призывами к действию, упоминаниями конкретных товаров или спецпредложений. Также можно настроить разные посадочные страницы.

В VK Рекламе разные объявления показываются с одной частотой, а затем, когда набирается равное количество просмотров, вы видите статистику по каждому и можете выбрать наиболее эффективное для вашего бизнеса. Также алгоритмы могут чаще показывать более успешный вариант, если вы выберете соответствующие настройки при создании кампании.

Что бы вы ни выбрали, основа успешного A/B-теста — правильная гипотеза. Важно верно предположить, что именно способно повлиять на посетителей сайта, карточки товара или сообщества в соцсети. Найти идеи поможет аудит в сервисе Рекламные решения от Точка Банка. Вы получите анализ важнейших параметров и узнаете, что можно улучшить, чтобы посетители не закрывали страницу, а становились покупателями.