В Директе появилась возможность тестировать не только разные варианты объявлений или посадочных страниц — мы запустили эксперименты, которые позволяют на основе статистики сравнивать между собой любые настройки, типы кампаний и даже медиапланы. Новый инструмент А/В-тестирования доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой, накопили в кампаниях достаточно данных и готовы тестировать разные сценарии работы с рекламой.

Сравнить эффективность автостратегии и ручного управления ставками, измерить результаты рекламной кампании с показами только на поиске и с размещением на поиске и в сетях — для таких и более сложных тестов в Директе появился специальный инструмент. Для корректной работы потребуются данные — мы рекомендуем проводить эксперимент, если в рекламной кампании не меньше 200 конверсий в месяц. Поэтому открываем доступ к новым экспериментам в Аудиториях и Директе по запросу — пожалуйста, обратитесь к своему менеджеру в Яндексе.

С помощью новых сегментов в Аудиториях и новых отчётов в Директе и Метрике можно узнать, какая реклама эффективнее. Например, эксперименты помогут понять, как размещение в Рекламной сети Яндекса или выбор стратегии влияет на результат размещения, оценить, как влияют показы медийной рекламы на конверсии на сайте, и так далее.

Как устроены эксперименты в Директе

Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории вы определяете самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми.

Нацелить показы определённых кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18-25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадёт 20% женщин 18-25 лет из вашей аудитории.

Как запустить эксперимент

  • Создать эксперимент в Аудиториях — завести сегменты пользователей на долю аудитории.
  • В Директе привязать сегменты к тестируемым кампаниям.
  • Сравнить статистику по тестовым сегментам  и всем остальным пользователям с помощью Мастера отчётов Директа и данных Метрики.

Для правильного эксперимента вам потребуются:

  1.  Настроенные цели или Ecommerce действия в Метрике — источник информации о конверсиях.
  2.  Счётчик Метрики, привязанный ко всем кампаниям, которые вы будете тестировать.
  3.  Накопленная статистика — не менее 200 конверсий в месяц в кампании, которую вы хотите протестировать. Это может быть оформление заказа на сайте, просмотр определённых страниц, заявка на тест-драйв, скачивание брошюры, звонок и так далее.
  4.  Доступ к экспериментам в Аудиториях и Директе. Получить его можно у вашего менеджера в Яндекса или обратившись в отдел клиентского сервиса.
  5.  Гипотеза, которую вы хотите проверить — например, насколько эффективнее стала обновлённая стратегия для сетей.

Зайдите в Аудитории под тем же логином, что и в Директе, и создайте новый эксперимент:

В Директе заведите кампании для эксперимента, к каждой из них подключите счётчик Метрики, привяжите к каждой экспериментальный сегмент и нацельте кампании на них.

В примере с тестированием стратегий нужно создать 3 клона первоначальной кампании и поменять стратегии. Тестовые кампании привязываем каждую к своему сегменту. Исходную кампанию останавливаем, а 3 новые кампании — запускаем. Эксперимент заработал!

Подробнее шаги настройки экспериментов описаны в помощи Директа и Аудиторий.

Важно:

  • Проводить любой A/B-тест следует не менее 2 недель, лучше — больше. Главное, чтобы за этот период успела накопиться статистика.
  • Тестировать гипотезы лучше на таких кампаниях, которые успеют собрать за месяц не менее 200 конверсий, которые вам нужны.
  • Кампании в эксперименте нужно одновременно начинать и так же одновременно останавливать. То есть кампании, участвующие в тесте, должны в одно время или показываться, или не показываться.
  • После эксперимента не забудьте отвязать сегменты от кампаний.

Какие данные анализировать

Переходим к самому интересному. Для анализа понадобятся затраты из Мастера отчётов в Директе и конверсии из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели — скажем, клики, показы или CTR — в рассмотрении не участвуют.

Выбираем эксперименты в качестве условия фильтрации в Директе:

И смотрим расходы по сегментам из эксперимента:

В отчётах Метрики нужно кликнуть на «Группировки», выбрать нужный эксперимент, а затем в окне кликнуть «Метрики» и выбрать конверсии (то есть достижение целей или Ecommerce действие) в интересующей вас воронке. Например, добавление в корзину, посещение карточки продукта или оформление заказа:

Если экспериментальные кампании занимают малую долю рекламного бюджета (менее 50%) — стоит в фильтрах Метрики указать кампании, участвующие в эксперименте.
Пример: сравнение автоматической и ручной стратегий

Один из рекламодателей Директа решил сравнить, какая стратегия в кампаниях со смарт-баннерами выгоднее. Для этого аудиторию разделили на две части:

Сегмент A — оптимизация количества кликов.

Сегмент B — средняя рентабельность инвестиций.

СегментРазмер сегментаРасходы в сегментеКонверсии
Оптимизация количества кликов50%100 000 руб.200
Средняя рентабельность инвестиций50%100 000 руб.500

Вывод: при том же бюджете вариант с автостратегией принёс на 150% (± 29%) больше конверсий,  чем стратегия на сохранение CPС, при этом CPA уменьшился на 60% (± 5%).

Что ещё можно проверять с помощью экспериментов

Сценариев для экспериментов бесконечное множество — всё зависит от ваших задач. Один из самых простых кейсов — тестирование новых продуктов или функциональностей Директа. Чтобы посмотреть, как новый тип объявлений или стратегия работает в вашей тематике, заведите экспериментальную кампанию с новинкой только на небольшую долю аудитории.

Или вы хотите привлечь больше конверсий и рассматриваете два варианта решения этой задачи: поднять ставки на поиске или включить дополнительную кампанию в Рекламной сети Яндекса. Тут тоже поможет эксперимент в Директе.

Третья распространенная задача: у вас есть два медиаплана, которые хочется сравнить, прежде чем направлять бюджет на один из них.

Какой бы сценарий для эксперимента вы ни выбрали, важно соблюдать простые условия: 

  • Выбирайте один и тот же временной интервал в Метрике и Директе.
  • В этом временном интервале эксперимент должен работать.
  • Нужно ограничить статистику на тот регион, в котором вы проводили тест (то есть и в Метрике и в Директе указать фильтр на регион).

Придумывайте свои гипотезы, проверяйте их, пробуйте опции, в которых сомневались или с которыми просто пока не знакомы. Эксперименты позволят вам на основе данных оценить, какой вклад в общие результаты размещения даёт брендовая или видеореклама, объявления в РСЯ и на поиске и многое другое —  теперь возможности для разных сценариев практически неограничены. О том, как анализировать результаты экспериментов, мы скоро расскажем в продолжении этого материала.

Источник: Блог рекламных технологий Яндекса