A/B тестирование в Яндекс Директ — как находить прибыльные связки, а не угадывать

Яндекс окончательно «приземлил» A/B тестирование прямо внутри рекламного кабинета. Больше не нужно городить костыли через Яндекс Метрику — теперь все настраивается в разделе «Эксперименты» в левом меню Директа.

Что изменилось и как это работает:

• Единый центр управления: Создаем эксперимент прямо в Директе. Не нужно плодить сегменты в Метрике и связывать их вручную.
• Гибкое деление: Можно делить аудиторию в любых пропорциях (например, 50/50 или 70/30) между кампаниями.
• Поддержка стратегий: Теперь эксперименты корректно работают с автостратегиями. Робот понимает, что трафик разделен, и обучается внутри каждого плеча теста отдельно.
• Честный сплит: Система закрепляет вариант за пользователем по Сookie. Человек не увидит разные объявления, если будет заходить с одного браузера, что исключает «шум» в данных.

Как запустить:

1. Заходим в «Эксперименты» (вкладка в левом столбце).
2. Создаем новый эксперимент и выбирам, на сколько групп делить трафик.
3. В настройках самих кампаний (ЕПК или Медийных) просто выбираем нужный эксперимент и указываем, какой группе его показывать.

Важно: Мастер кампаний все так же живет своей жизнью — там встроенные эксперименты пока не завезли, так как он сам по себе является одной большой автоматикой. А вот для ЕПК это теперь маст-хэв инструмент для проверки гипотез без лишней бюрократии.

Здесь начинается самое интересное. Потому что большинство людей, когда слышат «A/B тест», думают о кнопках — зеленая или красная, «Купить» или «Заказать». Это наименее ценные тесты из всех возможных.
Самые большие деньги — в тестах офферов. Не кнопок, не цветов, не шрифтов. Оффера.

Объявления
Заголовок — самый кликабельный элемент объявления. Разница между «Юридические услуги в Москве» и «Бесплатная консультация юриста. Ответим за 15 минут» может дать разницу в CTR в 2–3 раза. Тестируйте: с ценой и без, с конкретным сроком и без, с болью клиента и с решением.

Текст объявления — здесь тестируют разные аргументы: гарантии, выгоды, социальные доказательства («500 клиентов»), срочность («Акция до конца недели»). Один и тот же продукт можно подать через страх потери или через позитивный результат — и это даст разный отклик у разной аудитории.
Оффер — вот где настоящие деньги. «Бесплатный замер» против «Скидка 10%». «Рассрочка 0%» против «Подарок при заказе». Разные офферы апеллируют к разным мотивам — и один из них всегда работает лучше для вашей аудитории.

Креативы
В РСЯ изображение — это 80% успеха объявления. Люди не читают тексты в сетях — они реагируют на картинку. Тестируйте: человек vs продукт, эмоция vs информация, яркий фон vs нейтральный. Иногда смена картинки поднимает CTR в 4 раза без изменения текста.
Видео работает иначе, чем статика — и по-разному в зависимости от ниши. В некоторых категориях видео дает конверсию в 1,5 раза выше, в других — хуже статики. Это нельзя предсказать. Это можно только проверить.

Посадочные страницы
Лендинг против полноценного сайта — классический тест, результаты которого удивляют. Иногда простой одностраничник с одним оффером и одной кнопкой бьет многостраничный сайт с портфолио и командой в 3 раза по конверсии. Иногда наоборот — людям нужно больше информации перед решением.
Разные офферы на посадке — вы можете вести одинаковый трафик на два лендинга с разным главным предложением и посмотреть, что конвертирует лучше. «Оставьте заявку — перезвоним за 5 минут» против «Рассчитайте стоимость онлайн за 2 минуты».

Настройки кампаний
Стратегии управления ставками — «Оплата за клики» против «Оплата за конверсии», ручное управление против автоматического. Нет универсального ответа: в одних нишах автостратегии работают превосходно, в других сжигают бюджет за неделю.

Корректировки ставок — повышение ставки для мобильных против десктопа, для конкретного возраста, для пользователей, которые уже были на сайте. Тестирование корректировок часто дает -20–30% к CPA без изменения структуры кампании.

Аудитории
Широкая аудитория против узкой — больше охват или выше точность? В одних нишах широкая аудитория дает дешевле лид за счет объема, в других — только съедает бюджет на нецелевые клики.
Ретаргетинг против холодного трафика — как распределить бюджет между теми, кто уже был на сайте, и новыми пользователями. Это стратегический тест, который влияет на всю структуру кампании.

Одна переменная за один тест. Все.

Звучит очевидно. На практике нарушается постоянно.

«Давайте поменяем заголовок, текст и картинку — и посмотрим, что получится». Получится ничего — в смысле понимания. Заявок может стать больше или меньше, но вы не будете знать, что именно повлияло. Заголовок? Картинка? Их сочетание? Это не тест, это хаос с двумя точками данных.

Если вы меняете два элемента одновременно — вы не тестируете, вы угадываете с удвоенной скоростью.

Яндекс в своих официальных рекомендациях прямо указывает: в каждом эксперименте должна изменяться только одна переменная. Это не перестраховка — это условие, без которого результаты теста бессмысленны.

Большинство «тестов» начинаются не с гипотезы, а с действия. «Давайте попробуем другой текст». Это не гипотеза — это импульс.

Хорошая гипотеза выглядит так:
❌ Плохо: «Попробуем другой заголовок»
✅ Хорошо: «Добавление конкретного срока выполнения работ в заголовок увеличит CTR на 15%, потому что наша аудитория — люди с горящим ремонтом, для которых сроки важнее цены»

Разница принципиальная. Во втором случае у вас есть: — Что именно меняете (срок в заголовке) — Какой результат ожидаете (CTR +15%) — Почему это должно сработать (логика поведения аудитории)

Когда гипотеза сформулирована с «почему» — вы не просто проверяете цифры, вы проверяете свое понимание аудитории. И это ценнее любого конкретного результата: даже если гипотеза не подтвердилась, вы узнали что-то важное о своих клиентах.

Когда вы запускаете эксперимент через Яндекс Метрику, система делит весь входящий трафик на сегменты. Каждый пользователь случайным образом попадает в один из сегментов — и видит только тот вариант объявления или кампании, который привязан к его сегменту.

Ключевой момент: один и тот же пользователь всегда попадает в один и тот же сегмент. Он не увидит вариант A сегодня и вариант B завтра. Это обеспечивает чистоту эксперимента: результаты не смешиваются.

Рекомендация по разделению трафика: делите 50/50. Именно равное разделение обеспечивает статистическую чистоту — оба варианта получают сопоставимый объем данных за одинаковое время, в одинаковых рыночных условиях. Если дать одному варианту 80% трафика, а другому 20% — сравнение будет некорректным.

Один важный плюс: в Директе можно тестировать до 20 вариантов одновременно. Но не увлекайтесь — чем больше вариантов, тем дольше нужно собирать статистически значимые данные по каждому из них.

Прежде чем открывать кабинет — зафиксируйте: что именно вы тестируете, почему это должно сработать и какой результат станет маркером успеха. Без этого шага анализ данных превратится в гадание.

• Пример: «Гипотеза: замена заголовка "Ремонт квартир" на "Ремонт за 45 дней — гарантия в договоре" увеличит конверсию из клика в заявку на 20%, так как для нашей аудитории важна фиксация сроков».

Теперь настройка начинается не с кампаний, а со специального раздела.

1. В левом меню Директа выберите «Инструменты» → «Эксперименты».
2. Нажмите «Создать эксперимент».
3. Укажите название и выберите счетчик Метрики.
4. Разделите аудиторию на группы (обычно 50/50). Система сама создаст уникальные условия, по которым пользователи будут распределяться между вариантами.

Для чистоты теста Вам нужны две (или более) идентичные кампании.

1. Создайте дубль Вашей текущей кампании. В копии измените ровно один элемент: заголовок, креатив, посадочную страницу или стратегию. Все остальные настройки (ГЕО, бюджет, аудитории) оставьте без изменений.
2. Дайте кампаниям понятные названия, например: [Тест_Заголовка] Вариант А — Стандарт и [Тест_Заголовка] Вариант Б — Сроки.

Это ключевой этап, который заменил старую работу с кодом Метрики:

1. Зайдите в настройки кампании «Вариант А». В блоке «Дополнительные настройки» найдите пункт «Эксперименты».
2. Выберите созданный Вами эксперимент и укажите, какой группе пользователей (например, «Группа 1») показывать эту кампанию.
3. Повторите то же самое для «Варианта Б», привязав его к «Группе 2» того же эксперимента.

Запустили — отошли. Самая частая ошибка — начать вносить правки в кампанию во время теста. Поменяли ставку, добавили минус-слово, отредактировали объявление — все, тест сломан. Данные стали несопоставимы.
Установите для себя правило: во время активного теста кампания не редактируется. Никаких «небольших правок».

Смотрите не только на CTR. CTR — это аплодисменты, а не продажи. Смотрите на конверсии, CPA и — если у вас подключена сквозная аналитика — на выручку по каждому варианту.
Иногда вариант с более низким CTR дает лучший CPA. Это означает, что его кликают реже, но те, кто кликает — более целевые. Такой вариант побеждает.

Победивший вариант становится новым «контрольным» — вариантом A для следующего теста. Проигравший отключается. Вы берете следующую гипотезу и повторяете цикл.

Именно так работает итерационный рост: каждый тест делает рекламу чуть лучше. Через 6 месяцев систематических тестов ваша кампания будет неузнаваема по сравнению с тем, что было в начале.

Минимум 7–14 дней. Это не рекомендация — это условие корректности.

Меньше недели — слишком мало данных. Один удачный день или один плохой день могут исказить картину так, что победитель окажется случайным.

Ориентируйтесь на два критерия одновременно:

По времени: не менее двух недель, чтобы сгладить эффект дней недели. Поведение пользователей в понедельник и в субботу разное — тест должен захватить полный цикл.

По количеству конверсий: минимум 10 конверсий в неделю на каждый вариант. Если у вас 3 заявки в неделю — данных недостаточно для выводов, сколько бы недель вы ни ждали.

Ранние выводы — главная причина, по которой тесты «не работают». Вы видите, что вариант B за первые три дня получил на 40% больше кликов — и отключаете A. Но к концу второй недели картина могла полностью измениться.

Статистика любит терпеливых.

Выбор метрики должен зависеть от цели теста. Нет универсальной «главной» цифры.

CTR — показывает привлекательность объявления. Используйте как метрику, когда тестируете объявления и хотите понять, что цепляет взгляд.

CPC (стоимость клика) — важен при тестировании ставок и стратегий. Снижение CPC при сохранении качества трафика — хороший результат.

Конверсии — количество целевых действий. Смотрите на абсолютные числа, а не только на процент конверсии.

CPA (стоимость конверсии) — ключевая метрика для большинства бизнесов. Сколько стоит одна заявка или один звонок.

ROI — если у вас подключена сквозная аналитика и вы видите выручку, это главная метрика. Потому что иногда более дорогой лид оказывается более ценным клиентом.

Главное правило: определите метрику до запуска теста, а не после. Иначе есть соблазн выбрать ту цифру, которая «победила», постфактум — а это уже не тестирование, а подгонка под ответ.

По нашим наблюдениям, именно эти ошибки — причина того, почему у 70% рекламодателей A/B тестирование «не дает результата».

Тестируют сразу несколько переменных. Меняют заголовок, картинку и оффер одновременно — и не понимают, что именно сработало. Результат есть, понимания нет.

Делают выводы на малом объеме данных. «Вариант B получил 5 заявок, вариант A — 3. B побеждает». При таких объемах это статистический шум, а не закономерность. Нужно в разы больше данных.

Меняют кампанию во время теста. Отредактировали объявление, скорректировали бюджет, добавили минус-слова — тест испорчен. Данные до и после изменения несопоставимы.

Игнорируют сезонность. Запустили тест в конце декабря — получили результаты, искаженные новогодним спросом. Тест перед праздниками не отражает реального поведения аудитории.

Смотрят только на CTR, а не на прибыль. Вариант B кликают на 30% чаще, но заявок он дает столько же — просто привлекает менее целевую аудиторию. «Победитель» по CTR оказывается проигравшим по CPA.

Останавливают тест слишком рано или слишком поздно. Ранние выводы — это решения на шуме. Но и держать тест 3 месяца бессмысленно: рынок меняется, и данные двухмесячной давности теряют актуальность.

Когда вы освоили базовый A/B тест, можно переходить к системному подходу.

Каскадное тестирование — это последовательность тестов, где каждый следующий строится на результатах предыдущего.

Сначала тестируете оффер — это самое важное. Что именно вы предлагаете и как это формулируете. Разные офферы могут давать разницу в конверсии в 2–5 раз. Это уровень, где находятся самые большие деньги.

Потом — когда оффер найден — тестируете креатив. Какое изображение лучше доносит этот оффер до аудитории.

Потом — посадочную страницу. Как лучше раскрыть оффер и убедить человека оставить заявку.
Это не три независимых теста. Это система: вы последовательно оптимизируете каждый уровень воронки, опираясь на найденные победители.

Итерационный рост — принцип, при котором победитель каждого теста становится точкой отсчета для следующего. Вы не ищете «идеальное объявление» — вы постоянно ищете «лучше, чем сейчас». Исследования показывают, что итерационный подход к тестированию дает прирост эффективности кампаний до 20% от теста к тесту.

Ошибка — думать о тестировании как об изолированном инструменте. Каждый тест влияет на конкретный этап воронки.

Тест объявлений влияет на CTR — то есть на то, сколько людей переходит с рекламы на сайт. Это верхний уровень воронки.

Тест лендинга влияет на конверсию — сколько из пришедших оставляют заявку. Это средний уровень.

Тест оффера влияет на обе метрики сразу и дополнительно — на качество лидов. Правильный оффер привлекает более целевую аудиторию, которая лучше закрывается в продажи.

Понимая эту связь, вы расставляете приоритеты правильно: если конверсия сайта низкая — начинаете с теста лендинга, а не объявлений. Если CTR хороший, а заявок мало — проблема дальше по воронке.

Короткий ответ: всем, кто тратит на Директ больше 30 000 рублей в месяц. При таком бюджете даже 10% улучшение CPA — это реальные деньги.

Интернет-магазины — тестирование объявлений и посадочных страниц под разные категории товаров. Особенно актуально при широком ассортименте: разные продукты нужно продвигать по-разному.
Услуги — тестирование офферов (бесплатная консультация, гарантия результата, фиксированная цена) и форматов объявлений. В услугах оффер решает все.

B2B — тестирование аудиторий и форматов взаимодействия. B2B-цикл сделки длинный, поэтому особенно важно понимать, какие точки касания работают.

Локальный бизнес — тестирование геокорректировок, расписания показов, формулировок с географической привязкой. Небольшие изменения в геотаргетинге могут дать неожиданно сильный эффект.

Стартапы — тестирование — это буквально способ выжить при ограниченном бюджете. Вместо того чтобы ставить все на одну гипотезу, вы быстро находите то, что работает, и вкладываете туда.

A/B тестирование — это не разовое действие и не «фишка для продвинутых». Это система, которая превращает рекламу из лотереи в управляемый инструмент роста.
Без тестирования вы можете получать заявки — но никогда не узнаете, что могли бы получать их в два раза больше за те же деньги. Без тестирования невозможно масштабирование: вы не знаете, что именно работает, а значит, не знаете, что масштабировать.
Каждый тест — это шаг от «я думаю» к «я знаю». Каждый победивший вариант — это меньше денег на привлечение одного клиента. Каждая итерация — это реклама, которая работает чуть лучше, чем вчера.
Начните с одной гипотезы. Сформулируйте ее по правилам, запустите, дождитесь данных, сделайте вывод. Потом повторите.