Кейс: новый лендинг объявили в 2,8 раза лучше — тест сравнивал бренд с холодным поиском

Победил канал, а не экран

На новую страницу пришлось условные 36 000 ₽ и 15 заявок. На старую — 34 000 ₽ и пять заявок. Общий CPL выглядел убедительно: 2 400 ₽ против 6 800 ₽.

Но страницы получили разные задачи. Новую показывали людям, которые уже вводили название компании. Старую — тем, кто искал производство или кухню без знания бренда. Сравнение отвечало на вопрос о температуре спроса, а не о качестве экранов.

Одиннадцать лидов подменили вывод

Из 36 000 ₽ новой версии условные 12 000 ₽ пришлись на бренд и дали 11 форм. Оставшиеся 24 000 ₽ холодного поиска дали четыре. Его отдельный CPL — 6 000 ₽.

Разница в 800 ₽ может оказаться полезной, но четыре и пять заявок слишком малы для уверенного вывода. В таком тесте нельзя обещать, что новая версия всегда лучше на 13%, тем более — в 2,8 раза.

Бренд уже пришёл с доверием

Человек, который вводит название компании, мог видеть рекомендации, карты, прошлую рекламу или уже общаться с менеджером. Лендингу не приходится с нуля доказывать, кто перед ним и почему стоит оставить контакт.

Холодный пользователь одновременно сравнивает производителей, цены, сроки и риск. Его более дорогая заявка не означает, что страница хуже. Это другой этап выбора.

Брендовый спрос нельзя объявить бесплатным и удалить из экономики: реклама может защищать выдачу и возвращать человека. Но нельзя использовать его лёгкую конверсию как доказательство силы страницы для новой аудитории.

Тест делит аудиторию, а не две эпохи

Нормальный эксперимент запускает версии одновременно и случайно делит сопоставимых пользователей. Обе страницы должны получать одинаковые регионы, устройства, расписание, тип спроса и правила квалификации.

Если полноценного случайного разделения нет, делают более слабый, но честный квази-тест: зеркальные кампании, одинаковые запросы и минус-слова, раздельные метки версий, одинаковые ограничения бюджета и один период. Его выводы всё равно формулируют осторожнее.

В Мастере отчётов Яндекс Директа до сравнения проверяют кампании, условия показа, поисковые запросы, устройства, регионы и даты. Одного столбца CPL недостаточно.

Заявка тоже может быть разной

Даже при равном трафике страницы могут привлекать разный тип контактов. Одна даёт короткую форму, другая просит бюджет и задачу. Считать их одинаковыми на отправке удобно, но опасно.

Для мебельного или производственного бизнеса рядом с CPL нужны доля целевых обращений, стоимость подтверждённого расчёта, запись на замер и оплаченный заказ. Если новый экран выигрывает только по форме, решение ещё не принято.

Критерий победы задают до старта: например, стоимость квалифицированного обращения без ухудшения доли замеров. Иначе после теста всегда можно выбрать метрику, которая поддерживает любимый дизайн.

Сначала выровняли бы вход

• разделили бы брендовый и небрендовый спрос до расчёта CPL;
• проверили бы одинаковые запросы, географию, устройства и время;
• запускали бы версии параллельно, а не в разные месяцы;
• зафиксировали бы одно определение квалифицированного лида;
• не меняли бы одновременно объявления, ставки и работу менеджеров;
• сохранили бы идентификатор версии до CRM и оплаты;
• не объявляли бы победителя по девяти холодным заявкам.

В учебном кейсе нет придуманного результата «после». Следующий честный шаг — равномерно подать сравнимый холодный трафик и дождаться заранее выбранного объёма квалифицированных событий.

Чек-лист: что на самом деле сравнил тест

• пользователи делились случайно или по разным кампаниям;
• не попал ли бренд почти целиком в одну версию;
• совпадали ли периоды, регионы, устройства и расписание;
• одинаковыми ли были объявления и обещания до клика;
• одинаково ли считалась заявка на обеих страницах;
• дошла ли метка версии до квалификации и продажи;
• достаточна ли выборка для вывода, а не для красивого слайда.

Если новый лендинг «победил» слишком быстро, сначала проверьте, одинаковый ли спрос ему достался. Такой разбор входит в аудит и настройку Яндекс Директа.