Machine Learning Guru

Эта статья – перевод очень годного кейса, которым поделился Nicolas Garfinkel (оригинал тут).

150 миллионов долларов – это огромные деньги. За такую сумму можно многое купить в этом мире! Может быть, вы мечтаете об особняке в Бель-Эйр? А может, вы предпочитаете частный остров в Тайланде рядом со знаменитым пляжем Пхукета? На $150 млн можно купить готовый прибыльный бизнес или целое офисное здание и получать с него ренту.

А еще 150 миллионов долларов можно потратить на клики. На PPC рекламу. Представьте себе. И команда крупнейшего маркетплейса в Америке eBay приняла решение потратить такие деньги на платный поисковый трафик, в частности на объявления о продаже товаров (Product Listing Ads, PLA).

Хотя я, возможно, предпочел бы частный остров, доступ к непостижимому количеству данных был приятным утешительным призом. Благодаря этому бюджету несколько лет наша команда проводила сотни экспериментов и анализировала каждый сантиметр наших данных, чтобы найти следующую возможность для роста.

Сегодня принято считать, что данные – новая нефть. Если данные – это новая нефть, то вы можете себе представить, какие открытия могут дать вам 150 миллионов долларов?! С миллиардами посещений сайтов и приложений вы можете проверить абсолютно любую идею и провести любой тест!

За один месяц мы генерировали больше impressions от PLA, чем любой бизнес на Земле. Ничто не оставалось без внимания. Мы могли исследовать такие захватывающие идеи, как то, что дни с непогодой и сильным ветром приводят к более ценным кликам (так и есть). Мы также смогли проверить, приводят ли поисковые запросы пользователей из районов с высоким уровнем дохода к более высокому размеру первоначального заказа (это действительно так). И мы могли поэкспериментировать с такими интересными идеями, как использование отрицательных ключевых слов для корректировки ставок на уровне ключевых слов в объявлениях о продаже товаров (и мы это сделали).

И хотя такие масштабы могут создавать свои собственные уникальные проблемы, это не значит, что полученные знания нельзя применить в вашем бизнесе. В этой статье я расскажу о трех ключевых уроках, которые может дать вам бюджет в миллионы долларов в онлайн-рекламе, и о том, как вы можете применить эти знания в своих собственных каналах платного маркетинга.

Мы рассмотрим эти три понятия:

• Предельная рентабельность инвестиций (Marginal ROI, mROI);
• Инкрементальное тестирование (Incrementality Tests);
• Пожизненная ценность клиента (LTV).

Предельная рентабельность инвестиций (mROI) в платном поиске

Давайте на минуту представим себе следующий сценарий:

Вы – руководитель отдела маркетинга в компании среднего размера, которая тратит 250000 долларов в квартал на контекстную рекламу в Google. Утро понедельника, и вы получаете письмо от финансового директора:

«Мы хотим больше продаж и увеличиваем ваш предельный бюджет. Мы хотим, чтобы в следующем квартале вы потратили еще 25000 долларов. Вы ведь сможете осилить такое увеличение бюджета?».

Вы быстро отправляете письмо в команду платного поиска и получаете в ответ примерно следующее:

«В прошлом квартале мы получили ROI +30 % при затратах в 150 тысяч долларов. Рентабельность инвестиций держится на высоком уровне, мы можем взять на себя это увеличение, сохраняя положительный ROI в канале».

На первый взгляд проблемы нет. Однако здесь кроется главный подвох. Дело в том, что ROI здесь как метрика – бесполезна.

Возможно, ваша команда права в том, что общая рентабельность инвестиций в канал будет оставаться положительной. Однако цифровой маркетинг в значительной степени зависит от закона убывающей отдачи. Он предполагает, что по мере насыщения высокоэффективных областей дополнительный доход на каждый потраченный доллар будет уменьшаться.

Другими словами, неважно, что ROI первых 150 тысяч долларов составляет +30%. Важно, каков будет ROI следующих $25 тыс. Плюс 20%? Может быть. А может быть отрицательные -50%. Может и вовсе будет нулевым. Но он точно не будет больше или равен 30%.

Вот почему за основную метрику мы взяли не ROI, а Marginal ROI. Этот показатель позволяет считать окупаемость рекламы не только на общем потоке, но и в разных срезах – по сегментам, по гео, по девайсам. Мы твердо верили, что mROI дает нам лучший шанс максимизировать ценность наших расходов. Потому что при 9-значном бюджете каждый процент, каждое процентное улучшение имело значение.

Мы применяли эту методику не только в общем – на уровне канала контекстной рекламы. Мы рассчитывали mROI по всем сегментам, которые только могли придумать. Наша цель заключалась в том, чтобы скорректировать наши гипотезы и предположения, и попытаться сбалансировать маржинальный ROI по каждому ключевому сегменту, чтобы убедиться, что мы делаем правильные инвестиции для достижения максимальной эффективности канала. Мы рассматривали такие сегменты, как устройства, страны и форматы объявлений (например, PLA vs. Text).

Возможно, для вас термин Marginal ROI нов и все это звучит сложно. Ниже я объясню на пальцах что это значит.

1) Получите данные о ежедневных расходах и доходах для каждого устройства за определенный период времени. И сегментируйте эти данные регулярно, на ежедневной основе. Ваши данные должны выглядеть следующим образом:

Рис. 1: Таблица ежедневных затрат на рекламу и выручки

2) Спрогнозируйте mROI для каждого устройства и определите тренд. Рекомендую построить диаграмму рассеивания (scatterplot), чтобы вы наглядно увидели «кривую mROI».

Рис. 2: Диаграмма рассеивания показателей ежедневных трат на рекламу и ежедневных продаж

3) Рассчитайте значение оптимального mROI. Это такой уровень распределения расходов между кривыми для настольных ПК, мобильных устройств и планшетов, где mROI у всех устройств будет одинаковым.

Рис. 3: График оптимального Marginal ROI по различным типам устройств

4) Настройте ваши биддеры ставок в течение следующих нескольких недель таким образом, чтобы добиться этого оптимального распределения.

Звучит несложно, не так-ли? Если кликов тысячи. А если миллиарды? Когда для нашей команды стало слишком сложно высчитывать эту метрику вручную, мы создали модели машинного обучения для автоматического прогнозирования mROI и программной корректировки биддеров рекламных ставок.

Инкрементальное тестирование по Гео признаку

Абсолютно никому на этой планете не нравится платить за то, что можно было бы получить бесплатно. Это касается и мороженого, и футболок, и особенно клиентов.

eBay хорошо ранжируется в органике – это факт. Платить Google 14 долларов за каждый клик пользователя, который перешел бы по вашей большой синей бесплатной органической ссылке, может изначально показаться выстрелом в ногу. Однако топ Google в разных регионах и городах разный. И порой платная реклама – это единственный способ проверить стоит ли открывать свой филиал в том или ином городе / регионе или нет. Также неразумно сравнивать объем и качество трафика с PPC канала и SEO, а это значит что нам следует выкупать клики и в тех регионах, где мы ранжируемся хорошо.

Высокие расходы на исследования рынка – это неизбежная проблема для проверки любого канала в цифровом маркетинговом пространстве. Платный поиск – не исключение. Таргетинг не идеален, атрибуция далека от совершенства, регулирование данных становится все жестче, браузеры начинают блокировать ваши возможности по измерению и ретаргетингу пользователей.

Несмотря на неизбежность этой проблемы, она все еще остается критически важной. Без такого понимания вы не сможете правильно оценить общее влияние каждого маркетингового канала на бизнес. Это приведет к тому, что вы будете чрезмерно инвестировать в одни каналы и недоинвестировать в другие, что приведет к снижению маркетингового эффекта на бизнес.

Хуже того, если вы этого не сделаете, то застрянете на очередном двухчасовом совещании, обсуждая правильную модель атрибуции. В конечном итоге это приводит к одному и тому же выводу каждый год:

Ни одна модель атрибуции не является идеальной.

В eBay инкрементальные тесты были важной частью нашего подхода, основанного на данных, чтобы понять и оценить каждый канал как можно лучше в нашем общем маркетинговом миксе. Мы не просто проводили эти тесты один раз и забывали о них, мы проводили их постоянно.

Внутри компании такие тесты прозвали «щупами». Для непосвященных щуп – это простой инструмент, используемый для измерения уровня жидкости в емкости, например масла в двигателе автомобиля. Конструкция щупа стандартна, не зависит от условий и позволяет легко проводить повторные проверки. Такие проверки – необходимость. Нельзя просто раз проверить сколько масла в двигателе осталось, и забыть об этом. Следует делать такие проверки заранее перед поездками и делать это регулярно, в противном случае двигатель может выйти из строя.

Рис. 4: Прощупываем данные также как проверяем уровень масла щупом

Мы подошли к вопросу инкрементальности схожим образом. Мы обнаружили, что она часто меняется по мере изменения динамики рынка. Каналы постоянно развиваются, и инкрементность менялась по мере развития нашей стратегии работы с каналами. Инкрементность – это то, что должно быть в ваших планах из года в год.

Хотя существует множество подходов к разработке и проведению тестов на инкрементность, мы остановились на тесте на инкрементность по географическому принципу. Такой тест предполагает отключение канала платного поиска в определенных регионах, чтобы понять общее влияние на бизнес по сравнению с регионами, где платный поиск оставался включенным. Идея заключалась в том, чтобы создать контролируемую среду, в которой мы могли бы изолировать влияние платного поиска на общие конверсии.

Вот как мы это сделали:

1. Определили сопоставимые регионы: Первым шагом было определение пар регионов с похожим поведением с точки зрения трафика, коэффициента конверсии и общей эффективности продаж. Например, так можно объединить города с сопоставимыми демографическими характеристиками, либо два региона с похожими рыночными условиями, с одинаковым средним уровнем зарплат;
2. Определили уровень шума: Мы проводили анализ мощности выборок и тесты на стабильность, чтобы определить минимальное обнаруживаемое изменение для теста. Мы осознанно не проводили длительные инкрементные тесты. Если тест требовал 3 или 6 месяцев для получения статистически значимых результатов, то мы отказывались от таких в пользу более быстрых тестов;
3. Определили контрольную и тестовую группы: В каждой паре один регион был определен в качестве контрольной группы, где платные поисковые объявления продолжали работать в обычном режиме. Другой регион стал тестовой группой, где платный поиск был полностью отключен. Это позволило нам наблюдать за изменениями в общих показателях конверсии и продаж без учета влияния платного поиска;
4. Замерили эффект: В течение определенного периода (обычно нескольких недель) мы внимательно следили за показателями обоих регионов. Ключевыми показателями были коэффициент конверсии, общая выручка и другие бизнес-показатели. Сравнивая показатели контрольного и тестового регионов, мы могли оценить истинный эффект от платной поисковой контекстной рекламы;
5. Проводили анализ и корректировки: Как только тестирование было завершено, мы приступали к анализу полученных данных. Если в тестовом регионе (без платного поиска) наблюдалось значительное снижение конверсий, это указывало на то, что платный поиск приносит дополнительную прибыль. И наоборот, если влияние было минимальным, это свидетельствовало о том, что часть бюджета лучше направить в другие источники трафика. Обычно этот показатель выражается в процентах от общего объема продаж;
6. Мы повторяли тесты многократно: По мере того как менялась динамика рынка, менялись и результаты наших тестов. Вот почему мы не ограничивались однократным тестированием одного региона. Мы регулярно повторяли инкрементные тесты, корректируя наши стратегии работы с каналами сбыта на основе последних данных.

Сразу скажу, что это было мощно! Мы получили очень много инсайтов. Однако есть несколько важных предостережений относительно проведения инкрементальных тестов:

• Получить данные с инкрементальных тестов несложно, однако грамотно продумать и разработать такие тесты, сбалансировать выборки, учесть все факторы, провести глубокий анализ и понять что ценно, а что нет, можно только с участием профессиональных аналитиков. Соответственно в вашей команде обязательно должен быть такой спец (а лучше несколько). Иначе вы можете сделать неверные выводы. Помните: гораздо хуже принять бизнес-решения на основе плохих данных, чем принять чисто на интуиции, без вообще каких-либо данных;
• Не каждый бизнес подходит для проведения инкрементальных тестов. Чем меньше вклад исследуемого маркетингового канала в общий бизнес, тем больше конверсий вам потребуется для получения статистически значимого результата. Вы можете использовать такие статистические методы, как анализ мощности выборок, чтобы понять, какие гипотезы возможно протестировать, а какие нет, плюс сколько времени займет тестирование.

Пожизненная ценность клиента (LTV)

С каждым годом Google выкатывает все новые и новые фичи, чтобы облегчить жизнь рекламодателям. Так, в Google Ads недавно появилась опция рекламы по вариантным ключевым словам (variant-match keywords). Сегодня уже не нужно так детально и долго искать ключевые слова как раньше, строить огромную семантику в рекламном кабинете.

Google также анонсировал модели автоматического выставления ставок (auto-bidding models), для того чтобы бренды делали рекламные ставки более разумно и эффективно. Еще эта поисковая система предложила рекламодателям совершенно новые типы кампаний, в которых не нужно управлять ключевыми словами, и теперь они автоматически генерируют рекламные креативы.

Google сделал многое, чтобы помочь рекламодателям быстрее начать запуск рекламы, однако обратная сторона всего этого заключается в том, что теперь различий между вами и вашими конкурентами стало еще меньше. Поскольку Google продолжает автоматизировать все больше и больше функций PPC, самым большим отличительным фактором, который вы будете контролировать как менеджер платного поиска, станут ваши данные. И самые важные данные, которые у вас есть, это данные о конверсии – кто из посетителей конвертируется и сколько стоят эти клиенты.

И здесь нужно погружаться в анализ. Причем погружаться глубоко. Строить сегменты аудиторий, выдвигать гипотезы. А затем тестировать, тестировать и еще раз тестировать. И если у вас в организации нет команды аналитиков, то это придется делать вам. Конечно, современные нейросети, такие как GPT, могут помочь вам в этом, они могут проанализировать почти любые данные и построить визуализации. Но как правило это поверхностный анализ и ценность его невелика. Плюс надо учитывать, что ваши данные могут оказаться в руках конкурентов, ведь все что вы загружаете в нейросети, остается в них. И риск утечки исключать нельзя.

Следующая проблема – на что таргетировать контекстную рекламу. Большинство маркетологов таргетируют рекламу на значимые конверсии, такие как покупка или регистрация. При этом без внимания остается от 50% до 80% посетителей, которые не готовы к конверсии с первого визита. Но они могут конвертироваться после. А для этого нужно учитывать конверсии возвратных посетителей, нужно также считать экономику привлечения вдолгую, учитывая в том числе LTV (ценность клиента за все время пользования продуктом).

Многие знают про LTV, но очень мало кто считает эту метрику. Еще меньше организаций, которые принимают решение по ней. А зря. Бывает так, что платной рекламой невозможно добиться положительного ROI на краткосрочном горизонте, как ты ее не настраивай. И в таких ситуациях обычно побеждают те, кто готов привлекать клиентов даже с отрицательной окупаемостью кликов. Потому что они знают что эти клики окупятся на длительном горизонте.

LTV – это пожизненная ценность клиента. Эта метрика рассчитывается на основе исторических данных. И она очень показательна с точки зрения того насколько ценны ваши услуги для пользователей. Как правило, со временем, если ваш продукт хороший, то метрики LTV растут. Если же вы что-то предлагаете клиентам не то, или не так, то LTV снижается.

В крупном екоме вы редко встретите компании, которые не считают LTV. В eBay всегда задаются такими вопросами, как «Сколько заказов было у среднего клиента за первые N месяцев его пребывания в качестве клиента?», чтобы понять общую ценность, которую они получают от клиента.

В eBay мы обычно группируем клиентов по году их первой покупки, чтобы понять, как LTV менялся с течением времени. У нас есть целые команды, отвечающие за повышение клиентского LTV. Почему так много людей этим занимаются? Потому что важно не просто 1 раз посчитать LTV, но и понимать изменение динамики, понимать что повлияло на нее и как это исправить или масштабировать.

Рис. 5: Таблица с ежегодным количеством заказов, средним чеком и размером LTV

Группировать не обязательно по году. Если у вас приложение с платной подписочной моделью, то скорее всего лишь небольшой процент клиентов “доживает” до года, поэтому можно анализировать LTV поквартально. Есть ниши и бренды, где наоборот недостаточно 12 месяцев, в таком случае допускается выбрать более длительный срок, чтобы уловить всю потенциальную будущую ценность клиента.

Однако здесь нужно быть аккуратным. Поскольку выбор временного окна имеет значимые последствия:

• Вам нужно достаточно длинное окно, чтобы точно отразить ожидаемую ценность, которую клиент будет генерировать в течение всего периода пользования вашим продуктом. Если клиент будет пользоваться вашими услугами в течение следующих 5 лет, окно в 1 год будет недооценивать вклад вашего маркетингового канала;
• Вам нужно достаточно короткое окно, чтобы своевременно измерить изменение LTV. Так, предприятиям, которые используют окно в 5 лет, необходимо подождать целых 5 лет, чтобы получить полное представление о том, как изменился LTV их клиентов.

Я умолчу о том, какое окно LTV использовала компания eBay во время моей работы в ней. Это нельзя разглашать. Но я поделюсь несколькими интересными выводами, к которым я пришел во время работы в этой фирме:

1. Первый продукт, который покупал клиент, как правило, оказывал существенное влияние на его общий LTV. Такие параметры, как категория товара и его цена, играли важную роль в определении ожидаемой LTV. То есть клиенты, которые покупали дорогие товары при первой покупке, как правило, на длительном горизонте были более ценными для организации;
2. «Будущая ценность» была значимым распределением общей ценности, полученной от нашего канала. Когда мы экспериментировали с различными моделями торгов и группировок, этот сдвиг в распределении был важной частью нашего обсуждения;
3. Мы изучили концепцию «эффекта ореола» нового клиента в домохозяйстве и то, как она помогла нам привлечь новых клиентов в том же домохозяйстве. Чем лучше вы сможете найти способы количественной оценки ценности ваших клиентов, тем большее преимущество вы получите перед конкурентами.

Что дает знание LTV в контекстной рекламе? Все предельно просто. По мере того как все большая часть организаций перераспределяет бюджеты в пользу онлайн-рекламы, и в частности контекстной (с теми же самыми настройками, которые используете вы и ваши конкуренты), разница между успехом и неудачей в значительной степени зависит от вашей способности понять полную ценность каждого нового клиента и сообщить об этом алгоритмам Google. И рано или поздно мы придем к тому, что организации с лучшей аналитикой, с лучшими сигналами конверсий и данными о конверсиях выиграют в этой войне (и займут все ниши в PPC). И здесь идет речь не только о стоимости заказа при первой конверсии, но и общей добавленной стоимости, которую этот клиент создает для бизнеса.

Если вы хотите добиться успеха в контекстной рекламе вам следует уже сейчас задаться следующими вопросами:

• Сколько дополнительных покупок совершит этот клиент?
• Какова моя маржа на эти дополнительные товары?
• Превращаем ли мы этих клиентов в послов бренда?
• Сколько новых клиентов этот клиент может привлечь для нашего бизнеса? Можем ли мы измерить и это?
• Какова маркетинговая ценность первоначальной конверсии посетителей сайта / приложения для нашего бренда при условии их сегментации по пожизненной ценности? Можем ли мы настроить ретаргетинг на них? С какой периодичностью это лучше сделать?
• Как команда email-маркетинга оценивает каждый новый адрес электронной почты?
• Есть ли в фирме стратегия по созданию воронок email маркетинга для новых и постоянных клиентов?

Поговорите с вашими коллегами, руководством, клиентами. Определите, где вы добавляете ценность, а где ценности нет. Проанализируйте эту информацию и скормите алгоритмам Google.

К сожалению, большинство CRM из под коробки не считают LTV. Так что придется считать ее самостоятельно. Вот простой способ, как посчитать пожизненную ценность клиента:

1. Выберите временное окно: Выберите разумный промежуток времени для расчета LTV. Если вы не уверены что будет лучшим выбором, начните анализ с окна в 1 год;
2. Рассчитайте LTV для каждого клиента: Найдите дату первой покупки ваших клиентов и сложите стоимость всех их заказов в течение 1 года после этого периода;
3. Сгруппируйте клиентов: В зависимости от объема данных и потребностей бизнеса вы можете группировать клиентов по неделям, месяцам или годам. Возможно, вам даже придется группировать несколько лет вместе, если произошло слишком мало конверсий;
4. Усредните значения: Для каждой группы клиентов рассчитайте среднее значение. Я всегда рекомендую вычислять и медианное значение, чтобы вы знали о небольшой горстке клиентов-“отличников”, которые могут искажать типичное значение, ожидаемое вами от платного поиска.

Выводы

Заголовок поста звучит громко: платная реклама с астрономическим бюджетом, и может показаться что вся эта информация актуальна только для крупного бизнеса. На самом деле это не так.

Рассмотренные выше стратегии и идеи: маржинальный ROI, инкрементные тесты и пожизненная ценность клиента – являются мощными инструментами для любого маркетолога, независимо от размера бюджета. Главный вывод заключается в том, что успех в платной поисковой контекстной рекламе зависит от глубокого понимания того, как каждый доллар способствует достижению ваших общих бизнес-целей.

Сосредоточившись на инкрементной ценности ваших маркетинговых расходов, тщательно проверяя свои предположения и понимая долгосрочную ценность ваших клиентов, вы сможете принимать обоснованные решения, которые приведут к значимым результатам. Эти принципы подходят не только для масштабных рекламных кампаний; их можно применять к кампаниям любого размера для оптимизации эффективности и получения максимальной прибыли.

Поскольку цифровой маркетинг сегодня не стоит на месте, он продолжает развиваться, а конкуренция – усиливаться, ваша способность эффективно использовать накопленные данные и адаптироваться к меняющимся условиям на рынке будет выгодно отличать вас от других. Это станет вашим неоспоримым конкурентным преимуществом! Независимо от того, ведете ли вы малый бизнес или управляете большим бюджетом, такой подход поможет вам принимать более разумные решения и добиваться лучших результатов в контекстной рекламе в любой поисковой системе, будь-то Google или Яндекс.