«Магнит»: платформа для инсайтов «с пониманием»

В конце 2022 года в сети «Магнит» была запущена платформа для управления ценностью клиентов (Customer Value Management, CVM) с интегрированным причинно-следственным анализом. Она стала настоящим помощником для владельцев продукта и отличным инструментом, позволяющим находить ответы на вопросы бизнес-заказчиков. Получаемые инсайты позволяют им лучше понимать свою аудиторию. О реализации этого проекта рассказывает Артем Селезнев, руководитель управления клиентской аналитики сети «Магнит» и номинант на премию Data Award.

- В чем заключалась проблема?

С первых запусков сервиса персональных рекомендаций в команде развития ценности клиента возникли проблемы. В основном, они касались стабильности решения разработки рекомендаций и скорости поиска инсайтов по принятым решениям. Маркетинговые промо не давали стабильных результатов, и даже при удачных A/B-тестах мы могли потерпеть неудачу в самый неожиданный момент. Бизнес-заказчик в этих случаях терял доверие к разработке и уменьшал количество целевой аудитории и бюджет.

Кроме того, разработка на улучшение процесса иногда заводила в тупик, когда реализованные изменения в алгоритме подбора рекомендаций не давали ожидаемого результата и приходилось делать шаг назад, к проверенным работающим инструментам. Здесь мы не могли понять, почему методы, применяемые другими, не дают такой же результат у нас. Если сложить все в одно предложение, то мы хотели понимать, какое моделирование поможет нам достичь конкретного результата, и за счет каких логических элементов. Именно поэтому в нашей платформе можно видеть блок, который проверяет соответствие и стандарт гипотезы, а также дает возможность пост-анализа.

- Какой подход был выбран?

Мы задались естественным вопросом: что необходимо сделать, чтобы бизнес-заказчик понимал, почему клиент согласен получить именно это предложение? Какие факторы влияют на этот выбор? Почему результат может измениться при повторном запуске? Кроме того, задавался ряд подвопросов в следующем ключе: что поможет аналитикам и бизнес-заказчикам быстрее принимать решение и как минимизировать запросы в команду разработчиков. Ответив на эти вопросы, команда поставила себе цель – создать платформу разработки и тестирования персональных маркетинговых предложений с интегрированным причинно-следственным анализом.

Именно разработка с причинно-следственным анализом «под капотом», позволила нам задействовать всю силу клиентских данных, улучшить время вывода новых обновлений в рекомендациях и отказаться от «черного ящика», чтобы дать больше ответов-инсайтов для бизнес-заказчика.

Мы провели анализ своих работ и описали каждую имеющуюся модель, используя методы поведенческого анализа и причинно-следственных связей. Это было сделано для построения автоматической системы поведенческого анализа и ее интеграции в алгоритмические расчеты. Именно эта интеграция позволила нам создавать диаграммы, описывающие то, что происходит с клиентскими данными, при проектировании.

- Какие задачи требовалось решить?

С одной стороны, создаваемая платформа должна была решить задачи аналитиков и владельцев-продукта. Это ускорение проверки маркетинговых гипотез – от постановки гипотезы владельцем продукта до результатов A/B-тестов, ускорение оптимизации целевой аудитории, уменьшение времени на объяснение ожидаемых результатов и сравнение плана с фактом. С другой стороны, требовалось решить и задачи бизнес-заказчиков: объяснение причин принятия покупателем решения о покупке и объяснение успеха или проигрыша маркетингового промо.

При первом подходе к решению мы обратили внимание, что причинно-следственный анализ популярен в сферах, где бизнес близко соприкасается с результатами моделей машинного обучения. Многие даже используют фразу «Корреляция не подразумевает причинно-следственной связи» (в оригинале – «Correlation doesn't imply causation»). Однако практическое применение таких подходов минимально. На рынке есть библиотеки на Python и R для регрессионного анализа, позволяющие реализовать четыре основных причины отклика покупателя: обратная причинность (анализ корреляций); анализ пропущенных переменных; анализ смещений в выборках, которые были в обучении и фактических данных пользователя перед отправкой предложения; анализ ошибок при измерении данных – например, если пользователь неправильно указал свои данные.

Но нам было этого недостаточно. Во-первых, все эти анализы были сложны для понимания. Чтобы объяснить бизнес-заказчику результаты по этим методам, его необходимо обучать. Бизнес же, как известно, хочет получать ответы быстро и на том языке, который он понимает. Во-вторых, использование существующих методов требует жестко определенного плана, где каждое маркетинговое промо должно проверять определенное влияние, все должно проходить через A/B-тесты. Как мы знаем, если хочешь выжить – меняйся быстро.

- Что представляет собой созданное решение?

Наша платформа разработки и тестирования персональных маркетинговых предложений с интегрированным причинно-следственным анализом стала настоящим помощником для владельцев продукта и отличным инструментом ответов на вопросы бизнес-заказчиков. В разработке мы сделали упор на понятность и простоту, а не на сложность «подкапотного математического аппарата». Мы даже специально не стали показывать бизнесу сложность решения, а демонстрировали его возможности через понятные диаграммы.

Платформа позволяет пользователям в web-интерфейсе совершать ряд действий. Она дает возможность автоматически использовать и строить скоринговые процессы над пользователями, причем использовать можно все модели машинного обучения из «зоопарка моделей» нашей компании. Важно, что это процесс drag&drop или, как это сейчас модно называть, no-code: пользователь просто выбирает из списка нужную модель и перетаскивает ее на рабочее поле. Блоки активны и могут взаимодействовать друг с другом.

Любой, кто заинтересован в проведении причинно-следственного анализа или в запуске теста, должен сделать всего два простых шага. Во-первых, составить описание решаемой проблемы. Это необходимо для построения связей, а также для пост-анализа. Во-вторых, построить диаграмму из доступных блоков. Если моделей недостаточно, то всегда можно загрузить сохраненную модель в формате pickle.

По каждой блок-модели можно получать причинно-следственный анализ для целевой переменной на основе данных, которые используются в модели. Результатом является не абстрактное значение, а выстроенная диаграмма, которая включает базовое описание и позволяет получить анализ причинно-следственных взаимодействий, анализ потоков, S-кривую.

Наконец, есть возможность выстроить причинно-следственные цепочки с обозначением целевых, корневых и промежуточных нежелательных эффектов – тех самых эффектов, которые мешают получать постоянный результат. В качестве примера можно привести знаменитую сказку про Курочку Рябу (ее полную версию). Здесь корневой нежелательный эффект – это падение золотого яичка, которое стало причиной других неприятностей – промежуточных эффектов. Финал сказки, где уже всем плохо, – это целевой нежелательный эффект.

Базовая связь строится в виде диаграммы, по каждому блоку можно получить персональный инсайт и значения, которые влияют на скоринг.

- Какие платформы использованы при создании системы?

Для работы используются данные программы лояльности, объединенные в нашем проекте Customer360. Само решение выстроено в «Яндекс.Облаке» (PySpark, GreenPlum, Linux) и реализовано на Python.

- Каких результатов удалось добиться?

По итогам 2022 года втрое ускорено тестирование маркетинговых промо (квартал к кварталу). Произошло увеличение коэффициента возврата маркетинговых инвестиций на 30%. Маркетинговые промо стали стабильнее, с IV квартала 2022 года у нас уже не было отрицательных промо.

Удалось добиться уменьшения маркетингового бюджета при сохранении заработка. Заведомо отрицательные промо, а также промо с неявными причинными связями, владельцы продукта просто исключают из расписания.

- А чего можно ожидать в обозримом будущем?

Мы ожидаем увеличения влияния проекта на EBITDA компании: затрат на промо будет меньше, а эффект должен быть больше. Как минимум, должны заметно улучшиться прошлогодние результаты, так как проект был интегрирован в процессы в конце III квартала 2022 года, а полноценно запущен в конце 2022 – начале 2023 года.

- Что получилось особенно удачным, а над чем еще можно работать?

Своей удачей мы считаем, что дата-команда смогла создать визуальный инструмент, проникнуться разработкой и создать клиентское приложение. Это отличный эксперимент, который позволил дата-сайентистам и дата-инженерам попробовать свои силы в «классической разработке», если можно так сказать. В результате мы получили более мотивированную команду.

А вот проработать хочется еще очень много всего: от интеграции А/B-тестов, чтобы их можно было запускать непосредственно из приложения, до улучшения системы обучения для владельцев продукта и других заинтересованных лиц.

- В чем роль проекта для бизнеса компании?

Наша платформа позволит компании получить преимущество не только за счет рекомендаций товара, но и обеспечив простой доступ к инсайтам над данными покупателей. Это решит очень большое количество проблем. Самое главное – знание инсайтов позволяет выстраивать коммуникации и изменения в товаре, получая постоянные ответы на вопросы «Почему?».

Приведу несколько примеров сделанных нами открытий. Первое из них заключается в том, что в сети «Магнит Косметик» покупают больше корма для животных. Выяснилось, что цикл покупки сухих кормов совпадает с циклом покупки средств для стирки белья. Естественным действием стало увеличение соответствующего ассортимента.

Другое открытие заключалось в том, что внутри сегмента «Покупатель с ребенком» есть девушки, которые используют детское пюре как перекус. Ответом на него стала организация в магазинах «Магнит Go» прикассового пространства с пюре.

Есть и менее яркие, но не менее важные примеры пользы инсайтов. Появляющиеся таким образом знания позволяют увеличить лояльность, неявно влияя на общее восприятие покупателей. Кроме того, они дают возможность категорийным менеджерам и руководителям форматов лучше понимать свою аудиторию без запроса внешних данных.

- Что было самым сложным, какие уроки вы извлекли из реализации этого проекта?

В начале проекта мы очередной раз поняли, что дата-команда – это не команда разработчиков. В основном, это была моя вина, так как я верю, что дата-сайентист – тоже программист. Поэтому сложно было все, что связано с разработкой, и даже сейчас мы еще учимся разрабатывать. Кстати, это одна из причин, почему хотим опубликовать решение на GitHub: важно получить большое количество отзывов и указателей на нашу работу.

Считаю, что основные уроки нас еще ждут.

- В каком направлении будет развиваться созданная платформа?

Мы планируем полноценно интегрировать ее в наши процессы и сделать разделение внутри команды на low-code процессы и core-разработку, где уже будут создавать модели. На уровне low-code хотим поместить аналитиков, которые будут быстро удивлять бизнес-заказчика результатами.

Но самый большой план – выпустить платформу, пусть и в ограниченном виде, в open source. Первые шаги планируем сделать к лету. До этого будем публиковать статьи о причинно-следственных связях и их поисках с визуализациями из нашего проекта.