X5 Retail Group

В X5 Group запускают AI-RUN Business Platform – платформу, позволяющую внутренним командам быстро внедрять решения на основе искусственного интеллекта. Она предоставляет доступ к широкому спектру ИИ-сервисов, и ее помощью можно создавать, тестировать и масштабировать ИИ-приложения, не тратя время и ресурсы на разработку с нуля. Также пользователи в рамках платформы получают поддержку экспертов в области искусственного интеллекта. О реализации и первых результатах проекта рассказывает Артем Ерохин, ведущий менеджер по работе с большими данными X5 Group и номинант на премию Data Award.

- Как пришла идея создания AI-RUN Business Platform?

Мы давно работаем с продуктами и сервисами, основанными на данных. В X5 Group уже большая экспертиза по различным ML-решениям, создано множество сервисов, построенных на данных. Однако пару лет назад мы стали наблюдать новый взрыв интереса к передовым технологиям, и, в частности, к большим языковым моделям (Large Language Model, LLM).

Сначала мы экспериментировали отдельными командами, но быстро поняли, что для того, чтобы централизованно накапливать экспертизу и помогать компании работать с наиболее современными достижениями в сфере анализа данных, нужна единая точка входа, одно общее решение. Так и родилась идея создания платформы, которая позволила бы работать с самыми актуальными алгоритмами и моделями.

- В чем заключаются основные проблемы, связанные с внедрением ИИ-решений?

Конечно, это зависит от области применения и типов алгоритмов. В компании уже пройден большой путь, и есть экспертиза внедрения решений на основе классического машинного обучения. Но для тех же LLM есть особенности. Например, для самых крупных открытых моделей подойдет не каждая машина. Плюс, есть особенности работы с этими моделями, отдельные «фишки», которые не всегда работают в классическом ML.

Если же брать в целом, то основные проблемы внедрения достаточно типичные. Первое – человека на месте нужно убедить, что ИИ-решение будет лучше, чем «ручной привод». Второе – внедрение новых подходов меняет процессы. Соответственно, появляются новые сущности, новые запросы и новые вызовы, которые нужно решать именно на процессном уровне. И третье – нужна реализация и отслеживание процесса разработки моделей от начала и до конца. В отличие от четко заложенной программистом бизнес-логики, у ИИ-решений все полагается на накопленный опыт и статистику. Оттого возможны предсказания, которые человеку покажутся как минимум необычными. Но модели пока не обладают здравым смыслом в человеческом понимании и не могут сами исправить возможные недочеты.

- Как платформа должна помочь их решать?

Работа ведется по нескольким фронтам. Во-первых, чем проще человеку что-то «пощупать», тем легче для него будет понять, что за инструмент ему предлагают и проще показать преимущества нового подхода. Кроме того, платформенное решение предполагает не только техническую сторону вопроса. Одновременно с разработкой создаются новые и меняются существующие процессы в компании. Люди могут понять, как работают наиболее современные технологии на своем опыте, предложить изменения процессов и подсказать, как именно ИИ будет полезен в их повседневной работе. Наконец, если мы делаем платформенное решение, то сразу охватываем весь процесс разом и, значит, можем его лучше контролировать. Ну, и иметь максимальную скорость реакции и адаптивность, конечно.

- Какой подход был выбран при создании платформы?

Мы решили пойти от частного к общему. Кажется, что именно так мы сможем получить более полную картинку, а не навязывать инструмент сверху. Провели несколько воркшопов, выделили целевые области, в которых можем принести как можно больше пользы компании. Тогда же начали проявляться повторяющиеся запросы. А это как раз одна из целей такого платформенного решения – удовлетворение повторяющихся запросов от совершенно различных бизнес-функций неким автоматизированным решением.

Как только появились первые идеи, мы начали их проработку в техническом плане. При этом, прорабатывали в двух плоскостях: как мы можем сделать это сейчас и как мы видим это в идеальном будущем. Так получилось заниматься и разработкой, и формулировать видение. И даже больше – проложить мостик между тем, что мы делаем сейчас, и куда мы придем в итоге.

- Что представляет собой платформа, в чем ее суть? Какие элементы она включает?

Сейчас это набор сервисов, процессов и экспертизы, которые позволяют создать конкретное решение для заказчика. Пока это только решения, которые требуют LLM, – например, вопрос-ответные системы или системы помощи в создании и редактуре тех или иных документов. Но мы активно работаем над добавлением составляющей, связанной с компьютерным зрением, так как это может дать сильный синергетический эффект.

Ключевыми элементами являются сервис-шина доступа, сервис с моделями, база данных и соединяющие их потоки данных.

- Какие ИТ-инструменты использовались при создании решения?

Сервисы мы реализуем на языке Python, который можно считать своеобразным lingua franca в мире машинного обучения и работы с ИИ. Кроме того, используем достаточно большое множество разнообразных библиотек из области работы с ML. Общаются сервисы между собой с помощью Kafka.

Если рассматривать именно работу с LLM, то для базы данных мы пока выбрали Quadrant, но, возможно, изучим и альтернативы. В качестве моделей используем открытые Llama и Mixtral, а также проприетарные модели от внешних компаний.

- Как фактически изменяются благодаря платформе процессы работы с новыми решениями на базе ИИ?

Если говорить коротко, то сокращается цепочка от автора до итогового решения и упрощается процесс взаимодействия с ИИ-решениями. Например, инициатору уже не нужно пытаться поднимать свою LLM на собственных мощностях, он пользуется готовым решением. Кроме того, единая точка входа позволяет не только создать некое техническое решение, но и получить достаточно редкую и ценную экспертизу специалистов в области ИИ. Ведь не всегда для решения бизнес-задачи требуется самое современное решение, а если и требуется, то вариантов использования такого решения может быть немало. Неспециалисту в этом, конечно, будет сложно разобраться.

- Какие категории сотрудников являются основными пользователями? Это все-таки айтишники или бизнес-заказчики?

Мы стремимся к тому, чтобы пользоваться решением могли не только айтишники, но и люди от бизнеса. Конечно, это скорее целевое состояние, и сейчас некая техническая экспертиза все же требуется. Но мы вкладываем много усилий в обучение бизнес-пользователей, просвещение и упрощение понимания современных инструментов, их особенностей работы и областей применения.

- С охвата каких ИИ-решений решили начать и почему?

LLM в какой-то момент «взорвали» информационное поле, более того, они реально могут быть полезными. При этом решения, которые создаются на базе LLM, для простого пользователя будут восприниматься как магия. Получается, мы решаем сразу несколько целей: не отстаем от рынка (и даже пытаемся идти среди первопроходцев), исследуем новую перспективную технологию и приобщаем пользователей к современным инструментам.

Но работа с данными не ограничивается только LLM. Очевидно, что если привнести и достижения в других доменах (обработка изображений, звука и т.д.), то можно получить синергетический эффект. Например, записанные от руки данные можно будет распознать, обработать и выдать ответ. Или делать гораздо более «живых» виртуальных операторов, которые будут общаться неотличимо от человека. А там, глядишь, и мультимодальные модели еще раз «взорвут» рынок.

- Каких результатов уже достигли? А что ожидается в перспективе?

Думаю, что хорошим результатом можно считать настроенный процесс получения идей от бизнеса и их приоритизации. Если говорить о технических аспектах, то, например, мы весьма неплохо ищем нужную информацию. Например, среди трех верхних найденных документов с вероятностью 95% окажется именно тот, который искал пользователь.

Тем не менее, нам все еще нужно улучшать работу наших моделей. Те же LLM имеют одну неприятную особенность: они очень хорошо пишут абсолютный бред. Соответственно, под это нужно дорабатывать методы детекции некорректных ответов и способы справляться с такими проблемами. Как вариант, запустить так называемый процесс Human-in-the-Loop, где люди участвуют как в обучении, так и в тестировании алгоритма. Его суть заключается в том, что в постоянном циклическом процессе человек корректирует работу моделей, привнося свет человеческого знания в те области, где модель блуждает в потемках.

На данный момент нами обрабатывается 150 входящих идей, из которых 20-30 получили первичную проработку со специалистами. Уже на этапе пилотов находятся 10 идей, которые запускались с конца лета до нынешних времен – то есть находятся в работе около четырех-шести месяцев. Запуск первой версии платформы намечен на конец 2024 года.

- Чем можно гордиться, а над чем еще предстоит поработать?

Думаю, что основные поводы для гордости – это наша команда X5 Tech, а также возникшие новые процессы и, конечно же, скорость получения первых результатов. Идеал недостижим, но, чтобы максимально к нему приблизиться, нам нужно будет улучшить визуальную составляющую платформы. И, конечно же, продолжать доносить до новых пользователей преимущества новейших достижений инженерной мысли.

- Какие первые ИИ-продукты уже родились благодаря новой платформе?

Сейчас мы работаем над вопрос-ответными системами по накопленным в X5 базам знаний, а также сервисами генерации документов и помощи в работе над документами. Мы называем это «умной редактурой».

Но развитие идет динамично. К нам каждый месяц поступает множество идей о применении ИИ в наших процессах. Так что, думаю, продуктов станет кратно больше.

- Каковы перспективы развития AI-RUN Business Platform?

Самые позитивные. Сейчас сфера ИИ развивается очень быстро. Чуть ли не каждую неделю выходят все более «умные» модели, появляются новые подходы, упрощается техническая реализация существующих подходов. И я думаю, что такое платформенное решение позволит как можно быстрее доносить эти достижения до обычных бизнес-пользователей. И, конечно же, чем больше разных доменных областей будет в платформе, тем лучше будет проявляться синергетический эффект от разных источников данных и их объединения для решения единой бизнес-задачи.

В Х5 Tech разработали и интегрировали систему по модельному риску, позволяющую эффективно отслеживать и управлять многочисленными ML-моделями, детектировать и реагировать на возможные риски, связанные с моделями. Это позволяет минимизировать потенциальные убытки и улучшать качество принимаемых на основе моделей решений. Модельный риск был встроен в процессы компании, и уже предотвращены реальные случаи, когда модель приносила значительные финансовые убытки. О реализации этого проекта рассказывает Святослав Орешин, руководитель команды модельного риска Х5 Tech и номинант на премию Data Award 2024.

- В чем суть проблемы? Почему управление рисками моделей машинного обучения стало важным для X5?

Чтобы лучше понять проблему, давайте начнем с аналогии. Допустим, вы запускаете стартап и работаете в небольшой компании друзей-коллег. Вы общаетесь каждый день и в курсе всех событий, которые у вас происходят в команде. Но с ростом команды вы нанимаете больше персонала, делаете больше проектов, и у вас возникает естественная потребность в HR-специалистах, менеджерах и системе управления персонала в целом.

Отсюда и возникает проблематика модельного риска – если у вас не так много моделей машинного обучения и на них не завязаны критичные для бизнеса решения, то за модельным риском можно следить и вручную. Однако в случае больших компаний обрабатываются терабайты данных ежедневно, а количество ML-моделей может исчисляться сотнями, и они участвуют практически во всех процессах. Если не поддерживать актуальность моделей и качество входных данных, не следить за динамикой их работы, то вы столкнетесь с финансовыми убытками и нецелевым расходованием бюджета. Контроль за модельным риском направлен на минимизацию возможных убытков и предотвращение нецелевого расходования бюджета.

- Каковы типичные риски, связанные с ML-моделями?

Основной риск – это то, что модель может работать неточно или непредсказуемо. Это может быть следствием некорректности входных данных, необходимости переобучить модель, изменением бизнес-логики или просто влиянием внешних факторов. Далее каждая из «крупных» категорий рисков раскладываются на более частные, которые отражают специфику той или иной модели. Есть ML-модели, которые делают предсказания каждую минуту, а есть те, которые делают предсказания раз в месяц. Соответственно, для каждой из них свойственны разные риски с разной критичностью, исходя из специфики данных, архитектуры и других вводных.

- Приведите примеры случаев, когда «отбившиеся от рук» модели приносили реальные убытки. О каких масштабах потерь идет речь?

Конкретные случаи я привести не могу из-за NDA, однако можем провести теоретическую оценку. Представим, что у нас есть модель Х, стоимость разработки и поддержки которой составляет примерно 10 млн руб. в год. Для простоты расчетов предположим, что все модели приносят компании одинаковое количество выручки и риски распределены нормально. Применим правило «одной сигмы» для распределения рисков и получим, что при оптимистичном сценарии мы несем в среднем около 20% убытков, а при пессимистичном – более 50% убытков. Получается, что если в компании есть 50 моделей со средней стоимостью 10 млн руб. в год на каждую, то компания терпит от 100 до 250 млн руб. убытков каждый год из-за реализации модельных рисков.

Мы рассматривали сценарий, при котором модельные риски приводят только к нецелевому расходованию бюджета, но в реальности компания терпит дополнительные убытки, так как часто предсказания моделей переиспользуются в разных процессах, и убытки могут суммироваться и приводить к дополнительной нагрузке на персонал.

- Что включает управление моделями и их рисками?

Если максимально упростить решение, то в модельном риске мы решаем три основные задачи. Во-первых, это централизация – появляется централизованный верхнеуровневый мониторинг над моделями: все модели регистрируются в единой системе. Во-вторых, актуализация – информирование продуктовых и проектных менеджеров, дата-сайентистов и ML-разработчиков, а также прочих заинтересованных лиц о состоянии и изменениях в работе моделей. Наконец, мониторинг – единое место, где все участники процессов, связанных с моделью, смогут отслеживать все доступные модели и их метрики.

- Что представляет собой созданное в X5 решение?

Решение состоит из разных компонент. Во-первых, это веб-сервис и интерфейс, в котором владельцы модели могут ее зарегистрировать и внести основную информацию о ней. Во-вторых, это ядро системы – ключевая логика для сбора и анализа различных данных, связанных с работой модели, оценкой входных данных, по итогу работы которой рассчитываются и оцениваются риски. И, наконец, это система мониторинга и уведомлений, которая позволяет получать актуальную информацию о работе и состоянии каждой модели и своевременно оповещать всех, кого следует, о возникающих рисках и предлагать возможные действия для их ликвидации.

- Как, по каким признакам, определяется, что модель работает не так, как должна?

Для начала надо четко понимать, на каких данных работает модель, какую задачу решает, как проводится ее валидация, какие у нее целевые значения прокси-метрик и на какие бизнес-метрики влияет работа модели. Далее, совместно с владельцем модели под нее настраиваются риски и оценивается их критичность. Например, для одной модели критично, если она не производила предсказания в течении одного часа, а для другой – в течении одной недели. Наш сервис получает логи работы моделей и протоколирует их, оценивает входные данные и рассчитывает релевантные для модели риски. Затем по совокупности всех выявленных рисков модели присваивается статус. Все это происходит в реальном времени с минимальными задержками.

- Как решение встроено в процессы, кто и на какой основе занимается управлением ML-рисками?

При интеграции подобной системы крайне важно не нагружать команды дата-сайентистов дополнительной работой. Поэтому в ходе разработки мы активно общались с владельцами и разработчиками моделей, а также бизнес-стейкхолдерами, и таким образом приоритезировали функционал, который действительно нужен командам. Оптимизируя нагрузку на команды, мы добились того, что процесс регистрации и подключения модели занимает в среднем не более, чем 15 минут.

Таким образом, мы не просто встраиваемся в процессы, но и решаем задачи команд, снимая с них дополнительную нагрузку, связанную с мониторингом моделей. Помимо этого, мы интегрировались в процесс передачи моделей на поддержку, и все ML-модели, которые передаются и находятся на поддержке подключены к нашему сервису.

Продуктом пользуются как разработчики и владельцы моделей, так и руководители подразделений, заказчики со стороны бизнеса, финансовый отдел и другие команды.

- Как измеряются результаты в случае управления модельными рисками?

Оценить вклад модельного риска в финансовые показатели – достаточно сложная задача. Модельный риск – это превентивное решение, поэтому основные показатели на текущий момент заключаются в уровне покрытия системой мониторинга всех моделей компании, а также количество срабатываний на одну модель. Очень важно оценивать и качественные показатели – получать обратную связь от пользователей системы, а также проводить «работу над ошибками» – анализировать случаи, когда модель работала неточно, и понимать, как сервис может предотвращать такие случаи в будущем.

- Что удалось лучше всего, чем больше всего довольны?

Основной наш результат – это то, что нам удалось найти соответствие созданного решения потребностям внутри компании. Продукт достаточно молодой, мы начали им заниматься только в мае 2023 года, и тогда переживали, что наше решение может стать еще одним «регулятором», создать дополнительную нагрузку на команды ML-разработчиков. Однако за этот год мы смогли найти путь, в котором мы не только разработали и внедрили систему мониторинга рисков, но и решили множество смежных задач.

- Что с финансовыми эффектами?

Модельный риск направлен на предотвращение убытков для уже имеющихся моделей, поэтому даже спустя какое-то время работы системы будет крайне сложно оценить финансовый вклад именно модельного риска.

Мы сейчас развиваем большое инфраструктурное направление по MLOps, и модельный риск – часть этого направления. Ведь модельный риск не только предотвращает убытки от работы самих моделей, но также оптимизирует работу ML-команд за счет предотвращения дублирования работы при решении схожих задач, выполняет задачи мониторинга и интегрируется с внутренней инфраструктурой. Поэтому более корректно будет оценивать общий эффект от совокупности всех решений MLOps.

- В каком направлении будет развиваться проект, на какие результаты рассчитываете?

Проект будет развиваться как «вширь» – будем расширять список возможных рисков и подключать новые модели, так и «вглубь» – сможем учитывать более специфичные риски и предлагать «точечное» реагирование на них. Кроме того, планируем подключать не только отдельные модели, но и полноценные процессы разработки, состоящие из разных шагов по обработке данных и работы разных моделей.

Также мы решаем задачу составления единого реестра всех моделей компании. Таким образом, разработчики смогут делиться опытом не только внутри своей команды, но и с другими командами.

В X5 запустили продукт «Управление товарной представленностью», в котором модели машинного обучения определяют нетипичное отсутствие продаж по товару в конкретном магазине и шлют уведомление персоналу. Это позволило повысить доступность товаров на полках и объемы продаж. Для детектирования нежелательных событий в магазинах, таких как отсутствие товара на полке, нарушение выкладки или отсутствие ценника, используется анализ чеков. В результате время обнаружения проблемы не превышает часа.

В рамках еще одной инициативы был осуществлен переход с инструмента расчета объема промо-товаров, реализованного в SAP BW, на собственное решение. При этом точность прогноза относительно старого решения в ряде случаев выросла до 40%, на AB-тестах подтвержден значительной рост товарооборота и маржи, а также сокращение распродаж после промо-акций.

О реализации этих проектов и их результатах рассказала Елена Фатыхова, руководитель направления поддержки и сопровождения платформы прогнозирования X5 и номинант на премию Data Award 2023.

— Какие задачи решает платформа прогнозирования X5, когда создана, на каких технологиях работает?

Платформа прогнозирования Х5 выросла из продукта «Спрос», команда которой была сформирована в 2019 году. В его рамках был реализован прогноз продаж для логистики и коммерции – нам важно знать, какое количество товара, в каком магазине и в какой день будет продано и обеспечить продажи поставками. Так мы понимаем, сколько товара закупать у поставщика под промо и регулярные продажи. По мере развития этого продукта и добавления новых продуктовых инициатив, стали развиваться общие компоненты, которые переиспользуются и помогают быстрее внедрять новые функции, а также запускать новые продукты. Так и появилась платформа прогнозирования. В стек использованных при ее создании технологий входят Hadoop, Airflow, Kubernetes и Spark.

— Какие направления работы стали наиболее актуальными в последнее время?

На текущий момент наиболее актуальным стало направление долгосрочного прогнозирования. Отдельно стоит сказать про развитие управления товарной представленностью: мы обнаруживаем нежелательные события – факты снижения доступности товара для покупателей, а также анализируем факторы, которые к этому привели.

Кроме того, в начале года мы столкнулись с объективной необходимостью ускоренного перехода на собственные решения. Так, например, в торговой сети «Пятерочка» мы за два месяца перешли с инструмента прогноза промо иностранного вендора на собственное платформенное решение на базе машинного обучения. Это, конечно, обеспечило не только поддержку критичных бизнес-процессов, но и повысило качество инструмента, в том числе точность прогнозов.

— С какими именно нежелательными событиями вы боретесь? Почему они происходят?

У нас есть модель, которая в режиме времени, близком к реальному, определяет, что продажи в магазине по конкретной позиции нетипично отсутствуют. Она отмечает высокую вероятность того, что продажа должна была случиться, однако этого не произошло. В этом случае мы говорим, что произошло какое-то событие, которое помешало покупателю приобрести товар: отсутствие товара на полке, нарушение выкладки, отсутствие ценника. Мы не знаем, что именно произошло, но знаем, что возник фактор снижения доступности товара для покупателя.

— Во сколько оцениваются потери от таких событий, наверняка вы это пытались в каком-то виде оценить?

Довольно сложно произвести такую оценку, ведь ее невозможно валидировать. Мы можем оценить с помощью продвинутых математических методов, какие бы продажи случились, если бы «нежелательные события» не произошли, но качество этой оценки невозможно замерить достоверно. Тем не менее, наши оценки доходят до 20% оборота по отдельным категориям товаров, и экспертная аналитика показывает, что на эти цифры можно ориентироваться, чтобы понимать потенциал создаваемых решений.

— Как боролись с этим до сих пор, что получалось хорошо, а что – не очень?

Есть два подхода к решению этой проблемы. Первый из них – жесткий контроль, но он требует большого человеческого ресурса. Второй вариант – автоматическая проверка данных и выставление заданий на этой базе.

В прошлом компания использовала довольно простые эвристики. Например, по наиболее продаваемому ассортименту у магазина должна быть хотя бы одна продажа в день. Если продажи по какой-то позиции не случалось, то персоналу было необходимо проверить, в чем причина, и устранить ее. Проблема заключается в том, что в этот список так или иначе могли попасть позиции, которые не продавались по другим причинам – например, именно в этом магазине на них просто нет спроса. Сотрудникам добавлялось работы по проверке, которая не всегда была оправданной. Поэтому нам было важно максимально точно идентифицировать случаи, где проблема действительно есть, и не нагружать магазин лишней работой, а наоборот – помогать более точечно находить проблемы и наращивать товарооборот.

— Почему это важно для бизнеса, помимо собственно минимизации упущенных продаж?

Здесь очень много факторов. Во-первых, это лояльность наших покупателей и привлекательность торговой сети. Если покупатели не находят то, зачем пришли, то могут и не вернуться. Для нас важно, чтобы гости находили на полке товар, который им нужен, и возвращались снова и снова.

Во-вторых, устранение таких проблем за счет цифровых решений напрямую влияет на рост продаж. Если с товаром на полке проблема – его не покупают.

В-третьих, если продажа не случилась, то мы не понимаем потенциал продаж и в будущем, исходя из заниженной оценки, прогнозируем более скромные показатели и везем меньше товара в магазин.

Наконец, такая система в конечном счете влияет на сокращение трудозатрат персонала. Сотрудникам не нужно проверять все полки и весь ассортимент, они точечно проходятся по нашим заданиям, а остальное время уделяют гостям, приемке и множеству других своих задач. Упростить работу сотрудников магазинов, помочь им достигать свои цели по показателям – для нас это очень важно.

— Какие варианты решения проблемы рассматривались? В чем их плюсы и минусы?

Решение на базе чековых данных, если честно, довольно очевидное. К тому же анализировать чековые данные нам все равно нужно, и восстанавливать продажи – тоже нужно, так что это естественное развитие системы прогнозирования для переиспользования наработок в других функциях. Мы в целом стараемся смотреть на вещи широко и думать, где еще могут быть полезны наши решения, ведь синергия между функциями и бизнесами – в приоритете для X5.

Альтернативный способ решения вопроса – видеоаналитика. Я бы не сказала, что он конкурирующий: если бы видеоаналитика была, мы бы могли использовать их разметку для обучения моделей. Да и в целом решения могли бы дополнять друг друга. Но проблема видеоаналитики в том, что у нас очень много магазинов, а оборудование для аналитики довольно дорогостоящее и оборудовать все магазины было бы просто нецелесообразно. К тому же у нас широкая ассортиментная матрица, и задача по распознаванию товаров на полке тоже становится довольно объемной. Поэтому использование подхода с чековыми данными стало рациональным решением проблемы с точки зрения бюджета, качества и сроков.

— Вероятно, аналитикой чеков в X5 занимаются уже давно. Какие задачи уже удавалось эффективно решить?

Данные по чекам используются в разных продуктах – например, в подразделении, занимающемся управлением потребительской ценностью (Customer Value Management, CVM), команды используют их для создания таргетированных маркетинговых акций.

— Чеки появляются, когда клиент уже покинул магазин. Как на основе чеков можно оперативно выявить проблему на полке?

Чек появляется, как только он был пробит. Да, могут быть некоторые временные задержки, но у нас чек оказывается не позднее чем через полчаса после того, как он был сформирован на кассе. Разумеется, мы уже не успеем предложить этому покупателю товар, который он не смог найти, но мы узнаем о проблеме и устраним ее для наших следующих гостей. Мы видим, как после наших сигналов продажи возобновляются, и это отличный эффект. Ведь лучше исправить обнаруженную проблему, чем продолжать упускать продажи.

— В чем суть проекта, что было сделано?

В течение дня мы каждый час формируем сигналы и отправляем их в магазины. Их получают директора и администраторы. На старте проекта для пилота мы разработали телеграм-бота, где зарегистрировался персонал. Сотрудники получали оповещения и шли их отрабатывать. На каждый сигнал по своему магазину они в ответ указывали нам, что действительно есть проблема и называли причину, либо отвечали, что все в порядке и система ошиблась. На основе этой обратной связи мы оценивали качество модели и работали над тем, чтобы повысить точность сигналов. Когда точность показалась достаточной, мы запустили AB-тест. В пилотной группе было 300 магазинов, которые получали сигналы, а в контрольной – 300 магазинов, которые сигналы не получали. По результатам теста мы произвели точечную оценку прироста товарооборота. Мы увидели хороший прирост при том, что уведомления рассылались ограниченно, а не по всем позициям, так как мы не могли перегружать сотрудников. Так мы убедились, что действительно приносим финансовый эффект, а не просто добавили работы сотрудникам.

Далее мы интегрировали нашу платформу со стандартными системами магазина и отказались от телеграм-бота. Теперь сотрудники отрабатывают наши задания в своих привычных инструментах. При этом если задание отработано в одном инструменте, то и в другом оно отмечается как сделанное. Нам очень важно, чтобы решением было удобно пользоваться.

— Что представляет собой созданное решение? Как выглядят его сигналы?

По сути само решение не имеет интерфейса, мы взаимодействуем с существующими в компании системами. Там в стандартной для сотрудников форме появляется задание от нашей системы наряду с другими. Указывается время срабатывания уведомления, наименование и код товара, также есть возможность ответить на сигнал: указать корректный он или нет, а если проблема подтверждается – выбрать причину.

— Сколько времени проходит между появлением проблемы и первыми сигналами о том, что «что-то не так»?

От получаса до часа, не более.

— А сколько времени детектирование проблем занимало раньше? То есть какого сокращения времени устранения проблем удалось достичь?

Это очень хороший вопрос. Конечно, сотрудник мог проходить между полками и заметить, что есть проблема нехватки товара. Но может быть и так, что сотрудник не увидел товар на складе и не выложил его. Или может быть, что в системе на остатке числится товар, а по факту его нет. В этом случае система пополнения думает, что продажи обеспечены, и товар в магазин не везут. Здесь до момента, пока проблему обнаружат, может проходить более суток.

— Как эти результаты оцениваются в деньгах, ведь невозможность взять с полки товар – это прямые потери магазина?

Мы называем это упущенными продажами. Результат мы оцениваем на базе АВ-теста, это самый достоверный способ сказать, что изменение продаж произошло именно за счет воздействия нашего инструмента, а не каких-то других факторов. Кроме того, мы оцениваем потенциал по упущенным продажам на базе восстановленных продаж, эта цифра получается из анализа динамики продаж в определенном временном периоде и на соседних объектах. Условно, если мы в среднем продаем 9 штук, а сегодня продали 2, то 7 штук мы восстановим. Логика модели сложнее и учитывает множество факторов, но в целом можно описать это так.

— Каковы направления развития этого проекта?

Мы продолжаем развивать модель в сторону повышения точности детектирования проблем, а также большой упор делаем на определение их причин. Ведь снижение доступности происходит не только из-за нарушения процессов в магазине. Сотрудник может повлиять на это, если товар числится в остатках. Ровно такая проверка стоит перед отправкой уведомления: нет смысла отдавать задание в магазин, если у них нет остатка.

Но в целом по цепочке может быть много причин: нарушение уровня сервиса поставщика, некорректные параметры в системе и т.п. Мы активно движемся в сторону их идентификации и развиваем инструменты для этих функций.

— В начале года SAP уведомил вас об отключении своего облака. Каков был масштаб проблем: насколько сильным был этот удар и каких систем коснулся?

Да, в марте нас предупредили о том, что мы больше не сможем пользоваться облаком SAP. Штаб импортозамещения нашей компании начал активно прорабатывать вопрос: каких процессов это касается, какие альтернативы есть, что необходимо предпринять. По большей части это коснулось отчетности, так как в SAP BW реализуется именно отчетность. Но также там был реализован функционал прогноза промо-продаж. К этому моменту у нас уже год функционировало собственное решение для торговой сети «Перекресток» на базе платформы прогнозирования и, конечно же, у нас были планы перевести на него и торговую сеть «Пятерочка». Но в «Пятерочке» существенно больше пользователей, и переход планировался в течение года. В новой ситуации не было сомнений, что переезжать нужно именно на наше решение: оно уже было готово, но пришлось ускориться.

— В чем была задача прежнего решения для расчета объема промо? Кто его использовал и какие результаты получал?

Прошлый «промо-калькулятор» имел очень простую логику. Пользователь самостоятельно выбирал аналогичный период промо-акции или товар-аналог и его период промо. Далее на базе прошлых продаж составлялся прогноз будущих продаж.

Инструмент использовали категорийные менеджеры, они получали прогноз продаж на выбранные магазины и позиции по дням. Никакие особенности SAP BW не использовались, просто исторически инструмент реализовали в этой системе, так как в BW содержались все нужные для расчетов данные. Это было задолго до того, как в компании появились другие технологии по работе с данными.

— Почему уже заранее началась разработка замещающего решения? Что не нравилось в старом, что хотелось улучшить?

Как я уже сказала, подходы к прогнозированию были довольно тривиальные и не учитывали ничего, кроме факта продаж в одной исторической точке. Новые подходы позволяли учитывать различные факторы: цену, сезон, расположение товара в каталоге и его предложение на кассе, фактор предпраздничных дней. Кроме того, мы учитываем динамику продаж и историю с 2018 года! Из этих данных можно получить очень много ценной информации для повышения точности прогноза.

— Что собой представляет новое решение, каков принцип его работы?

Новое решение представляет из себя сервис с пользовательским интерфейсом. Пользователь указывает, какие товары в каких магазинах и за какой период он хочет поставить в промо-акцию, а также его параметры – например, цену. Далее сервис готовит расчет по этим параметрам и возвращает пользователю прогнозы объемов продаж. Расчет реализуется с помощью модели машинного обучения, которая уже обучена на исторических данных.

— За счет чего решение дает лучшие результаты по сравнению с предыдущим?

Основной эффект мы получаем за счет более продвинутых математических подходов относительно прошлого решения.

— Какого эффекта удалось достичь в результате перехода?

Точность прогноза сильно выросла – до 40% по сравнению с предыдущим решением, подтвержден значительной рост товарооборота и маржи, сокращено количество распродаж после промо-акций. Что касается финансового эффекта, то мы не раскрываем конкретные цифры, но это значимые показатели.

— Разработанное решение дает синергию с прогнозом регулярных продаж. За счет чего она происходит?

Синергия заключается в том, что при прогнозировании регулярных продаж система знает, какие промо-акции и какие планы по продажам будут реализованы. Таким образом, мы учитываем каннибализацию промо-продажами регулярных позиций и привозим ровно столько товара, сколько нужно. Это приводит к снижению списаний и избыточных товарных запасов.

— Каковы планы по развитию этого решения и его расширению на другие области?

В данном решении мы еще не достигли предела по качеству и планируем развивать подходы к математическому моделированию для повышения эффективности. Кроме того, для нас актуально долгосрочное прогнозирование, и мы будем расширять горизонт прогноза с текущих 16 недель до горизонта планирования со стороны категорийных менеджеров и закупок. Также сервис для прогноза промо позволяет осуществлять анализ what-if – проводить оценку сценариев по прогнозу продаж в зависимости от различных параметров: позиции, цены, наличия рекламы на ТВ и другое. Данный инструмент планируется развивать и для других направлений – например, регулярных продаж и плана поставок.

В последние годы все больше компаний говорят о создании экосистем. Этот путь становится одним из способов выживания и процветания как на рынке, так и в природе. Комплекс сервисов, выстроенных X5 Group вокруг клиентской миссии «Еда», является примером именно такого подхода. Для его реализации единые, унифицированные данные являются необходимым условием. X5 создала единую платформу для работы с данными внутри группы компаний, и одним из ключевых элементов этой платформы стал единый профиль клиента и сервис идентификации X5ID. Он позволяет работать с покупателем во всех сервисах группы с единой точкой входа и использованием «золотой записи». Тигран Саркисов, директор по управлению данными X5 Group и номинант на премию Data Award, рассказал о реализации этого проекта и синергетическом эффекте, который стал возможным лишь в результате совместной работы различных бизнес-единиц на единой платформе данных.

— У предприятий, всерьез смотрящих в будущее, есть два пути: сформировать собственную экосистему либо встроить свой бизнес в чужую. Почему был выбран именно первый путь, в чем он заключался?

X5 Group в данный момент не совсем корректно называть экосистемой, так как мы формируем все наши сервисы вокруг нашего клиента и его потребностей. Мы действительно расширяем свое присутствие вокруг клиента, стремясь присутствовать на каждом этапе выбора продуктов. Именно с этой целью компания в последние три года в рамках своей стратегии развивала большое количество сопутствующих бизнесов вокруг еды: Vprok.ru Перекресток – онлайн-гипермаркет по доставке еды, 5Post – доставка товаров в постаматы, сервис экспресс-доставки «Около», медиа-платформа для поиска рецептов food.ru. Мы развиваем комплементарные сервисы вокруг еды и смежных потребностей, а также ряд сервисов, которые помогут улучшить клиентский опыт – например, финансовые сервисы на базе X5 Банк. Мы понимаем, что зачастую выбор продукта начинается задолго до того, как клиент приходит в магазин, а сервис можно оказывать комплексно.

— Какие возможности должна дать единая платформа данных для всех сервисов X5, в чем синергия?

Синергия, например, видна от управления клиентскими данными в рамках всей группы компаний. Это хорошо видно на примере единого клиентского профиля и единого центра авторизации X5ID, который мы запустили в прошедшем году. Раньше взаимодействие осуществлялось изолированно различными сетями и бизнес-единицами, и, разумеется, клиентский путь был неоптимальным. С одной стороны, мы хуже представляли потребности клиента и не всегда могли своевременно оказывать удобный сервис, а с другой – на клиентском пути возникали неудобства. Единый центр авторизации позволяет быстрее получать доступ к нашим сервисам, быстрее переходить между ними – например, в будущем можно будет, найдя рецепт на сайте food.ru, перейти в мобильное приложение торговой сети и заказать ингредиенты. А мы можем видеть более полный портрет клиента в каждом бизнесе, его опыт взаимодействия. Разумеется, всё это при полном соблюдении политики хранения и обработки персональных данных.

Сегодня в едином профиле собрана фактически большая часть работоспособного населения нашей страны – у нас более 60 млн уникальных цифровых профилей. И для нас важны не столько их персональные данные и социально-демографический профиль, сколько покупательские привычки и предпочтения – это дает нам возможность соответствовать их ожиданиям.

X5ID и единый клиентский профиль являются ключевым элементом, соединяющим наши бизнесы и дающим возможность говорить о комплементарных сервисах. Всё, что мы делаем, должно быть взаимосвязано, интегрируемо и переиспользуемо. Даже новый запускаемый нами бизнес может быстро получить все необходимые данные и предоставить клиенту удобную авторизацию.

Кроме того, нам удалось построить аналитическую платформу, которая обезличено, на уровне идентификаторов пользователей помогает быстро работать с клиентским опытом. Это дает возможность таким нашим продуктовым командам как, например, Customer value management (CVM) и «Обратная связь», тратить меньше времени на сбор и подготовку данных, а больше фокусироваться на извлечении ценности из накопленных знаний. Наконец, без единого центра авторизации было бы невозможно и реализовать новые бизнес-модели, такие как подписка «Пакет». Мы первые, кто смог запустить подписку в российском ретейле.

— На чем базируется платформа по работе с данными и центр авторизации?

Преимущественно, это решения из комплекса Open Stack, размещенные в нашем облаке. Наша платформа состоит из множества различных функциональных компонентов (озера данных, хранилища данных, BI, интеграционная микросервисная платформа и другие), которые взаимосвязаны между собой. Если говорить про центр авторизации и профиль клиента, то он реализован на Open Stack и Tarantool.

— ИТ-платформа – это обычно только часть задачи. Как удается создавать и изменять data-культуру внутри компании?

Надо понимать, что бизнес-единицы и торговые сети под управлением X5 имеют разную степень зрелости и формы организации. Есть молодые бизнесы «цифровые с пеленок», но с низкой процессной зрелостью, как это обычно и бывает в любом стартапе. А есть сложившиеся, обладающие и зрелостью процессов, и определенной устоявшейся культурой. Их нужно обеспечить равными возможностями доступа к единым данным. И здесь критически важно использование не только единой платформы, но и такой организационной структуры, при которой можно, с одной стороны, быстро накапливать и обрабатывать данные без «бутылочного горлышка» в виде централизованных функций, а с другой стороны, не уйти в дата-изоляцию подразделений.

Для этого мы стараемся придерживаться всем уже достаточно хорошо знакомому подходу Data Mesh – доменно-ориентированной организации управления данными. Нами построен институт дата-партнеров, определяющих программы развития данных с учетом потребностей, текущего уровня зрелости и культуры конкретной бизнес-единицы. Благодаря этим изменениям мы видим высокий рост уровня проникновения аналитики в работу сотрудников. В том числе в тех функциях, которые ранее не уделяли этому достаточного внимания.

Наличие единой платформы также стимулирует к развитию аналитики в режиме самообслуживания (self-service). Это популярное направление, развивающееся во многих компаниях, – возможность пользователей самостоятельной готовить и анализировать данных.

— Какие действия предпринимаются в области формирования дата-культуры?

Мы активно развиваем self-service: мы хотели бы, чтобы все сотрудники стали ближе к данным и аналитике, что позволит в полной мере реализовать data-driven подход. Мы успешно завершили пилотные проекты в ряде регионов, в рамках которых бизнес-пользователи самостоятельно на существующей платформе управления данных смогли проверять гипотезы и получать инсайты. За короткое время сотрудники смогли самостоятельно решить и, что самое главное, переиспользовать более 20 бизнес-задач. Полученный опыт мы хотим тиражировать по всей компании. В рамках «Цифровой академии» X5 мы создаем отдельное направление – «факультет» дата-грамотности, в который входят курсы и обучающие материалы по работе с данными.

— Какие это принесло результаты, чем можно похвастаться?

Если оценивать прошедший год, то результаты представляются очень хорошими. Во многом это связано с переходом на доменно-ориентированную организацию работы и внедрением новых решений для работы с данными. Мы отмечаем более чем двукратный рост использования аналитики в компании.

Доменно-ориентированная организация и появление роли data-партнеров позволили повысить уровень доверия к данным со стороны пользователей до 80% – мы считаем, что это высокая цифра, и иногда она даже гораздо важнее, чем объективная оценка качества данных. Именно доверие к данным позволяет пользователям работать с ними, а не игнорировать.

Нам удалось консолидировать клиентский опыт. Мы собрали и очистили более 60 млн клиентских профилей, реализовали все это на микросервисной архитектуре внутри нашей интеграционной платформы. Сегодня благодаря единой авторизации во всех каналах коммуникаций – в мобильных приложениях, в магазинах, на сайте и даже в чат-ботах в телеграм – ежедневно наблюдается более 10 млн активных пользователей.

Наконец, достигнутые результаты позволяют запускать и тестировать новые бизнес-модели – годом ранее мы уже отмечались с продуктом Dialog.X5. Сейчас она дает еще более качественные инсайты благодаря использованию «золотой записи». В этом году появилась подписка «Пакет» — первый комплексный продукт, где собрано большинство привилегий сервисов и торговых сетей Х5.

Розничные компании, находящиеся в условиях серьезной рыночной конкуренции, вынуждены непрерывно искать способы повышения своей конкурентоспособности и устойчивости на рынке. Но как понять, поможет ли реализация очередного предложения изменить бизнес к лучшему и стоит ли вкладываться в эту инициативу.

Чтобы ответить на эти вопросы, крупные интернет-проекты нередко применяют A/B-тестирование. Его суть заключается в том, что предложенные инициативой изменения вводятся только для части пользователей, тогда как для другой части все остается по-прежнему. По истечении некоторого времени данные по этим двум группам сравнивают, оценивают, а затем делают вывод о том, позволили эти изменения улучшить нужные показатели или нет. Масштабирование инициативы на всех пользователей происходит лишь в том случае, когда показатели действительно улучшились.

Работает ли метод A/B-тестирования в розничной компании с большим числом офлайн-точек? Опыт X5 Group свидетельствует о том, что работает, причем успешно: практически любая выдвинутая в компании бизнес-инициатива на самом старте «упаковывается» в дизайн-эксперимент с гипотезами и методикой оценки, а затем по итогам проведенной работы проходит проверку A/B-тестированием. Если результаты пилота признают полезными, его масштабируют на весь бизнес. О том, как A/B-тестирование работает в условиях X5 Group, какую пользу оно приносит и какая работа с данными за этим стоит, рассказывает Михаил Неверов, директор по анализу данных компании и номинант на премию Data Award 2022 .

- A/B-тестирование широко применяется в электронной коммерции. Как можно объяснить то, что оно достаточно редко используется в традиционном ретейле? И почему ваши коллеги посчитали, что оно им необходимо?

Традиционно в ретейле используют подход like-for-like (LFL) с разного рода усложнениями. Это базовый показатель, но он не всегда полностью отображает картину мира — особенно для узких бизнес-пилотов. Ситуация в ретейле динамично меняется, причем влияют на нее множество факторов. A/B-тестирование позволяет лучше, чем LFL, отслеживать границы случайных и неслучайных изменений. Оно редко применяется в «классическом» ретейле, вероятно, потому, что для проведения A/B-тестирования нужен достаточно большой объем данных — это необходимо для статистической значимости результатов. Поэтому если, например, розничная сеть охватывает всего 10 магазинов, то ей придется использовать именно LFL, поскольку для проведения A/B-тестирования имеющегося у нее объема данных будет недостаточно.

- В чем видят пользу A/B-тестирования бизнес-пользователи X5 Group ?

Процесс A/B-тестирования предоставляет компании общий подход к оценке разных бизнес-инициатив, что повышает ее точность. Он позволяет схожим образом оценивать и инвестиционные инициативы, и внедрение изменений (например, замену кассового оборудования на новое), и продуктовые инициативы. Компания получает возможность одинаковым образом получать ответ на поставленные вопросы: приносит ли та или иная инициатива деньги, какова ее выгода, следует ли ее продолжать? При проведении A/B-тестирования не нужно каждый раз изобретать новый велосипед — это универсальная форма проверки бизнес-гипотез.

A/B-тестирование — удобный и полезный инструмент принятия решений в отношении инвестиций. Каждый год компания проводит около 400 A/B-тестов. С их помощью мы получаем возможность уже на ранних этапах выявлять невыгодные инициативы и прерывать их финансирование, что позволяет более разумно распорядиться средствами.

- Кто явился непосредственным заказчиком платформы A/B-тестирования в X5 Group? Какие заинтересованные лица выступили в качестве спонсоров проекта по ее созданию?

Вся наша компания заинтересована в том, чтобы решения на основе статистических данных применялись на всех уровнях, потому что это делает процессы прозрачными как для сотрудников, так и для менеджмента.

Амбассадорами применения A/B-тестирования в компании стали специалисты из бизнес-единицы «Х5 Технологии» — центра компетенций по ИТ и большим данным для всех бизнесов и торговых сетей группы. Мы начинали с экспериментов на ИТ-продуктах, затем распространили идею на все торговые сети и теперь развиваем подход вместе с ними. До создания платформы мы проводили анализ данных фактически вручную. Когда пользователи убедились в том, что подход работает, а количество тестов перевалило за сотни, мы, чтобы не наращивать штат аналитиков, решили автоматизировать A/B-тестирование. Так, собственно, платформа и появилась.

- Как происходит сбор данных для A/B-тестирования, из каких источников они поступают и как их используют при проведении тестов?

Исходные данные для A/B-тестов — это чеки наших покупателей с указанием времени и места, где они были оплачены. Чеки обрабатывают, агрегируют, с помощью различных приемов сокращают статистические выбросы, после чего оценивают эффект. Большая часть первичных данных хранится в Hive. Разумеется, в платформе есть своя витрина данных, и в ней происходит некоторое упрощение исходных данных.

- Какие виды обработки и анализа используют в ходе A/B-тестирования в вашей компании? Как формулируют гипотезы и выбирают методы для проведения очередного исследования?

Исходной точкой для проведения A/B-тестирования является некая инициатива, в отношении которой бизнес хочет принять решение об инвестициях. Мы формулируем дизайн эксперимента: выбираем метрики, определяем, в частности, что будем проверять (розничный товарооборот или средний чек), фиксируем ошибки первого и второго рода. Затем происходит подбор контрольной пилотной группы, а по окончании A/B-теста — оценка результатов.

Из методов применяем медицинское тестирование, а также более современные подходы и основанные на них собственные разработки, отражающие специфику офлайн-бизнеса. Помимо этого, используем дерево принятия решений, нейронные сети, дискриминантный анализ, бустинг, байесовские классификаторы. Эти методы не являются чем-то принципиально новым для рынка, но мы как раз сторонники того, чтобы использовать проверенные подходы.

- Как проводят эксперименты, а затем оценивают и интерпретируют результаты исследований на основе A/B-тестирования?

Процесс организован следующим образом. Бизнес-сотрудники — пользователи нашей платформы формулируют гипотезу и вместе с adhoc-аналитиками «закрепляют» ее, то есть проводят предварительную оценку эффекта. Затем берется нужный объем данных, и в кластере A/B-тестирования его разделяют на две группы: в первой изменения происходят, а во второй — нет. Потом, по прошествии времени, проводится сравнение экспериментальной и контрольной групп. Если изменения есть, мы их оцениваем, интерпретируем (в частности, объясняем, можно ли считать их статистически значимыми) и выносим вердикт относительно гипотезы. После этого наши выводы валидируются специалистами из финансового блока. Дело в том, что при работе с финансовыми показателями в ретейле есть специфика: здесь применяются сложные методики расчета и аудита. И чтобы быть уверенными в правильности наших выводов в отношении инвестиций, мы проводим оценку результатов совместно с коллегами из финансового департамента. Это особенно важно, когда попадаются пограничные значения. Всего в A/B-тестировании принимают участие четыре стороны: бизнес, аналитики, специалисты по рискам и финансам.

- Можно ли говорить о том, что в компании выстроен процесс A/B-тестирования?

Да, процесс есть, он работает. Если вы придете на работу в X5 Group и предложите какую-нибудь бизнес-инициативу, то непременно станете участником этого процесса.

- И много ли в нем творческой или субъективной составляющей?

Если в процессе участвуют люди, доля субъективности тоже может быть. Инициативы очень разные, поэтому нередко приходится придумывать дизайн эксперимента и формализовывать его вплоть до стандартного процесса. Субъективная составляющая здесь, скорее, в экспертных оценках: мы часто привлекаем экспертов, чтобы они помогли ответить на вопрос, следует ли считать изменение того или иного показателя в ходе эксперимента индикатором того, что этот эксперимент прошел удачно.

- Удалось ли избавиться от влияния человеческого фактора на A/B-тестирование?

Мы избавились от него ровно в той мере, в какой это было эффективно. В зависимости от дизайна эксперимента мы можем использовать разные модели (у нас их большое количество). Обычно их выбор — это либо коллегиальное решение, либо выбор на основе предыдущего опыта. Кроме того, мы, естественно, привлекаем экспертов, чтобы они помогли интерпретировать полученные результаты.

- Какое место занимает платформа A/B-тестирования в общем ландшафте аналитики и управления данными в X5 Group?

У платформы обособленное место. Она выведена в отдельный контур, потому что отвечает на чувствительные для бизнеса вопросы. Было бы странно, если бы команда, которая выдвинула инициативу и готова взяться за ее реализацию, имела возможность полностью самостоятельно и независимо от других коллег принимать решение о ее успешности. У нас более 100 инициатив и продуктов, которые прорабатываются и реализуются в постоянном режиме, не говоря уже о больших стримах или экспертных направлениях. Чтобы компания могла одинаковым образом получать ответы на вопросы о целесообразности инвестиций в инициативы, их команды были отделены от процессов принятия решений по таким предложениям. A/B-тестирование — это, если угодно, самый независимый инструмент для оценки инициатив.

- В каких направлениях планируете развивать платформу A/B-тестирования в обозримом будущем?

У нас три основных направления развития. Первое — расширение количества вариаций экспериментов. Иногда встречаются очень сложные кейсы, для которых в библиотеках моделей нет соответствующего решения. В таких случаях нам приходится что-то дописывать или как-то улучшать базу экспериментов. Второе направление — повышение их точности. Иногда даже дополнительные полпроцента точности могут полностью изменить оценку инициативы. И третье — сокращение времени на получение результатов оценки, что, очевидно, ускорит принятие решений в отношении инициатив.

Осенью 2021 года X5 Group первой из ретейлеров запустила свой собственный подписочный сервис. Подписка «Пакет» сочетает в себе опыт развития программ лояльности, создания собственных экосистем и стимуляции качественного спроса. Наличие этого продукта способно качественно изменить взаимоотношения между торговыми сетями и покупателями: ключевыми приоритетами становятся уровень обслуживания и сохранение лояльности подписчиков. К тому же такой подход формирует более осмысленное покупательское поведение и формирование инвестиционного подхода к повседневным тратам.

Технологическим фундаментом продукта стала платформа X5ID, формирующая «золотую запись» данных покупательского поведения для всех бизнес-единиц и торговых сетей X5. О реализации проекта рассказывает Евгений Галимский, директор по развитию сервиса идентификации в экосистеме и номинант на премию Data Award 2022 .

— Как появилась идея создания сервиса «Пакет»? Каковы его цели?

Ключевая цель проекта — за счет экосистемного подхода укрепить лояльность существующих клиентов X5 Group, нарастить розничный торговый оборот (РТО) внутри торговых сетей и бизнесов группы, привлечь новых клиентов благодаря выгодному и новаторскому для России набору сервисов. Идея с подпиской без конкретных предложений по ее содержанию появилась в рамках трехлетней стратегии компании.

— Что собой представляет решение?

Подписка «Пакет» — это проект, направленный на привлечение и удержание клиентов в контуре Х5 Group, программа лояльности нового поколения, полностью обеспечивающая базовые потребности клиентской миссии «Еда» и предоставляющая наборы привилегий за ежемесячный платеж. «Пакет» включает в себя не только гарантированные кешбэки, но и бесплатную доставку, бесплатный доступ к медиаконтенту и скидки от компаний-партнеров.

— Что принципиально нового привносит сервис во взаимодействие ретейлера с покупателями?

Принципиально новой является рекуррентная модель: купи что-то (подписку), а далее получай повышенные выгоды в течение месяца.

— Какие задачи требовалось решить при создании этого продукта?

Задачи можно разделить на три типа. Во-первых — технологические. Требовалось сделать так, чтобы предложения внутри продукта «Подписка» были технически исполнимы, в том числе с учетом корневых систем каждого бизнеса.

Следующая категория задач — продуктовые. Требовалось понять, как эта подписка должна выглядеть для клиента и какие драйверы существуют внутри нее.

Наконец, маркетинговые задачи — объяснить людям, что такое «подписка на еду», как она связана с базовой программой лояльности и чем отличается от нее.

— Какие проблемы возникали, как их решали?

Основная проблема — необходимость быстрой интеграции решения с множеством внутренних сервисов (Comarch, мобильные приложения и т. п.). Для этого потребовалось создать отдельную процессную схему и обеспечить постоянную коммуникацию рабочих групп со смежными командами.

Самым сложным на этапе запуска MVP было сформулировать первый драфт (составные части подписки) и найти компромисс с каждой из бизнес-единиц для тестирования гипотез. Мы стартовали с 28 вариантами подписки, предлагая каждый из вариантов разным группам клиентов Х5. Основными динамическими параметрами были ценовое предложение, скидка или кешбэк и размер предлагаемой скидки и кешбэка. В результате оценивали реакцию аудитории, модель потребительского поведения и обратную связь.

— Какова роль данных в реализации этого проекта? Что является ИТ-фундаментом сервиса «Пакет»?

ИТ-фундаментом стал собственный разработанный сервис со своим набором данных о пользователях. При этом основным идентификационным модулем является платформа X5ID, которая в том числе представляет персональные данные о пользователе, номерах карт лояльности и т. п. Она формирует «золотую запись» данных покупательского поведения для всех бизнес-единиц и торговых сетей в контуре группы компаний. Благодаря платформе клиентских данных (customer data platform, CDP) профиль пользователя обогащается идентификаторами пользователей в Интернете (cookies), что обеспечивает возможность не только построить сквозную маркетинговую воронку для последующей аналитики, но и обеспечить персонализированную автоматизированную медийную и CRM-коммуникацию. Значимая роль в проекте отведена разработанной нами платформе Dialog.X5.

— В прошлом году X5 участвовала в конкурсе с платформой Dialog.X5, которая стала основой аналитических сервисов для партнеров. Какова ее роль в нынешнем проекте?

Благодаря Dialog.Х5 (а конкретно — модулю Targeting) мы можем формировать сегменты клиентов по определенным признакам и делать им таргетированные предложения в платных медиа на основе имеющихся данных. Допустим, мы собрали сегмент клиентов торговой сети «Пятерочка», которые делают покупки всех категорий товаров, кроме бытовой химии. Мы предполагаем, что если предложить таким пользователям подписку с визуальным креативом и сообщением с фокусом именно на бытовой химии, то они могут осознать потенциальную выгоду и воспользоваться нашим предложением.

В качестве еще одного примера использования Dialog.X5 можно привести работу с сегментами клиентов и чеками в разрезе РТО за месяц. Мы нашли сегмент гостей Х5, которые находились «на грани» окупаемости подписки. За основу взяли стоимость подписки и собрали сегмент клиентов, траты которых находились в диапазоне 3,5–4 тыс. руб. в месяц. С помощью креатива мы доносили до клиента мысль о том, что, немного увеличив РТО в месяц, он не просто окупит подписку, но и получит еще бонусы от партнеров: бесплатный доступ к онлайн-кинотеатру и музыке на тот месяц, когда активна его подписка.

Такие сегменты и гипотезы можно формировать сотнями и тысячами.

— С какими данными работает сервис, помимо информации, предоставляемой клиентом при регистрации? Чем они обогащаются и как используются?

В первую очередь это данные, предоставляемые X5ID: регистрационные, контактные, данные о лояльности. Кроме того — собственные данные пользователя: статус оплаты, начало и завершение действия подписки и т. п. Больше пока никакие дополнительные данные не используются.

В перспективе нам будет интересно наблюдать за поведением нашего клиента за пределами ретейла. Сейчас мы понимаем о клиенте всё в ситуации, когда он планирует закрыть свою потребность в еде. Но ведь, помимо этого, существует и его обычная жизнь, где у него есть хобби, интересы, семья и другие потребности, которые влияют на качество жизни. Именно подобные обогащения будут нас интересовать в ближайшей перспективе.

— Лучшее понимание потребностей клиентов и их поведения имеет ценность только для ретейлера? Или для покупателей тоже есть польза?

Х5 системно работает с данными, и это позволяет не только получать экономический эффект от продуктов для офлайн-магазинов (алгоритмы для спроса, промо или работы с ассортиментом). Если ретейлер хорошо понимает своего клиента, это помогает формировать оптимальное предложение для него в зависимости от изменения его предпочтений. А это означает, что клиент будет получать необходимый продукт в самом удобном для него канале.

— Каков на данный момент процент заказчиков сервиса от общего количества клиентов X5? Что ожидается в дальнейшем, есть ли целевой показатель?

Продукт показал свою востребованность. Хотя проект является новым для России и в тестовом формате был запущен лишь осенью 2021 года, уже более 100 тыс. подписчиков регулярно пользуются возможностями «Пакета». 80% подписчиков остаются в активном статусе более четырех месяцев. Более того, мы видим рост объема ежемесячных покупок в торговых сетях и сервисах Х5.

До конца года планируем увеличить число подписчиков в несколько раз.

— Что с финансовым эффектом? И вообще, насколько серьезной может быть доля доходов от таких сервисов?

Мы рассчитываем на значимый финансовый эффект от реализации проекта. Пока говорить о конкретных показателях рано — это только первый год существования подписки. На горизонте 2–3 лет выручка может вырасти в несколько раз.

— Каковы планы по развитию сервиса, основой для каких новых продуктов он может стать?

Основные планы в 2022 году — это продуктовые доработки и фичи, которые упрощают знакомство с продуктом и максимизируют конверсию в его использование. При этом подписка может стать дополнительным инструментом для любого бизнеса Х5 в плане привлечения новой аудитории (например, за счет перетоков пользователей между бизнесами), а также использоваться как часть собственной программы лояльности.

— Ожидаете ли вы, что в будущем подобные сервисы станут массовыми на российском рынке?

На мой взгляд, подписочная модель актуальна в тех сферах бизнеса, где есть высокочастотное потребление услуг и товаров. Допустим, для застройщиков подписочная модель слабо реализуема, так как человек за жизнь может позволить себе купить в среднем одну квартиру. В сегменте же продуктового ретейла она более чем жизнеспособна.

Отдельно следует сказать о социальной значимости подобного проекта. Можно сказать, что мы стимулируем более осмысленное покупательское поведение и формирование инвестиционного подхода к повседневным тратам. Как следствие, это способно повысить общий уровень жизни, финансовой грамотности и благосостояния покупателей в средне- и долгосрочной перспективе.

Создание аналитических продуктов на базе накопленного пула больших данных  —  одно из ключевых направлений стратегии цифровой трансформации Х5 Retail Group. Большинство инициатив на основе больших данных ставят целью оптимизацию собственных бизнес-процессов  компании:  улучшение промо, планирование ассортимента, повышение эффективности ценообразования. Алгоритмы становятся элементом  data-driven-культуры  Х5, когда все решения принимаются на основе данных и продвинутой аналитики.

Но развивается и разработка цифровых сервисов на основе больших данных для внешнего рынка. В этом году был сделан серьезный шаг в этом направлении  —  выпущена платформа Dialog X5, которая объединяет аналитические продукты, предназначенные для поставщиков X5 Retail Group.

О возможностях Dialog X5, ее роли во взаимодействии ретейлера со своими партнерами, первых результатах и перспективах монетизации рассказывает Дмитрий Прусов, директор департамента продаж продуктов больших данных X5 Retail Group и номинант премии CDO Award 2021 .

— Как появилась идея создания платформы?

В конце прошлого года мы запустили аналитический портал, который позволяет поставщикам в режиме 24х7 оценивать различные показатели, влияющие на продажи их продукции. Востребованность этого решения подтолкнула нас к мысли объединить на одной цифровой площадке все сервисы X5 для поставщиков и партнеров, предоставив им удобный цифровой канал взаимодействия с торговыми сетями Х5.

Платформа Dialog X5, выпущенная осенью этого года, на данный момент состоит из четырех модулей, но в перспективе на нее мигрируют все решения, разработанные в X5 для поставщиков и партнеров. Пройдя один раз авторизацию, пользователь будет иметь доступ ко всем данным и аналитике, необходимым для решения его бизнес-задач.  Фактически  мы создаем удобное, многофункциональное рабочее место аналитика, аккаунт-менеджера и других ключевых специалистов компании-поставщика. Пользователи получают аналитические продукты с возможностью генерации отчетов с нужной степенью детализации для принятия управленческих решений и улучшения взаимодействия между торговой сетью и производителем.

— Что принципиально новое привносит Dialog X5 во взаимодействие ретейлера с поставщиками?

Это взаимодействие по максимуму переводится «в цифру». Платформа предоставляет единую точку доступа ко всему многообразию сервисов для  существующих  и  будущих поставщиков  X5. Если раньше нашим партнерам приходилось держать в голове, что разные бизнес-процессы привязаны к разным окнам, то сейчас мы предлагаем подобие МФЦ с единым окном для всех процессов взаимодействия с  Х5 —  от логистики до анализа потребительской корзины, сбора аналитики по сегментам для запуска своей новинки и  т. д. 

А для самой X5 платформа обеспечивает прозрачную модель взаимодействия с поставщиками, реализует единую систему контроля этого взаимодействия и упрощает внедрение новых инициатив. Мы разработали общие руководства и способы  авторизации таким образом,  чтобы любая бизнес-функция внутри компании могла при желании без проблем интегрировать свои задачи в Dialog X5.

— С какими данными работает платформа?

Это транзакционные данные, данные программ лояльности для построения гипотез изменения потребительских предпочтений и последующих выводов с точки зрения знаний о покупках клиента (customer insights), данные для логистического модуля относительно качества поставки и уровня сервиса. Платформа постепенно охватывает все больше и больше бизнес-сущностей.

Пока мы стараемся «выжать» максимум из внутренних данных компании и не замахиваемся на обогащение внешних. Но команда  Dialog X5  открыта к конструктивному диалогу с потенциальными партнерами. Мы готовы рассматривать варианты взаимовыгодного сотрудничества с учетом требований и ограничений  законодательства  как с поставщиками товаров, так и с агентствами по рекламе и консалтингу, национальными и региональными ретейлерами, а также с зарубежными партнерами для формирования максимально эффективной и полной аналитики рынка.

Dialog X5 объединяет бизнес-сервисы, в основе которых разные по объему, степени детализации и сроку хранения данные. Для одних сервисов не требуются исторические аналитические данные, для других  —  нужны данные более длительного хранения для анализа изменений внутри категории от года к году, от месяца к месяцу. Например, в модуле Insights для понимания изменения продаж необходимы данные за достаточно долгий период (сейчас предоставляются сведения с 2017 года), и это требует от нас более существенных затрат на их правомерное хранение и обработку.

— Dialog X5  —  новое направление бизнеса  компании? Вы  продаете поставщикам новый тип сервиса, верно? Каким образом платформа монетизируется?

Да, в настоящее время Dialog X5 объединяет платные аналитические модули, хотя мы уже начали процесс переноса на платформу и бесплатных цифровых инструментов для поставщиков.

Insights и Logistics  —  это аналитические сервисы, предоставляющие возможность строить аналитические отчеты по выбранным метрикам и категориям. Поставщик приобретает лицензию на софт, чтобы иметь доступ к этим данным и отчетам и искать те инсайты в покупательском поведении, миграции покупок клиента внутри  категории,  к конкурентам и пр., которые позволят ему улучшать бизнес-процессы, добиваясь повышения уровня сервиса.

Targeting  —  это рекламный сервис, который позволяет на основе обезличенных данных собирать сегменты для таргетированной цифровой рекламы. Сервис также решает важную задачу объединения  онлайн-  и офлайн-миров, предоставляя по завершении рекламной  онлайн-кампании  статистически значимые отчеты по метрикам, характеризующим продажи в офлайн-магазине: как реклама повлияла на реальные продажи, был ли рост категории либо продаж конкретного бренда. Этим сервисом пользуются в основном рекламные агентства крупных производителей, он позволяет оценить эффективность рекламных кампаний, запущенных на данных Х5, и стимулировать рост активности поставщика во взаимодействии с торговой сетью.

Сейчас мы работаем над построением единого цикла, интегрирующего аналитику Insights с запуском действий в модуле Targeting. Поставщик сможет проследить, что происходит с категорией с точки зрения продаж, и выделить интересующий его сегмент, а затем посмотреть, какие изменения в поведении категории произошли после рекламной кампании. Более того, дальше можно будет подключить модуль Logistics, чтобы понять причину проблем с  продажами:  дело в выкладке и стоимости товара и недостатках рекламы или его просто не довезли в конкретный магазин.

—  Как долго  платформа уже доступна поставщикам, сколько у нее клиентов?

Объединенную платформу мы запустили в сентябре, но с отдельными модулями поставщики работали и раньше. На данный момент клиентами платформы являются более 20 международных брендов, модуль Targeting используют более 50 рекламных агентств, подключения активно продолжаются.

— Какой это процент от общего количества поставщиков X5?

У X5 Group около 5 тыс. поставщиков, но не всем эти сервисы необходимы. Все зависит от масштаба бизнеса. В первую очередь в таких инструментах заинтересованы крупные международные компании, которые уже имеют  практику  работы с данными и понимают, какую ценность они могут извлечь из аналитики.

Мы рассчитываем, что к концу следующего года  топ-100  поставщиков X5 станут пользователями платформы.

— Какие преимущества получает поставщик от использования платформы и в чем выгода для Х5?

Среди наших клиентов  —  такие компании, как PepsiCo, «Боржоми», Ferrero,  «Балтика»,  и ряд других крупных  поставщиков. Некоторые  из них уже  публично рассказали,  каким образом решают свои бизнес-задачи с использованием инструментов платформы Dialog X5. Например, PepsiCo с помощью  Dialog X5  сумела оценить эффективность активации в акции «Битва завтраков»  —  измерить ее инкрементальный вклад в развитие категории, определить метрики, которые способствовали росту продуктовых групп, участвующих в инициативе, выявить лучшие маркетинг-механики для дальнейшего применения в бизнесе. Сервисы  Dialog X5  помогли компании «Боржоми» провести анализ динамики покупок групп потребителей и на его основе скорректировать позиционирование брендов, ассортиментные матрицы и  промостратегию.  Компания Nestle использует  Dialog X5  для анализа промоактивностей в категории, оперативного принятия решения для исправления ситуации с доступностью товара на полке.

Использование  Dialog X5  становится конкурентным преимуществом для поставщиков, поэтому не все они готовы открывать свои успешные кейсы, особенно сейчас, когда приходится жить и работать в условиях неопределенности. Dialog X5 позволяет быстрее реагировать на постоянные изменения. Вы не только анализируете бенчмарки и можете сопоставлять аналогичные периоды, но  и  практически в режиме реального времени понимаете, что происходит, какие факторы влияют на продажи, запуски новинок и  т. д. 

Для Х5 основные выгоды  —  это повышение прозрачности работы с партнерами, реализация важного направления цифровой трансформации  (data-driven-подход  в принятии решений), очередной прорыв в стремлении к технологическому лидерству, к системному позиционированию себя в качестве цифровой компании. Что касается преимуществ в операционной деятельности, то платформа обеспечивает эффективную модель взаимодействия ретейлера с поставщиками, поддерживая открытый диалог между ними.

— А насколько серьезной будет доля доходов от таких цифровых сервисов?

С  точки зрения монетизации  мы не останавливаемся  на текущих  сервисах. Прорабатываем  новые, полезные рынку предложения на основе аналитики данных. Мы  —  за аналитические продукты, а не простую передачу сухих данных, которая кажется бессмысленной и неинтересной рынку. Наша цель  —  стать центром экспертизы по решению определенных бизнес-задач.  И  конечно, это направление бизнеса должно быть экономически оправданным.

Как новый цифровой бизнес мы показываем хорошие  результаты:  в этом году увеличили выручку по сравнению с предыдущим и планируем рост на следующий год. Наша команда зарекомендовала себя как успешный стартап внутри компании с эффективной бизнес-моделью.

— В заявке на премию вы отметили, что «прозрачность инструментов на основе данных позволяет поддерживать честную конкуренцию, формировать новую добросовестную практику на рынке». Поясните, каким образом это достигается с помощью платформы Dialog X5?

Идеальная картина мира, к которой мы стремимся, состоит в том, чтобы  и  торговая  сеть,  и производитель-поставщик работали с единым пулом данных и принимали решения исходя из понятных  обеим сторонам факторов, чтобы добивались  увеличения своей доходности, не руководствуясь домыслами, а  за цифровым «столом  переговоров» с единой точкой входа и прозрачными процессами на основе данных. Именно это обеспечивает платформа. Dialog X5  —  не просто название платформы,  а  определяющая характеристика взаимодействия X5 со своими партнерами.

— Является ли Dialog X5 конкурентным преимуществом для самого ретейлера?

Безусловно. Платформа со столь широким набором различных инструментов  —  уникальный проект для российского рынка.  Наши основные  конкуренты тоже делают шаги в этом направлении, но подход, когда поставщик может  решить множество  своих задач по принципу единого окна, пока не имеет аналогов.

— Можно ли говорить о влиянии подобного решения на развитие отрасли розничной торговли в России?

Думаю, да. Почему платформу используют в первую очередь международные производители? У крупных мировых брендов стратегия завязана на данные,  у них  уже  создан data-driven-бизнес.  Они понимают значение аналитики для развития своей производственной цепочки, усиления своих позиций в продажах и  т. д. 

Но и среди российских компаний все больше тех, кто активно  использует данные  и  видит,  какую пользу  можно  извлечь из наших аналитических сервисов. И это, на мой взгляд, становится триггером для формирования индустриальной практики. Поставщик не ограничен только Х5, он работает и с другими сетями. И если он понимает, что с помощью цифровых решений, прозрачной аналитики может достичь большего эффекта для своего бизнеса,  то  будет стремиться расширять эту практику на других своих партнеров.

— Какие сложности были при создании платформы?

Основная сложность стоит перед нами сейчас  —  это масштабирование. Любой стартап подходит к тому этапу, когда нужно переосмыслять свое будущее развитие. На старте мы вдохновлялись опытом мировых разработчиков аналогичных решений, но перекладывали его на бизнес-задачи производителей в России. Постепенно в процессе развития платформы  —  появления нового функционала, новых типов отчетности, новых интерфейсов  — расширялось  наше представление о том, какой должна быть Dialog X5.

И сейчас мы достигли той стадии, когда продукт требует переосмысления. Мы получили продвинутый BI-инструмент, в котором, возможно, определенные функции нуждаются в унификации и упрощении, нам нужен поиск новых способов взаимодействия поставщика с аналитикой. Мы находимся в очень тесном контакте с нашими клиентами и постоянно собираем  информацию о том,  чего им не хватает, чтобы реализовать это в платформе.

Кроме того, существует необходимость технологического масштабирования. Перед нами стоят амбициозные задачи по оптимизации архитектуры данных с учетом роста количества пользователей и обеспечения безопасности данных, с одной стороны, и объемов  данных,  с другой. Строим планы на 2021 год по модернизации архитектуры, улучшению обработки данных и повышению скорости генерации отчетов, чтобы пользователи платформы получали максимально полезный результат за минимальное время.

— А какие планы по созданию новых сервисов для внешнего рынка?

Ряд продуктов уже находятся в стадии прототипирования и  пилотов  ad  hoc,  для того чтобы подтвердить гипотезу. Это кардинально новые решения с точки зрения  как  бизнеса, так и технологий. Надеемся, что сможем выпустить их на рынок в будущем году.

Высококонкурентная среда вынуждает торговлю становиться цифровой, и ключевые конкуренты X5 Retail сегодня — тоже цифровые гиганты наподобие Mail.ru и «Яндекса». Отвечая на вопросы участников конференции «Качество данных 2020», проведенной издательством «Открытые системы», директор по работе с данными X5 Retail Group Тигран Саркисов констатировал сложившееся положение: «Для нас это вопрос существования: либо мы будем развиваться как технологическая компания, либо не выживем».

Количество данных не переходит в качество само по себе, для этого приходится прикладывать усилия, подчеркнул он. При этом наличие «скрытых ИТ» и «подпольных» баз данных служит одним из признаков проблем с качеством данных и сигналом низкой эффективности процессов организации работы с ними.

Низкое качество данных несет множество рисков для ретейлера — начиная от штрафных санкций из-за ошибок в отчетности и заканчивая прямыми потерями. Наиболее дорогостоящие из них связаны с ошибками в прогнозировании спроса и в выборе места размещения складов. Кроме того, в последнее время в фокусе специалистов X5 — риск упущенной выгоды.

Даже обладая неплохим арсеналом средств управления качеством данных, нужно помнить, что инструменты управления качеством не работают без четких бизнес-процессов и соответствующей корпоративной культуры.

Не стоит приступать к нормализации данных, пока не будет построен бизнес-процесс или хотя бы не станут ясны его основные контуры, полагает Саркисов. Сначала следует наладить конкретные процессы и исправить в них ошибки, и лишь потом можно будет очищать данные и приступать к внедрению Data Governance, назначениям на роли и к «обвязке» их KPI по всей компании. Это практично и дает хорошие, а главное устойчивые результаты, которые не пропадут через месяц-другой.

Самое тяжкое и при этом бесполезное занятие, по мнению Саркисова, — это очистка неиспользуемых данных. И поскольку качество данных пропорционально частоте их использования, для повышения качества он рекомендовал увеличивать количество потребителей данных.

Специфика работы в X5 заключается в том, что большая часть информации формируется силами множества небольших партнеров, поставляющих не только товары, но и данные. При этом далеко не все они обладают достаточной квалификацией в ИТ. Чтобы повысить качество данных, необходимо внедрять культуру работы с ними. И в этот процесс обязательно нужно вовлекать партнеров. Мотивировать их очень важно. Если партнеры станут своевременно актуализировать, например, описания товара, то это существенно упростит работу по очистке данных, сэкономит колоссальное количество энергии, затрачиваемое на коммуникацию, расследование инцидентов и пр.

Обязательный компонент обеспечения качества — дисциплина. За качество данных отвечает каждый сотрудник компании, и крайне важно работать с лидерами «антирейтинга», подчеркнул Саркисов. Чек-лист для контроля процесса работы с данными включает проверку наличия полномочий, распределения ролей и ответственности. «Убедитесь в том, что вас не воспринимают как уборщицу», — посоветовал он коллегам и призвал их пропагандировать важность правильной работы с информацией и воспитывать в сотрудниках культуру предоставления обратной связи. «Культурный ингредиент» в вопросах качества тяжело измерить, но без него далеко не уедешь.

И конечно, необходимо обучение персонала, особенно нового. Очень важны специальные тренинги. «Встраивание в 'курс молодого бойца' блоков про важность качества данных и его влияние на бизнес нам крайне помогло, — отметил Саркисов. — Обучить проще, чем исправлять последствия».

В конце марта этого года X5 Retail Group объявила о внедрении системы управления ИТ-мощностями. Автоматизация процессов, спроектированных на базе методик ITIL, помогли реформировать управление ИТ-инфраструктурой, состоящей из 173 тыс. конфигурационных единиц в трех дата-центрах и более 14,5 тыс. магазинов (сейчас уже более 15 тыс. магазинов – Н.С.). Как результат, за прошедший год расходы на закупку оборудования удалось сократить более чем на 300 млн руб. О реализации проекта в рамках форума «Инфраструктура 2019», который 18 июня проведет издательство «Открытые системы», расскажет Наталья Ким, начальник управления инфраструктурных решений ИТ X5 Retail Group.

- Как исторически в X5 управляли инфраструктурой? Какие были проблемы?

По сути управления как такового не было. Скорее это был учет инфраструктурных мощностей, размещенных в ЦОДе, который велся вручную в Excel. При этом невозможно было оценить критичность каждой конкретной единицы оборудования, их взаимосвязи с ИТ-системами. В компании порядка 300 ИТ-систем и изменения в конфигурациях инфраструктуры происходят ежедневно. Мы не знали достоверно, какая из систем сколько ресурсов потребляет, реальную загрузку оборудования с учетом индивидуального режима функционирования каждой ИТ-системы. Увеличение мощностей происходило реактивно – например, при снижении производительности приложения мы просто срочно добавляли ему ресурсов. Если такие были в резерве. Если нет – инициировалась длительная закупка. Иногда владелец системы мыслил проактивно и, зная о планируемых изменениях в ней, заранее заботился о добавлении ресурсов, основываясь на собственной экспертной оценке.

Далее так продолжаться не могло – ИТ-ландшафт развивается серьезными темпами, что влечет за собой огромные затраты на инфраструктуру. Возникла необходимость качественно, на год вперед прогнозировать потребность ИТ-систем в мощностях, чтобы их закупка была экономически оправданной и эффективной. ITIL как раз об этом.

- В чем заключался переход на методику ITIL, как он был произведен?

Переход происходил поэтапно в течение трех лет. Начинали с выстраивания самого процесса управления мощностями. В течение года мы прошли его вручную от начала и до конца. Поняли, как он должен выглядеть в целевом состоянии, распределили зоны ответственности, определили драйверы роста ИТ-систем, позволяющих строить прогноз на будущее. Появился менеджер процесса, институт технических владельцев ИТ-систем. Следующим шагом стала автоматизация процесса, которая длилась два года. Сейчас процесс совершенствуется на ежегодной основе.

- Как в общих чертах это все работает?

Прогноз потребности ИТ-систем строится на трех показателях: технических метриках и бизнес-драйверах, заставляющих ИТ-систему расти (они собираются за прошедший период, а самый точный прогноз обеспечивается при наличии трехлетней истории) и планов бизнеса на будущее. Сбор технических метрик обеспечили системы мониторинга. Бизнес-драйверы на первых порах собирали вручную, сейчас планируем этот процесс также автоматизировать. Все показатели агрегируются в системе прогнозной аналитики, которая на основе заложенной в нее математической модели считает прогноз.

Для простоты понимания можно провести аналогию с GPS-навигатором, который при падении связи прогнозирует, как себя поведет автомобиль в ближайшие 30 секунд, исходя из скорости движения, местоположения на полосе и карты местности. Похожая логика заложена и в нашу систему управления мощностями. Решение выглядит достаточно просто, однако является результатом серьезной работы математических и технических экспертов. К чести наших специалистов, модель действительно работоспособна и дает достаточно точный прогноз.

- Планировалось ли изначально автоматизировать работу по новой методологии, или эта идея пришла уже в ходе проекта?

Потребность в автоматизации, учитывая масштабы инфраструктуры компании, мы видели сразу. Она была заложена в трехлетнюю стратегию развития процесса с самого начала, которую мы планомерно реализовывали. Радует, что она не претерпела существенных изменений – значит, планирование было верным.

Оценивая решения, которые можно для этого применить, изучали подобный опыт других компаний – в основном иностранных, так как на российском рынке подобных проектов мало.

- Что сейчас представляет собой система управления ИТ-инфраструктурой? Из чего состоит, какие решения используются?

Построенное нами решение состоит из четырех важных компонентов.

Система управления процессами, включающая в себя модули управления конфигурациями и управления изменениями. В ней создается ресурсная модель ИТ-системы, автоматически фиксируются изменения в инфраструктуре, что позволяет сохранять знания о конфигурациях всегда в актуальном состоянии. Это базовый элемент всего решения. Системы мониторинга инфраструктуры, поставляющие значения технических метрик ИТ-систем. Система прогнозной аналитики, которая поглощает всю предоставляемую ей информацию, и, исходя из заложенной в ней математической модели, формирует план мощностей для каждой ИТ-системы. И все наши информационные системы, которые к концу текущего года будут передавать в автоматическом режиме значения бизнес-драйверов ИТ-систем.

- Какой достигнут бизнес-эффект и за счет чего?

Стартовой задачей проекта являлось обеспечение экономически обоснованного прогноза потребности ИТ-систем в инфраструктуре с горизонтом планирования один год. Однако результат превзошел ожидания. Мы не только построили прогноз, но и, поняв реальную загрузку ИТ-систем, смогли оптимально перераспределить ресурсы, применить технологические инструменты для оптимизации, высвободив тем самым серьезный пул мощностей.

Из освободившихся мощностей сформировался тактический резерв, позволивший компании не только обеспечить органический рост инфраструктуры ИТ-систем за счет внутренних резервов, но и сократить время выпуска новых ИТ-продуктов за счет того, что бизнес-подразделения получают доступ к ресурсам без ожидания их закупки, поставки и пуско-наладки. Ожидание составляет пять-семь дней вместо трех месяцев. Экономия от внедрения и автоматизации процесса составила порядка 300 млн руб.

Кроме того, часть резерва мы смогли выделить под моделирование и тестирование бизнес-кейсов на временной инфраструктуре. Раньше такой опции у нас не было, что удлиняло процесс апробирования бизнес-гипотез на рынке.

- Как определяется оптимальный размер резерва?

Резерв формируется исходя из статистики запросов бизнеса за предыдущий период. Она обновляется раз в квартал и, в зависимости от полученных показателей объёма тактического резерва мощностей, динамически меняется.

- Что внесло больший вклад: «наведение порядка» по ITIL или автоматизация процессов?

Если говорить о том, какой этап дал наибольший эффект, то это, конечно же, этап автоматизации. Он вскрыл много проблем, которые было невозможно выявить и устранить вручную. Но автоматизация была бы невозможна без построения самих процессов. Так как невозможно автоматизировать хаос.

- Есть ли планы по развитию управления инфраструктурой?

Реализованный нами проект пока касался только виртуальной инфраструктуры. В ближайшее время мы планируем охватить ИТ-системы, размещенные на контейнерной платформе и физической инфраструктуре, в том числе, платформу больших данных.

Если говорить про среднесрочную перспективу, то это увеличение гибкости управления инфраструктурой. Мы планируем внедрить облачную платформу, в которой у бизнес-владельца ИТ-систем появится личный кабинет, где он как в онлайн-магазине сможет не только просматривать и управлять своими мощностями, но и заказать себе необходимую инфраструктурную услугу, например, выделение преднастроенных сред для тестирования бизнес-гипотез.

Розница – один из тех бизнесов, где вложения в большие данные и современную аналитику способны дать реальный и немалый экономический эффект. Однако, чтобы раскрыть их потенциал в полном объеме и вовремя, необходима планомерная, сложная работа. Антон Мироненков, директор по большим данным Х5 Retail Group, соискатель премии CDO Award, рассказывает о создании в компании дирекции по большим данным, ее первых достижениях и планах на ближайшее будущее.

- Как и почему в Х5 появилась структура для работы с большими данными?

Год назад в компании по теме больших данных не было ничего, дирекция по большим данным создавалась с нуля. Хотя, конечно, системы аналитики в компании использовались, без них мы не могли бы ежедневно пополнять товарами более 14 тыс. магазинов и платить зарплату 200 тыс. сотрудникам. Но не было централизованного хранилища данных по клиентам, которые можно быстро извлекать в нужных разрезах, обрабатывать и делать на их основе важные для бизнеса выводы. За год удалось создать такое хранилище, внедрить средства работы с ним, включая современные инструменты визуализации, и все это собрать в единую систему.

Антон Мироненков: «В сфере больших данных люди – самый ценный и самый дорогой ресурс»

Все началось с идеи. Мы проанализировали опыт западных ретейлеров по применению аналитики больших данных, в том числе побывали в нескольких компаниях и поняли, что обладание такими компетенциями может стать конкурентным преимуществом. Вместе с консультантами мы описали структуру нового подразделения, какие специалисты нам понадобятся, какая требуется инфраструктура, как выстроить data governance и т.д., и затем начали искать людей и параллельно формировать инфраструктуру.

При этом мы столкнулись с типичной проблемой, которая так или иначе возникает при создании подобных структур: данных в компании много, но прежде чем их можно будет использовать, все они требуют обработки. Их надо чистить и структурировать. Например, мы обнаружили, что данные по программе лояльности и чековые данные о покупках хранятся в разных форматах. Поэтому задача была не просто запустить инфраструктуру, куда можно складывать данные, но и обеспечить, чтобы данные собирались в правильном виде.

Параллельно с созданием инфраструктуры и сбором данных мы стали выяснять, какие потребности бизнеса можем реализовать. Было собрано около 200 кейсов и для тех из них, которые обладали потенциалом принести наибольшие выгоды для Х5, были сформированы продуктовые команды. К настоящему моменту ряд продуктов доведен до стадии MVP (minimum viable product), один запущен в продуктивную эксплуатацию.

- Что это за продукт?

Набор отчетности для переговорных кампаний с поставщиками. Если раньше для анализа поставщика приходилось долго и сложно сравнивать данные из десятков таблиц Excel, то сейчас буквально двумя кликами можно получить исчерпывающую информацию по любому вендору – история взаимоотношений, на каком они уровне находятся в данный момент и где потенциал для дальнейшего развития.

С решением постоянно работают более 100 сотрудников.

- Каким образом выделялись продуктовые направления, которые приносят деньги. Это были ваши гипотезы, результат серьезного анализа или запрос от бизнеса?

Они появились из нескольких источников. Во-первых, лучшие мировые практики. Во-вторых – обсуждение с бизнесом, показавшее, какие из этих практик работают не только на Западе, но и у нас. И в-третьих – идеи, появившиеся в результате мозгового штурма в команде. Затем выявленные направления были приоритезированы. Впрочем, любой, кто в ретейле работает не первый год, скажет вам, что основные деньги в нашем бизнесе приносят правильная работа с ассортиментом, ценообразование, промоактивности. Конечно, эти направления оказались в приоритете и в Х5.

Затем мы стали глубже анализировать каждое из направлений – какие данные используются, что должно получиться на выходе, степень возможной автоматизации. Будет ли это инструмент, который помогает принимать решение, как в случае отчетности для переговорных кампаний, или полная автоматизация определенных процессов так, чтобы человек в них вообще не участвовал. Ведь, как правило, пользователей можно условно разделить на «отличников», «хорошистов» и «троечников». Если в процесс вмешивается «отличник», у него получается лучше чем у системы, по крайней мере на начальном этапе, но если в систему вмешивается «троечник», получается хуже. На большом масштабе автоматизация позволяет в среднем результат подтянуть до более высокого уровня. Это не значит, что люди не нужны. Они теперь системно занимаются тем, чтобы процесс работал правильно, а не улучшением результата процесса на каждом из его этапов, то есть меняют алгоритм вместо того чтобы искать правильные решения в отдельных точках.

- Речь идет о внедрении машинного обучения или пока только автоматизации заданных алгоритмов?

Мы используем различные подходы, в том числе машинное обучение. В некоторых случаях простая линейная регрессия дает хороший результат. Например, в продукте «Ассортимент» статистическими методами на основе чеков строится дерево принятия решения покупателем, а оптимизация ассортимента реализуется с помощью машинного обучения.

Еще один классический оптимизационный инструмент применяется в ценообразовании. На входе он получает большое количество параметров (исходные цены, цены конкурентов, маржинальность товаров, условия по логистике), чтобы на выходе ежедневно генерировать оптимальные цены на товары в магазинах.

При этом мы никогда не зацикливаемся на одном подходе для конкретной задачи, модель должна становиться все более точной со временем. Специалисты из команды data science находятся в постоянном поиске улучшений: если из этого метода мы выжали все, давайте попробуем вместо деревьев решений применить нейронную сеть, а затем добавим к ней дополнительные слои. Наш продукт – это не монолит, а живой организм, который постоянно дорабатывается. Поэтому продуктовые команды работают по принципам Agile – они отвечают за то, чтобы бизнес-результат был лучше и лучше с каждой итерацией.

- Сколько продуктов реализовано за год?

У нас восемь продуктовых команд. Но потребностей у бизнеса больше, и периодически приходится формировать временные девятую и десятую команду, чтобы срочно реализовать ту или иную задачу.

- Какова связь стратегии дирекции по большим данным с бизнес-стратегией компании?

До того, как возглавить подразделение по работе с большими данными, я отвечал за стратегию Х5, поэтому прекрасно представляю задачи бизнеса и могу говорить с ним на одном языке. Это очень помогло в формировании нашей продуктовой линейки. Наш план на текущий и будущий год увязан со стратегией компании в целом и со стратегией каждой торговой сети, входящей в Х5.

Несколько лет назад в X5 было принято решение о децентрализации. Каждая сеть получила достаточную свободу, чтобы развивать собственное клиентское предложение, в чем-то конкурировать, иметь ресурсы для самостоятельного ведения бизнеса. Как следствие, сети различаются и с точки зрения используемых ИТ-решений. Даже данные в анкетах программы лояльности в разных сетях не идентичны, хотя и пересекаются процентов на 80. Поэтому обычно мы не можем сделать одинаковый продукт для всех трех сетей.

Часто бывает так, что мы разрабатываем решение, например, для «Пятерочки», рассказываем о нем в «Перекрестке», и менеджеры сети высказывают желание получить аналогичный продукт. Тогда продуктовая команда делает кастомизацию решения под другую сеть. Происходит миграция знаний и продуктов между торговыми сетями.

- Как организована работа вашего подразделения?

Команды работают по принципам Agile и включают в себя все необходимые группы специалистов – data science, аналитики данных, бизнес-аналитики, менеджеры продуктов, DevOps. Есть и системные инженеры, которые отвечают за инфраструктуру определенного уровня. Базовую инфраструктуру для нас поддерживает ИТ. Но у нас остается возможность разворачивать инфраструктурные слои более высокого уровня, необходимые для наших решений. Это нетипичный подход, но по-другому скорости просто не достичь. Чем больше ресурсов в одном месте сконцентрировано, тем быстрее можно двигаться. А скорость – это наша первоочередная задача.

Процессы data governance реализуются в нашей дирекции и в ИТ. Мы занимаемся контролем качества данных во входных потоках, которые получаем на свой кластер. Но кроме этого необходимо обеспечивать качество данных на источниках, которые расположены в других местах корпоративной архитектуры. За это отвечает ИТ.

Сейчас процессы data governance включают в себя сбор, обеспечение качества, описание собранных данных и формирование требований к конечным витринам. Очень важной составляющей data governance являются также корпоративные политики работы с данными, но здесь мы еще в самом начале пути. Корпоративная политика задает стандарт ввода данных для бизнес-пользователей, тем самым закладывается основа для того, чтобы данные были качественными при всех дальнейших использованиях.

Нам необходимо наладить процесс регламентации ввода данных, и это займет немалое время, поскольку груз проблем в этой сфере за годы существования компании накопился очень большой.

- Какие данные используются для реализации ваших продуктов – внутренние данные компании или вы привлекаете также внешние данные с рынка?

Мы активно обсуждаем с телекомом, с банками, какие решения мы можем сделать вместе, обогащая данные. И пришли к выводу, что те данные, которые есть у нас, гораздо более полезны другим игрокам, нежели нам полезны внешние данные с рынка. Почему? Потому что у нас очень много данных внутри компании, и их, как правило, достаточно для реализации различных идей по улучшению бизнеса. Наша основная задача при работе с данными — наладить процесс получения и постоянной актуализации этих данных, а также сделать так, чтобы данные, которые единожды получены, неважно из какого источника, были доступны всем заинтересованным бизнес-пользователям.

Надо отметить, что в Х5 с большими данными работает не только дирекция больших данных. Наиболее сложные вещи, которые требуют написания кода и ведут к созданию продукта, мы делаем централизованно. Это специализированные задачи, которыми должны заниматься квалифицированные специалисты, а в сфере больших данных люди – самый ценный и самый дорогой ресурс.

При этом от бизнеса постоянно возникает большое количество сиюминутных запросов, поэтому мы обеспечиваем бизнес-пользователей данными, с которыми они могут самостоятельно делать любую аналитику. Причем очень важно, чтобы все было совершенно прозрачно – где взять нужные данные, как их обработать и что делать с результатом. Но если одна и та же задача возникает постоянно, мы берем ее на себя. Мы стараемся освободить аналитиков от рутины, чтобы они могли заниматься более продуктивными задачами.

- Что представляет собой технологическая инфраструктура больших данных в X5?

У нас полный стек необходимых инструментов. «Холодные» данные собираются в озере данных на базе Hadoop, дальше в зависимости от приложения данные перемещаются в более быстрые базы – Greenplum, Qlickhouse. Для загрузки данных используются классические ETL-инструменты, для визуализации – Qlicksense, Tableau.

- Что было самым сложным за этот год?

Самое сложное – наладить работу команды. Наш Agile пока часто «перпендикулярен» тому, как работает остальная компания. С одной стороны, бюджет, оргструктура, регламентированный процесс найма человека, с другой – скорость процессов Agile. Как увязать между собой еженедельные спринты с ежегодной оценкой эффективности сотрудника? Объясняем, договариваемся, где-то меняем процессы в самой компании.

- А что вы можете поставить в заслугу дирекции больших данных?

Главное достижение – скорость. Я очень рад, что удалось меньше чем за год собрать сильную команду. Когда к нам приходят на собеседование специалисты по data science, они спрашивают, с кем будут работать, и быстро соглашаются, когда слышат фамилии. Для меня это показатель качества команды. Второй показатель – то, что за короткий период мы довели несколько продуктов до стадии MVP и один до промышленной эксплуатации и уже получаем много положительных отзывов от пользователей.

Мы построили гибкую инфраструктуру, в которую можно быстро адаптировать дополнительные инструменты, если понадобится. Развернули хранилище из более 80 узлов в кластере, которое удалось быстро наполнить.

Скорость – это главное, к чему мы стремимся. Я постоянно говорю ребятам: «возможно, вы сделаете это гораздо лучше через год, но тогда это уже никому не будет нужно». Меняются потребности бизнеса, технологии уходят вперед, а задачи надо решать здесь и сейчас.

- Не в ущерб качеству?

Это же Agile. Конечно, продукты дорабатываются. Но для этого и нужен постоянный диалог с бизнесом.

- Какой эффект получит бизнес от продуктов на базе больших данных, когда они будут введены в промышленную эксплуатацию? Например, я – постоянный клиент «Перекрестка». Какие я почувствую улучшения?

Возьмем для примера такое решение, как ассортиментный план. Главный результат его применения состоит в том, что, если раньше вы приходили в супермаркет и клали в корзину 7 товаров, то сейчас будете класть 8. Вам не придется обходить несколько магазинов, вы здесь найдете все, что вам нужно. И в целом увеличивается число клиентов сети, когда люди понимают, что могут найти в магазине все необходимое и, возможно, по более выгодной цене, чем у конкурентов.

Другой пример – промоакции. Продукт позволяет правильным образом изучить аудиторию в конкретной локации, понять, какие магазины рядом, как правильно сделать скидку на определенный товар и каким людям из программы лояльности нужно ее предложить. Пилот по этому решению продемонстрировал рост трафика в магазинах на несколько процентов – это очень хороший результат. Лояльность покупателей тоже выросла.

- Ваши планы на будущее?

Главная цель ближайших нескольких месяцев – вывести в продуктив те продукты, которые сейчас находятся на стадии MVР. Это не самая простая задача, поскольку необходимо быстро и без лишних затрат масштабировать успешный пилот с сотни на несколько тысяч магазинов.

В апреле должны быть завершены проекты по ассортименту и ценообразованию. Весной планируется улучшить качество прогнозирования продаж в сети магазинов «Перекресток». Это обеспечит повышение точности заказа товаров на склад, как результат, сократится количество продуктов, которых нет на полках, и это, в свою очередь, положительно отразится на продажах.