Директор по данным

Девелоперская компания «Самолет» повысила производительность труда на своих стройках за счет интеллектуальной системы мониторинга, позволяющей оперативно реагировать на любые отклонения от планов. Решение уже показало эффективность в сокращении сроков строительства на 5%, а снижение себестоимости строительства может достигнуть 1,5%. О реализации проекта рассказывает Екатерина Линкевич, директор по данным компании «Самолет» и номинант на премию Data Award.

- В чем заключалась бизнес-проблема?

Производительность труда в строительной отрасли в мире не растет с начала 1990-х годов. Расходы, связанные со строительством, составляют 13% от мирового ВВП, что в денежном эквиваленте оценивается в 1,6 трлн долл. В России этот показатель на уровне 6% от ВВП или 5,5 трлн руб. Ежегодный прирост производительности сектора составлял в среднем 1% за последние 20 лет.

Группа «Самолет» — одна из крупнейших девелоперских компаний в России, с портфелем текущего строительства 3,3 млн кв. м и земельным банком в 34,2 млн кв. м реализуемой площади. Перед нами стояла непростая задача: по производительности труда приблизиться к показателям Китая и США, которые в полтора раза выше российского. Ключевым моментом в повышении эффективности стройки является выполнение плановых показателей и соблюдение техники безопасности, контроль за выполнением строительно-монтажных работ и подготовка квартир к сдаче.

В первую очередь нас интересовала автоматизация контроля и своевременного реагирования на отклонения от плановых показателей во время всего хода строительства жилых домов. На группу «Самолет» работает большое количество подрядных организаций, поэтому довольно сложно самостоятельно контролировать фактически выполненные объемы стройки, и приходится доверять статистке подрядчиков. Не меньшую роль играет контроль отделочных работ – чистовой и черновой отделки, наличия санфаянса и мебели, наличия мусора внутри квартиры после завершения работ. Необходимо создание системы, которая повысит качество контроля и исключит возможность пропуска специалистами тех или иных помещений. Наконец, нужна автоматизация мониторинга наличия ограждений на открытых участках на протяжении всего хода строительства. Строительная площадка – территория повышенной опасности, несоблюдение правил техники безопасности может стоить жизни. И здесь наша задача – создать решение, которое может автоматически выявлять факты нарушения и с помощью системы штрафов исключить прецеденты.

- Как пришла идея мониторинга с помощью видеоаналитики?

Мы стремимся к тому, чтобы стать data-driven компанией, где 100% бизнес-процессов автоматизированы, а решения принимаются на основании данных. С учетом большого количества процессов, мы приоритезировали наши активности по доле трудозатрат в соотношении к потенциальному эффекту для компании и их реализуемости. Себестоимость стройки занимает 60-75% всех затрат компании, поэтому данное направление стало одним из приоритетных. Далее, в рамках анализа инициатив и потенциальных эффектов, мы поняли, что замена ручного труда при управлении стройкой может привести не только к росту производительности, но и к повышению безопасности, существенно повлиять на снижение себестоимости. Так мы выбрали список инициатив, которые приводят компанию к заявленным бенчмаркам эффективности и начали их параллельную разработку и внедрение.

- Какие требования предъявлялись к решению?

Все требования можно разделить на несколько верхнеуровневых блоков. Основными из них были сокращение времени фиксации прогресса и нарушений для каждого корпуса на 95%, сокращение количества нарушений и штрафов до 65%, сокращение инцидентов на стройке до 50%, сокращение времени строительства до 20%.

Нам нужно было создать решение, позволяющее передавать данные в текущие мастер-системы, которые уже используются командой ведения эффективного процесса строительства, и реализовать ролевую модель своевременного оперативного информирования и реагирования задействованных сотрудников на стройке (включая топ-менеджмент компании) через оперативные каналы коммуникаций.

Для внешнего мониторинга стройки требовалось обеспечить ежедневный мониторинг прогресса строительства за счет получения видеопотока с камер, его обработки, и автоматического сравнения с плановыми показателями по монолиту, кладке и окнам, наличию защитных сеток. Для мониторинга внутренних отделочных работ был нужен еженедельный мониторинг прогресса черновых и чистовых работ за счет получения данных с переносных камер сотрудников. Подразумевается фиксация этажа, корпуса, здания в специальном приложении и обработка видеопотока с последующим автоматическим сравнением с плановыми показателями по отделке – пол, потолок, двери, сантехника, радиаторы, электрика и т.п. При этом время обработки видео с одного этажа не должно превышать 30 секунд.

- Какие технологии использованы при разработке?

Все решение можно разделить на несколько компонентов. Внешняя оболочка – это панель администратора с настроенными отчетами, оповещениями и метриками, построенная на Python, Flask и шаблонизаторе Jinja. Этот сервис включает в себя мониторинг хода строительства с настроенными отчетами, алертами и метриками, а также инструментарий для возможности расширения количества объектов для внедрения системы мониторинга. Мониторинг поддерживает прием данных с фото-ловушек, дронов, камер видеонаблюдения. Выполняемые алгоритмы решения реализованы на Pytorch, MMDetection, Numpy, Pandas, OpenCV и Timm. Мобильное приложение для сбора данных о внутренней отделке – Javascript и Capacitor. Бэкенд продукта построен на Airflow, SQLAlchemy, FFmpeg, Minio, PySpark, Flask и Telegram. Он представлен в виде конвейера, который по расписанию собирает изображения с источников, отдает их на обработку модели машинного обучения, сохраняет и перемещает все изображения и метаданные на всех этапах, формирует и отправляет отчеты.

- Что потребовалось сделать, чтобы обеспечить систему данными?

Нашей главной задачей было получение корректного видеопотока для дальнейшей обработки.

Если говорить о внешнем мониторинге, то одной из самых сложных проблем было обеспечение бесперебойного канала получения видеопотока со строительных площадок. Как вы понимаете, стройка – это постоянно развивающаяся и меняющаяся среда, в процесс работы на площадке вовлечено очень большое количество сотрудников разных профилей. На каждом проекте работает своя команда, у них свои правила и особенности. И вот в таких условиях, наверное, самым тяжелым было выстроить организованную работу всех команд на всех площадках. В перечень таких работ входило составление плана по монтажу устройств, замер необходимого расстояния, обеспечение точек энергопитанием, непосредственно сам монтаж устройств, корректировка ракурсов, заведение данных в систему обработки и много всего прочего.

Для некоторых объектов установка дополнительных камер и создание соответствующей инфраструктуры было дорогим мероприятием, а иногда и вовсе невозможным – например, когда нет физической возможности повесить камеру. В таких условиях мы решили пойти немного дальше, и поэкспериментировать с альтернативными каналами получения видео, такими как фотоловушки и дроны. Фотоловушка – это простое в установке устройство, которое не требует скрупулезной настройки и поддержания работоспособности, она может долгое время работать в автономном режиме без какого-либо контроля, в том числе, в период экстремальных перепадов температуры.

Дроны нам очень помогли в получении видеопотока в тех местах, где невозможно установить ни камеры, ни фотоловушки. Например, в ситуациях, когда архитектурная форма здания не позволяет установить камеру на достаточном расстоянии. Но этот канал получения данных является альтернативным в силу своей высокой стоимости.

Внутренний мониторинг тоже имеет свои особенности. Сбор данных происходит с камер сотрудников, которые совершают обход. Для анализа корректности работы и подтверждения, что все этажи действительно пройдены, требуется автоматизация распознавания дома, корпуса, этажа. В идеале было бы хорошо иметь данные мониторинга квартиры «до», но это задача на будущее. Ключевая проблема заключается в том, что в ходе отделки, особенно черновой, этажи никак не обозначены, и это затрудняет разметку сплошного видеопотока. Для этих целей мы разработали схему с QR-кодами, которые размещаются на каждом этаже. Чтобы исключить случаи недобросовестного выполнения контроля, прорабатываем размещение специальных меток, которые могут быть нанесены под штукатурку для автоматического считывания.

- Что представляет собой созданное решение?

Модель внешнего мониторинга состоит из нескольких нейросетей и алгоритмов. Во-первых, стоит упомянуть алгоритм исправления искажений объектива. Была задача создать максимально универсальное решение для разных типов камер. Некоторые модели видеокамер имеют искажающий эффект объектива, называемый «рыбий глаз». Необходимо рассчитать матрицу коэффициентов, которая произведет линейное преобразования изображения так, что искажение будет нивелировано.

Вторая важная составляющая – алгоритм перспективной трансформации здания. При установке камеры, которая будет мониторить строительный объект, важным требованием является соблюдение ракурса относительно строительного объекта – он должен быть фронтальным. От того, как будет произведена установка, напрямую зависит качество обработки модели и итоговые результаты – это имело особенно сильное влияние на алгоритм подсчета этажей. К сожалению, во время установки камер стало ясно, что соблюсти данное требование не представляется возможным. В качестве решения был реализован алгоритм перспективной трансформации, суть которого заключается в том, чтобы любой ракурс приблизить к фронтальному. Стоит отметить, что данный алгоритм решает еще одну важную проблему – попадание в кадр нескольких однотипных зданий в случае, когда камеру ставят далеко от наблюдаемого строительного объекта.

Детектор основного здания – еще один важный компонент решения, так как часто на фоне нужного объекта строятся и другие здания. Если не заниматься «чисткой», то можно получить большое количество ложно-детектированных ячеек, что приведет к зашумлению и ошибкам в отчетах. Кроме того, можно упомянуть детектор и классификатор строительных ячеек, алгоритм подсчета этажей, детектор строительной сетки и классификатор нарушений установки ограждений.

- Модель внутреннего мониторинга устроена иначе?

Все квартиры проходят несколько этапов жизненного цикла после завершения строительных работ от черновой до чистовой отделки, до ремонтно-монтажных работ, например, таких, как установка сантехники или кухонного гарнитура. С целью оптимизации затрат на вычислительные ресурсы, администрирование и поддержку мы приняли решение сгруппировать классы и научить одну нейронную сеть правильно детектировать их. Простым языком, мы показываем модели изображение, а она выдает все классы, которые на нем видит. Мы выделили следующие группы классов: классификация помещений (коридор, ванная, кухня и т.д.), классификация частичной отделки (черновая и чистовая, пол, потолок, стена, коридор, общественное место, классификация предметов (батарея, унитаз и т.д.)

Мы отошли от идеи покадровой обработки, так как в рамках задачи поступает огромный поток видео. Вместо этого мы добавили процесс нарезки видео на кадры. То есть берем каждый N-ный кадр, а дальше данные группируются вместе и обрабатываются разом. Нейросеть выдает «сырые» данные, в которых указаны классы, которые она увидела на изображениях. На выходе мы получаем таблицу, в которой для каждого класса помещений, указывается количество раз, сколько в этом помещении модель увидела классы из групп частичной отделки и предметов. Например, в комнате мы можем 10 раз увидеть, что стены отштукатурены, и пять раз – что установлены розетки. Далее на основании этих данных строится процентное соотношение готовности отделки помещения и рассчитывается процент выполнения плановых показателей.

- Какими силами реализовывалась система, сколько времени потребовалось?

Наша задача – развивать внутренние компетенции и масштабировать их на рынок. Продукт реализован силами внутренней команды с привлечением внешних сотрудников. Вся команда состоит из шести человек, включающей двух дата-сайентистов и двух бэкенд-разработчиков.

Если говорить про сроки реализации, то продукт находится в постоянной модификации, постоянном улучшении. Мы приступили к созданию решения в мае 2022 года, и к концу года уже увидели практические результаты от его применения. Мы постоянно работаем над повышением точности моделей, над разработкой новых алгоритмов для мониторинга эффективности, над оптимизацией и улучшением клиентского пути.

- Каких результатов достигли?

Что касается контроля сроков строительно-монтажных работ и соблюдения правил и техники безопасности, то на сегодняшний день наше решение установлено на 25 строящихся объектах, и уже показало эффективность в сокращении сроков строительства на 5%, сокращение количества инцидентов до нуля и сокращения количества штрафов за отсутствие оградительных сооружений в три раза.

Если говорить про направление по мониторингу внутренней отделки, то текущая точность алгоритма в данном направлении составляет не менее 85% по любому из указанных классов. В настоящий момент алгоритм проходит финальную стадию стабилизации, и уже в ближайшее время будет также работать на ускорение сроков завершения работ по внутренней отделке.

В следующем году мы планируем провести масштабирование продукта абсолютно на все проекты нашей компании не только в Москве и Московской области, но и в других городах присутствия. Также мы постоянно работаем над повышением точности алгоритмов и расширением функциональных возможностей, чтобы обеспечить наших клиентов качественным жильем в максимально короткие сроки, и при этом гарантировать нашим сотрудникам должный уровень безопасности.

- За счет чего произошло повышение производительности труда строительного цикла и целевое снижение сроков рабочего проектирования и строительства?

Основным фактором повышения производительности труда послужила возможность проактивного реагирования на отклонения от плановых значений в реализации. Что из себя представляет процесс строительства? Это огромные площадки, множество зданий, которые все нужно обойти, по которым нужно физически зафиксировать прогресс строительства, а затем предоставить полученные результаты топ-менеджменту, по пути пройдя ряд согласований линейного руководства. Иными словами, традиционный процесс мониторинга прогресса в строительной индустрии весьма трудозатратный, небыстрый и с возможностями человеческих ошибок. Наше решение минимизировало вероятность ошибок, и в разы сократило сроки предоставления понятной прозрачной картины хода строительства.

На сегодняшний день все руководство компании, начиная от линейных руководителей на проектах, и заканчивая топ-менеджментом, ежедневно получает информацию о том, на каком проекте идет отставание, и на каком происходят нарушения техники безопасности. Это дает, во-первых, возможность быстро выявить причины таких отставаний и принять меры по их исправлению, а во-вторых, является дополнительным мотивационным аспектом, который побуждает команды не выходить за рамки запланированных сроков реализации.

- Каков экономический эффект?

В «Самолете» цифровизация позволила увеличить производительность труда на 60% за полтора года. Этот показатель был достигнут, в том числе, благодаря и проекту по мониторингу процесса строительства с использованием искусственного интеллекта. Сложно выделить влияние какого-то одного элемента, потому что это комплексное решение, в которое входят все цифровые инструменты управления стройкой, эффективные проектные решения, минимизация изменений, эффективная организация работ и обучения.

Решение было полностью внедрено в августе 2022 года, и мы рассчитываем выйти на 1,5-процентное снижение себестоимости строительства. Сюда входит эффект от ускорения работ, сокращения штрафов за срыв сроков и оплаты инцидентов.

- Каковы планы развития платформы?

Основными задачами на ближайшее время мы ставим повышение точности текущих алгоритмов и разработку новых моделей, способных повысить эффективность и качество строительства. Например, речь идет о мониторинге качества материалов во внешней отделке фасадов и их соответствия архитектурному плану. Также работаем над улучшением опыта внутренних пользователей продукта.

Долгосрочная цель, к которой мы идем, – оцифровать абсолютно все процессы на стройке, поделиться продуктами наших наработок с клиентами, а также масштабировать решения на внешний рынок. Мы хотим быть полезными и эффективными не только нашим сотрудникам и клиентам, но и делиться всеми наработками с рынком, тем самым развивая его и мотивируя на новые достижения.

Вовлечение бизнеса в более активную работу с данными стоит на повестке большинства компаний. В «Магните» к решению этой задачи подошли многогранно: перестроены принципы взаимодействия офиса данных с пользователями, проводятся многочисленные популяризационные мероприятия и тренинги, а импортозамещающий BI-инструмент «МагРепорт» стал популярен среди самой широкой аудитории. О проведенной работе и достигнутых результатах рассказывает Павел Шорохов, CDO сети «Магнит» и номинант на премию Data Award.

— Какие проблемы вы решали, почему офису CDO потребовалось меняться?

Управление данными в «Магните» развивалось эволюционно и очень давно. Корпоративное хранилище данных было создано еще в 2010 году на базе решений Teradata. За более чем 10 лет появилось много функциональности. Я помню, как в 2020 году мы обсуждали с вендором покупку одного решения, связанного с резервным копированием, но когда они увидели нашу собственную разработку, то сказали: «Вам наш продукт не понадобится: то, что вы сделали, – более функционально!». Тем не менее, развитие управления данными было довольно стихийным. Это и понятно: ретейл – очень динамичная сфера деятельности, и поэтому очередь задач у разработчиков всегда росла стремительно. Это привело к тому, что данных было много, но не всегда было понятно, как их быстро найти и какого они качества. Было непонятно, кто за что отвечает – множество разных команд работали над разными этапами формирования данных, не было закрепленных ответственных за кросс-функциональный процесс. Количество запросов на изменения росло, но скорость решения задач и пропускная способность не менялись.

Мы поставили себе задачу – повысить доступность данных, вовлечь сотрудников компании в активную работу с данными и улучшить их пользовательский опыт.

— Как вы подошли к решению задачи?

Мы трансформировали офис CDO и операционную модель работы с данными для 10 тыс. сотрудников. Чтобы улучшить пользовательский опыт, мы поменяли формат работы пользователей с офисом CDO: перешли к модели единого окна, в роли которого выступают выделенные для каждого направления бизнеса data-партнеры. Каждый data-партнер стал своеобразным аккаунт-менеджером своего бизнес-блока и при этом управляет кросс-функциональной data-командой.

Кроме того, мы упростили процесс поиска и работы с данными – сейчас поиск можно осуществлять через каталог данных, а также через чат-бот в Telegram и корпоративном мессенджере. Дополнительно мы предоставили пользователям возможности self-service BI на базе нашего собственного решения «МагРепорт». Наконец, мы организовали внутренние курсы повышения квалификации по работе с данными, запустили регулярный обзор Data Digest про основные изменения в области работы с данными и создали специализированные data-комьюнити.

— Как воспринимают эту «движуху» пользователи? У них не вызывает сомнений необходимость изменений?

До «Магнита» я работал более 10 лет в ИТ-консалтинге и успел увидеть, как работают с данными многие компании. Мало где можно увидеть такую же готовность к изменениям, как в «Магните»! Бизнес не только не сомневается в том, что нужно менять подходы, но и часто готов участвовать, и мы работаем над изменениями в одной команде.

— Что важнее: организационные или технологические изменения?

Чтобы построить космический корабль, одинаково необходимы и высокие технологии, и лучшие инженеры, и правильно выстроенные процессы. Убери что-то одно, и успеха не будет. Мы строим не космический корабль, но базовый принцип тот же: организационные и технологические изменения одинаково важны, и они должны дополнять друг друга.

Например, мы поставили перед собой цель повысить доступность данных, начали строить корпоративное озеро данных. Но озеро данных само по себе еще не решение – важно, чтобы поиск информации в нем был максимально быстрым и удобным. Это, в свою очередь, потребовало наличия инструментов Data Governance. Эти инструменты могут эффективно работать только при наличии налаженных процессов управления данными, в том числе закрепления владельцев данных и появления новых ролей, таких как дата-стюард.

В итоге для достижения цели нам понадобились и технологические, и организационные изменения, чего-то одного было бы недостаточно.

— Какие результаты были достигнуты?

В совокупности перечисленные изменения дали сокращение времени разработки data-продуктов по всем ключевым направлениям, образовались центры компетенций, а главное – повысилась удовлетворенность бизнеса и его вовлеченность в использование инструментов данных.

Выросла data-driven культура: за год в полтора раза (на 50%) выросло количество ad-hoc пользователей. Это связано с тем, что сотрудники теперь понимают, где лежат нужные им данные, и быстрее их находят. Это стимулирует интерес к данным. На 81% выросло количество запросов к данным. В 2,7 раз выросло количество посещений инструментов self-service BI.

Кроме того, повышена прозрачность формирования данных: на 158% выросло ежемесячное количество посещений базы знаний корпоративного хранилища данных. У нового каталога данных количество уникальных пользователей за месяц увеличилось на 450 человек, это дополнительные 2 тыс. посещений в месяц. Более 400 сотрудников компании пользуются минимум дважды в месяц новым чат-ботом для самообслуживания при работе с КХД.

Наконец, нужно отметить повышение грамотности работы с данными – так называемую data literacy. 60 сотрудников прошли обучение по работе с инструментами self-service BI и 120 – по работе с хранилищем данных. Созданы сообщества по инструментам работы с данными, в которые суммарно входит более 300 участников. Кстати, еще 60 студентов поступили в нашу «Школу бизнес-анализа» (всего было получено более 3 тыс. заявок), по итогам прохождения которой 45% готовы устроиться в «Магнит».

— Как вы оцениваете эти результаты? Отработали удачно или ожидалось лучше?

Безусловно, впереди очень много работы, и нам есть к чему стремиться. Но мы – и, главное, бизнес – видим огромные результаты, к которым привела проделанная работа. Очень мотивирует, когда заказчики пишут нам, что стало комфортнее работать с данными и теперь они стали эффективнее. Мы понимаем, что предстоит еще много изменений. Впереди огромный пласт работы в области качества данных и, конечно, реализация масштабного проекта по импортозамещению. Огромный вызов в том, что одновременно с этими масштабными изменениями мы должны повышать эффективность и качество нашей операционной работы – то есть решение ежедневно возникающих задач бизнеса при работе с данными.

— Вы упомянули про data-driven культуру. Что вы понимаете под этим словом?

Обычно под data-driven культурой подразумевают вовлеченность сотрудников компании в активное использование данных, которое выражается в принятии стратегических решений, основанных на анализе данных и их интерпретации. С этой точки зрения вряд ли в современном мире может выжить «не data-driven» компания – крупный бизнес важные решения обязательно принимает, основываясь на данных. Поэтому сейчас я бы уточнил это определение, добавив к параметру «вовлеченность в использование данных» два других важных параметра: «доступность данных» и «качество данных». Таким образом, получается, что data-driven культура – это возможность сотрудников компании быстро получать нужные им качественные и актуальные данные, на основе анализа которых они принимают стратегические решения.

— Что нужно, чтобы повысить data-driven культуру компании?

Ключевая задача для достижения такого состояния – упростить работу с данными. Приведу пример. Помню, как 20 лет назад мы с другом обсуждали, в какой стране больше население: во Франции или Италии. Нам пришлось доставать БЭС и искать статьи про эти страны. Оказалось, что население этих стран очень близко по численности, а учитывая, что энциклопедия была старой, данные, возможно, были неактуальны. Сегодня наш спор разрешился бы прямо во время разговора – не вставая с места, в телефоне один из нас ввел бы буквально один поисковый запрос и получил ответ.

Задача с доступом к корпоративным данным выглядит точно так же. Одна из целей офиса данных заключается в том, чтобы пользователи получали ответы на свои вопросы мгновенно или, по крайней мере, за комфортное для них время. Пусть сотрудник занимается своей работой, а в тот момент, когда ему понадобятся данные для принятия решения, получает их максимально быстро и в удобном ему виде. При этом он должен понимать, какие данные ему доступны, что они означают и какого они качества.

Мы уделяем работе по созданию такой прозрачности большое внимание: чат-боты, каталоги, бизнес-глоссарии, базы знаний, data-комьюнити – общая площадка для общения сотрудников про данные. Эти мероприятия помогают повысить доверие к данным и инструментам работы с ними, а значит, и повысить data-driven культуру.

— Расскажите подробнее про «Школу бизнес-анализа». Что это за курс, на кого ориентирован и какие задачи решает?

Мы запустили «Школу бизнес-анализа» в ноябре 2022 года. Ключевыми предпосылками стала высокая потребность компании в бизнес-аналитиках (более 200 человек в год). Решили готовить их самостоятельно: давать людям необходимые знания, а лучших пробовать трудоустраивать, исходя из потребностей на момент окончания курса.

Если вкратце о курсе, то мы взялись за полгода (и 247 академических часов) подготовить 60 обучающихся из четырех стран. Все обучение проводится действующими сотрудниками компании из 8 департаментов, то есть мы обучаем на реальных практических кейсах. Курс состоит из следующих крупных блоков: управление в бизнес-аналитике, информационные технологии для целей бизнес-анализа (в том числе архитектура данных, знакомство с Big Data, BI и основы управления данными), финансы и бюджетирование, аналитика в ретейле и развитие личностных компетенций.

На выходе студенты получают диплом государственного образца, практические знания и трудоустройство (по наличию мест в компании на момент окончания обучения), а компания – подготовленных «бойцов». База целевой аудитории для рекрутинга состоит из более чем 400 молодых специалистов – потенциальных кандидатов.

— Какое значение имеют предпринятые усилия по вовлечению сотрудников в работу с данными для бизнеса компании?

Невозможно измерить значимость того, что компания стала более data-driven. Но по косвенным признакам вижу, что данные действительно меняют компанию. Повышение доступности данных и, одновременно с этим, уровня компетенций сотрудников привели к тому, что решения на основе данных стали приниматься быстрее и, как было сказано выше, существенно вырос спрос на данные и аналитику.

Есть и долгосрочный эффект: знания, полученные аналитиками, привели к появлению новых идей и возможностей по использованию данных. Это, в свою очередь, привело к тому, что в начале 2023 года одновременно стартовало несколько крупных проектов, связанных с данными и продвинутой аналитикой.

— Реалии 2022 года отразились на многих аналитических инициативах: популярные BI-вендоры ушли с рынка. Как это откорректировало ваши планы?

Мы импортозаместили BI своими руками: разработали собственную систему корпоративной отчетности «МагРепорт» с возможностью быстро создавать отчеты на основе достоверных данных, выгружать их в Excel в формате, нужном получателю, взаимодействовать с корпоративными сервисами шифрования данных и управлять разграничением доступа как на уровне объектов системы, так и данных. Эта система закрывает базовые потребности в аналитике: она доступна через удобный веб-интерфейс и позволяет работать в стиле сводных таблиц с данными в СУБД. Для остальных задач мы планируем внедрить и другие решения.

— Какие результаты достигнуты?

«Магрепорт» сегодня выступает корпоративным порталом, обслуживающим тысячи пользователей практически из всех подразделений компании.

В цифрах результаты можно описать следующим образом: сегодня это 5 тыс. уникальных пользователей за месяц – от директора магазина до директора департамента, 36 тыс. отчетов, запускаемых в месяц, более 120 предподготовленных отчетов для бизнеса.

— Какова значимость этого проекта для бизнеса?

Сегодня мы уверены, что вне зависимости от любых санкций у наших пользователей всегда будет гарантированный доступ к анализу данных. Причем благодаря простоте использования «МагРепорт» легко подключается к любой информационной системе, в которой нет системы отчетности, а необходимость ее загрузки в хранилище данных сомнительна. В зависимости от сложности источника данных за считанные дни, а иногда даже часы, пользователь, не обладающий технической подготовкой, получает возможность исследовать данные и проверить свои гипотезы.

Мы надеемся, что инструмент будет полезен не только нам, но и поможет другим компаниям, которые столкнулись с проблемой импортозамещения BI-инструментов, поэтому мы выпустили «МагРепорт» в open source.

В компании «Финам» создан офис данных, главной задачей которого стало повышение эффективности бизнес-процессов и оптимизация работы с клиентами. О предпринятых шагах и принципах взаимодействия с бизнесом рассказывает Николай Саратовский, руководитель офиса данных компании «Финам» и номинант на премию Data Award.

— Два года назад вы участвовали в Data Award и рассказали о своих первых шагах по созданию в «Финаме» рекомендательных систем для менеджеров на основе машинного обучения. Что интересного произошло с тех пор? Выделите несколько ключевых вех.

Мы проделали огромный объем работы и буквально с нуля перезапустили все внутренние процессы. Это позволило нам максимально эффективно отработать падение на финансовых рынках в 2022 году и выйти из кризиса с минимальными потерями. В частности, мы расширили функционал рекомендательной системы, которая рассчитана как на действующих, так и на потенциальных клиентов. Был разработан центр управления коммуникациями, позволяющий эффективно доставлять предложение до клиентов с использованием различных каналов связи (не только через менеджеров). С помощью этой разработки мы смогли балансировать информационную нагрузку и на клиентов, и на персонал.

— Как были сформулированы задачи, стоящие перед офисом данных, какова его миссия? На каком этапе своего развития он находится?

Ситуация на финансовых рынках постоянно меняется, а в последний год волатильность повысилась еще сильнее, поэтому нам приходится проявлять гибкость, чтобы отслеживать все тренды. На этом фоне видоизменяются и эволюционируют задачи, которые стоят перед дата-офисом. Также на нашей деятельности сказываются и внутренние процессы – мы выстраиваем свою работу, исходя из накапливаемых в озере данных и вливания в него новых источников. Если кратко, наша основная миссия – повысить эффективность бизнес-процессов таким образом, чтобы минимизировать влияние внешних факторов и оптимизировать работу с клиентами без потери качества – в частности, увеличить кросс-продажи, используя минимум ресурсов.

— Важной целью офиса данных обычно становится евангелизация работы с данными и продвижение в компании data-driven культуры. Какие усилия прикладываются в этом направлении?

В нашем подразделении появились дата-стюарды, которые как раз стали евангелистами data-driven культуры в компании. Они вырабатывают принципы построения хранилища данных, занимаются описанием источников данных, а также дают оценку их качества. Кроме того, дата-стюарды выстраивают базу знаний, позволяющую аналитикам и дата-сайентистам эффективно и быстро работать с данными, искать необходимые для бизнеса ответы на вопросы и разрабатывать новые системы на базе машинного обучения.

— Что важнее: организационные мероприятия или техническая «демократизация данных» – обеспечение их прозрачности и доступности?

На мой взгляд, оба эти фактора важны одинаково, они взаимно дополняют друг друга.

— Какие технологии лежат в основе хранилища данных и решений для управления и работы с данными?

Мы используем Hadoop, Spark, Kafka и Python.

— Какие показательные проекты были реализованы в последнее время, каковы их результаты?

Мы реализовали и продолжаем развивать три больших проекта: рекомендательная система 2.0, умный аналитический дайджест и автоматизированные отчеты (по компании в целом и продуктам в частности).

В рамках рекомендательной системы мы сократили количество коммуникаций вдвое по сравнению с обычной продажей, также мы отмечаем рост заинтересованности и удовлетворенности клиентов. Результатом реализации умного аналитического дайджеста стало повышение открываемости и читаемости рассылок до 20%, в некоторых случаях – до 30%. Автоматизированные отчеты помогли сократить время на подготовку отчетности в три-пять раз. Глубина отчетов увеличена с трех месяцев до пяти лет. В некоторых отчетах глубину отображаемых данных удалось нарастить даже до 15 лет.

— Какие ключевые сервисы данных сейчас находятся в стадии реализации? Каковы ожидания относительно них?

В стадии реализации сейчас находится «AI-скринер» — инструмент для инвесторов, построенный на алгоритмах машинного обучения. Сервис обучен и протестирован на финансовых показателях компаний, макроэкономических данных, техническом анализе и других данных, что позволяет ему делать прогнозы относительно капитализации компании: рассчитывать стоимость ценных бумаг, дивидендную доходность, чистую прибыль и другие показатели. Думаю, скринер будет востребован среди розничных инвесторов, поскольку в разы облегчит процесс инвестирования и сэкономит время на анализ котировок.

— Исходя из каких соображений ранжируются проекты? Наверняка они стоят в очереди на год вперед...

Если речь идет о ноу-хау, которого нет у конкурентов, а исследования на фокус-группах говорят, что проект может быть востребован среди клиентов, то задаче будет присвоен высший приоритет и она в кратчайшие сроки окажется в разработке. Следующими по грейду идут проекты, повышающие лояльность клиентов к компании и их индекс счастья от взаимодействия с нашими продуктами и сервисами. Далее следуют проекты, которые могут быть финансово выгодны компании.

— В целом чего компания требует больше: повышения выручки или сокращения издержек?

На первом плане для нас – удовлетворенность клиентов и повышение времени их жизни в компании, а потом уже сокращение издержек и повышение выручки.

— Пытаетесь ли оценивать экономический эффект проектов?

Конечно. Сейчас мы активно занимаемся оценкой всех сделанных проектов и подведением итогов 2022 года.

— Что вы считаете своим главным достижением как главы офиса данных?

Формирование сильной и сплоченной команды, внедрение в компании новых подходов и культуры работы с данными. Нормой стало принятие решений на основе анализа больших данных.

— Каковы ближайшие планы дата-офиса?

Дальнейшее усиление команды, повышение общего уровня компетенций сотрудников дата-офиса. Готовимся стартовать два новых проекта в области искусственного интеллекта. Планируем перейти от пилотных проектов в области предиктивной аналитики к повсеместному ее внедрению в работе компании, а также заняться структурированием инсайтов, в том числе создать их базу.

В Газпромбанке запущена система мониторинга качества данных, созданная на инструментах open source. Выбор подхода «сделай сам» обеспечил независимость от поставщика и полное соответствие продукта потребностям банка. Более того, удачный опыт импортозамещения в этом и ряде других проектов стал поводом для формирования отдельной программы, в рамках которой планируется замещение всех критически важных элементов ландшафта. О реализации проекта рассказал Алексей Бондаренко, начальник службы управления корпоративными данными Газпромбанка и номинант на премию Data Award 2023.

- Каковы основные этапы становления в Газпромбанке функции управления данными?

Функция управления данными активно начала развиваться с начала 2020 года. Важнейшей задачей на первом этапе стало определение целей, организационной структуры и основных подходов к управлению данными. Для нашей команды создание системы управления данными стало greenfield проектом: необходимо было «с нуля» создавать организационную структуру Офиса CDO, нормативную базу, процессы, нанимать и обучать персонал, определять цели и приоритетные направления работ совместно с бизнесом и ИТ. В течение первого полугодия мы полностью сформировали комплекс базовых процессов, регламентов и ролевую модель для реализации федеративной системы управления данными, а также собрали костяк Офиса CDO. Очень важным фактором успеха стало вовлечение высшего руководства банка в нашу работу: нам удалось не только привлечь внимание к проблемам управления данными, но и сформировать комитет по управлению данными, в который вошло несколько зампредов «Газпромбанка». Благодаря этому мы смогли обеспечить четкое целеполагание, оперативную обратную связь и вовлечь в работы по управлению данными широкий круг заинтересованных подразделений.

- Когда и почему потребовалась перестройка созданного ландшафта?

Следующим вызовом стало отсутствие необходимого для выполнения задач инструментария. Не умаляя важность таких артефактов, как глоссарий данных или корпоративная модель данных, все же должен заметить, что наиболее критически важным аспектом является работа по обеспечению пользователей качественными данными. Для реализации этой задачи ключевыми направлениями работ у нас стали управление качеством данных, управление метаданными и управление НСИ. И если в части управления метаданными и НСИ у нас уже были продукты от IBM и ЛАНИТ, пригодные к использованию, то в части управления качеством данных у нас не было ничего.

- Почему выбран именно подход «сделай сам» и стек решений open source?

Мы оказались перед сложным выбором. Вся практика рынка очевидно толкала нас на наиболее простой и понятный путь – приобретение готового решения Informatica, Oracle или IBM. Плюсы такого выбора очевидны: не нужно тратить силы на проведение исследовательской работы, вероятность провала стремится к нулю, а решения действительно хорошо зарекомендовали себя на рынке.

Однако есть, пусть и не столь очевидные, но весомые минусы: постоянные расходы на лицензии и поддержку, зависимость от поставщика, необходимость подстраивать процессы под продукт. В середине 2020 года никто, конечно, не ожидал реализации такого жесткого санкционного сценария в 2022 году, но все же было понимание того, что усугублять свою технологическую зависимость от западных поставщиков нецелесообразно. Поэтому мы приняли рискованное, но, как показала практика, абсолютно верное решение – разрабатывать продукт для управления качеством данных самостоятельно. Честно скажу, не все сразу поверили в успех этого предприятия, поэтому пилотный проект пришлось реализовывать в условиях жестких финансовых и ресурсных ограничений.

Тем не менее, мы справились. За полгода был реализован пилот в периметре одной из бизнес-линий – система мониторинга качества данных, обрабатываемых в Hadoop. Нам удалось создать весь необходимый базовый функционал продукта, продемонстрировать руководству его работу. Так наш проект получил «зеленый свет».

- Какими силами проводились работы, сколько времени они заняли?

После успешного завершения пилота было принято решение о запуске проекта по созданию АС МКАД (Мониторинг качества данных), который был начат в мае 2021 года. В проекте участвовали пять человек со стороны Офиса CDO и столько же со стороны нашего подрядчика, а также частично наши коллеги из ИТ и ИБ. Общая продолжительность проекта, включая формирование команды, оформление всех необходимых документов, разработку, тестирование и ввод в промышленную эксплуатацию продукта, составила 18 месяцев.

- Что было сделано в рамках проекта по управлению качеством данных?

В ходе проекта нами была внедрена система мониторинга качества всех основных данных банка: клиентов, сделок, счетов, проводок и так далее. В грубом приближении можно выделить три категории таких проверок.

Во-первых, это форматно-логические контроли, которые проверяют корректность заполнения отдельных атрибутов, либо группы связанных атрибутов, по их наличию, актуальности, типу данных, формату заполнения, соответствию принципам разумности и т.п. Такие проверки позволяют выявить ошибки в данных, обусловленные различными факторами (например, ошибками ввода или автоматизированной обработки данных) и оперативно на них отреагировать.

Во-вторых, это статистические проверки, которые отслеживают отклонение от доверительных интервалов количественных показателей качества данных – количество открытых или закрытых счетов за анализируемый период, количество выданных карт, суммарные лимиты портфелей и т.п. Такие проверки отлично выявляют проблемы на тракте данных. Выход того или иного показателя за пределы доверительного интервала может говорить, например, о сбое в загрузке данных из какого-то источника или о возникновении массовой ошибки. Получая сигнал о нетипичной динамике показателей, мы можем оперативно провести анализ и выяснить, является ли отклонение следствием сбоя (скажем, задублированная загрузка клиентов) или какого-то объективного изменения (например, резкий рост числа новых клиентов в результате успешной рекламной компании).

Кроме того, существуют комплексные проверки. К ним относятся сложные проверки, агрегирующие большое число данных: например, балансовые сверки, сверки объемов выдач, проверка наличия связей счет-сделка-клиент и т.п. Эти проверки необходимы для корректного формирования отчетности и принятия управленческих решений.

АС МКАД позволяет реализовать полный цикл управления всеми тремя категориями проверок: их создание, запуск и эксплуатацию, исполнение, редактирование и вывод из эксплуатации в архив. При этом простые проверки могут создаваться как путем написания кода, так и с использованием конструктора в пользовательском интерфейсе.

Также система рассчитывает метрики и индикаторы качества данных, необходимые для анализа качества данных и оценки эффективности мер по его повышению. Кроме того, она обеспечивает оперативное реагирование на выявленные проблемы в автоматизированном режиме. Если в ранних версиях дата-стюардам приходилось осуществлять постоянный мониторинг дашбордов, то сейчас в случае выявления проблем с качеством данных система автоматически формирует и направляет уведомления ответственным дата-стюардам, а также регистрирует инцидент качества данных в Jira.

Таким образом, нам удалось создать собственную платформу мониторинга качества данных, основанную на технологиях PostgreSQL, Python, nginx, Apache Airflow, Grafana.

Внедрение системы позволило решить одновременно несколько исключительно важных задач. Мы полностью устранили зависимость от иностранного ПО в части мониторинга и реагирования на инциденты качества данных. Нам удалось снизить время реакции на инциденты качества данных и повысить надежность процесса управления качеством данных, при этом существенно расширив периметр контролируемых данных. Наконец, мы значительно уменьшили трудоемкость и продолжительность внедрения проверок качества данных и радикально сократили затраты дата-стюардов на мониторинг качества данных.

- С какими проблемами пришлось столкнуться? Что было самым сложным?

Как и в любом проекте по внедрению «с нуля» нового решения, нам пришлось столкнуться как с организационными, так и с техническими проблемами. Организационные проблемы рассматривать не будем, так как они специфичны для каждой отдельно взятой компании. Что же касается технических проблем, то главным образом нам пришлось решать проблемы совместимости различных компонентов системы. Также существенные усилия потребовались для выполнения требований информационной безопасности и отказоустойчивости, особенно в части открытых платформ nginx и PostgreSQL. Однако, как человек, обладающий большим опытом внедрения коробочного ПО, скажу: результат стоил этих усилий. Лучше помучиться при разработке и получить именно то решение, которое тебе надо, чем пройти внедрение гладко и жить с половиной необходимого функционала.

- Что собой представляет созданное рабочее место дата-стюарда?

Рабочее место дата-стюарда – это основной рабочий интерфейс системы, позволяющий осуществлять управление жизненным циклом проверок качества данных, изучать отчеты о результатах исполнения проверок, просматривать дашборды, на которые выводятся результаты исполнения проверок, рассчитанные метрики и индикаторы качества данных, а также осуществлять drill-down до конкретных объектов и ошибок в данных. Таким образом, рабочее место дата-стюарда позволяет решать все задачи по мониторингу качества данных, а также ряд задач по анализу выявленных проблем и созданию простых проверок качества данных.

- Кто является пользователем конструктора проверок качества данных? Насколько важно использование режима no-code?

В настоящее время пользователями конструктора проверок являются сотрудники Офиса CDO, но мы планируем тиражирование функционала на бизнес-пользователей для реализации концепции self-service Data Quality (DQ). Это будет сделано после выполнения технических мер по ограничению допустимой нагрузки и дополнительных мер защиты от некорректных действий пользователей.

Для нас использование no-code не является принципиальным. Любая проверка может быть создана в системе написанием кода вместо использования конструктора.

Смысл внедрения конструктора в том, что он позволяет существенно снизить «порог вхождения» для специалистов. Теперь совершенно необязательно уметь программировать на SQL, чтобы создать проверку качества данных. Это расширяет круг потенциальных пользователей и позволяет привлекать к созданию проверок аналитиков и методологов, не имеющих навыков программирования. Кроме того, за счет этого удается практически исключить риски создания некорректных запросов, способных «повесить» базу данных. Поскольку конструктор сам генерирует код по заданным правилам, мы гарантированно не получим в запросе более сотни джойнов. Именно два этих фактора позволяют нам говорить о тиражировании функционала для бизнеса.

Вместе с тем, всегда остается часть очень сложных проверок, создание которых возможно исключительно путем написания кода.

- Как измеряется качество данных? Каких успехов в области качества удалось достичь?

Вопрос измерения качества данных – а особенно динамики изменения качества данных – был одним из важных методологических вопросов, который поставило перед нами руководство. Нами была разработана универсальная методика измерения качества данных, которая позволяет измерить как в момент времени, так и в динамике качество данных по отдельным атрибутам в разрезе характеристик качества данных (полноты, актуальности, точности, разумности и т.д.). Также методика, реализованная в системе, позволяет проводить интегральные измерения качества данных – например, измерение качества данных в разрезе предметных областей, бизнес-линий и т.д. Для каждого такого интегрального показателя мы устанавливаем целевые значения и отслеживаем динамику его изменения.

Проводимые нами измерения показывают существенный рост качества данных по приоритетным направлениям в течение последнего года. Не вдаваясь в детали бизнеса, могу сказать, что за последний год нами было исправлено более 7 млн объектов (клиентов, сделок, проводок и т.д.). Это примерно на 70% выше показателей предыдущего года. По ряду предметных областей, например, в части клиентских данных, нам удалось добиться кратного снижения количества ошибок в данных. И хотя непосредственно исправление данных не выполняется в системе МКАД, она играет ключевую роль в выявлении и анализе исправляемых впоследствии ошибок.

- Каких бизнес-результатов удалось достичь?

Своевременное выявление и устранение инцидентов качества данных позволяет избежать прерывания обслуживания клиентов, принятия некорректных управленческих решений и получения штрафов от регуляторов, вызванных ошибками в отчетности. Совокупный экономический эффект только от снижения рисков штрафов, вызванных проблемами с качеством данных, в 2022 году оценен нами более чем в 800 млн руб.

- Что оказывает большее негативное влияние на бизнес: штрафы регулятора или некорректные управленческие решения? То есть где потенциально кроется наибольший эффект от качества данных?

Это довольно сложный вопрос, поскольку, в отличие от штрафов регулятора, достоверно оценить в деньгах последствия некорректных управленческих решений не представляется возможным. Благодаря нашей системе мы в любой момент времени знаем, какой потенциальный максимальный размер штрафов мы можем получить от того или иного регулирующего органа за нарушения качества данных в предоставляемой отчетности. Эти штрафы описаны в законодательстве, и мы маркируем выявленные проблемы соответствующим образом. Это позволяет нам всегда иметь актуальный расчет возможных потерь с учетом вероятности их получения, а не только накопленную информацию о фактически уплаченных штрафах. Данное знание позволяет нам аргументировать целесообразность выполнения работ и, соответственно, затрат, направленных на устранение выявленных проблем. Например, мы можем сказать, что необходимо затратить на доработку процесса 10 млн, что снизит размер возможного штрафа на 100 млн. Имея на руках конкретные цифры, всегда проще договориться с бизнесом, чем просто апеллируя к чувству прекрасного.

На мой субъективный взгляд, последствия некорректных управленческих решений, вызванных некачественными данными, могут быть гораздо более разрушительными, чем штрафы, но, к сожалению, пока мы не научились их правильно оцифровывать. Как правило, такие последствия наступают не сразу, и далеко не всегда можно однозначно понять, что именно их вызвало. История дает нам множество примеров, когда некорректная информация, используемая для принятия решений, приводила не просто к убыткам, а к краху корпораций и крушению империй. В политике, промышленности или медицине ошибки в исходных данных могут убивать. В случае банков, к счастью, страдают только организации, а не люди.

- Какие смежные направления охватил проект? Что вообще планируется импортозамещать?

Успешное решение задачи импортозамещения в нашем проекте и ряде других проектов банка открыло для нас потрясающее окно возможностей. Сформирована отдельная программа, в рамках которой планируется импортозамещение всех критически важных элементов ландшафта. Естественно, управление данными, как одна из ключевых функций, не осталось в стороне. В ближайшее время мы планируем провести работы по реализации на технологиях Open Stack и российском ПО каталога данных, Data Firewall, системы применения моделей и еще целого ряда решений, касающихся Data Governance. Не хочу сейчас раскрывать все наши планы, но в ближайшие 2-3 года мы рассчитываем добиться по-настоящему впечатляющих результатов в этой области. Соответствующие решения уже приняты на самом высоком уровне, и я уверен, что мы сможем с гордостью представить результаты нашей работы.

- В каком направлении будет развиваться проект?

АС МКАД будет развиваться как экстенсивно – увеличивая периметр контролируемых данных, так и интенсивно – путем наращивания функционала, повышения скорости реакции и дальнейшей автоматизации рутинных операций. В настоящее время мы выработали концепцию под условным названием МКАД++, которая должна превратить нашу систему мониторинга в платформу управления качеством данных. Мы планируем создание единого DQ API, которое позволит проверять корректность данных на этапе их создания, а также расширить возможности контроля качества данных на всех этапах их обработки, интегрировав проверки в ETL-процессы. Далее на основе МКАД появится система self-service DQ, которая даст возможность бизнес-пользователям самостоятельно создавать и запускать необходимые проверки качества данных. Такое решение очень востребовано со стороны аналитических подразделений и дата-сайентистов.

Также мы планируем провести НИОКР в части нашего конструктора проверок на предмет автоматического создания проверок для разных баз данных без участия оператора. Но это пока выглядит, как что-то из области научной фантастики, поэтому расскажем подробности, когда решение заработает.

В X5 запустили продукт «Управление товарной представленностью», в котором модели машинного обучения определяют нетипичное отсутствие продаж по товару в конкретном магазине и шлют уведомление персоналу. Это позволило повысить доступность товаров на полках и объемы продаж. Для детектирования нежелательных событий в магазинах, таких как отсутствие товара на полке, нарушение выкладки или отсутствие ценника, используется анализ чеков. В результате время обнаружения проблемы не превышает часа.

В рамках еще одной инициативы был осуществлен переход с инструмента расчета объема промо-товаров, реализованного в SAP BW, на собственное решение. При этом точность прогноза относительно старого решения в ряде случаев выросла до 40%, на AB-тестах подтвержден значительной рост товарооборота и маржи, а также сокращение распродаж после промо-акций.

О реализации этих проектов и их результатах рассказала Елена Фатыхова, руководитель направления поддержки и сопровождения платформы прогнозирования X5 и номинант на премию Data Award 2023.

— Какие задачи решает платформа прогнозирования X5, когда создана, на каких технологиях работает?

Платформа прогнозирования Х5 выросла из продукта «Спрос», команда которой была сформирована в 2019 году. В его рамках был реализован прогноз продаж для логистики и коммерции – нам важно знать, какое количество товара, в каком магазине и в какой день будет продано и обеспечить продажи поставками. Так мы понимаем, сколько товара закупать у поставщика под промо и регулярные продажи. По мере развития этого продукта и добавления новых продуктовых инициатив, стали развиваться общие компоненты, которые переиспользуются и помогают быстрее внедрять новые функции, а также запускать новые продукты. Так и появилась платформа прогнозирования. В стек использованных при ее создании технологий входят Hadoop, Airflow, Kubernetes и Spark.

— Какие направления работы стали наиболее актуальными в последнее время?

На текущий момент наиболее актуальным стало направление долгосрочного прогнозирования. Отдельно стоит сказать про развитие управления товарной представленностью: мы обнаруживаем нежелательные события – факты снижения доступности товара для покупателей, а также анализируем факторы, которые к этому привели.

Кроме того, в начале года мы столкнулись с объективной необходимостью ускоренного перехода на собственные решения. Так, например, в торговой сети «Пятерочка» мы за два месяца перешли с инструмента прогноза промо иностранного вендора на собственное платформенное решение на базе машинного обучения. Это, конечно, обеспечило не только поддержку критичных бизнес-процессов, но и повысило качество инструмента, в том числе точность прогнозов.

— С какими именно нежелательными событиями вы боретесь? Почему они происходят?

У нас есть модель, которая в режиме времени, близком к реальному, определяет, что продажи в магазине по конкретной позиции нетипично отсутствуют. Она отмечает высокую вероятность того, что продажа должна была случиться, однако этого не произошло. В этом случае мы говорим, что произошло какое-то событие, которое помешало покупателю приобрести товар: отсутствие товара на полке, нарушение выкладки, отсутствие ценника. Мы не знаем, что именно произошло, но знаем, что возник фактор снижения доступности товара для покупателя.

— Во сколько оцениваются потери от таких событий, наверняка вы это пытались в каком-то виде оценить?

Довольно сложно произвести такую оценку, ведь ее невозможно валидировать. Мы можем оценить с помощью продвинутых математических методов, какие бы продажи случились, если бы «нежелательные события» не произошли, но качество этой оценки невозможно замерить достоверно. Тем не менее, наши оценки доходят до 20% оборота по отдельным категориям товаров, и экспертная аналитика показывает, что на эти цифры можно ориентироваться, чтобы понимать потенциал создаваемых решений.

— Как боролись с этим до сих пор, что получалось хорошо, а что – не очень?

Есть два подхода к решению этой проблемы. Первый из них – жесткий контроль, но он требует большого человеческого ресурса. Второй вариант – автоматическая проверка данных и выставление заданий на этой базе.

В прошлом компания использовала довольно простые эвристики. Например, по наиболее продаваемому ассортименту у магазина должна быть хотя бы одна продажа в день. Если продажи по какой-то позиции не случалось, то персоналу было необходимо проверить, в чем причина, и устранить ее. Проблема заключается в том, что в этот список так или иначе могли попасть позиции, которые не продавались по другим причинам – например, именно в этом магазине на них просто нет спроса. Сотрудникам добавлялось работы по проверке, которая не всегда была оправданной. Поэтому нам было важно максимально точно идентифицировать случаи, где проблема действительно есть, и не нагружать магазин лишней работой, а наоборот – помогать более точечно находить проблемы и наращивать товарооборот.

— Почему это важно для бизнеса, помимо собственно минимизации упущенных продаж?

Здесь очень много факторов. Во-первых, это лояльность наших покупателей и привлекательность торговой сети. Если покупатели не находят то, зачем пришли, то могут и не вернуться. Для нас важно, чтобы гости находили на полке товар, который им нужен, и возвращались снова и снова.

Во-вторых, устранение таких проблем за счет цифровых решений напрямую влияет на рост продаж. Если с товаром на полке проблема – его не покупают.

В-третьих, если продажа не случилась, то мы не понимаем потенциал продаж и в будущем, исходя из заниженной оценки, прогнозируем более скромные показатели и везем меньше товара в магазин.

Наконец, такая система в конечном счете влияет на сокращение трудозатрат персонала. Сотрудникам не нужно проверять все полки и весь ассортимент, они точечно проходятся по нашим заданиям, а остальное время уделяют гостям, приемке и множеству других своих задач. Упростить работу сотрудников магазинов, помочь им достигать свои цели по показателям – для нас это очень важно.

— Какие варианты решения проблемы рассматривались? В чем их плюсы и минусы?

Решение на базе чековых данных, если честно, довольно очевидное. К тому же анализировать чековые данные нам все равно нужно, и восстанавливать продажи – тоже нужно, так что это естественное развитие системы прогнозирования для переиспользования наработок в других функциях. Мы в целом стараемся смотреть на вещи широко и думать, где еще могут быть полезны наши решения, ведь синергия между функциями и бизнесами – в приоритете для X5.

Альтернативный способ решения вопроса – видеоаналитика. Я бы не сказала, что он конкурирующий: если бы видеоаналитика была, мы бы могли использовать их разметку для обучения моделей. Да и в целом решения могли бы дополнять друг друга. Но проблема видеоаналитики в том, что у нас очень много магазинов, а оборудование для аналитики довольно дорогостоящее и оборудовать все магазины было бы просто нецелесообразно. К тому же у нас широкая ассортиментная матрица, и задача по распознаванию товаров на полке тоже становится довольно объемной. Поэтому использование подхода с чековыми данными стало рациональным решением проблемы с точки зрения бюджета, качества и сроков.

— Вероятно, аналитикой чеков в X5 занимаются уже давно. Какие задачи уже удавалось эффективно решить?

Данные по чекам используются в разных продуктах – например, в подразделении, занимающемся управлением потребительской ценностью (Customer Value Management, CVM), команды используют их для создания таргетированных маркетинговых акций.

— Чеки появляются, когда клиент уже покинул магазин. Как на основе чеков можно оперативно выявить проблему на полке?

Чек появляется, как только он был пробит. Да, могут быть некоторые временные задержки, но у нас чек оказывается не позднее чем через полчаса после того, как он был сформирован на кассе. Разумеется, мы уже не успеем предложить этому покупателю товар, который он не смог найти, но мы узнаем о проблеме и устраним ее для наших следующих гостей. Мы видим, как после наших сигналов продажи возобновляются, и это отличный эффект. Ведь лучше исправить обнаруженную проблему, чем продолжать упускать продажи.

— В чем суть проекта, что было сделано?

В течение дня мы каждый час формируем сигналы и отправляем их в магазины. Их получают директора и администраторы. На старте проекта для пилота мы разработали телеграм-бота, где зарегистрировался персонал. Сотрудники получали оповещения и шли их отрабатывать. На каждый сигнал по своему магазину они в ответ указывали нам, что действительно есть проблема и называли причину, либо отвечали, что все в порядке и система ошиблась. На основе этой обратной связи мы оценивали качество модели и работали над тем, чтобы повысить точность сигналов. Когда точность показалась достаточной, мы запустили AB-тест. В пилотной группе было 300 магазинов, которые получали сигналы, а в контрольной – 300 магазинов, которые сигналы не получали. По результатам теста мы произвели точечную оценку прироста товарооборота. Мы увидели хороший прирост при том, что уведомления рассылались ограниченно, а не по всем позициям, так как мы не могли перегружать сотрудников. Так мы убедились, что действительно приносим финансовый эффект, а не просто добавили работы сотрудникам.

Далее мы интегрировали нашу платформу со стандартными системами магазина и отказались от телеграм-бота. Теперь сотрудники отрабатывают наши задания в своих привычных инструментах. При этом если задание отработано в одном инструменте, то и в другом оно отмечается как сделанное. Нам очень важно, чтобы решением было удобно пользоваться.

— Что представляет собой созданное решение? Как выглядят его сигналы?

По сути само решение не имеет интерфейса, мы взаимодействуем с существующими в компании системами. Там в стандартной для сотрудников форме появляется задание от нашей системы наряду с другими. Указывается время срабатывания уведомления, наименование и код товара, также есть возможность ответить на сигнал: указать корректный он или нет, а если проблема подтверждается – выбрать причину.

— Сколько времени проходит между появлением проблемы и первыми сигналами о том, что «что-то не так»?

От получаса до часа, не более.

— А сколько времени детектирование проблем занимало раньше? То есть какого сокращения времени устранения проблем удалось достичь?

Это очень хороший вопрос. Конечно, сотрудник мог проходить между полками и заметить, что есть проблема нехватки товара. Но может быть и так, что сотрудник не увидел товар на складе и не выложил его. Или может быть, что в системе на остатке числится товар, а по факту его нет. В этом случае система пополнения думает, что продажи обеспечены, и товар в магазин не везут. Здесь до момента, пока проблему обнаружат, может проходить более суток.

— Как эти результаты оцениваются в деньгах, ведь невозможность взять с полки товар – это прямые потери магазина?

Мы называем это упущенными продажами. Результат мы оцениваем на базе АВ-теста, это самый достоверный способ сказать, что изменение продаж произошло именно за счет воздействия нашего инструмента, а не каких-то других факторов. Кроме того, мы оцениваем потенциал по упущенным продажам на базе восстановленных продаж, эта цифра получается из анализа динамики продаж в определенном временном периоде и на соседних объектах. Условно, если мы в среднем продаем 9 штук, а сегодня продали 2, то 7 штук мы восстановим. Логика модели сложнее и учитывает множество факторов, но в целом можно описать это так.

— Каковы направления развития этого проекта?

Мы продолжаем развивать модель в сторону повышения точности детектирования проблем, а также большой упор делаем на определение их причин. Ведь снижение доступности происходит не только из-за нарушения процессов в магазине. Сотрудник может повлиять на это, если товар числится в остатках. Ровно такая проверка стоит перед отправкой уведомления: нет смысла отдавать задание в магазин, если у них нет остатка.

Но в целом по цепочке может быть много причин: нарушение уровня сервиса поставщика, некорректные параметры в системе и т.п. Мы активно движемся в сторону их идентификации и развиваем инструменты для этих функций.

— В начале года SAP уведомил вас об отключении своего облака. Каков был масштаб проблем: насколько сильным был этот удар и каких систем коснулся?

Да, в марте нас предупредили о том, что мы больше не сможем пользоваться облаком SAP. Штаб импортозамещения нашей компании начал активно прорабатывать вопрос: каких процессов это касается, какие альтернативы есть, что необходимо предпринять. По большей части это коснулось отчетности, так как в SAP BW реализуется именно отчетность. Но также там был реализован функционал прогноза промо-продаж. К этому моменту у нас уже год функционировало собственное решение для торговой сети «Перекресток» на базе платформы прогнозирования и, конечно же, у нас были планы перевести на него и торговую сеть «Пятерочка». Но в «Пятерочке» существенно больше пользователей, и переход планировался в течение года. В новой ситуации не было сомнений, что переезжать нужно именно на наше решение: оно уже было готово, но пришлось ускориться.

— В чем была задача прежнего решения для расчета объема промо? Кто его использовал и какие результаты получал?

Прошлый «промо-калькулятор» имел очень простую логику. Пользователь самостоятельно выбирал аналогичный период промо-акции или товар-аналог и его период промо. Далее на базе прошлых продаж составлялся прогноз будущих продаж.

Инструмент использовали категорийные менеджеры, они получали прогноз продаж на выбранные магазины и позиции по дням. Никакие особенности SAP BW не использовались, просто исторически инструмент реализовали в этой системе, так как в BW содержались все нужные для расчетов данные. Это было задолго до того, как в компании появились другие технологии по работе с данными.

— Почему уже заранее началась разработка замещающего решения? Что не нравилось в старом, что хотелось улучшить?

Как я уже сказала, подходы к прогнозированию были довольно тривиальные и не учитывали ничего, кроме факта продаж в одной исторической точке. Новые подходы позволяли учитывать различные факторы: цену, сезон, расположение товара в каталоге и его предложение на кассе, фактор предпраздничных дней. Кроме того, мы учитываем динамику продаж и историю с 2018 года! Из этих данных можно получить очень много ценной информации для повышения точности прогноза.

— Что собой представляет новое решение, каков принцип его работы?

Новое решение представляет из себя сервис с пользовательским интерфейсом. Пользователь указывает, какие товары в каких магазинах и за какой период он хочет поставить в промо-акцию, а также его параметры – например, цену. Далее сервис готовит расчет по этим параметрам и возвращает пользователю прогнозы объемов продаж. Расчет реализуется с помощью модели машинного обучения, которая уже обучена на исторических данных.

— За счет чего решение дает лучшие результаты по сравнению с предыдущим?

Основной эффект мы получаем за счет более продвинутых математических подходов относительно прошлого решения.

— Какого эффекта удалось достичь в результате перехода?

Точность прогноза сильно выросла – до 40% по сравнению с предыдущим решением, подтвержден значительной рост товарооборота и маржи, сокращено количество распродаж после промо-акций. Что касается финансового эффекта, то мы не раскрываем конкретные цифры, но это значимые показатели.

— Разработанное решение дает синергию с прогнозом регулярных продаж. За счет чего она происходит?

Синергия заключается в том, что при прогнозировании регулярных продаж система знает, какие промо-акции и какие планы по продажам будут реализованы. Таким образом, мы учитываем каннибализацию промо-продажами регулярных позиций и привозим ровно столько товара, сколько нужно. Это приводит к снижению списаний и избыточных товарных запасов.

— Каковы планы по развитию этого решения и его расширению на другие области?

В данном решении мы еще не достигли предела по качеству и планируем развивать подходы к математическому моделированию для повышения эффективности. Кроме того, для нас актуально долгосрочное прогнозирование, и мы будем расширять горизонт прогноза с текущих 16 недель до горизонта планирования со стороны категорийных менеджеров и закупок. Также сервис для прогноза промо позволяет осуществлять анализ what-if – проводить оценку сценариев по прогнозу продаж в зависимости от различных параметров: позиции, цены, наличия рекламы на ТВ и другое. Данный инструмент планируется развивать и для других направлений – например, регулярных продаж и плана поставок.

Большинство компаний привлекают для получения ценной информации всё новые источники данных, причем делают это предельно осознанно, имея перед собой четкую цель. В рамках дискуссии «Можно ли предвидеть непредвиденное?», состоявшейся на форуме «Данные – катализатор цифровизации», организованном DIS Group, участники обсудили расширение спектра данных, используемых для анализа, и подходы к управлению данными.

Заглянуть в расплавленную сталь

Как отметил Максим Феопентов, директор по развитию цифровых технологий «Евраз», данные используются каждый день для принятия оптимальных решений абсолютно всеми, и сталеплавильные производства – не исключение. Однако можно отметить, что типы привлекаемых данных становятся другими, зачастую принципиально новыми. Например, в «Евраз» стали анализировать не только видео, но и звуки производственных процессов.

«Мы развиваемся, пытаясь понять, что еще можно взять из процессов, помимо табличных данных. Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов», — подчеркнул Феопентов.

Максим Феопентов: «Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов»

Финансовый сектор тоже ищет свой путь: рынок требует максимальной скорости. Модели предвидения ситуации и различных расчетов в зависимости от внешних факторов занимают большую часть работы банков. Данные проникают во все процессы, в том числе связанные с оценкой рисков и борьбой с мошенничеством.

«Мы большинство усилий концентрируем на способности предугадать потребность клиента и предложить ему максимально подходящий продукт. Данные для этого используются повсеместно, начиная с сегментации клиентов и выявления их моделей поведения на основе транзакционных данных и до анализа записей звонков в контакт-центр», — рассказала Светлана Бова, CDO ВТБ. Отдельное направление – метаданные, которым в ВТБ сейчас уделяется очень много времени и усилий, это крайне важная часть работы. Автоматизируется их сбор и интерпретация, что помогает как в ускорении процессов, так и в оптимизации отчетности.

«Можно разделить вопрос на две части: зачем нам данные и каким образом они используются», — считает Павел Шорохов, директор департамента по работе с данными сети «Магнит». По его словам, потребности в большинстве компаний одинаковы: data science, выверенная корпоративная отчетность, ad-hoc аналитика, системы лояльности и оптимизация логистики. А вот сценарии использования у многих уникальные. Например, «Магнит» ежедневно доставляет товары из 45 распределительных центров в 26 тыс. магазинов. Требуется отслеживать наличие каждого из товаров, оценить необходимый объем доставки, стимулировать продажи промоакциями. Главная цель при этом – увеличение доходности торговли и минимизация логистических издержек.

Доверие к данным и ответственность за них

Однако данные – это не только технологии, но также люди и процессы, они требуют взаимодействия между различными подразделениями. Новые задачи подталкивают компании к внутренним изменениям.

Как рассказал Феопентов, «Евразу» помогла концепция ‘гражданских’ (citizen) дата-сайентистов, находящихся в бизнес-подразделениях. Им предоставляется поддержка и обучение, а затем они работают в автономном режиме. Таким образом расширяется штат профессионалов, появляется возможность быстро проверять бизнес-гипотезы и в конечном итоге экономятся ресурсы. Сейчас в «Евразе» идет уже третья волна обучения таких экспертов.

«Вопрос, где брать кандидатов на обучение и что с ними потом делать – нужно понимать, где должно быть их место после получения новых компетенций», – признал Феопентов. По его словам, около 60% обучившихся применяют полученные знания на практике – это очень хороший результат, и позитивный эффект от такого подхода очень заметен.

Феопентов отметил растущую роль дата-партнеров – экспертов, аккумулирующих бизнес-потребности определенного блока. До сих пор это направление в «Евразе» не сильно развивалось: функция Data Governance до определенного времени не получала приоритета, однако сейчас она есть в целях компании и активно развивается. Запрос со стороны бизнеса на данные породил потребность в выстраивании процессов по управлению данными.

«Важно вовлечение бизнеса в управление данными напрямую, и с этой точки зрения большое значение имеет доверие к данным. Когда данными управляют сотрудники твоего подразделения, доверие к ним выше», — констатировала Бова. Именно поэтому такая распределенная система управления данными и признана в мире. Распространение Data Governance как ответственности за данные внутри бизнес-единиц набирает обороты, потому что доказывает свою эффективность.

Если говорить про ВТБ, то концепция Data Governance все сильнее прорастает в бизнес-подразделения. С точки зрения выстраивания ответственности по всей цепочке следования данных банк выходит за контур хранилищ и проникает на уровень фронт-офисных систем. Распределение ответственности за данные перешло в операционную модель, в жизнь сотрудников, а в будущем планируется оценивать влияние качества данных на процессы и их этапы.

Изменения в «Магните» начались пару лет назад, когда стало очевидно, что департаменту управления данными не хватает гибкости с точки зрения управления своими приоритетами и ресурсами; кроме того, оставляла желать лучшего скорость реакции на запросы бизнеса – требовалось сокращение сроков разработки систем.

Павел Шорохов: «Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды»

«Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды. Пару лет назад у нас это не получалось из-за того, что подразделение было монолитным», — сказал Шорохов. Эта проблема была решена внедрением института дата-партнеров. Фактически это мини-CDO по направлениям бизнеса, находящиеся в общем офисе CDO. Для них главным показателем является удовлетворенность бизнеса, но при этом они участвуют в развитии данных в соответствии с общей стратегией.

«Нам это очень помогло: во-первых, мы стали работать гораздо быстрее, во-вторых, мы действительно стали партнерами бизнеса», — резюмировал Шорохов. Как следствие, в компании началась сервисно-продуктовая трансформация. Элементы корпоративной платформы данных разделились на продукты, у которых появились свои владельцы.

***

В последние годы в подходах компаний произошел огромный скачок: практически в каждой индустрии произошло слияние предметной области и технологий. Это позволило поставить технологии на службу бизнесу. Любая отрасль стала использовать результаты анализа данных – вплоть до сельского хозяйства, где пытаются предсказать будущий урожай и цены на зерно и на основе этого спланировать будущую посевную.

Кроме того, мы живем в такое время, когда компаниям постоянно требуются глобальные изменения. Например, пандемия потребовала от всех участников рынка перехода в электронную торговлю. Сейчас наблюдается фокус на цифровой суверенитет, и востребован переход с зарубежных решений на open source, а также российские и собственные разработки. Компаниям приходится быстрее реагировать на потребности бизнеса и правильно приоритезировать свои усилия.

В S7 Airlines запущена корпоративная платформа, обеспечившая прозрачность активов данных и значительно сократившая время доступа пользователей к данным. Об особенностях этого проекта и используемых подходах рассказал Арег Азарян, Chief Data Officer компании S7 Airlines.

— Как формировалась в S7 Airlines практика работы с данными, какие этапы она прошла?

S7 Airlines, как и любая авиакомпания, зависит от различного рода ИТ-решений, в которых в большом количестве могут генерироваться данные. Данных этих бывает много, а иногда даже очень много – например, если брать телеметрию воздушного судна. У нас много источников различного рода данных, около 120, расположенных как в нашем контуре, так и вовне. Все эти данные необходимо накапливать и использовать – в сегодняшних реалиях это один из активов наравне с материальными. На что-то уже есть зрелый запрос у бизнеса, в каких-то случаях мы пытаемся помочь такой запрос сформировать и развить, а иногда сохраняем данные «на будущее», чтобы иметь готовый архив, когда потребность сформируется.

Наша история была типичной для многих. Финансово-экономические службы хотели иметь «источник правды» по основным метрикам функционирования бизнеса. Мы начали формировать классическое корпоративное хранилище данных. Потом оно постепенно начало использоваться в аналитике. При появлении проектов, связанных с глубокой аналитикой, инфраструктура данных начала разрастаться: появилось озеро данных, виртуализация данных, каталог данных и т.д. У нас появилось много хранилищ: четыре доменных хранилища, источники для корпоративной отчетности, а также локальные хранилища в дочерних компаниях. Данные требовалось демократизировать и сделать доступными для использования бизнесом. Потребности стали возрастать, и появилась необходимость в создании полноценной платформы для работы с данными.

— Как пришло понимание, что компании необходима корпоративная платформа данных? Что не устраивало в сложившейся ситуации, какие проблемы требовалось решить?

В 2018–2019 годах у нас начали появляться в большом количестве различные проекты, основанные на технологиях машинного обучения, очень емкие по части данных. Возникали сложности различного характера: было непонятно, где данные находятся, какими данными нужно пользоваться в том или ином случае, длительное получение доступа, нестандартные процессы согласования доступа к различным источникам. Кроме того, бизнес вырос с точки зрения зрелости и культуры работы с данными. В большинстве бизнес-направлений появились аналитические подразделения, которые располагали не только потребностью использования более продвинутых решений, но и навыками работы с ними.

Пришло понимание, что нам нужно обеспечить более дружелюбный инструментарий, сократить время предоставления данных на всех этапах – поиск, получение доступа, предварительная подготовка, доставка и т. д. С другой стороны, мы понимали, что у нас большое количество хранилищ и источников данных, которые нужно как-то описать, демократизировать и предоставить в пользование независимо от уровня пользователя.

— Какие цели были поставлены? Какие принципы требовалось соблюсти при построении платформы?

Если говорить об измеримых целях, то в первую очередь это снижение длительности выполнения задач, связанных с данными, – то есть поиск, получение доступа, исследование и подготовка данных. Побочная цель, которая также измерима, – это снижение трудозатрат сотрудников на те же задачи. Мы провели внутреннее исследование и увидели, что пользователи-аналитики тратят на перечисленные задачи около 20-30% своего рабочего времени. Кстати, некоторые компании такие трудозатраты оценивают в 70%. Мы хотели именно работать над этими показателями чтобы снизить время разработки наших внутренних и внешних продуктов.

Качественно мы хотели данные как можно больше демократизировать, как можно лучше их подготовить под самостоятельный формат работы, под потребителя различного уровня – от бизнес-аналитиков до дата-сайентистов и даже дата-инженеров. Каждому должен быть предоставлен подходящий интерфейс доступа к данным и необходимая ему информация.

— Какие основные части включает платформа, на каких инструментах реализована?

Платформа получилась многослойная, при этом она позволяет предоставлять данные под различные нужды – классический self-service на SQL, для корпоративной отчетности, для использования в Python-скриптах или поставки данных в приложения.

Первым компонентом, через который проходит пользователь, – каталог данных, он обеспечивает функции как репозитория метаданных, так и информационного портала с реестрами имеющихся у холдинга данных. Благодаря каталогу данных пользователь может осуществлять поиск необходимых ему объектов, как с помощью технических наименований, так и на основе связи таких объектов с терминами в корпоративном глоссарии. Кроме поиска, каталог позволяет получать много другой технической и бизнес-ориентированной информации об объектах. Также важно, что каталог данных является центральным инструментом компании для ведения родословной данных (маршрут движения данных по системам), категорирования объектов (персональные данные, коммерческие данные и др.), поддержки работы дата-стюардов и других процессов управления данными.

Следующий этап – доступ и использование найденных данных. Для этого используется технологии виртуализации данных, которые позволяют объединить все источники в рамках одного веб-интерфейса и обеспечивают работу с ними через удобный всем потребителям язык SQL. Виртуализация дает нам возможность в одном инструменте объединять между собой данные, вне зависимости от технологий, на которых построены отдельные хранилища и без необходимости загрузки их в промежуточные хранилища. Это оказалось очень ценным как с точки сокращения времени доступа к данным, так и с точки зрения их снижения затрат на их обработку, а также значительно упростило для бизнес-аналитиков возможности использования данных, например, в корпоративном озере данных или наборе доменных хранилищ.

Транспорт данных в платформе обеспечивает шина данных – она не только позволяет организовывать потоковые данные, в ней также автоматизировано большинство рутинных операций – например, создание топиков, предоставление к ним доступов, настройка мониторингов и проверок

Одно из хранилищ – наше корпоративное озеро данных – также создавалось как компонент платформы. Мы используем озеро данных не как единственное централизованное хранилище, а как дополнительный компонент нашей общей инфраструктуры данных. Оно выполняет роль архива «сырых» данных организации, а также хранилища «холодных» данных.

Нужно также упомянуть, что в корпоративную платформу данных также входят доменные хранилища данных, реализованные по концепции Data Mesh.

— Каковы сроки реализации проекта, какими силами он проводился?

Проект по объединению всех хранилищ в единую платформу начался в 2019 году. Сейчас у нас все компоненты, кроме шины (она в опытной эксплуатации), введены в промышленную эксплуатацию и уже имеют свой набор пользователей и активно функционируют. Могу отметить, что работы реализованы очень скромной командой из восьми человек, занимавшихся платформенными сервисами, не считая сами хранилища. Мы смогли внедрить два коробочных решения, создать два собственных, интегрировать это всё между собой и с хранилищами.

— В чем «фишки» созданного решения, чем можно гордиться?

Самое яркое – это виртуализация данных. На отечественном рынке не так много примеров применения виртуализации данных, и я считаю наш кейс одним из наиболее успешных. Очень большое количество довольных пользователей отмечают, что теперь они могут значительно быстрее решать свои задачи по ad-hoc-аналитике за счет возможности объединять данные из разных источников в рамках одного SQL-запроса.

Кроме того, аналитикам теперь не нужно многократно запрашивать доступ к различным хранилищам и объектам – всё доступно в одном месте. Такого результата мы добились путем применения практик Data Governance. Чтобы соблюдать политики безопасности и не допустить хаотичного доступа к критичным данным, нами была проработана особая матрица доступов, которая позволила разграничить доступ к данным на основе доменов, возможности доступа к персональным данным, возможности доступа к коммерческим данным. Все работает таким образом, что достаточно запросить один раз доступ к интерфейсу виртуализации, указав интересующие домены и категории данных, – после согласования данные сразу будут доступны, причем при появлении новых объектов в хранилищах и источниках, доступ к ним появляется автоматически.

Также важно отметить, что такой функционал платформы стал доступен благодаря работе с метаданными в каталоге данных – она позволяет нам применять нашу матрицу доступов на уровне отдельных объектов, без необходимости регулировать доступ к источнику целиком. За счет того, что мы подключили все необходимые хранилища к каталогу данных, мы смогли увидеть все объекты с данными и категорировать их. Теперь мы знаем, где у нас находятся, например, персональные данные, а где – коммерческие. Это позволяет нам тонко настраивать политики безопасности для этих объектов, автоматизировать процессы по разграничению доступов, корректно назначать владельцев данных.

— Децентрализованный подход к управлению данными (Data Mesh) требует от подразделений определенной зрелости, в том числе культурной. Какие организационные изменения и мероприятия потребовались?

Нельзя сказать, что все было гладко с первого же дня. Data Mesh изначально требует налаженного внутри компании продуктового подхода. Важно воспринимать создаваемые платформы не просто как информационную систему, а как продукт, и работать с ним, как с полноценным продуктом – это несет в себе как плюсы, так и минусы. Один из таких минусов мы прочувствовали на себе – каждое отдельное хранилище получалось слишком обособленным, и возникали проблемы с синхронизацией планов развития, распределением данных по доменам, дублированием и сложностями в объединении данных.

Сейчас мы видим необходимость лучше структурировать работу доменных хранилищ не только как отдельных продуктов, но и как элементов одной платформы. Создание и реализация корпоративной модели данных в доменных хранилищах – это один из проектов, над которым мы будем работать в будущем, и мы рассчитываем, что он поможет нам достигнуть синергии между доменными хранилищами. Такой подход, действительно, требует определенной зрелости, в том числе от офиса данных.

— Как реализовано автоматическое категорирование данных, какой точности удалось достичь, какую роль она играет?

Мы хорошо продвинулись в этой теме и продолжаем исследовать ее. Сейчас мы от ручного категорирования перешли к полуавтоматическому. Техническими средствами каталога данных мы составляем первичную выборку объектов, в которых потенциально содержатся персональные данные, и после этого дата-стюарды могут подтверждать корректность соотнесения данных по категориям. Мы уже начали работать над созданием моделей для нахождения персональных данных в примерах записей из объектов, но даже при высокой точности таких моделей вряд ли мы сможем полностью отказаться от валидации человеком.

Корректное категорирование, как я уже сказал, очень важно для автоматизированного применения корректных политик безопасности к объектам с данными, что позволяет нам значительно упрощать процесс получения доступа к ним и снижает риски утечки персональных данных.

— Насколько ощутимым стало сокращение времени доступа к данным?

Мы добились сокращения времени получения данных на 15%. Дальше мы видим простор для действий как через работу над эффективностью команд, которые создают витрины данных и подключают новые источники, так и через предварительную подготовку данных в доменных хранилищах для использования инструментов self-service. Если потребитель сможет решить самостоятельно свою задачу, то это тоже принесет большую пользу.

— Как велико число аналитических задач, уже сейчас решаемых бизнес-пользователями самостоятельно?

Сейчас, когда пользователи имеют возможность самостоятельно находить и исследовать данные, некоторые задачи они действительно предпочитают решать в режиме self-service. Например, это задачи создания единого профиля клиента, персонализация коммуникаций, мониторинг удовлетворенности клиентов, fraud-аналитика программы лояльности, исследование новых маршрутов – там уже активно используется функционал нашей платформы.

— Прозрачность активов данных подразумевает возможность их капитализировать и монетизировать. Какие сценарии возможны?

Мы как офис данных сейчас только начинаем работать над этими вопросами. Мы хотим определить набор критичных активов данных, которые у нас есть, и понять, где мы их применяем или где их можно применить. Обеспечив видимость всех активов данных, мы получили картину в целом и будем иметь лучшее понимание возможностей для их монетизации.

Говоря про монетизацию, мы имеем в виду, что рассматриваем возможность использования данных в каких-то проектах типа создания цифровых двойников или предиктивного ремонта двигателей на воздушных суднах. Очевидно, путем своевременного обслуживания мы сокращаем потребление топлива – явная монетизация данных. Другой вариант – возможность более точечного, персонализированного предложения для наших клиентов, что позволит увеличивать выручку. Также мы в перспективе рассматриваем возможность партнерских проектов с другими игроками на рынке.

Еще одним направлением нашей деятельности будет являться капитализация активов данных: например, необходимо понимать, сколько нам стоит владение тем или иным объектом данных.

— В каком направлении будет развиваться платформа данных S7 Airlines?

Первоочередная задача – как можно более тесная интеграция всех компонентов платформы между собой. Кроме того, важно внедрение практик управления метаданными внутри самих хранилищ и шины данных для того, чтобы выстраивать более точные маршруты движения данных, лучше понимать характеристики активов данных, которые доступны в платформе. Мы рассматриваем развитие системы с точки зрения тесной интеграции – например, каталога данных с системой виртуализации, системы виртуализации с источниками, каталога данных с BI-системой и так далее.

Также мы видим возможность развития нашей платформы в плане централизации работы с качеством данных – это следующий этап, над которым мы будем работать.

Единая платформа доступа к данным в Tele2 стала одним из ключевых элементов демократизации данных, сделав их доступными широкому кругу сотрудников. Алевтина Тинас, руководитель департамента по управлению данными Tele2 и номинант Data Award 2022, рассказала о создании экосистемы работы с данными, достигнутых результатах и о роли просветительской работы в выстраивании дата-культуры.

– Как в Tele2 развивались процессы работы с данными? Какие стадии можно выделить?

Понятно, что весь телеком находится в авангарде развития аналитики. Хранилище данных у нас появилось достаточно давно, потому что была необходимость анализировать большие объемы информации – данные по абонентам, трафику. В качестве первого этапа можно выделить развитие анализа данных для ключевых подразделений компании – подразделения развития продукта и абонентской базы, подразделение развития продаж. Они начинали использовать аналитику для своих целей.

В дальнейшем анализ показателей стал распространяться на другие подразделения: было необходимо анализировать ключевые показатели по абонентской базе в связке с финансовыми результатами и продажами, понимать, как это влияет на развитие бизнеса в регионах. Пользователями аналитических хранилищ становилось все больше сотрудников из разных подразделений.

Следующим этапом можно назвать появление Офиса данных. В этот момент у нас появились BI-инструменты, мы стали активно обучать аналитиков и вовлекать их в самостоятельную разработку отчетов и дашбордов. Как следствие, порог вхождения в анализ данных стал гораздо ниже, многие сотрудники получили возможность анализировать данные и в корпоративных хранилищах, и в своих источниках с помощью новых инструментов. С появлением новых аналитиков данных среди сотрудников бизнес-подразделений, потребность в создании единой платформы управления данными, как ключевого элемента всей экосистемы, стала особенно актуальной.

– Как появился офис данных? Какие этапы своего развития он прошел?

Сначала работу с данными обеспечивало ИТ-подразделение. Это были разработчики и аналитики, основная задача которых заключалась в создании отчетов и аналитических витрин по требованию бизнес-заказчиков. Когда пользователей таких аналитических продуктов стало много, появилась необходимость создания единого регулирующего органа, который мог бы внедрять процессы управления данными по всей компании, координировать развитие аналитического контура таким образом, чтобы он удовлетворял абсолютно всех пользователей данных, синхронизировать использование единых показателей и отчетов.

Перед тем как приступить к разработке стратегии развития процессов и инструментов управления данными мы оценили текущий уровень их зрелости. Поняли, какие процессы данных у нас уже существуют и находятся на достаточно высоком уровне зрелости, а какие – на низком или в принципе отсутствуют. Посмотрели, какие из этих процессов необходимо развивать в первую очередь, в соответствии с потребностями нашего бизнеса. Определили необходимую организационную структуру и роли, которые будут помогать развивать эти процессы. Таким образом у нас сформировался департамент управления данными. и мы приступили к развитию процессов и инструментов по управлению данными в соответствии с дорожной картой. Свои инициативы мы координировали с потребностями бизнеса, периодически корректировали направление движения в соответствии с изменениями в компании.

– В какой момент появилось понимание, что необходима единая платформа управления данными? Что не устраивало?

Понимание необходимости единой платформы управления данными возникло в момент увеличения количества пользователей и роста объема данных. Мы понимали, что телеком – это быстроменяющийся и очень конкурентный бизнес. И здесь крайне высока потребность быстро анализировать данные, уметь оперативно реагировать на те изменения, которые происходят. Все это возможно только если аналитические подразделения будут находиться внутри бизнес-подразделений, только в такой парадигме возможно своевременно обеспечивать бизнес необходимыми данными для принятия решений, поэтому мы изначально делали большую ставку на self-service. И по мере того как все больше подразделений стало пользоваться одни и теми же данными, появлялось большое количество аналитических продуктов, и ориентироваться в них стало крайне сложно. В конечном итоге это могло приводить к дублированию данных, а учитывая большой их объем, это заметные дополнительные расходы.

В разнообразии данных стало сложно разбираться, и бизнес-пользователи все чаще обращались к техническим специалистам за консультациями, что и где можно найти, – словом, вопрос процесса анализа данных становился все сложнее. В этот момент мы поняли, что необходимо кардинальное изменение подхода к инструментам работы с данными и внедрение единой платформы управления данными.

– Создание единой платформы доступа к данным – важный шаг к их демократизации. Каких результатов за счет этого хотели добиться?

Действительно, единая платформа доступа к данным рассматривалась как один из ключевых элементов демократизации данных. За счет ее создания мы планировали добиться снижения порога вхождения в анализ данных, появления возможности посмотреть на данные с другой стороны. Мы рассчитывали привлечь к анализу данных новые подразделения – финансовых аналитиков, аналитиков по закупкам, операционный департамент, аналитиков продаж, чтобы они посмотрели на ключевые показатели через призму своих процессов и смогли найти новые инсайты, возможности для развития бизнеса.

Также мы планировали добиться снижения нагрузки на аналитиков и разработчиков за счет развития самообслуживания, обеспечения синергии и переиспользования результатов работы между разными бизнес-заказчиками. Мы хотели, чтобы результаты работы одной команды стали быстро и легко доступны для всех остальных. Ну и, естественно, для нас было крайне важным создание единого бизнес-глоссария вокруг данных, для того чтобы все наши аналитики и бизнес-пользователи могли разговаривать на одном языке.

– На базе каких решений выстроена общекорпоративная система управления данными? Какие принципы пытались соблюсти при ее построении?

Наша общекорпоративная система управления данными состоит из нескольких компонентов. Ее ядром является каталог данных Alation, который мы позиционируем как основной инструмент работы аналитиков, работающих с хранилищами данными напрямую, используя SQL-запросы. Для пользователей, работающих только с готовыми дата-продуктами (дашбордами и отчетами), внедрен инструмент RT.DataGovernance – и портал офиса данных, который объединяет все наши инструменты в единый удобный пользовательский интерфейс. Еще одним важным элементом нашей системы является платформа управления качеством данных Ataccama.

Принципы, которые мы пытались соблюсти при построении нашей системы управления данными, – обеспечить пользователей данных инструментом, который будет наилучшим образом подходить для каждой роли. Мы понимали, что потребности наших пользователей данных достаточно разные. Есть аналитики, которые обладают хорошими знаниям SQL и могут самостоятельно анализировать данные – им необходимо понимать структуру хранения данных, знать где найти нужные им витрины и понимать из каких атрибутов они состоят. Есть руководители подразделений и бизнес-заказчики, которые пользуются готовыми отчетами, – им нужно понимать, какие отчеты уже существуют, как к ним можно получить доступ, какого качества данные они содержат, кто их создал, какие в них охвачены показатели. Это совсем другие потребности.

– Как в компании определяется понятие «качество данных»?

У нас достаточно классическое понимание, что такое качественные данные: это данные, пригодные для анализа или для использования в каком-либо бизнес-процессе. Мы прекрасно понимаем, что для каждого бизнес-процесса существуют свои критерии качества. Данные, которые являются достаточно качественными для статистического анализа, при этом могут быть некачественными для формирования, например, индивидуальных предложений для клиента.

Для каждого бизнес-процесса критерии качества данных определяются совместно с владельцем бизнес-процесса. Только благодаря совместной работе с бизнесом у нас формируются релевантные критерии качества, и применив их к данным, мы можем сказать, являются ли данные качественными для этого процесса или нет.

– Как именно боретесь за качество данных?

У нас есть несколько этапов, которые ложатся в общий процесс управления качеством данных. В первую очередь, мы профилируем данные на этапе разработки витрин и отчетов, чтобы убедиться, что используемые данные являются качественными. Далее, создавая новый data-продукт, мы совместно с бизнес-заказчиком и владельцем процесса определяем критерии требований к качеству данных. На основании этих требований мы разрабатываем контроли качества данных, которые в дальнейшем будут работать в автоматическом режиме.

Следующий этап – мониторинг. Это результаты работы автоматических контролей качества данных, которые могут показать, где у нас наблюдаются проблемы. Данные меняются постоянно, и крайне важно своевременно выявлять проблемы и устранять их для того, чтобы пользователи в своих отчетах видели корректные цифры. Поэтому исправление инцидентов по результатам мониторинга – это наша ежедневная работа, которой на регулярной основе занимается поддержка. В случае выявления проблем в качестве данных мы информируем заинтересованных пользователей оних, для того чтобы они могли учесть это в своей работе и, например, исключить, какой-то период из анализа. Также пользователи могут следить за ходом исправления выявленных ошибок. Последний важный этап в работе с качеством данных – анализ причин появления инцидентов качества данных и устранение этих причин. Если у нас начинают появляться ошибки, недостаточно просто каждый раз их исправлять – нужно понять, где у нас проблемы в бизнес-процессе или источнике данных, и почему эти ошибки возникают. Это отдельная задача, которой занимаются менеджеры по качеству данных.

– Как можно понять, что данным действительно доверяют?

Как мне кажется, основной показатель доверия к данным – это их активное использование. Мы видим, что у нас динамично развивается self-service отчетность: дашборды, разработанные самими пользователями на основе предоставляемых данных, пользуются большой популярностью. Также постоянно растет потребность в создании новых витрин и расчетах новых показателей, растет количество пользователей аналитики. Мы видим, что результаты анализа данных используются на самых высоких уровнях, все больше бизнес-процессов применяют их, то есть становятся data-driven.

– Как оценить сокращение времени доступа специалистов к данным?

Это достаточно сложный вопрос. Мы несколько раз пытались провести такую оценку и понимаем, что это один из ключевых критериев, показывающих эффективность внедрения и работы платформы управления данными. Например, до ее внедрения сотрудник тратил на поиск необходимых данных и получение доступа к ним несколько месяцев, а после – возможности поиска стали шире, и доступ гораздо быстрее. Мы оцениваем субъективный эффект, используем оценки и ощущения наших пользователей, которые действительно говорят, что время доступа к данным значительно сократилось.

Это особенно заметно на примере новых сотрудников, которые не знают структуры данных, и где их можно найти. Они говорят, что начать работу с данными в нашей компании очень просто – буквально несколькими словами в поисковой строке аналитики могут найти все, что им нужно для выполнения своих задач. Среди сотрудников, которые уже давно пользуются данными, мы также видим большую популярность нашего каталога данных. Это является показателем того, что платформа действительно полезна.

– Пытаетесь ли вы в целом оценить эффект от создания единой платформы? Какими результатами можете поделиться?

70% пользователей платформы используют ее на регулярной основе – не реже нескольких раз в неделю. Практически каждый день они пользуются каталогом данных, чтобы получить какую-либо информацию. Для нас это очень важный показатель, мы понимаем, что именно он демонстрирует «приживаемость» системы. Тех сотрудников, кто уже знает о нашей платформе и начал ее использовать, нам легко удается вовлекать и удерживать. Отдельная и более сложная история – как вовлечь новых пользователей.

Благодаря наличию каталога данных все больше пользователей создают свои отчеты самостоятельно. Рост пользователей инструментов самообслуживания за прошлый год составил более 150%, уже четверть сотрудников компании используют self-service BI. Для нас это крайне важный показатель: бизнес самостоятельно быстрее решает свои задачи, мы считаем что централизованное подразделение BI-разработки не сможет реагировать так же быстро, а значит не может быть настолько же эффективным. При этом мы понимаем и некоторые минусы такого подхода.

– Популяризация работы с данными – важный шаг. Планировалось это заранее или появлялось по ходу действия?

Важность коммуникационной платформы стала понятна практически с момента создания офиса данных. Внедрение новых процессов связано с изменением привычной культуры и подходов к работе. Это требует достаточно больших усилий, и всегда происходит не просто. В первую очередь, мы проработали нашу модель коммуникации: кого, когда и о чем следует информировать. Мы создали нашу еженедельную рассылку, в которой рассказываем о происходящем в офисе данных, о реализации новых задач, о появлении новых инициатив. Информируем пользователей о важных изменениях в каждой системе и проблемах в них, о качестве данных в ключевых витринах и объектах. Есть ежеквартальный дайджест, в котором мы рассказываем на верхнем уровне о наиболее крупных и интересных задачах. Для вовлечения пользователей в работу с конкретными инструментами, мы проводим обучающие мероприятия – вебинары и демодни. Очень хорошо работает демонстрация на «живых» примерах, когда сотрудники бизнес-подразделений сами рассказывают коллегам, как они с помощью наших решений выполняют свои операционные задачи. По результатам проведения таких мероприятий всегда наблюдаем приток новых пользователей в наших платформах.

– Каковы направления развития платформы управления данными в Tele2?

Мы знаем, какие данные у нас есть, где они расположены, как между собой связаны, кто ими владеет, и как они связаны с бизнес-показателями. Теперь мы хотим понять, как наши данные участвуют в бизнес-процессах, и на какие из них влияют. Например, в случае инцидента в качестве данных неплохо понимать, насколько ошибка серьезна, к чему она может привести. Связать наши данные с бизнес-процессами – довольно амбициозная задача, мы работаем над ней совместно с дирекцией по бизнес-процессам. Без нашей платформы управления данными реализовать ее просто невозможно.

Другая актуальная задача заключается в интеграции показателей качества данных. Мы уже понимаем, какого качества данные в наших физических объектах – таблицах и витринах, это было достаточно легко реализовать с помощью интеграции платформы управления качеством данных и дата-каталога. Теперь мы хотим научиться считать показатели качества на уровне бизнес-показателей и отчетов – важно показывать пользователям, насколько можно доверять тому или иному ключевому показателю.

Мы хотим прийти к тому, чтобы понимать все данные в компании, выявлять пересечения и дубли – как с точки зрения физического хранения, так и с точки зрения использования данных и исключения разночтений в использовании показателей. У нас есть инициативы и идеи по развитию единой платформы управления мастер-данными и нормативно-справочной информацией, и отдельная инициатива по усилению контроля безопасности использования данных.

В последние годы все больше компаний говорят о создании экосистем. Этот путь становится одним из способов выживания и процветания как на рынке, так и в природе. Комплекс сервисов, выстроенных X5 Group вокруг клиентской миссии «Еда», является примером именно такого подхода. Для его реализации единые, унифицированные данные являются необходимым условием. X5 создала единую платформу для работы с данными внутри группы компаний, и одним из ключевых элементов этой платформы стал единый профиль клиента и сервис идентификации X5ID. Он позволяет работать с покупателем во всех сервисах группы с единой точкой входа и использованием «золотой записи». Тигран Саркисов, директор по управлению данными X5 Group и номинант на премию Data Award, рассказал о реализации этого проекта и синергетическом эффекте, который стал возможным лишь в результате совместной работы различных бизнес-единиц на единой платформе данных.

— У предприятий, всерьез смотрящих в будущее, есть два пути: сформировать собственную экосистему либо встроить свой бизнес в чужую. Почему был выбран именно первый путь, в чем он заключался?

X5 Group в данный момент не совсем корректно называть экосистемой, так как мы формируем все наши сервисы вокруг нашего клиента и его потребностей. Мы действительно расширяем свое присутствие вокруг клиента, стремясь присутствовать на каждом этапе выбора продуктов. Именно с этой целью компания в последние три года в рамках своей стратегии развивала большое количество сопутствующих бизнесов вокруг еды: Vprok.ru Перекресток – онлайн-гипермаркет по доставке еды, 5Post – доставка товаров в постаматы, сервис экспресс-доставки «Около», медиа-платформа для поиска рецептов food.ru. Мы развиваем комплементарные сервисы вокруг еды и смежных потребностей, а также ряд сервисов, которые помогут улучшить клиентский опыт – например, финансовые сервисы на базе X5 Банк. Мы понимаем, что зачастую выбор продукта начинается задолго до того, как клиент приходит в магазин, а сервис можно оказывать комплексно.

— Какие возможности должна дать единая платформа данных для всех сервисов X5, в чем синергия?

Синергия, например, видна от управления клиентскими данными в рамках всей группы компаний. Это хорошо видно на примере единого клиентского профиля и единого центра авторизации X5ID, который мы запустили в прошедшем году. Раньше взаимодействие осуществлялось изолированно различными сетями и бизнес-единицами, и, разумеется, клиентский путь был неоптимальным. С одной стороны, мы хуже представляли потребности клиента и не всегда могли своевременно оказывать удобный сервис, а с другой – на клиентском пути возникали неудобства. Единый центр авторизации позволяет быстрее получать доступ к нашим сервисам, быстрее переходить между ними – например, в будущем можно будет, найдя рецепт на сайте food.ru, перейти в мобильное приложение торговой сети и заказать ингредиенты. А мы можем видеть более полный портрет клиента в каждом бизнесе, его опыт взаимодействия. Разумеется, всё это при полном соблюдении политики хранения и обработки персональных данных.

Сегодня в едином профиле собрана фактически большая часть работоспособного населения нашей страны – у нас более 60 млн уникальных цифровых профилей. И для нас важны не столько их персональные данные и социально-демографический профиль, сколько покупательские привычки и предпочтения – это дает нам возможность соответствовать их ожиданиям.

X5ID и единый клиентский профиль являются ключевым элементом, соединяющим наши бизнесы и дающим возможность говорить о комплементарных сервисах. Всё, что мы делаем, должно быть взаимосвязано, интегрируемо и переиспользуемо. Даже новый запускаемый нами бизнес может быстро получить все необходимые данные и предоставить клиенту удобную авторизацию.

Кроме того, нам удалось построить аналитическую платформу, которая обезличено, на уровне идентификаторов пользователей помогает быстро работать с клиентским опытом. Это дает возможность таким нашим продуктовым командам как, например, Customer value management (CVM) и «Обратная связь», тратить меньше времени на сбор и подготовку данных, а больше фокусироваться на извлечении ценности из накопленных знаний. Наконец, без единого центра авторизации было бы невозможно и реализовать новые бизнес-модели, такие как подписка «Пакет». Мы первые, кто смог запустить подписку в российском ретейле.

— На чем базируется платформа по работе с данными и центр авторизации?

Преимущественно, это решения из комплекса Open Stack, размещенные в нашем облаке. Наша платформа состоит из множества различных функциональных компонентов (озера данных, хранилища данных, BI, интеграционная микросервисная платформа и другие), которые взаимосвязаны между собой. Если говорить про центр авторизации и профиль клиента, то он реализован на Open Stack и Tarantool.

— ИТ-платформа – это обычно только часть задачи. Как удается создавать и изменять data-культуру внутри компании?

Надо понимать, что бизнес-единицы и торговые сети под управлением X5 имеют разную степень зрелости и формы организации. Есть молодые бизнесы «цифровые с пеленок», но с низкой процессной зрелостью, как это обычно и бывает в любом стартапе. А есть сложившиеся, обладающие и зрелостью процессов, и определенной устоявшейся культурой. Их нужно обеспечить равными возможностями доступа к единым данным. И здесь критически важно использование не только единой платформы, но и такой организационной структуры, при которой можно, с одной стороны, быстро накапливать и обрабатывать данные без «бутылочного горлышка» в виде централизованных функций, а с другой стороны, не уйти в дата-изоляцию подразделений.

Для этого мы стараемся придерживаться всем уже достаточно хорошо знакомому подходу Data Mesh – доменно-ориентированной организации управления данными. Нами построен институт дата-партнеров, определяющих программы развития данных с учетом потребностей, текущего уровня зрелости и культуры конкретной бизнес-единицы. Благодаря этим изменениям мы видим высокий рост уровня проникновения аналитики в работу сотрудников. В том числе в тех функциях, которые ранее не уделяли этому достаточного внимания.

Наличие единой платформы также стимулирует к развитию аналитики в режиме самообслуживания (self-service). Это популярное направление, развивающееся во многих компаниях, – возможность пользователей самостоятельной готовить и анализировать данных.

— Какие действия предпринимаются в области формирования дата-культуры?

Мы активно развиваем self-service: мы хотели бы, чтобы все сотрудники стали ближе к данным и аналитике, что позволит в полной мере реализовать data-driven подход. Мы успешно завершили пилотные проекты в ряде регионов, в рамках которых бизнес-пользователи самостоятельно на существующей платформе управления данных смогли проверять гипотезы и получать инсайты. За короткое время сотрудники смогли самостоятельно решить и, что самое главное, переиспользовать более 20 бизнес-задач. Полученный опыт мы хотим тиражировать по всей компании. В рамках «Цифровой академии» X5 мы создаем отдельное направление – «факультет» дата-грамотности, в который входят курсы и обучающие материалы по работе с данными.

— Какие это принесло результаты, чем можно похвастаться?

Если оценивать прошедший год, то результаты представляются очень хорошими. Во многом это связано с переходом на доменно-ориентированную организацию работы и внедрением новых решений для работы с данными. Мы отмечаем более чем двукратный рост использования аналитики в компании.

Доменно-ориентированная организация и появление роли data-партнеров позволили повысить уровень доверия к данным со стороны пользователей до 80% – мы считаем, что это высокая цифра, и иногда она даже гораздо важнее, чем объективная оценка качества данных. Именно доверие к данным позволяет пользователям работать с ними, а не игнорировать.

Нам удалось консолидировать клиентский опыт. Мы собрали и очистили более 60 млн клиентских профилей, реализовали все это на микросервисной архитектуре внутри нашей интеграционной платформы. Сегодня благодаря единой авторизации во всех каналах коммуникаций – в мобильных приложениях, в магазинах, на сайте и даже в чат-ботах в телеграм – ежедневно наблюдается более 10 млн активных пользователей.

Наконец, достигнутые результаты позволяют запускать и тестировать новые бизнес-модели – годом ранее мы уже отмечались с продуктом Dialog.X5. Сейчас она дает еще более качественные инсайты благодаря использованию «золотой записи». В этом году появилась подписка «Пакет» — первый комплексный продукт, где собрано большинство привилегий сервисов и торговых сетей Х5.

Персонализация при работе с клиентами уже стала общепринятой практикой даже в офлайн-ретейле. Следующим шагом становится гиперперсонализация, когда компании переходят от групп клиентов к конкретным людям, обращая внимание на их индивидуальные потребности и привычки. «Утконос Онлайн» с ее помощью помогает покупателям не утонуть в океане товаров, а также серьезно повышает эффективность маркетинговых активностей. О роли гиперперсонального подхода к клиентам в бизнесе компании рассказывает Дмитрий Бодунов, директор управления данными «Утконос Онлайн».

— Какова идея создания интеллектуальных решений в вашей компании?

Наша цель – создавать автоматизированные системы, которые позволяют принимать правильные решения и зарабатывать деньги компании. Мы делим такие системы на несколько групп: первая группа систем принимает бизнес решения полностью самостоятельно, без участия человека, – например, какие товары отправить клиенту в рассылке. Вторая группа рекомендует решение, которое может быть принято или скорректировано ответственным менеджером – например, прогноз заказов на следующий день или список KVI-товаров. (Товары группы key value indicator влияют на восприятие покупателем уровня цен в магазине. Они являются важной частью ценовой стратегии, помогая привлекать чувствительных к ценам покупателей. – Прим. ред.). Наконец, третья группа сигнализирует о нестандартном поведении и должна предупредить ответственного менеджера о необходимости принять экспертное решение – например, в случае падения скорости сборки на складе.

— «Утконос Онлайн» осуществляет переход от обычной персонализации к гиперперсонализации. Что к этому привело?

В начале 2021 года мы решили, что одно из наших ключевых преимуществ — это сверхширокий ассортимент, и поставили себе цель — 150 тыс. наименований товаров. Однако при неправильно выстроенной работе рекомендаций и поиска сверхширокий ассортимент может стать не преимуществом компании, а головной болью клиента. Тогда стало понятно, что нужно помогать покупателям ориентироваться в этом «океане» товаров, — и мы начали уходить от обычной персонализации к гиперперсонализации, то есть персонализации на уровне отдельных клиентов, которая учитывает максимальное количество информации о каждом клиенте.

— Как была поставлена задача?

В каталоге и поиске необходимо было учитывать индивидуальные предпочтения, чтобы люди среди огромного количества товаров получали то, что им нужно и интересно. Сейчас у нас 90 тыс. наименований. Развивать персонализацию выдачи каталога, и поиска, и CRM нужно было сразу, так что задачи велись параллельно.

— За какое время и какими силами был реализован проект?

Мы начали этот проект в 2021 году. И это направление продолжает свое развитие — мы постоянно идем по пути улучшения. Нет точки, в которой мы бы решили, что больше не будем развивать нашу персонализацию.

В команде персонализации дата-офиса 5 человек — это дата-сайентисты и ML-инженеры. Есть еще владельцы продуктов поиска, сайта и CRM, а также разработчики, которые помогают встраивать сервисы внутрь сайта.

— В чем заключалась самая большая проблема?

Основная сложность — следить за очень большим количеством параметров. Это связано с выводом больших сложных проектов, относящихся к машинному обучению, в промышленную эксплуатацию. Это сложный многошаговый процесс, и небольшие трудности случаются на каждом этапе.

— Чем из последних разработок можно гордиться?

Наши CRM-рассылки — это уже поставленный на поток процесс. Несколько раз в неделю мы с бизнесом прорабатываем, кому и какие предложения требуется отправлять.

Раньше рассылку составлял эксперт, и отправлял, например, самые популярные товары, а теперь система сама индивидуально подбирает товары – эффект фантастический, втрое лучше, чем при работе эксперта. Отдельно следует сказать про персонализацию промо-рассылок. Раньше для промо, например, к 8 Марта, бизнес делил пользователей самостоятельно условно на две категории – мужчины и женщины, и каждая категория получала собственное предложение. Теперь же система делит сама, и не на пару сегментов, а каждому человеку предлагает индивидуально подобранные товары.

Персонализация CRM в 2,5 раза увеличила конверсии по новым товарам, также мы вдвое увеличили конверсии промо-предложений. Не менее важно, что за полгода нам удалось вернуть из оттока 20 тыс. клиентов. Это достигнуто именно за счет персонализации предложений на уровне каждого отдельного пользователя.

Еще один повод для гордости – онлайн-витрины. Во-первых, персонализация выдачи поиска и каталога. Мы сделали ранжирование списка товаров, которое подстраивается индивидуально под человека в зависимости от того, в каком сегменте он находится и какая у него история покупок. Этот сервис уже запущен и прошел A/B-тестирование, и сейчас задача – масштабировать его на всех пользователей. Эффект персонализации по результатам A/B-тестов составил 4% средней выручки на одного пользователя, это объективно много.

Кроме того, реализован функционал «Похожие товары», «Сопутствующие товары», а также определение ключевых слов и поисковые подсказки.

Наконец, в области ценообразования оптимизирован выбор KVI-товаров. Мы определяем их по своей методике: они не могут быть персонализированными, потому что цена едина для всех. Однако мы используем информацию о наших покупателях: смотрим периодичность покупок, как часто продукты встречаются в чеке, как часто этот товар используется среди людей — и на основании этого определяем список KVI-товаров.

— В каких направлениях планируется дальнейшее развитие?

Мы планируем использовать разные методы машинного обучения для улучшения персонализации. Важно построить «хранилище фич» (feature store), чтобы дата-сайентисты могли быстрее проверять гипотезы, выйти в «реальное время» взаимодействий на сайте.

Мы продолжаем заниматься и текущими задачами: улучшаем существующую модель поиска, а в CRM начинаем работать не только с теми, кто уходит в отток, и активными клиентами, но и с новичками — информацию о них приходится искать вовне. Согласно нашей стратегии, в 2022 планируем дальнейшее развитие онлайн-витрин, работу с оптимизацией ассортимента и массовым промо, построение цифровых двойников складов.