CDO Award

Иногда проблемы клиентов могут стать проблемами компании. Это выливается в дополнительные издержки, а в отдельных случаях ведет и к потере клиентов. В «Сибуре» считают, что лучший способ обеспечить лояльность бизнес-партнеров — совместная работа по минимизации числа возникающих инцидентов. С этой целью компания запустила бесплатные проекты по анализу производственных данных клиентов. Результатом становятся рекомендации по оптимизации производственных процессов, способные заметно повысить эффективность работы заказчиков. О том, как компания пришла к такой деятельности, о ее результатах и перспективах рассказывает Алексей Винниченко, руководитель центра аналитики компании «Сибур» и номинант на премию CDO Award 2021.

— Как родилась идея коллаборации с партнерами для улучшения качества продуктов? О том, что совместной работой с общими данными можно добиться большего, говорят многие, но до практики дело обычно не доходит.

В 2018 году в «Сибуре» стартовала масштабная программа цифровой трансформации. Одним из ключевых направлений в ней стала продвинутая аналитика, объединяющая подходы big data и data science. За эти три года мы реализовали много успешных внутренних проектов. В результате у нас выработались определенные методологии и лучшие практики. Удалось создать современную инфраструктуру по работе с данными. Это привело к мысли о том, что если получаются внутренние проекты, то было бы неплохо включить в периметр и клиентов — заводы, производящие продукты из наших полимеров.

У нас есть служба заботы о клиентах — технический сервис, который помогает им решать возникающие проблемы. Но нефтехимия — сложное производство, в нем далеко не все тривиально, и, несмотря на все усилия, у многих клиентов остаются проблемы брака на производстве. Это не всегда связано с нашим сырьем, встречаются проблемы с оборудованием, нарушением технологического режима и рецептуры производства. Наши клиенты — довольно небольшие предприятия, по крайней мере по сравнению с «Сибуром», и у них совершенно точно не хватает внутренних компетенций для проведения углубленной аналитики. Исследование (или даже расследование) проблем стандартными средствами, а также поиск путей их решения и разработка рекомендаций занимали у нас до нескольких лет. Сначала требуется анализ экспертов, натурные эксперименты, затем — модификация оборудования и процессов. Это долго и затратно.

Оборудованием по сбору данных мы оснащены с 2014 года, наши производственные данные копятся уже много лет. Реализуя проекты у себя, мы поняли, что с помощью данных можем увидеть след любой проблемы. И рекомендации по исправлению любой ситуации можно разработать существенно быстрее и с гораздо меньшими затратами.

Мы выбрали наиболее «проблемных» клиентов, показали им результаты своих внутренних проектов и обратились к ним с предложением попробовать «решить проблему по-умному». Так завязались первые контакты, и за прошедший год удалось успешно реализовать два таких проекта. Мы берем клиентские данные, «склеиваем» их с нашими, моделируем всю производственную цепочку, находим проблему и даем рекомендации по ее устранению. В одном из первых же проектов брак удалось свести практически к нулю без какого-либо физического вмешательства.

Таким образом, к идее мы пришли эволюционным путем через успешные эксперименты внутри нашей компании. Теперь мы решаем проблемы клиентов, попутно выявляя и свои — иногда часть причин находится на нашей стороне.

— Сразу ли рассматривался этот сценарий при развитии в «Сибуре» направления работы с данными?

Три года назад такое даже представить было невозможно: мы еще только начинали, и уровень цифровой зрелости был недостаточным. Уже в процессе работы появилось понимание того, что можно расширить охват исследований.

В 2020 году у нас был запущен новый завод «ЗапСибНефтехим» — крупнейший на постсоветском пространстве. Он обеспечил потребности в базовых полимерах внутри страны, что позволило отказаться от их импорта. Теперь начинаем думать о выходе на международные рынки, где уровень конкуренции гораздо выше. Там совершенно недостаточно просто производить хорошую продукцию — нужно думать о сервисе и новых услугах. С этой точки зрения наши действия абсолютно логичны. После выхода из коронавирусного локдауна, который нас заметно притормозил (все командировки и встречи оказались под запретом), мы возобновим работы по развитию клиентских сервисов на базе данных.

— Как относятся бизнес-партнеры к идее делиться своими данными? Вероятно, далеко не все к этому готовы — и психологически, и технологически.

Да, эмоциональный момент очень силен. Такой вопрос всегда возникает, но у нас на него готов ответ. Все-таки мы не банк, и передаются вовсе не персональные или финансовые данные. Мы снимаем с оборудования технологические показатели: температуру, давление, осевые смещения и т. п. Сами по себе они не представляют особой ценности. Единственное, что иногда вызывает сомнение, — возможность через данные раскрыть рецептуру того или иного продукта. Но обычно удается прийти к взаимопониманию. Кроме того, со многими клиентами уже сложились отношения, в которых достигнут определенный уровень доверия: гипотетические риски не воспринимаются ими как серьезные.

Что касается технологической возможности выгрузки данных, то этот вопрос действительно является ключевым. Далеко не у всех клиентов оборудование достаточно современное, и это проблема. Примерно с 2010 года производственные линии оснащаются модулями по выгрузке данных, а вот если оборудование более старое, сделать ничего нельзя.

Но недостаточно иметь физическую возможность выгрузить данные. Иногда требуется приобретать специальную лицензию на такой функционал. Мы столкнулись с этим на первом же проекте. Пришлось проводить переговоры с крупным немецким производителем оборудования. Нам удалось договориться о том, что для таких проектов в ряде случаев возможность выгрузки данных предоставляется бесплатно. Сейчас пытаемся добиться похожих соглашений с другими производителями. Я думаю, что мы договоримся.

Это выгодно всем, в том числе и производителям оборудования, которым клиенты присылают массу рекламаций по поводу некорректной работы агрегатов. В подавляющем большинстве случаев оказывается, что проблема не в железе, а в неумелых действиях персонала, однако сил на разбирательства тратится много. Наша работа с клиентами по поиску причин инцидентов может снизить поток претензий.

— Что первично: заинтересованность клиентов в таких дата-сервисах или «создание спроса» — демонстрация готовности их предоставить?

Любой клиент заинтересован в повышении своей эффективности: он стремится производить больше продукции в единицу времени, используя меньше ресурсов. А если он повышает свою эффективность, то сможет купить у нас больше полимеров. Именно поэтому наш сервис бесплатен: мы тоже заинтересованы в решении проблем клиентов.

К сожалению, не все заказчики знают такие слова, как data science и machine learning, — приходится проводить много образовательной работы. Но все понимают, что мы нацелены на обоюдовыгодный результат, поэтому вопросов бывает немного.

— Существуют ли на рынке аналогичные сервисы?

В российской нефтехимии подобных сервисов точно нет. И в Европе мы об этом тоже не слышали, по крайней мере как о массовой истории. Но чем больше индустрия будет продвигаться в модернизации оборудования, тем больше будет появляться возможностей для анализа данных. В будущем это может стать необходимым минимумом уровня клиентского сервиса.

— Какие проблемы возникают при реализации таких проектов? Как вы их решаете?

Большая часть проблем — это, конечно, организационные вопросы. Искать лиц, принимающих решения, объяснять, договариваться, заключать дополнительные соглашения... Сейчас средний срок реализации проекта составляет шесть месяцев, и из них лишь два месяца требуются на сбор и анализ данных, а остальное время уходит на решение организационных моментов.

Это всегда итеративная работа, требующая создания совместных команд. Начинается все с генерации гипотез о сути наблюдаемых проблем. Впоследствии мы пытаемся их проверить с помощью анализа данных. Две трети гипотез обычно оказываются несостоятельными, с остальными работаем плотнее. Сразу после выяснения причин проблемы мы можем выработать достаточно достоверные рекомендации. Затем проводим натурные испытания, где проверяем их «в бою». Если эффект стабилен, то проблема считается решенной.

— Когда фактически были начаты работы и что за это время удалось сделать?

Первый проект был задуман и начат в четвертом квартале 2019 года, и к концу первого квартала 2020 года его удалось завершить. Затем был реализован еще один проект. К сожалению, из-за пандемии все ограничилось этими двумя проектами. Однако мы можем говорить о том, что эффективность наших решений подтверждена последующим мониторингом.

Еще для одного клиента в Европе мы провели предварительную исследовательскую работу. Там нам пришлось столкнуться с устаревшим оборудованием. Мы выдали свои рекомендации, и заказчик начал модернизацию производственной линии, которая должна завершиться в августе нынешнего года. Мы к этому проекту обязательно вернемся.

— Какие эффекты были достигнуты? За счет чего?

Например, у первого клиента были проблемы с браком: происходили частые обрывы пленки. В установку загружается полиэтилен, который от нас приходит в виде гранул, расплавляется, растягивается в тонкую пленку и сматывается в рулон с огромной скоростью. Эта пленка довольно часто рвалась, а в случае обрыва агрегат останавливается и весь рулон бракуется — потери очевидны. Нам удалось снизить обрывность пленки в 8–10 раз. Общий экономический эффект этого проекта составил около 2 млн долл. в год. При этом мы сохранили клиента и увеличили ему поставки сырья.

— Приведите пример рекомендаций, которые могут выдаваться производителю и имеют очевидную ценность для него.

Разумеется, они имеют весьма технический вид. Например: держать дисперсию по температуре в реакторах полимеризации в определенных рамках.

Можно привести любопытный пример из другого проекта. Полимер, подаваемый на вход установки, обладает определенными характеристиками. Одна из них — длина молекул, которая должна находиться в пределах допустимого диапазона. Мы выяснили, что если этот показатель у всей партии сырья близок к одной из границ диапазона, то проблем не наблюдается. Но если смешиваются «длинные» и «короткие» молекулы, то на производстве возникают проблемы. Мы стали за этим более пристально следить и отправляем данному заказчику только те партии, где разброс по длине молекул именно тот, при котором переработка идет наилучшим образом. То есть иногда нам приходится делать персонализированный продукт под конкретного клиента.

Такие истории уникальны для каждого конкретного клиента. По большому счету не важно, почему именно так происходит, — возможны нюансы оборудования или особенности климата. Главное — определить, как избежать проблем, и следовать этим правилам.

— На каких продуктах построена цифровая платформа «Сибура»?

Главной ее частью является инфраструктура озера данных, в которой есть множество инструментов, в том числе data governance и data quality. Это дает нам уверенность в том, что используется только нужная и корректная информация, а не «мусор». Мы внимательно следим за качеством данных. Для сырых данных используется стек Hadoop, в качестве реляционной базы данных — Vertica. В большинстве случаев мы склоняемся к решениям open source, но в определенных ситуациях можем использовать и проприетарные системы.

Следующий слой — ML Framework. Это наша собственная разработка — платформа, позволяющая управлять жизненным циклом моделей машинного обучения. Такой «DevOps для моделей» позволяет радикально сократить процессы разработки и снизить издержки на интеграцию с другими системами и на внедрение в промышленную эксплуатацию. По всем моделям, запущенным в промышленную эксплуатацию, происходит мониторинг метрик качества в режиме реального времени, что позволяет нам доверять результатам работы наших моделей.

Наконец, важно отметить методологическую часть, аккумулирующую накопленный опыт реализации подобных проектов. Несмотря на различие индустрий, производственные проекты схожи друг с другом: сначала идут эксперименты, затем, найдя рациональное зерно, исследователи начинают копать глубже и т. п. Наработанные практики позволяют в начале проекта не раскачиваться слишком долго, а сразу идти по оптимальному маршруту.

В качестве инструмента визуализации и отчетности используем Tableau или, при необходимости более сложного пользовательского инструмента, разрабатываем UI с помощью библиотеки компонент SiburKit — собственной разработки на базе React.

— При анализе данных клиентов каждый раз приходится решать специфические задачи. Как минимизировать время и силы на их решение?

Это тоже часть нашей методологии. Мы используем слегка модифицированный Scrum и сразу создаем команду, в которую включены все необходимые представители заказчика, в том числе со стороны производства. Туда же входят дата-сайентисты, скрам-мастер и владелец продукта. Это позволяет, во-первых, исключить этап, когда все пишут друг для друга технические задания, которые обязательно будут неправильно поняты, а во-вторых, дает возможность двигаться короткими этапами и получать быструю обратную связь. Принцип fail fast позволяет сокращать издержки на погружение в процесс и быстро отбраковывать несостоятельные гипотезы. Участие заказчика в команде позволяет повысить вовлеченность и понизить затраты на коммуникацию.

При этом к концу проекта наши аналитики разбираются в производственных процессах не хуже технологов, несмотря на отсутствие опыта и специального образования. Через данные можно довольно глубоко погрузиться в процессы, а плотное взаимодействие с производственниками позволяет ответить на возникающие в ходе этого вопросы.

— Сейчас среднее время проекта оценивается в полгода. А что в планах? Каковы целевые показатели?

В идеале это три месяца, то есть наш показатель time to market должен сократиться вдвое. Если сейчас из шести месяцев проекта аналитическая работа занимает лишь два, то это вполне достижимо. С опытом у нас, несомненно, появятся лучшие практики по минимизации всех организационных проблем, что позволит значительно «схлопнуть» срок проекта. Разумеется, это не касается случаев, когда заказчику потребуется дополнительно оснащать производственные линии.

— Какова конечная цель этого проекта: возможность продавать более качественную продукцию по более высокой цене или что-то иное?

Скорее, это возможность выйти на высококонкурентные зарубежные рынки и закрепиться на них. Конечно, нас там никто не ждет с распростертыми объятиями. У предприятий уже существуют сложившиеся связи. И когда на рынок выходит новый игрок, ему приходится тяжело. Придется либо демпинговать, что неправильно, либо предлагать более качественный продукт и хороший сервис.

В целом мы фокусируем внимание на клиентоориентированности. Проведена очень большая работа, и мы хотим приблизиться к мировым эталонам в нашей индустрии. Те, кто не соответствует ожиданиям заказчиков, будут вынуждены постепенно уходить с рынка.

— В каком направлении будет развиваться этот проект? Платформой для каких новых сервисов он может стать?

Сейчас мы планируем масштабироваться экстенсивно, расширяя круг клиентов. Ближайший год, видимо, будет посвящен именно этому. Начали с «пленочников», а как только снимут ограничения, перейдем на «трубников» и «шинников». Накопив статистику и лучшие практики, сможем подумать и об интенсивном пути развития.

В будущем, вероятно, речь пойдет о предоставлении сервисов: рекомендательная модель будет работать на инфраструктуре «Сибура», а клиент просто получит к ней доступ и в режиме реального времени будет видеть дашборд со своими метриками и рекомендациями. Этот сервис вполне можно «завернуть» в цифровой продукт нового поколения.

Всем нам время от времени звонят из разных компаний и желают что-то продать. В большинстве случаев предложения неуместны, а звонки раздаются не вовремя, и поэтому такие обращения часто вызывают негативную реакцию. Низкая эффективность подобных обзвонов известна, но далеко не во всех компаниях готовы решать эту проблему.

В компании «Финам», предоставляющей услуги на фондовом рынке, выстроили рекомендательную систему, которая позволяет предлагать услуги, с большой вероятностью способные заинтересовать клиентов. При этом звонки поступают в удобное для человека время. Как результат, растет конверсия — главный результат работы менеджера по продажам. О реализации этого проекта рассказывает Николай Саратовский, руководитель направления Data Science компании «Финам» и номинант на премию CDO Award 2021 .

— Как зарождался в компании интерес к работе с данными?

У нас всегда накапливалось довольно много информации о клиентах. Когда клиент открывает у нас счет, мы получаем его персональные данные. В ходе работы накапливается много сведений о том, чем человек торговал, как это делал, какие результаты получал. Формируется довольно большой пласт очень интересной информации. Кроме того, накапливается много данных по итогам совершенных менеджерами звонков, о проведенных встречах и т. п. Наконец, имеется статистика о действиях клиентов на сайте.

В таких случаях рано или поздно появляется идея использовать собранную информацию для более эффективной работы с клиентами.

— Но ведь информация неполная. Например, во время звонков и встреч с клиентами фиксируется не весь возможный контент.

Безусловно, фиксируется не все, хотя в этом направлении тоже ведется работа. Менеджер во время общения с клиентом расставляет галочки в определенных полях, обозначая содержание беседы. Кроме того, с этой целью можно выполнять распознавание аудиозаписей, но мы пока еще в самом начале пути.

Перед тем как идти в «дебри», следует решить относительно простые, но более серьезные проблемы. Например, в группе «Финам» существует большое количество разрозненных баз данных. В них находится много важной информации, которую надо добыть, очистить, осмыслить ее содержание.

Поначалу многие отнеслись скептически к идее использовать данные, люди сомневались в том, что история, связанная с Data Science, сможет быть полезной. Чтобы разрушить недоверие, мы запустили пилот по рекомендации клиентам новой услуги, которая появилась два года назад: было непонятно, кому и как ее продавать. Пилотный проект помог ответить именно на эти ключевые вопросы. После первых результатов у руководства появился определенный оптимизм и наш проект начал расширяться.

— С чего и когда вы начали? Что было сделано за это время?

Пилот был начат два года назад — в феврале 2019 года. К маю мы запустили решение и показали его эффективность. Далее все переросло в рекомендательную систему, помогающую менеджерам подбирать удобное время для общения с клиентом и подсказывающую наиболее интересные предложения по продажам. Это полноценный продукт, который уже на протяжении года работает и демонстрирует очень неплохие результаты. Сейчас идет работа еще над тремя продуктами.

— Какова цель реализуемых в компании проектов в области работы с данными?

Сейчас это работы, направленные на внутренние нужды компании. Мы разрабатываем системы, которые повышают эффективность компании, будь то работа менеджеров по продажам, разработка новых продуктов, маркетинговые активности. Заказчиками выступают многие подразделения. В последнее время приоритет отдается задачам, связанным с работой с клиентами: получение инсайтов, выдача рекомендаций, предсказание оттока и общее повышение эффективности работы менеджеров.

— Серьезная работа с данными подразумевает наличие некой стратегии.

У нас начинает формироваться культура работы с данными. В компании существует множество баз данных, с которыми очень сложно работать. Сейчас мы объединяем их в общее хранилище с быстрым и удобным доступом, что позволит подключать различные системы анализа и визуализации данных, а также мониторинга процессов. Речь идет о демократизации данных.

— Как решается вопрос качества данных?

Нам волей-неволей приходится с головой погружаться в работу бизнес-заказчика — например, менеджеров по продажам. Необходимо время, чтобы осмыслить данные, содержащиеся в базах. Во всех подразделениях существует внутренняя терминология, освоив которую, мы можем начинать работу с поступившими данными. Скажем, чтобы делать какие-то прогнозы по продуктам, нам приходится разбираться в работе фондового рынка. Погрузившись во внутреннюю кухню, мы начинаем работать с данными и использовать классические методы их очистки. Если вы знаете, что именно поступает на вход и что требуется получить на выходе, то вам проще обрабатывать данные.

— В чем заключалась наболевшая проблема бизнеса? В чем суть реализованного проекта?

Несложно понять, как происходят продажи в большинстве компаний, — вероятно, все сталкивались с ситуациями подобных звонков. Менеджер звонит клиенту и предлагает ему приобрести какой-либо продукт, не зная заранее, заинтересует ли этот звонок клиента, удобно ли ему разговаривать и нужен ли ему этот продукт. Менеджерам приходится совершать множество звонков, эффективность которых оставляет желать лучшего. Более того, в совсем неудачных случаях звонок не просто окажется «пустым», но и вызовет негатив со стороны лояльного клиента. Именно эту проблему и пытались решить: звонок должен выполняться в удобное время и касаться действительно интересных продуктов, которые человек приобетет с высокой вероятностью.

Кроме того, важно отслеживать историю уже открытых сделок с клиентом для выставления времени их завершения. Если у менеджера открыта кросс-продажа и она тянется уже пару недель, то итогом может стать проигрыш для компании, потому что клиент так и не воспользовался услугой. Чтобы такого не было, система отслеживает и анализирует ряд параметров, а затем сообщает менеджеру о том, что «клиент созрел» и пора позвонить ему, чтобы предложить закрыть сделку. То есть система работает в двух направлениях: рекомендует новую сделку по наиболее подходящему для клиента продукту и предлагает оптимальное время для ее завершения.

— Какие источники данных использовались в ходе проекта? И как в целом определяется, какая информация нужна?

Поначалу действительно непонятно, что важно, а что нет. Разработка всегда начинается с какой-то гипотезы и общего набора данных — это десятки баз с тысячами атрибутов. Понятно, что все их использовать невозможно, да и незачем. Например, если речь идет о конкретной задаче помощи сотрудникам отдела продаж в подборе продукта и оптимального времени звонка, то логично использовать социально-демографические параметры клиента (пол, возраст, местоположение). К ним добавляются все данные об уже совершенных сделках: какие продукты были приобретены, а от чего клиент отказывался. И конечно, важны периоды активности конкретного человека, его привычки: когда он посещает сайт, когда он сам нам звонит, в какое время раньше был готов разговаривать с нашими менеджерами. По анализу действий человека на сайте и истории предыдущих коммуникаций можно с большой уверенностью определить время, удобное для него. Наконец, используются данные по рискам клиента, чтобы понять, насколько он расположен к рискованным действиям и, соответственно, к каким доходностям стремится.

Прежде чем загружать эти данные в алгоритм, мы проводили корреляционный анализ, чтобы выделить значимые и незначимые показатели, а какие-то из них просто объединить. В результате из сотни параметров осталось около 30. Далее проводили обучение алгоритма и тестирование, а затем запускали решение сначала в пилотную, а затем в полноценную эксплуатацию.

— Какие ИТ-платформы применяются и почему именно они?

Конечно, мы использовали инструменты open source. Все данные хранятся в CRM, которая существует в компании уже много лет. Решение разрабатывали на Python, настраивали взаимодействие по Open API между скриптами и CRM. Раз в неделю скрипт запускается, обсчитывает поступившие данные и формирует для менеджеров звонки с предложениями на следующую неделю. После этого система формирует запрос и в качестве ответа получает план звонков.

— В чем заключалась самая большая проблема?

Подготовка данных. Понять, что именно нам нужно, какие данные являются значащими, как их увязывать между собой.

Еще одна большая проблема — скорость вычислений. Мы боролись за то, чтобы расчеты были максимально быстрыми и потенциально система могла делать их не раз в неделю, а ежедневно или даже в реальном времени — в потоковом режиме.

— Какие эффекты удалось получить и за счет чего?

Самое главное — улучшение коммуникаций с клиентами. Конечно, идеальная картина «один звонок — одна продажа» недостижима, но стремиться к ней необходимо. Второе важное направление усилий — корректность предлагаемых клиенту продуктов. Не имеет смысла предлагать то, что клиент точно не купит. Наконец, важно продвигать новые, только что появившиеся продукты, в отношении которых пока неясно, кому и как продавать. Все эти цели в той или иной степени были достигнуты.

Конверсия по открываемым сделкам, когда система рекомендует позвонить конкретному человеку и предложить ему определенный продукт, возросла на 8% по сравнению с обычными показателями обзвонов. Количество же успешных закрытий сделок возросло в 2,5–3 раза. При этом число успешных дозвонов увеличилось на 32%.

— А каких результатов вы ожидали сами?

Мы ожидали более скромных результатов — например, считали, что будет хорошо, если показатели открытия сделок повысятся на 5%. Хорошо, что удалось немного превысить их. По числу закрытых сделок ожидался рост конверсии на 10–20%, но никак не в разы. Рост числа дозвонов предполагался на уровне 10–15%.

Относительно возможностей новых технологий бизнес был настроен скептически и по большому счету считал создаваемое решение чем-то вроде гадания на кофейной гуще. Однако после получения результатов сначала в тестах, а затем и в боевой эксплуатации, было принято решение не только расширить этот эксперимент, но и запустить новые проекты.

— Вас в компанию взяли для выполнения этого проекта?

Создавая первый пилот рекомендательной системы, я был внешним сотрудником — меня пригласили именно для его запуска. После получения результата я был принят в штат и приступил к полноценной реализации проекта. Сейчас у меня есть команда — подразделение data science из четырех человек: два дата-сайентиста, дата-инженер и дата-стюард. Это уже полноценный отдел работы с данными, с которым мы занимаемся другими проектами. Бизнес оценил наши успехи в работе и увидел перспективы в развитии этого направления.

— Приведите несколько ключевых примеров инсайтов, которые «выстрелили».

Любопытные наблюдения касались риск-менеджмента. Все клиенты проходят риск-профилирование — это обязательное требование ЦБ РФ. С этой целью они заполняют специальные анкеты, в которых указывают свои приоритеты.

Оказалось, что данные, заявляемые клиентами при анкетировании, далеко не всегда соответствуют их поведению. Например, человек может говорить о готовности к высоким рискам (например, о возможности «просадки» в 30% и готовности терпеть убытки), однако, оценивая его действия, мы видим, что при проседании счета на 3% он уже закрывает позицию. То есть ни о каком агрессивном профиле речи быть не может. В случае таких клиентов система автоматически перестраивает всю модель дальнейших предложений, отказываясь от инструментов с высокими рисками и защищая их капитал.

Это оказало нам большую услугу. Вряд ли клиенты осознают такую заботу о себе, но их лояльность действительно повышается: людей всегда нервируют предложения, не соответствующие их ожиданиям. И наоборот, они готовы иметь дело с организацией, понимающей их потребности.

— Как вы думаете, чем вызваны заметные расхождения в заявлениях людей и их поведении?

Таких клиентов можно разделить на две группы. Первая — это новички, не понимающие, как устроен фондовый рынок. Как обычно, они хотят всё, сразу и даром. И есть люди, просто неправильно оценивающие свои желания.

Сделав выводы из своих наблюдений, мы стали работать в парадигме того, что все сказанное клиентом следует подвергать сомнению. Предоставленная информация слишком часто оказывается недостоверной, гораздо важнее реальное поведение людей. В результате мы стали иначе подходить к составлению анкет для опросов клиентов — встроили в них защитные механизмы, позволяющие определить, что человек слегка привирает.

— Какие результаты своей деятельности в компании вы сами считаете ключевыми? Что изменилось?

Самое главное — изменился подход к работе с данными. Сейчас к нам не просто начинают прислушиваться, но и приходят с идеями — скажем, «прикрутить» искусственный интеллект к тому или иному процессу. Бизнес-подразделения приходят со своими проблемами, и мы набираем себе портфель проектов.

— Эта популярность пришла сама собой или вы проводили дополнительную просветительскую работу?

Скорее, это итог достигнутых нами результатов. Но надо сказать, что когда мы беседовали с представителями бизнес-подразделений и задавали им вопросы об их работе, то видели в их глазах живой интерес. Обсудив проблемы с большей частью подразделений, мы стали завоевывать их доверие.

— Что дальше? Какими вы видите дальнейшие направления развития своей работы?

Созданная рекомендательная система находится на поддержке. Параллельно идет работа над крупным проектом по искусственному интеллекту с более широким функционалом, который в перспективе может поглотить рекомендательную систему и включить в себя еще несколько разработанных решений. Рассчитываю, что к концу года мы уже сможем говорить об этом публично. В ходе проекта мы получаем очень много интересной информации, которую нам не терпится применить на практике и затем рассказать о своем опыте.

Кроме того, мы прорабатываем возможности использования искусственного интеллекта для построения торговых алгоритмов и всерьез занимаемся предотвращением оттока клиентов. Крайне важно, чтобы клиенты были довольны и оставались с нами.

«Газпром нефть» — один из лидеров цифровой трансформации в нашей стране. Мы постоянно слышим о достижениях компании во внедрении передовых цифровых решений в разные направления бизнеса. Понятно, что без серьезной работы с данными такие прорывы были бы невозможны. Но разрозненных проектов по созданию хранилищ и аналитике данных уже недостаточно. С мая 2019 года в «Газпром нефти» функционирует общекорпоративная структура по управлению данными, которая закладывает фундамент для всех инициатив цифровой трансформации компании.

Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть» и номинант премии CDO Award 2021, рассказывает о масштабном проекте выстраивания корпоративной функции управления данными: как это начиналось, к чему пришли сегодня и какие задачи стоят на ближайшее будущее.

Данные в основе цифровой трансформации

— Каковы предпосылки для создания функции «Управление данными» в «Газпром нефти»? С чего вы начинали?

Одной из главных предпосылок стало создание стратегии цифровой трансформации компании. В 2018 году в «Газпром нефти» начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными.

Перед нами стояли задачи формирования методологии, выстраивания процессов и встраивания их в регулярную деятельность подразделений для обеспечения максимальной ценности от использования данных. Также требовалась реализация инструментальной поддержки при помощи внедрения платформы управления данными, формирование нового семейства центров компетенций и широкомасштабное обучение.

Совместно с компанией McKinsey нами был реализован проект по формированию концептуальной модели управления данными. В результате были определены ключевые принципы, цели и задачи функции управления данными, основные КПЭ, определяющие ее эффективность, процессная и организационная модели, необходимые компетенции и инструментарий.

С точки зрения приоритетов в первую очередь необходимо было обеспечить прозрачный и быстрый доступ к качественным данным для бизнес-пользователей. В компании огромный объем информации, которая хранится и обрабатывается в более чем тысяче бизнес-систем. Пока система работы с данными настраивается, информация еще существенно разрозненна, что затрудняет оперативный анализ и принятие решений на ее основе. Работы по интеграции данных и активное строительство корпоративного хранилища дают первые результаты. Раньше в отсутствие централизованной точки доступа каждый пользователь вынужден был запрашивать права на чтение данных владельцев отдельных бизнес-систем, что сильно ограничивало возможности работы с данными. В настоящее время реализуется доменная модель организации доступа к данным, которая существенно продвинет компанию в области демократизации данных и ускорения процессов их обработки. Кроме того, мы уделяем особое внимание таким направлениям деятельности, как повышение уровня доверия к данным за счет увеличения их качества, а также формирование ответственности за данные.

— Какое место занимает функция «Управление данными» в оргструктуре компании?

Мы активно сотрудничаем с ИТ-кластером компании и ее подразделением цифровой трансформации. Разрабатывая с McKinsey концепцию управления данными, мы рассматривали различные варианты расположения нашей функции в организационной структуре и сочли наиболее удачной модель, в соответствии с которой функция войдет в состав подразделения, ответственного за вопросы экономики и финансов, поскольку в нем уже накоплен серьезный опыт работы с данными, а сотрудники имеют хорошее представление о потребностях в данных других подразделений.

— В «Газпром нефти» работа по управлению данными на уровне подразделений уже ведется. Например, лауреатом премии CDO Award 2020 в номинации «За обеспечение качества данных» стал Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж. Каким образом вы, строя глобальную корпоративную функцию «Управление данными», учитываете наличие таких процессов, разный уровень зрелости подразделений с точки зрения работы с данными?

Компания реализует федеративную модель управления данными: определенные задачи решаются на уровне корпоративного центра, и есть направления, которые развиваются в дочерних подразделениях, а затем их лучшие практики тиражируются на всю компанию.

В «Газпром нефти» создана специальная система коллегиальных органов, которая унифицирует и оптимизирует процессы управления данными в разных подразделениях. Управляющий совет по данным определяет стратегию в области управления данными, приоритизирует задачи в рамках реализации дорожной карты, принимает наиболее важные решения по развитию функции. Экспертный совет призван решать прежде всего вопросы методологии, выявлять лучшие практики для их дальнейшего тиражирования. Технический совет отвечает за выбор ИТ-инструментов, обеспечивая целостность архитектуры управления данными, и регулирует, какие технологические решения реализуются на уровне корпоративного центра, а какие можно эффективно воплотить в жизнь на уровне бизнес-подразделений.

На корпоративном уровне сосредоточены процессы data governance, в частности управление бизнес-глоссарием и каталогом данных. Мы создаем нашу википедию по данным компании, так называемый единый источник правды о данных. В рамках развития платформ на корпоративный уровень поднимаются также отдельные решения, реализованные бизнес-блоками, что позволяет быстрее и эффективнее их использовать для оптимизации процессов на уровне всей компании.

Вначале — методология

— Как формировалась методология управления данными?

Мы начали с методологии, потому что понимали, что пока не будет сформирована модель процессов и детально проработаны артефакты управления данными, тиражирование в рамках компании невозможно. Первым шагом стала разработка процессной модели, в основе которой лежат свод знаний по управлению данными DAMA DMBoK и лучшие практики передовых компаний России и мира. Затем мы конкретизировали ее с помощью так называемых кратких руководств, определяющих порядок процессов и роли в них. Следующим шагом стало формирование детальных стандартов и регламентов, являющихся базисом методологии.

Создание методологии идет параллельно с разработкой корпоративной системы управления данными. Задача состоит в том, чтобы сначала описать целевой процесс, а затем найти инструмент, который обеспечит его гибкую реализацию. Многие действуют в обратном порядке: выбирают коробочное решение и под него настраивают процессы. Наш путь более сложный, но более правильный, мы под методологию настраиваем инструменты.

— Какие процессы управления данными у вас есть?

Процессная модель включает в себя семь блоков процессов. Первый процесс — организация управления данными, в основе которой лежит доменная модель. Домены данных — это предметные области работы с данными, определяющие границы ответственности за данные. Процесс организации управления данными описывает ключевые роли, такие как ответственный за домен, администратор домена, бизнес-эксперт. Кроме того, в рамках данного процесса детально описывается, как формируется спрос на данные в домене.

Следующий блок процессов — управление структурными элементами данных, включающий такие ключевые направления, как управление архитектурой данных, управление НСИ, управление репозиторием метаданных.

Блок управления жизненным циклом данных описывает все, что касается движения данных во времени, включая определение требований к регламентным срокам поставки и интеграции данных.

В отдельный блок выделен процесс управления неструктурированной информацией, в его рамках успешно реализован проект корпоративного поиска и анализа контента. Корпоративный поиск очень востребован, с его помощью более 17 тыс. сотрудников получают доступ к более чем 6,5 млн документов.

Следующий и один из наиболее важных составных элементов модели — процесс управления качеством данных, обеспечивающий доверие к данным бизнес-пользователей.

Процесс управления хранилищем и BI и продвинутая аналитика логично завершают процессную модель и формируют основную ценность принятия решений на основе данных.

— В каком статусе находятся процессы: описаны, реализованы?

Практически все процессы функционируют. Их внедрение в операционную деятельность происходит поэтапно. Мы определили пилотные домены данных, где внедрили процессы в первую очередь. Для этого была сформирована целостная программа управления данными, включающая семь проектов, охватывающих девять пилотных доменов. Три домена связаны с коммерческой деятельностью по сбыту нефтепродуктов; четыре домена покрывают процессы текущего и капитального ремонта скважин и интегрированного планирования добычи нефти, добычу на шельфовых активах; домены производственной безопасности и управления персоналом относятся к общекорпоративным функциям.

В настоящий момент мы получили результаты по пилотным проектам и начали масштабировать их на домены так называемой второй волны.

— Какие выводы были сделаны по результатам пилотной программы?

На пилотных доменах мы сформировали ключевые артефакты управления данными, научились выявлять и определять спрос бизнеса на данные и даже научились иногда данные бизнесу «продавать» (показывать ценность на реальных кейсах и задачах). По итогам проделанной работы мы поняли, что, во-первых, успех управления данными в огромной степени зависит от уровня зрелости бизнес-подразделения, а во-вторых, этот уровень изменяется со временем. Не только мы нарабатываем опыт как функция управления данными, но и в подразделениях, которые участвуют в пилоте, существенно растет уровень понимания значения данных и процессов работы с ними.

Поэтому основную задачу мы видим в том, чтобы повысить уровень зрелости бизнеса в отношении данных. Если у бизнеса есть осознанный запрос на данные, все остальное — дело техники.

— Организационная модель функции «Управление данными» — в чем ее задача?

Организационная модель определяет взаимодействие между бизнес-подразделениями, функцией управления данными и ИТ-кластером: три больших блока, в каждом из которых требовались определенные преобразования с точки зрения выполняемых функций. В бизнес-подразделениях появились новые роли: ответственные за данные, администраторы доменов и т. д. Со стороны управления данными сформирован целый набор функций, реализованных либо в качестве сервисов, либо в рамках проектной деятельности. Организована совместная работа с коллегами из цифровых и ИТ-подразделений, которые помогают нам в развитии инструментов управления данными.

Организационная модель также описывает, как формируется команда внутри функции управления данными — на уровне корпоративного центра и на уровне основных бизнес-подразделений, каким образом реализуется кросс-функциональное взаимодействие специалистов, как обеспечиваются накопление и развитие компетенций.

— Какое обучение и для кого потребовалось при формировании функции «Управление данными»?

По обучению у нас идет очень активная работа. Совместно с Высшей школой экономики мы разработали модуль по управлению данными в рамках образовательной программы по цифровой трансформации для топ-менеджеров. Нам удалось собрать сильную команду спикеров — экспертов рынка, в том числе я сама с удовольствием приняла участие в этой программе в качестве спикера. В следующем году этот курс может стать доступным для менеджеров других компаний.

Кроме того, сформированы различные программы внутреннего обучения. Сотрудники функции управления данными (более 170 человек) уже прошли как минимум один тренинг по инструментам, в настоящий момент идет обучение в части методологии и сертификация ключевых сотрудников функции по DAMA DMBoK.

В этом году мы планируем запустить программу для бизнес-пользователей — Школу аналитики в рамках факультета цифровой трансформации корпоративного университета «Газпром нефти». Это входит в план работ кафедры управления данными и бизнес-аналитики, созданной в 2020 году. Кроме того, для сотрудников бизнес-подразделений, которые занимаются работой с данными, создаются видеокурсы по различным компонентам управления данными, которые станут обязательными элементами программ корпоративного университета.

«В 2018 году в "Газпром нефти" начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными»

Платформа управления данными

— Ваша корпоративная платформа управления данными называется Reporting HelpDesk (RHD). Всего лишь HelpDesk? Не принижает ли такое название значимость решения?

Да, мы тоже поняли, что переименование назрело. Проект начинался два года назад с сервиса отчетности, но сейчас это уже полноценная платформа управления данными, интегрирующая множество инструментов. Очевидно, что название не отражает масштаба решения.

— Какие задачи решает платформа, из каких блоков она состоит?

Фронтенд платформы — это бизнес-глоссарий, построенный на базе системы Alteryx. Основная цель глоссария — реализовать процесс know your data, обеспечить прозрачность всех данных, которые есть в компании. Решение представляет собой комплексный каталог, который наполняется данными по доменам, поддерживает внутренние потоки работ по сбору и описанию данных, делает доступной информацию по их уровню качества. Предполагается также интеграция с внутренним порталом для сотрудников, что позволит распространять методологическую информацию по управлению данными по всей компании, а также сделает доступным процесс заказа дата-сервисов.

Бизнес-глоссарий интегрирован с каталогом технических метаданных на базе решения Informatica Enterprise Data Catalog, благодаря чему в бизнес-глоссарии отображаются потоки данных (data lineage) и процесс трансформации данных.

Отдельный блок платформы представлен инструментом оценки качества данных, реализованным с помощью Informatica Data Quality. Оценка качества интегрирована с общекорпоративным журналом результатов проверок качества данных, который, в свою очередь, передает информацию о зафиксированных нарушениях правил качества в корпоративную платформу управления инцидентами. В рамках этого компонента платформы выполняются процессы управления инцидентами и управления проблемами качества данных.

Функции бизнес- и продвинутой аналитики реализуются с использованием инструментов SelfService BI на базе Qlik с возможностью доступа к данным через каталог, обеспечивают формирование дашбордов, генерацию отчетности по запросу и т. д.

Платформа интегрируется с корпоративной системой управления НСИ на базе «1С», а также с корпоративным поиском, который, в свою очередь, позволяет обрабатывать неструктурированные метаданные.

Таким образом, в рамках реализации проекта RHD мы развиваем платформу, представляющую собой комплексную систему управления данными.

— Есть ли уже примеры того, как использование бизнес-глоссария — «узнавание своих данных» — стимулировало бизнес на новый аналитический проект?

Конечно. Например, описание данных в домене коммерческой деятельности позволило существенно повысить эффективность реализации нефтепродуктов за счет получения оперативной и достоверной информации в части детализации по контрагентам, каналам продаж и т. д.

В домене производственной безопасности с использованием сервисов цифровой платформы (PaaS) «Газпром нефти» по интеграции и анализу данных реализуются инструменты для анализа барьеров безопасности. Барьер безопасности — это информация о том, где может быть нарушено правило безопасности, к чему это приведет, как этого можно избежать. Описание барьера с помощью данных и визуализации в дашбордах позволяет максимально приблизиться к автоматизированной системе предотвращения происшествий.

Все внимание — качеству

— Важный процесс управления данными — обеспечение их качества. У вас есть реестр бизнес-правил, которые переводятся в реестр технических правил качества данных. Как это делается и что дает?

С помощью бизнес-правила описывается требование бизнеса к элементу данных. Например, сотруднику Блока производственной безопасности необходимо предоставить информацию по номерам транспортных средств, которые выезжают на нефтепромысел, с детализацией по времени, чтобы можно было отследить нарушителей. На языке бизнеса требования сформулированы следующим образом: для поля «номер автотранспортного средства» должна быть доступна информация в разрезе времени, когда транспортное средство работало на месторождении. Затем эта информация переводится в язык технических правил при помощи Informatica DQ, то есть создается код технической проверки на наличие в данном поле данной информации. Благодаря процессу мониторинга качества данных мы можем отследить, когда была проведена проверка этих данных, сколько инцидентов выявлено на определенном датасете, в какой период времени произошли инциденты и т. д.

— Использование процессов управления инцидентами и проблемами в качестве данных — ваше ноу-хау или это распространенный подход?

Это классическая реализация процесса качества данных. Сначала необходимо найти инциденты, то есть нарушения качества, затем — понять, кто их может устранить, то есть определить производителей данных, ответственных за их состояние. И после этого обеспечить решение инцидента, иначе уровень качества останется неизменным. Не могу сказать, что внедрение такого подхода идет легко. В каждом отдельном домене разработка планов по повышению качества данных имеет свои особенности. Основная задача — определить, что можно сделать для того, чтобы повысить качество приоритетных для бизнеса элементов данных.

— В компании огромное количество источников данных. Какие из них создают наибольшие сложности?

Я бы прежде всего назвала ландшафт SAP: он у нас достаточно сложный, с жесткими условиями по интеграции, что создает дополнительные требования и условия для внедрения инструментов управления данными. Например, необходимы специальные коннекторы, чтобы считывать метаданные. Это непростая задача, но мы нашли подход к ее решению и сейчас уже хорошо понимаем, как работать с метаданными для этих систем.

Второй по масштабу ландшафт в компании представлен платформой «1С», для которой нет типовых решений от вендора по сбору метаданных, поэтому также требуется разрабатывать индивидуальный подход.

Достаточно большое количество источников данных в компании представлено MES-системами, для них мы только начинаем прорабатывать вопросы управления данными. Действительно, источников данных в компании множество, между ними много различий, и каждая группа систем требует своего подхода.

— А каков вклад бизнес-пользователей в обеспечение качества данных?

Появилась новая роль — ответственный за данные. Матрица ответственности за данные — отдельный артефакт качества данных, в котором отмечено, что за определенные данные в этом дочернем обществе отвечает конкретный сотрудник. И это очень важная история, потому что процесс управления инцидентами качества привязан именно к ответственному за данные: он совместно с аналитиком по качеству данных разбирается с инцидентами, может оперативно получать информацию, а если есть причины для недовольства его работой с данными, то делает выводы и оперативно принимает меры по повышению качества данных.

— С другой стороны, у бизнес-пользователей есть возможность самостоятельно строить аналитические приложения — SelfService BI. Насколько широко применяется этот механизм?

В подразделении, которое отвечает за логистику, переработку и сбыт продукции, инструменты SelfService BI подключены к хранилищу, и пользователи получили возможность из портала работать с разнообразными датасетами. Сейчас мы занимаемся донасыщением источников данных для SelfService BI в рамках интеграции с корпоративной платформой анализа данных, а также SAP BW, интегрируя огромный объем самых критичных для бизнеса данных.

— Можно ли сказать, что в результате ваших усилий по внедрению управления данными существенно расширился круг людей в компании, которые работают с данными, получают от них эффект и несут за них ответственность?

Безусловно, это так. Прежде всего в пилотных доменах.

Первые итоги и большие планы

— Каковы результаты вашего проекта на данный момент? Дает ли функция «Управление данными» экономический эффект?

Экономический эффект, безусловно, есть. Уровень экономической эффективности, достижение которого обеспечивает программа по управлению данными, сравним с показателями эффективности других инвестиционных проектов компании.

Главный результат — функция «Управление данными» участвует в формировании фундаментальных процессов в рамках цифровой трансформации «Газпром нефти». Первый год реализации стратегии цифровой трансформации обеспечил компании 7,2 млрд рублей экономического эффекта, в этом есть и наш вклад.

Но впереди у нас большой путь. По каждому из ключевых направлений программы по управлению данными (методология, инструменты, внедрение в регулярную операционную деятельность бизнес-подразделений, коммуникации и обучение) реализуется дорожная карта. Масштаб работ огромный, поскольку компания большая и диверсифицированная. Мы рассчитываем на то, что активное внедрение технологических инструментов позволит в ближайшее время осуществить прорыв в масштабировании функции «Управление данными».

— Каковы сроки реализации дорожной карты?

Около 40% доменов данных будут охвачены функцией «Управление данными» до конца 2021 года, а 100-процентное покрытие ожидается к 2023 году.

— Насколько важен для отрасли ваш опыт в управлении данными?

Пока уровень развития управления данными существенно выше в банках и в розничной торговле. Промышленность только начинает двигаться в этом направлении. Мы обмениваемся опытом с большим количеством производственных компаний, также переосмысливаем наработки финансовой отрасли и ретейла, чтобы применить их в своей практике. Так что в определенном смысле мы — одни из первопроходцев.

Снижение уровня бедности — крайне важная для всего мира задача, находящаяся на повестке дня и в России, и на международном уровне. Эту проблему не решить без наличия оперативных и достоверных данных о реальных людях, нуждающихся в помощи, без анализа их профиля и местонахождения.

Внедренное в Ростовской области решение, направленное на борьбу с бедностью (оно стало одним из победителей конкурса World AI&Data Challenge в 2019 году), позволило создать портреты малообеспеченных семей с максимальной декомпозицией их характеристик, а также выстроить «тепловые карты» малоимущих граждан на основе обезличенных данных телеком-операторов. Такое решение дает возможность сконцентрировать меры социальной поддержки в тех районах, которые в этом больше всего нуждаются. Результаты такой работы по анализу данных помогли расширить направления использования социального контракта — одной из мер, которая поможет семьям справиться с временными трудностями. Использование внедренного решения позволило заметно увеличить число семей — до более 10 тыс., — которые улучшили свое материальное благополучие.

О подходах к реализации этого проекта рассказывает Антон Алексеев, советник губернатора Ростовской области и номинант премии CDO Award 2021 .

— Как зарождается data-driven-подход в регионе , откуда растет интерес к работе с данными?

Сегодня управление на основе данных — уже не просто модное направление, а требование времени, необходимый минимум для работы современных государственных служащих. В Ростовской области в 2019 году были запущены первые проекты по теме цифровизации, которые можно обозначить в совокупности как «образовательный компонент» цифровой трансформации, начатой в области. Так, мы среди первых пяти субъектов в России провели обучение государственных и муниципальных служащих основам цифровой трансформации, и уже по результатам «первого подхода к снаряду» около 350 человек из всех уголков региона были вовлечены в тему «цифры».

Затем такая работа стала выполняться на системной основе, и для повышения ее эффективности были проведены профильные мероприятия для образовательных, общественных и коммерческих организаций региона для вовлечения их представителей в цифровую повестку. Одной из важных реперных точек в этом смысле стало проведение «цифровой прокачки региона» совместно с АНО «Цифровая экономика» в марте 2020 года, результаты которой даже позволили наработать основу для дорожной карты цифровой трансформации области. К слову, в 2020 году цифровые активности региона и его сообществ не остались незамеченными в информационном пространстве на уровне страны: в декабре, по итогам всенародного голосования по Премии Рунета, Ростовская область была признана «самым цифровым регионом», а Ростов-на-Дону получил звание «народной ИТ-столицы России».

— Какие проекты, связанные с аналитическими сервисами, реализуются? Что было сделано за последнее время?

Подход к управлению с помощью данных, конечно, требует реинжиниринга многих процессов, выполняемых в государственном секторе. К этому добавляются не менее важные вопросы: необходимость перестройки привычных подходов служащих к работе (вплоть до отказа от определенных практик), изменение культуры самой работы, модернизация оборудования, повышение цифровой грамотности и многое другое. В совокупности все это накладывает определенные временные рамки на внедрение проектов и сервисов, связанных с аналитикой.

Вместе с тем в регионе уже внедрены интересные практики, которыми хотелось бы поделиться. Например, это задача анализа профиля малоимущих граждан, которую команда правительства региона поставила перед собой в 2019 году. В 2020 году решение по этой теме заняло первое место в конкурсе внедрения цифровых решений Datamasters, проводимого Агентством стратегических инициатив.

Или, например, созданная у нас платформа для поддержки социально ориентированных некоммерческих организаций «Живые НКО» ресурсного центра «Атлас НКО». Платформа на основе алгоритмов нейросети, используя открытые данные, дает рекомендательную оценку работы социально ориентированных НКО. Такая оценка может во многом облегчить работу отдельных фондов и органов исполнительной власти и исключить ситуации финансирования неблагонадежных организаций. Проект стал победителем международного конкурса АСИ World AI & Data Challenge и заинтересовал другие регионы. Внедрения ждут, например, Республика Коми, Свердловская, Иркутская и Новосибирская области.

— Как строились процессы по борьбе с бедностью раньше? На основе каких данных принимались решения?

В Министерстве труда и социального развития Ростовской области на основе информации из разных источников был сформирован реестр малоимущих граждан. У сотрудников министерства родилась идея внедрить в работу современный подход, основанный на управлении данными, чтобы выявить всех нуждающихся в помощи граждан. Внедренное решение позволило выстроить «тепловые карты» на основе обезличенных данных телеком-операторов, и это помогло расширить направления использования социального контракта, благодаря чему заметно увеличилось число семей, которые улучшили свое материальное положение.

Подчеркну, что данные для работы были предоставлены именно в обезличенном формате, без персональных данных, от телеком-операторов при непосредственной поддержке Центра цифрового развития АСИ. Дополнительно использовалась релевантная информация из ведомственной информационной системы.

— Что не устраивало в сложившейся ситуации?

Уверен, что сегодня государство должно выступать проактивно, не дожидаясь обращения граждан. Необходимо приходить к нуждающимся с предложением поддержки и помощи, особенно к тем, кто живет в населенных пунктах, отдаленных от регионального центра. Созданное решение позволило выявить территории, где инструмент социального контракта можно использовать особенно эффективно. С помощью полученных данных были построены маршруты выездных приемов органов социальной защиты.

По результатам аналитики данные передаются и в управление службы занятости, чтобы скорректировать выделяемые муниципальным образованиям денежные средства на организацию профессиональной переподготовки соискателей вакансий. Или, например, эти же данные использует министерство здравоохранения области для выделения квот на оказание высокотехнологичной медицинской помощи.

— Какова цель реализованного проекта по борьбе с бедностью?

У этой инициативы прозрачная цель — подсветить на «тепловых картах» нуждающихся в поддержке граждан. На основе полученных данных можно принять взвешенное управленческое решение. Основной эффект — это более 10 тыс. семей, вышедших из-за черты бедности в особенно непростой 2020 год. Такой результат был достигнут именно благодаря цифровому решению по анализу профиля бедности. Оценить эффект на начальном этапе не представлялось возможным, однако каждая семья, получившая поддержку, — очень важный «кирпичик» в фундаменте работы по социальной защите в регионе.

Важно, что решение непосредственно помогает решить задачу по снижению уровня бедности в два раза до 2024 года, определенную президентом России в рамках национальной цели «Сохранение населения, здоровье и благополучие людей». Кроме того, руководство Министерства труда и социальной защиты РФ уделяет особое внимание социальным контрактам. Именно этот вид помощи от государства предполагает активные и продуманные действия получателей — то есть желание самой семьи выйти из-за черты бедности. В этом смысле реализованное решение синхронизировано с федеральной повесткой.

— Почему для эффективного использования социальных контрактов важен анализ данных о малоимущих?

Количество получателей помощи с использованием соцконтракта каждый год растет. Увеличивается и количество желающих заключить соцконтракт. Финансирование на 2020 год повышено в два раза на основе расчета реальной потребности граждан. Нуждающиеся видят не только необходимость этой меры, но и желают брать на себя обязательства, предлагают возможности расширения направлений соцконтрактов.

Данный вид помощи подразумевает не только получение денег, но и ответственность за выполнение взятых семьей обязательств. Примерами таких обязательств можно назвать выполнение какой-либо оплачиваемой работы или получение дополнительного образования, ответственное социальное поведение. И очень важно выявить всех, кто хотел бы и мог воспользоваться данным инструментом. Поэтому анализ всех возможных данных для повышения эффективности этой работы очень важен, как важен и каждый гражданин.

— Какие варианты решения проблемы рассматривались? Вероятно, помимо участия в World AI&Data Challenge в качестве постановщика задачи, были и другие варианты…

Конкурс действительно состоял из нескольких этапов, первым из которых было соревнование по постановке задач, в котором победила наша инициатива. Затем уже команды со всей России вместе с заказчиком пробовали реализовать идею, и команда Счетной палаты города Москвы предложила самое интересное решение. Оно построено на открытом исходном коде, поэтому, по сути, при внедрении данного продукта не требуется проводить никаких закупок. Решение предоставляет возможность подключаться к локальным или облачным базам данных и обеспечивает инструменты по их анализу и визуализации. На третьем этапе конкурса внедрений наша общая команда смогла занять первое место в России.

Конечно, в отсутствие возможности участия в конкурсе АСИ, вполне могло быть найдено и иное решение ситуации. Однако, в связи с известными ограничениями по финансированию таких инициатив внутри госструктур, а также из-за необходимости выдерживать установленные регламенты, лучшего подхода для достижения результата было бы и не придумать. Отмечу, что сам проект по духу больше сопоставим с идеями из стартап-культуры, где допускаются множественные итерации, ошибки, спринты и тестирование гипотез.

— В чем заключалась самая большая проблема при внедрении решения?

Такие проекты требуют использования agile-подходов в их реализации, в связи с чем сталкиваются с рядом бюрократических барьеров при внедрении в среде государственных органов. Кроме того, в задачах, связанных с управлением на основе данных, многое зависит от количества, качества и актуальности верифицированной информации в датасете. В связи с этим один из базовых вопросов — возможность постоянного пополнения данных и количество источников такой информации.

— Как известно, критически важно адекватно встроить умные сервисы в процессы принятия решений. Как пришлось перестроить процессы органов социальной защиты, что изменилось?

С этой точки зрения процесс внедрения в работу ответственных структур был максимально бесшовным, так как по сути улучшался используемый инструмент — реестр малоимущих граждан в регионе.

— Есть ли возможность развития созданной платформы? Например, при появлении новых источников данных или новых направлений деятельности?

Конечно, в идеальной картине мира необходимо больше источников информации и требуется гармонизация имеющихся у государства баз данных. Для получения всестороннего портрета семьи, например, необходимо получать сведения от многочисленных государственных органов: Пенсионного фонда, Федеральной налоговой службы, служб занятости, органов управления в сфере образования, медицины. Тогда диаграмма доходов-расходов семьи будет более достоверной и мы точно сможем учесть каждого нуждающегося в поддержке и в проактивном формате предложить ему помощь. Для нас важен каждый.

Чтобы оперативно принимать решения на основе данных, необходимо вовлечь в работу с ними как можно больше сотрудников. Какие шаги предприняли в Сбере, чтобы быстро и с разумными затратами проверять различные гипотезы, находить эффективные решения и за считанные часы вводить в эксплуатацию модели на базе машинного обучения? Как на платформе «Фабрика данных» появилось «Рабочее место D-people» и что за этим последует, рассказывает номинант CDO Award 2021 Борис Рабинович, CDO Сбербанка, старший управляющий директор, директор департамента управления данными Сбербанка.

- Как зарождался data-driven-подход в Сбере?

После того как мы поняли, что с текущими темпами роста наших объемов данных масштабировать текущую архитектуру будет очень дорого, было принято решение о запуске программы создания «Фабрики данных». В рамках этой программы была разработана новая, современная архитектура, принята политика управления данными, внедрены функция и вертикаль CDO, началась проработка централизованных политик управления корпоративными данными и качеством данных.

- Чем занимается ваш департамент?

Миссия департамента — создание эффективной и доступной для всех подразделений банка среды работы с данными. Он отвечает за разработку, внедрение и сопровождение платформы, а также за управление корпоративными данными.

По смыслу и платформа, и департамент разделены на этапы жизненного цикла данных: загрузка, внутренняя обработка, предоставление данных. Отдельные классы задач — работа с интегрированными данными и сопровождение в режиме 24x7.

Поначалу программа создания «Фабрики данных» воспринималась бизнесом как пассив и факультативная нагрузка, поскольку платформа развивалась в соответствии с приоритетами, поставленными в основном технологическим блоком. Чтобы изменить это отношение, мы поменяли парадигму — пошли от задач бизнеса: определили ключевые проекты бизнес-блоков, связанные с данными, разобрались, что требуется от платформы этим проектам, сделали бэклог задач, привязанный к вехам этих проектов, распределили такие задачи по командам в департаменте и включили в эти команды представителей бизнес-блоков. Кроме того, мы ввели понятие «поколение платформы». Каждая смена «поколений» характеризуется качественным скачком, произошедшим в результате запуска ключевых бизнес-проектов.

В течение двух лет мы организовали подключение к платформе более 250 источников данных, выстроили инструменты для конкретных пользователей. Сейчас каждый третий трайб (группа команд. — Прим. ред. ) имеет на платформе свои решения. Количество решений выросло с 12 на конец 2019 года до 90 на конец 2020-го. Это масштабные аналитические системы, каждая из которых решает множество задач.

- Что собой представляет «Фабрика данных»?

Это платформа, которая на данный момент состоит из более 100 элементов и сервисов, таких как компонент загрузки данных в реальном времени, журналирование действий пользователя, аудит, проверка прав доступа, карта данных как средство навигации, механизм проверки качества данных, механизм распространения данных и т. п. Все эти процессы увязаны и работают так, чтобы в нужное время в нужном месте у наших клиентов были данные и решения. Часть платформы — промышленная область, где процессы выполняются без участия людей (по расписанию и для интеграции с внешними системами). Другая часть связана с процессом разработки, будь то инженерия, создание отчетов, аналитика или задачи data science.

- В чем заключается политика Сбера в работе с данными?

Политика по управлению корпоративными данными — это утвержденный правлением банка нормативный документ, свод правил, вокруг которого выстраиваются организационная вертикаль CDO, набор процессов управления данными, роли, их функции и взаимодействие друг с другом (CDO банка и блоков, владельцы предметных областей, менеджеры данных, дата-стюарды, дата-инженеры, архитекторы по работе с данными и др.).

Это верхнеуровневый документ, в котором структурированы и описаны ключевые вопросы работы с данными в банке и опорные точки, на которые мы ориентируемся: качество данных, описание данных, владение данными, предоставление прав доступа к данным.

Жизнь не стоит на месте, мы понимаем, какие области надо развивать, и сейчас выходит уже третья версия политики. На 2021 год стоит задача внедрить управление жизненным циклом данных — программу ILM (Information Lifecycle Management), чтобы обеспечить сквозное управление данными на всех этапах — «от рождения до смерти».

У нас не было подхода к «смерти» данных, но сейчас ясно: объем такой, что некоторые данные хранить нецелесообразно — мы их никак не используем, а они занимают место и стоят денег. Особое внимание направлено на все, что связано с конфиденциальными и персональными данными. Мы должны очень четко понимать, где они «живут», как мы их используем и обезличиваем для разных целей применения и как удаляем. Кроме того, все операции с данными необходимо выполнять в строгом соответствии с правилами действующего законодательства в части персональных данных, банковской тайны и других чувствительных данных.

Будет и четвертая версия политики, действие которой распространится на работу с данными не только Сбербанка, но и всей экосистемы. Нет предела совершенству.

- «Кладбище» данных еще не организовали?

Устроить «чердак» данных перед уничтожением — это хорошее предложение, я подумаю. Тема важная, потому что объемы данных Сбера колоссальны. В «Фабрике данных» около 12 Пбайт полезных данных, а с учетом репликаций — около 40 Пбайт. А кроме того, есть еще транзакционные системы, их копии — с ними объемы данных ушли уже далеко за сотню петабайт. Стоит их хранение очень прилично. Поэтому нам предстоит разобраться, нужно ли это хранить и можно ли перевести их хранение из «горячего» в «холодное». Фрагментарно это уже делается, но задача CDO — сделать это системно на уровне всего банка.

- Какие задачи превалируют: направленные на оптимизацию процессов или на создание новых продуктов и сервисов?

У меня три приоритета. Первый и основной — дать возможность бизнесу эффективно реализовывать на платформе все его задачи. Цель каждого из 90 решений — заработать денег и минимизировать потери банка. Второй важнейший приоритет — высочайшие стандарты кибербезопасности платформы. Третий — ее надежность и эффективность. При этом я слежу за тем, чтобы банк получал максимальный эффект, тратя минимальные деньги.

- Какую цель перед собой ставили, начиная работу над проектом D-people?

Ставилась цель — существенно повысить эффективность работы сотрудников D-people (дата-инженеры, дата-сайентисты, дата-аналитики) за счет сокращения времени создания и вывода моделей в промышленную эксплуатацию. Для этого и создавали единое рабочее место. Когда была запущена программа AI-трансформации, в банке появились сотни дата-сайентистов и еще больше дата-инженеров, которые готовят фичи (наборы данных, на которых работают модели. — Прим. ред. ). Если для такой армии созданы оптимальные условия работы (инструменты, доступные данные и пр.), то это в конечном итоге отражается на эффективности компании. Ради этого все и затевалось. Созаказчиком тут выступил розничный бизнес, трайб «Массовая персонализация», возглавляемый Игорем Зарубинским, где сосредоточено большинство D-People розницы.

Основные процессы для исследователей данных — это разработка моделей, анализ их работы, вывод в эксплуатацию и проверка результатов. Но фактически на это коллеги тратили лишь 10–15% времени, остальное занимала рутина — получение инфраструктуры, прав доступа, самих данных, разрешения на вывод модели в промышленную эксплуатацию. В любой крупной организации каждый элемент этой цепочки — длительный процесс. В результате на создание прототипов и проверку гипотез тратились не недели, а месяцы.

- Когда началась работа и какие задачи решали в первую очередь?

Ключевой компонент — лаборатория данных — появился в 2019 году. Это инфраструктура, которая доступна пользователям для прототипирования, проверки гипотез и разработки моделей.

Первая проблема заключалась в длительности процесса получения данных — заказа, получения согласований и разрешений для разовой загрузки данных на сервер. Мы обсудили с коллегами наболевшие вопросы и выяснили, что они хотят концентрироваться на своем ключевом навыке — строить модели, а не тратить время на решение «коммунальных» вопросов.

Разложив процесс работы дата-сайентиста на части — от получения выделенной инфраструктуры до вывода модели в промышленную эксплуатацию, — мы увидели, что проверка одной гипотезы занимает три с лишним месяца. Так жить нельзя!

И мы сосредоточились на том, чтобы многократно ускорить получение результата, выстроив новую цепочку процессов и совместив их с инструментарием, компоненты которого интегрированы друг с другом. Сделали супермаркет данных, позволяющий заказать любые доступные в банке данные.

Товары на «полках» нашего супермаркета — это дата-сеты, построенные на основе копий систем — источников информации, с полным описанием атрибутного состава и другой необходимой информации. К выбранным дата-сетам можно заказать доступ: кладешь в корзину, выбираешь к какому времени они нужны, куда их нужно выгрузить и нажимаешь кнопку «Заказать». Формируется подписка. Данные отгружаются c указанной заказчиком периодичностью. Параллельно в этом же интерфейсе происходит предоставление прав доступа.

Также мы запустили магазин инфраструктуры, где можно выбрать виртуальный сервер необходимой конфигурации — с нужным числом ядер, объемом памяти и «начинкой». Заказываешь — и в течение часа разворачивается Hadoop и создается твой персональный сервер. Специально для тебя! Получается новый клиентский опыт: развернув сервер, заказываешь данные в супермаркете, получаешь права доступа — и эти данные автоматически отгружаются на твой сервер.

На следующем шаге дата-сайентисту нужны инструменты. Поэтому рабочее место D-People наполнено всеми современными инструментами обработки данных (spark, hive и пр.), UI (hue, Jupyter Hub) и библиотеками.

Когда сервер развернут со всеми инструментами и современными библиотеками, дата-сайентист начинает делать фичи и моделировать. Следующая задача — вывести витрину фичей и саму модель в промышленную эксплуатацию. Вывод витрины занимает до недели, но это разовая акция, а вот для вывода самой модели, когда витрина уже есть, мы сделали модельный DevOps, оптимизировав этот процесс до 4 часов.

Таким образом, весь цикл организационной работы дата-сайентиста сжат с трех с лишним месяцев до одного дня.

- Какие источники данных использовались?

Сейчас загружено более 250 внешних и внутренних источников данных плюс внешние справочники. Но гипотетически в банке более 300 централизованных систем, есть и децентрализованные. У дочерних обществ Сбера появляются данные, которые тоже нужны в контуре банка. Поэтому количество источников постоянно растет.

- Какие платформы применяются в работе с данными?

Источниками служат главным образом legacy-системы на базе Oracle, основное хранение данных осуществляется в Hadoop в сборке от Cloudera. С помощью OGG (Oracle Golden Gate) и Apache Kafka мы ежедневно поставляем данные как в пакетном режиме, так и в реальном времени. Движок супермаркета данных и инструмент для загрузки данных — наша собственная разработка на Java, фронтенд сделан на JavaScript. Лаборатория данных обладает динамической инфраструктурой под управлением OpenStack/OpenShift и позволяет динамически развернуть необходимые сборки (Hadoop/Spark/РСУБД), содержащие все нужные инструменты для дата-сайентистов. Инструментарий DevOps AI для прототипирования витрин и моделей с последующим выводом в эксплуатацию строится на стандартном наборе Jenkins, BitBucket, Nexus и прочих решений open source — тут мы ничего не изобретаем.

- С какими сложностями пришлось столкнуться в проекте D-people?

Проблем было несколько: технологическая, процессная и человеческая.

Во-первых, надо было сделать так, чтобы созданные инновационные компоненты стабильно работали с нужной функциональностью и нужными объемами данных. Через это надо было пройти, набить шишек и масштабироваться.

Во-вторых, нужно было поменять процессы банка так, чтобы права доступа и согласования стало возможно заказывать и получать автоматизированно и чтобы все эти механизмы были узаконены. Вывод компонентов в эксплуатацию потребовал изменения регламентов по порядку проведения приемо-сдаточных испытаний и по правилам вывода моделей — это был большой труд.

Но наиболее сложной была человеческая история: необходимо было убедить людей в том, что мы делаем действительно нужные, полезные и перспективные вещи. Добиться, чтобы люди начали доверять созданному нами решению, стали амбассадорами нового бренда и начали «переманивать» коллег выходить из привычных им систем, убеждать их в том, что новое решение эффективнее и за ним будущее.

- Что стало главным достижением этого проекта?

Ключевой эффект — сокращение времени дата-сайентиста на построение модели с трех месяцев до дней. Этот проект обеспечил единое окно к океану данных всему сообществу дата-инженеров и дата-сайентистов. Время доступа к данным сократилось с нескольких недель до часа, получение вычислительных мощностей — с нескольких месяцев до часа. Также инструмент позволил быстро выводить разработанное решение в промышленную эксплуатацию.

- Какие результаты своей деятельности вы считаете главными и как оцениваете свою роль в реализуемых проектах банка?

Первый результат — команда, второй — передовая платформа.

Одним из ключевых изменений стало новое представление о «Фабрике данных» в банке. Мы внедрили совместную ответственность за части платформы тех бизнес-блоков, которые наиболее заинтересованы в результате или создании того или иного компонента. Например, за компоненты загрузки и распространения данных совместно с блоком технологий отвечают розничный и корпоративный блоки. Во главу угла были поставлены проекты, приоритетные для бизнес-блоков. Мы разбираемся до «винтиков» в том, что нужно сделать, чтобы этот проект «полетел», и устанавливаем для команд сроки, чтобы обеспечить бизнесу нужную функциональность в нужное время. В итоге и у сотрудников, и у руководства сложилось другое представление о платформе.

Помимо благодарности контрагентов, для меня мерилом успеха является число клиентов и количество решений, которые запускаются на платформе. Если бы клиенты не были удовлетворены, то к нам не приходили бы новые пользователи. А я вижу очень высокий спрос, и это для меня важный результат.

- Как платформа будет развиваться дальше?

Количество требований к платформе возросло за год с 250 до 750. В стратегии до 2023 года обозначены задачи, связанные с надежностью уже запущенных инструментов, которые нам предстоит поддерживать, c ростом количества источников и подписок. Кроме того, для улучшения клиентского опыта мы внедряем еще одно цифровое решение — рабочее место аналитика. Так как практически каждый сотрудник банка работает с отчетностью и данными, мы хотим, чтобы у любого из них был инструмент, с помощью которого он может видеть аналитику своего подразделения и делать отчеты.

Данные генерируются во все больших объемах, и выигрывает тот, кто максимально оперативно реагирует на события. Учитывая быстрый рост экосистемы, мы хотим перейти на работу в реальном времени и иметь возможность реагировать на миллионы транзакций. Мы поставили цель — обеспечить обработку более 10 млн транзакций в секунду (это события, которые генерируют наши клиенты во всех каналах одновременно). Поверх этих данных будет выстраиваться рекомендательная система реагирования на действия клиента во всех каналах.

Следующее направление — оптимизация, уменьшение стоимости инфраструктуры и переход на собственные сборки программных продуктов. Мы сделали свою сборку стека Hadoop, назвали ее Sberbank Data Platform, также будет собственная сборка реляционной БД Greenplum. Такие сборки при наших объемах данных позволят существенно снизить стоимость инфраструктуры.

Еще одна тема, как я уже говорил, — внедрение концепции управления жизненным циклом информации.

- А каким вы видите дальнейшее развитие проекта D-People?

Одна из перспективных задач — вывод всей платформы в SberCloud (SberCloud — это наш облачный провайдер). Мы хотим вывести платформу как набор интегрированных друг с другом дистрибутивов, чтобы дать возможность нашим дочерним компаниям строить на них свои решения. Рабочее место D-People — основной компонент облачной платформы, который позволит любому сотруднику загрузить свои данные и выполнить свою задачу. Эта инфраструктура уже до конца текущего года станет доступна внешнему миру.

Ступени CDO Борис Рабинович более 15 лет проработал в консалтинговых организациях, отвечая за такие области, как внедрение хранилищ данных, отчетность, системы управления справочниками. Позднее, в компании «Сбербанк Технологии», он возглавлял центр компетенции BI, затем — департамент BI и больших данных. При реструктуризации перешел в Сбербанк на должность руководителя управления загрузки данных. Летом 2019 года Борис стал директором департамента управления данными, и сегодня как CDO Сбербанка он отвечает за все централизованные функции по работе с данными банка и за программу создания «Фабрики данных».

В России в настоящий момент есть острая потребность в квалифицированных менеджерах, способных возглавить работу с данными. Это подтверждает опыт компании BSSG, специализирующейся на управлении данными и организующей обучение руководителей CDO/CDTO.

Почему компании стремятся управлять данными, как они решают проблему подготовки CDO и кого назначают на эти должности, рассказывает Юрий Клочко, управляющий партнер компании BSSG и номинант на премию CDO Award 2021 .

- По вашим оценкам, насколько велик интерес российских компаний к управлению данными?

Российские компании долгое время игнорировали необходимость выводить управление данными в отдельную корпоративную функцию (Data Governance), ограничиваясь исключительно некоторыми практическими областями: управление мастер-данными, управление контентом и построение аналитических систем. Исключение составлял финансовый сектор, где управление данными было институциализировано как норма соответствия соглашению Базельского комитета по банковскому надзору — «Базель III», которое вышло в 2010 году.

Радикальные изменения произошли, когда российские компании начали реализовывать масштабные и амбициозные программы цифровой трансформации: интерес к управлению данными начал расти лавинообразно. И хотя руководители компаний из различных отраслей экономики по-разному смотрят на управление данными, они ясно осознают: невозможно извлечь ценность из того, чем не управляешь. Сегодня практически все компании из топ-100 организовали отдельные офисы по управлению данными и наняли CDO.

- Что сегодня стимулирует российские компании управлять данными?

В моей практике встречались компании с различной мотивацией.

Вариант первый: топ-менеджеры, стремящиеся «быть в тренде», полагают, что организация, опирающаяся на данные в принятии управленческих решений, более привлекательна для инвесторов. Нередко такие руководители инициируют проведение формальной оценки уровня зрелости управления, чтобы зафиксировать в отчете вывод о том, что их компания опирается на данные и умеет извлекать из них ценность. Впрочем, такой подход встречается в России нечасто.

Другой вариант: у бизнеса, осуществляющего цифровую трансформацию, еще нет ясного представления о том, как извлечь выгоду из имеющихся данных, поэтому руководители изучают опыт других компаний схожего профиля. Менеджеры, отвечающие за цифровую трансформацию, понимают, что под управление данными нужно выделить одну из вертикалей управления. А для того чтобы охарактеризовать качество данных, их вовлечение в транзакции и т. п., определяют основные целевые показатели. В общем, они пытаются начать работать с данными как с активом компании.

Наконец, третий вариант — это «чемпионы», как я их называю. Это организации, которые считают свои способы применения данных одним из конкурентных преимуществ, научились извлекать выгоду из данных и понимают все нюансы этих процессов. Они сфокусированы на том, чтобы сделать доступ к данным еще проще, быстрее, шире, использовать данные для обучения моделей ИИ и увеличивать количество процессов, управляемых с помощью таких моделей.

Идея состоит в том, что у многих компаний схожего профиля и процессы схожи. Если сотрудники могут перейти из одной организации в другую, то данные и способы их применения уникальны, разработанные модели крайне плохо переносятся из одной организации в другую. Ощутимое конкурентное преимущество — это именно данные и модели на их основе. Яркий пример «чемпиона» — компания X5 Retail Group. В их департаменте больших данных трудится более 500 специалистов, и это при том, что бизнес X5 — это ретейл, а не ИТ.

- Как меняются потребности российских предприятий в квалифицированных руководителях по управлению данными и как решаются вопросы их подготовки?

В 2018 году на HeadHunter мы наблюдали всего пять-шесть вакансий CDO за весь год. В 2020 году вакансия CDO открывалась раз в две недели. Одновременно с этим стали искать специалистов и на другие традиционные роли в системе управления данными, например стюард данных и инженер по данным. По нашим оценкам, даже в крупных компаниях еще не полностью сформированы команды, отвечающие за данные, а спрос на CDO будет расти еще три-пять лет.

Как я уже сказал, организованная функция управления данными появилась всего несколько лет назад, и взять опытные кадры в России просто неоткуда. Поэтому на должность CDO сегодня ставят в основном сотрудников, имеющих опыт в управлении мастер-данными, нормативно-справочной информацией и аналитикой. Иногда ими становятся разработчики, отвечающие за обработку данных, а иногда — бизнес-руководители, которые пытаются понять, как монетизировать данные. Некоторые компании нанимают экспатов, имеющих опыт управления данными в зарубежных компаниях или их российских филиалах.

Типичные кандидаты на должность CDO — менеджеры-технари. Например, те, кто занимался управлением проектами или руководил отделами ИТ-департаментов. Если помните, в COBIT есть элементы корпоративного управления данными, и если ИТ-менеджеры владеют этими знаниями и навыками, то могут достаточно быстро переквалифицироваться в менеджеров по управлению данными.

- Какие факторы вы считаете главными барьерами на пути подготовки CDO в России?

Главное на сегодня препятствие на пути широкой подготовки CDO, которое я вижу примерно в половине российских организаций, — это то, что руководителями по цифровой трансформации и по данным назначаются сотрудники, недостаточно хорошо владеющие английским языком. Английский язык просто необходим, чтобы расширять знания и следовать зарубежным практикам.

В результате такие сотрудники ищут каналы обучения на русском языке и переводы основных западных сводов знаний и управленческих фреймворков. Предприятия готовы оплачивать обучение на курсах по управлению данными. Такая картина характерна в первую очередь для банков: они отправляют на курсы своих директоров по данным или эквивалентных по рангу руководителей, желающих погрузиться в эту тематику.

Вопрос квалификации CDO сейчас крайне актуален, и в 2021 году мы ожидаем высокого спроса на систему профессиональной сертификации кадров. За рубежом, как известно, есть уже не только учебные курсы по управлению данными, но и сертификация, в первую очередь Certified Data Management Professional (CDMP), предусматривающая три уровня знаний. Такой сертификат является серьезным свидительством компетентности сотрудника, а специалисты, получившие сертификат CDMP верхнего уровня, очень востребованы и легко трудоустраиваются. В 2021 году мы планируем начать подготовку к сертификации CDMP на русском языке. Мы уже ведем переговоры об открытии филиала ассоциации профессионалов в области управления данными DAMA в России, тогда мы сможем и экзамены проводить на русском языке.

- Какими знаниями и компетенциями должен обладать претендент на должность CDO?

Я согласен с предложенной Harvard Business Review системой классификации CDO, основанной на установках и знаниях кандидатов. Они выделяют среди CDO шесть направлений: директор по данным и аналитике, антрепренер данных, разработчик систем данных (Data Developer), менеджер по защите данных, «заведующий данными» (Data Governor) и менеджер по этике данных (Data Ethicist).

Например, директор по данным и аналитике является наиболее распространенной ролью в финансовых компаниях и фокусируется на математическом моделировании и data science. Антрепренер данных развивает основанные на данных продукты, применяя имеющиеся в компании технологии. Для него важно бизнес-образование, продуктовое мышление и ориентированность на продажи. Роль заведующего данными – методолога – распространено в компаниях, находящихся на высоком (4+) уровне зрелости в области управления данными. Менеджер по этике данных актуален для компаний потребительского сектора, где уделяется особое внимание защите персональных данных. Ему может быть полезно, в числе прочего, юридическое образование, опыт PR или GR, а также умение работать с людьми.

В российских компаниях чаще всего можно встретить CDO, которые вышли либо из службы корпоративной аналитики, либо из ИТ-департамента. Сейчас намечается интересная тенденция: появляется серьезный спрос на «антрепренеров» – CDO предпринимательского типа, поскольку практически все промышленные компании взяли ставку на создание коммерческих продуктов, основанных на данных.

- На каких аспектах управления данными концентрируют внимание ваши курсы?

Управление данными в академическом формате (DAMA-DMBOK) — крайне непростая и довольно скучная тема. Поэтому мы стараемся сделать курсы интересными и для представителей бизнеса, и для технических специалистов в области ИТ и науки о данных. Каждый обретает новый взгляд на аспекты управления данными. По форме у нас есть однодневные и многодневные программы, достаточно глубокие для подготовки к сертификации CDMP.

- Что нового и уникального вы предложили вашим слушателям?

Нами была предложена модель жизненного цикла компании в цифровой экономике. В этой модели имеется четыре последовательных стадии – от People Driven Company, где основой компании являются ее сотрудники, до Model Driven Company, в которой основа компании — ее модели.

Мы уверены, что компании, достигающие более высокого уровня зрелости, получают определенное конкурентное преимущество по сравнению с теми, кто находится на предшествующих уровнях. Считаем, что компании неизбежно будут проходить каждую из стадий жизненного цикла, в том числе Data Driven Company — это обязательный и важнейший этап перехода к цифровой компании. И мы показываем нашим слушателям, как на каждой стадии жизненного цикла меняются требования к данным и технологиям их обработки.

- Насколько инновационным вы считаете ваш процесс обучения руководителей по управлению данными?

Мы делаем акцент не на передаче знаний, к которым слушатель может легко получить доступ самостоятельно, а на аспектах мышления «данные первичны» (Data-First): показываем, как смотреть на одни и те же явления с позиции данных, а не процессов.

Приведу пример одной российской компании. Речь идет об электронной площадке, где частные лица могут приобретать и продавать различные подержанные вещи. Создатели изначально построили платформу на основе автоматизации процесса купли-продажи, упустив из виду данные о товарах. В результате продавцы в своих объявлениях каждый по-разному описывали свойства своих товаров, причем на естественном языке. Получалось, что два объявления о продаже одного и того же товара могли оказаться настолько разными, что объединить их в одном поисковом запросе было практически невозможно. Чтобы решить эту проблему, компании пришлось заняться разметкой данных в объявлениях и для этого организовать группу из 200 человек. Если бы изначально был применен подход Data-First, то система была бы разработана так, чтобы клиенты многократно использовали созданные когда-то описания товаров. Тогда объявления можно было бы легко объединять в поисковых запросах, а данные о движении одинаковых товаров было бы гораздо проще извлекать для последующей монетизации.

- Возможна ли эффективная подготовка руководителей по управлению данными с использованием дистанционного обучения?

С нашей точки зрения, любой образовательный процесс можно перевести в онлайн-формат. Вопрос в том, что разработать и осуществлять качественный онлайн-формат совсем не дешевле очного, как многим кажется. В условиях локдауна 2020 года на базе технологий Московской школы управления «Сколково» мы смогли сделать онлайн-формат не менее захватывающим.

- Сотрудничаете ли вы со смежными учебными программами «Сколково» ?

Да, мы участвуем в различных программах Московской школы управления «Сколково». Наиболее значимым для нас является тот факт, что мы разрабатываем и ведем модуль по данным в программе «Управление цифровой трансформацией». Я сам выпускник «Сколково» и использую те подходы и методики, которые лежат в основе всех программ Московской школы управления.

- Как вы оцениваете вклад вашей компании и ваших курсов в решение общей задачи формирования культуры и практики управления данными в России?

Мы стараемся быть проводниками культуры в области данных. Совместно с партнерами мы адаптируем к российским реалиям лучшие международные практики, в том числе переводим на русский язык сложный понятийный аппарат и наиболее важные материалы. В 2019 году мы закончили монументальный проект по переводу на русский язык свода знаний по управлению данными DAMA-DMBOK. В настоящее время у нас локализуются сразу несколько фреймворков по управлению данными.

В компании X5 Retail Group разработали сервис, который поможет покупателям избежать ненужных контактов в продуктовых магазинах: чтобы совершить покупку и быстро покинуть магазин, минуя кассу, потребуется только мобильный телефон. «Экспресс-скан» — система бесконтактных покупок с помощью мобильных устройств. Для подключения к ней нужно скачать приложение для iOS или Android и зарегистрироваться с помощью X5 ID. После этого можно собирать корзину, сканируя штрихкоды товаров с помощью видеокамеры мобильного телефона. Оплатив покупку в один клик через интерфейс приложения, можно смело покидать магазин, не вступая в контакты с людьми.

Запуск сервиса, повышающего безопасность посетителей магазинов, положил начало формированию новой модели покупок в продовольственном ретейле. Впервые в России систему полностью бесконтактных платежей встроили в действующую ИТ-архитектуру и операционные процессы обычных супермаркетов и магазинов «у дома». Как устроена система бесконтактных покупок, с какими сложностями пришлось столкнуться при ее создании и что было самым интересным в этой работе, рассказал номинант премии CDO Award 2021 Иван Мельник, директор по инновациям Х5 Retail Group.

- Как родилась идея сервиса?

Во время первой волны COVID стало очевидно, что люди в очереди боятся заразиться: стараются отвернуться друг от друга и осуждающе смотрят на «чихающую бабушку». Понятно, что им психологически тяжело и нужна помощь. Первой такой помощью стал сервис экспресс-доставки, получивший массовое распространение, но и в офлайн-магазинах помощь тоже требовалась. Когда первая волна пандемии начала спадать, мы обсудили эту проблему с директором «X5 Технологии» Антоном Мироненковым (лауреатом CDO Award 2020. — Прим. ред. ) и пришли к выводу, что в сложившейся ситуации людям крайне важно чувствовать себя в безопасности.

Во время эпидемии покупатели стали заметно больше пользоваться кассами самообслуживания. Если в начале года доля самообслуживания в трафике «Пятерочки» составляла 13–14%, то сегодня — уже 22%. А в некоторых «Перекрестках» и «Пятерочках» этот показатель превышает 50%. Скачок произошел в среднем на 4–5%, и это существенно. Привычки и предпочтения людей начали меняться. Мы поняли, что самообслуживание — правильное направление, востребованное у покупателей, и подумали, как здорово было бы разработать мобильное приложение, в котором можно самому отсканировать товар и оплатить его. Мы решили создать сервис, обеспечивающий полностью бесконтактные, быстрые и безопасные покупки с удобным сканированием и оплатой посредством телефона, без обращения в кассу. И внедрить такое решение не в одном или двух магазинах, успешно отчитавшись о пилоте, а сразу масштабно — для многих сотен торговых точек и миллионов покупателей. Поскольку вторая волна была прогнозируемой, команда проекта работала очень быстро: за три летних месяца сервис прошел путь от идеи до массового применения — невиданная скорость для проекта такого масштаба.

- Какая работа с данными была проделана?

Чтобы покупатель увидел в приложении полную информацию о выбранном товаре (состав, вес, страну производства, калорийность и т. д.), был проделан огромный объем работы по нормализации и систематизации всех описаний и названий в сложносоставных товарных матрицах магазинов. Мы привели их к виду, понятному покупателю. Практически все товары сфотографировали, потому что при сканировании человеку удобно увидеть изображение и понятное описание того, что он держит в руках, а не сокращения, принятые в торговой системе. Ничего нового в этом нет, просто нужно было очень быстро сделать большой объем работы.

- Какие источники данных использовались?

Мастер-системы хранения золотых записей по товарам, системы лояльности, описания товаров, массивы ассортиментных матриц и цен были выгружены в центральные сервисы, которые передают данные мобильным приложениям. Фактически все публикуется во внешнем контуре, чтобы мобильное приложение могло эти данные получить. Обычно это «святая святых» ретейлера, поэтому очень много внимания было уделено безопасности и выгрузке строго необходимого и достаточного набора данных, который, с одной стороны, не является избыточным, а с другой, обеспечивает достаточную функциональность. Приложение подключается не к самому магазину, а к его виртуальной реплике. Сканируя штрихкод, покупатель привязывается к матрице конкретного магазина — его онлайн-слепку, который постоянно синхронизируется.

- Как устроено решение?

В нем много слоев. Первый слой — мобильные решения для покупателей — выполнен с помощью классических фреймворков для iOS и Android.

Вторая составляющая — централизованные платформы обмена и управления данными. Они базируются на микросервисной архитектуре и содержат множество приложений на платформе Unix, потому что это дает скорость, устойчивость, да и элементарно дешевле по сравнению с другими способами.

Цены и ассортимент во всех магазинах разные, а в приложение должны поступать актуальные данные конкретного магазина. Поэтому была создана централизованная система хранения, постоянно синхронизируемая с магазинами сети, которая c высокой скоростью выдает наружу данные для мобильных сервисов о ценах, промоакциях и остатках.

Централизованная платформа управления клиентскими данными моментально обрабатывает данные клиентской базы, содержащей сведения о более чем 50 млн человек. Компания решила сразу запустить сквозную авторизацию пользователей, единую для всех магазинов и сервисов Х5, и мы разработали универсальную учетную запись Х5 ID, которая даст возможность пользоваться сервисами в наших торговых сетях после однократной регистрации.

Когда покупатель вводит номер телефона при регистрации, тут же сканируются все записи, связанные с этим номером, и к его профилю в приложении автоматически привязываются карты магазинов, которыми он пользуется. То есть при использовании «Экспресс-скана» действуют промоакции и цены конкретного магазина, в котором находится покупатель, начисляются стандартные баллы за покупки на его карту или карту, которую он сам привязал к своему профилю, чтобы, например, копить бонусы для всех членов семьи.

Для оформления фискальных чеков в приложении мы построили централизованную ферму на 1,5 тыс. онлайн-касс, подобную той, которой пользуются службы такси. Ферма фискализации чеков балансирует нагрузку и распределяет запросы от мобильных устройств. Интеграцию облачной кассовой фермы, учетных и торговых систем и регистрацию транзакций обеспечивает фискальный брокер — он обслуживает запросы мобильных приложений и транслирует их на ферму, к нему же подключены все онлайн-сервисы. Поскольку чек надо вернуть обратно в магазин, чтобы его видели финансовые службы, пришлось дорабатывать торговую систему и интегрировать решение с SAP.

- На каком технологическом стеке выполнено решение и реализованы омнисервисы?

Из совместных библиотек мы используем «Яндекс.Карты» для отображения карт и магазинов в приложении, Firebase — для статистики, аналитики и мониторинга стабильности приложения, AppsFlyer — для использования Onelink, а также Scandit.

В части авторизации применяется связка Keycloak и Tarantool Datagrid. Это отказоустойчивый кластер с репликацией в режиме active/active, обеспечивающий единое управление профилями клиентов. Остальное — микросервисная архитектура на платформе Java.

Архитектура мобильного приложения основана на принципе распределения функций по отдельным независимым блокам. К основным блокам относятся: управление доступом и профилем клиента; сборка корзины и оплата; предоставление данных о товарах; регистрация продаж в учетных системах. Каждый блок использует свой технологический стек, подходящий для решаемых в нем задач. Это позволяет гибко масштабировать каждую часть приложения, разрабатываемую отдельной командой.

Для высоконагруженных веб-приложений и реализации REST API мы применяем язык Python, в частности фреймворк Django. Операционная информация размещается в кластерах базы PostgreSQL, а наиболее запрашиваемые данные храним в памяти, используя СУБД Redis. Для хранения больших объемов данных в части ассортиментной матрицы и управления профилями пользователей используем решения на основе Tarantool Datagrid.

Учетный блок реализован на стеке Java, который позволяет наиболее органично реализовать и просто поддерживать сложную бизнес-логику наших legacy-систем. Управление микросервисной платформой осуществляется на основе собственного облака X5Cloud.

- С какими сложностями пришлось столкнуться?

Сложно было все: и описать 25 тыс. позиций товарного ассортимента за три месяца, и купить и установить оборудование, которое будет «тянуть» огромные нагрузки, и обеспечить изменения в бизнес-системах SAP. В нормальных условиях такой сложный комплексный проект, оформленный по всем канонам, длился бы год. В нашем же случае всего за три месяца кросс-функциональная команда из почти 100 человек смогла из состояния «ничего нет» создать пилот сразу для нескольких десятков магазинов с тысячами покупателей, чтобы потом, если новый способ оплаты понравится покупателям, быстро развернуть сервис на многие сотни торговых точек.

Сложной была и каждая ветка проекта в отдельности. В одно целое были объединены бизнес и ИТ: в магазины нужно было внедрить новый процесс и новое решение для покупателя и интегрировать их в сложное многообразие внутренних систем. Как у любого ретейлера, у нас огромный «зверинец» решений, каждое из которых выполняет свою задачу: торговые, логистические, системы лояльности, безопасности — целая вселенная.

Но самое сложное — построить решение, готовое к масштабному применению. Сделать продукт для 10–15 магазинов может и небольшая команда, а вот когда нужно построить систему, которая будет обслуживать тысячу магазинов, все резко усложняется из-за объема транзакций, требований к стабильности и отказоустойчивости, к безопасности и автономности. Когда нужно выполнить проникновение через слои интеграции, обеспечить глубокую связь с данными, начинается «космос».

- Что для вас было самым интересным?

Работа с покупателями. Когда идешь с первой версией к клиентам, для которых это тоже абсолютно новая история, и смотришь, как они реагируют, как обучаются. Ты делаешь очень простые в использовании решения, и они ценят эту простоту.

Проанализировав результаты пилотного проекта, запущенного в сентябре, мы доработали сервис, ускорили процесс авторизации в системе. Пользователям оказалось важно подтверждать успешно проведенную оплату через систему внешней валидации — кассу самообслуживания, отдельно стоящий валидатор или у ассистента в зоне выхода.

Наша команда рассматривала покупательские отчеты, которые формировались в магазинах: что удобно, что нет. Кто-то попросил сделать в приложении звук, как на кассе, чтобы стало ясно, что сканирование прошло успешно. Многие, нажав кнопку «оплатить», боялись выходить из магазина, потому что нужно пройти через кассу и вроде бы кто-то должен дать разрешение на выход, а такого человека нет. Поэтому мы придумали конечные устройства в магазинах. Сканируешь QR-код на панели, включается режим оплаты, нажимаешь «оплатить» — и большой телевизор над кассой громко говорит: «Оплата прошла успешно!» Тогда и покупатель понимает, что можно выходить, и кассиры понимают, что система зарегистрировала покупку. Некоторые магазины оснастили небольшими валидаторами, в некоторых других можно поднести телефон к кассе самообслуживания, и она скажет: «Спасибо, проходите». Вот эти вещи вызывали самые большие эмоции. Придумали сделать сканирование с ценника: вроде мелочь и ненужная функция с точки зрения программиста, а с точки зрения покупателя — очень важная и нужная, иногда помогающая сэкономить.

- Пользователи сервиса — кто они? За счет чего будет прирастать их число, когда вопрос социальной дистанции перестанет быть актуальным?

Это сервис в первую очередь для людей, которые хотят экономить время. Анализируя статистику, мы увидели, что при покупке с «Экспресс-сканом» человек тратит в среднем на 3–4 минуты меньше, чем обычно для быстрой покупки. Если умножить эти минуты на число походов в магазин, наберется чуть ли не неделя сэкономленного жизненного времени. Вроде бы немного, но заставляет задуматься. Мы четко видим, что люди, которые попробовали такой вид оплаты, начинают делать покупки чаще.

Ближайшее будущее продуктовых магазинов — за смартфонами, мобильными сканерами и кассами самообслуживания. Если в 2004–2005 годах системами самообслуживания пользовались 1–2% покупателей, то сегодня у нас есть магазины, где через них проходит больше половины трафика. Самообслуживание с помощью смартфонов сейчас только начинает набирать обороты. Пройдет несколько лет — и проникновение мобильных технологий в ретейл вырастет в разы. Зачем стоять на кассе, если можно положить товар в корзину, отсканировать его, нажать на этапе оплаты «ОК» и уйти.

- Ошибки, которые часто возникают при сканировании, удлиняют процесс покупки и требуют участия сотрудника магазина — то есть покупка перестает быть бесконтактной. Как этот вопрос решается в случае работы с «Экспресс-сканом»?

По статистике, прерывания на кассах чаще всего случаются из-за алкоголя и табака, так как закон требует проверить возраст покупателя, прежде чем продать ему товар. Поэтому в «Экспресс-скане» стоят блокировки на эти категории товара, возможность их покупки не предусмотрена. Мы решили формировать полезные привычки.

Остальной ассортимент видим в реальном времени. Система мониторинга бизнес-показателей отслеживает, сколько корзин сорвалось из-за того, что покупатель не смог отсканировать товар. Мы все опробовали на себе. Практика показывает, что помощь сотрудника магазина может понадобиться в момент обучения, для первых двух-трех покупок, а дальше покупатель уже делает все сам, без подсказок.

- Какой эффект получила компания?

Основной эффект — лояльность покупателей: они покупают быстрее и больше. Выбирая магазин, человек учитывает, где придется стоять в очереди, а где быстро и безопасно. Стандартная покупка с помощью «Экспресс-скана» занимает всего 5–6 минут. И клиенты переключаются на нас. Они заполняют персональные данные, привязывают к профилю в приложении свою банковскую карту, получая взамен удобство и комфорт. Более 22 тыс. пользователей создали уникальные профили Х5 ID, свыше 5 тыс. человек еженедельно совершают покупки с помощью «Экспресс-скана», большинство из них — регулярные, и число таких покупателей ежедневно растет. Экономится и время персонала: каждый чек, оформленный с помощью нового способа оплаты, высвобождает не менее минуты работы кассира.

- Чем вы особенно гордитесь в этом проекте?

Командой. Я еще не видел таких проектов, когда несколько больших команд, отвечающих как за технологии, так и за бизнес, как внутренних, так и подрядных, работают в едином порыве, с хорошей коммуникацией, без каких-либо внутренних противоречий и нестыковок, синхронно и с высокой скоростью. Все хотели помочь людям и были очень вдохновлены. Одно дело, когда ты просто создаешь процесс или систему, и совсем другое — когда ты реально помогаешь людям в критический период. Все делали этот проект с горящими глазами, носились — только «пятки сверкали». Даже если уберегли от заражения всего несколько человек, то это уже благо.

- Как планируете развивать проект?

Итерационно улучшать функционал, повышать скорость, делать удобнее — учитывать пожелания, оставленные в отзывах. Например, покупателям не нравится, что пакеты нельзя взять сразу на входе. То есть предстоит много операционной работы.

И масштабировать — система как раз построена так, чтобы быстро масштабироваться. Если в сентябре к сервису было подключено около 60 магазинов, то в декабре — уже свыше 500, и сейчас каждую неделю подключаются десятки новых. В ближайшем будущем «Экспресс-скан» будет во всех столичных магазинах «Пятерочка» и «Перекресток», а также в сети «Перекресток» в Санкт-Петербурге, Ленинградской и Московской областях. По результатам обязательно рассмотрим выход и в другие регионы.

- Проект будет окупаемым?

Я уверен в этом. Это видно по текущим метрикам: люди чаще приходят в магазины и покупают немножко больше, это приносит дополнительную выручку.

Подход «сделай сам» (Do It Yourself, DIY) компания «Леруа Мерлен» не только пропагандирует среди клиентов, но и распространяет на себя. Процесс работы с данными в ней полностью децентрализован: реализована концепция Data Mesh, в рамках которой подразделения (домены) самостоятельно отвечают за данные и создают продукты на их основе. В результате в подразделениях начался процесс автономного развития data-driven-культуры. За два года команда data-акселератора («десанта», который помогает создавать продукты на основе данных) создала более 10 продуктов, пять из которых оказались успешными и принесли несколько миллиардов рублей. За этот же период все подразделения компании самостоятельно запустили более 20 продуктов, оценочный эффект от внедрения которых в разы превышает эффект от действий data-акселератора.

Дмитрий Шостко, CDO «Леруа Мерлен» и номинант на премию CDO Award 2021, сравнивает Data Mesh с кафетерием, противопоставляя его «ресторану» в виде централизованного data-офиса. Дмитрий рассказал о том, как в компании пришли к подходу Data Mesh, о развитии корпоративной культуры и достигнутых результатах.

— Как в «Леруа Мерлен» зарождался data-driven-подход, откуда растет интерес к работе с данными?

У нас, как и в любой индустрии, есть процессы, изначально основанные на данных. В ретейле это логистика и поиск точек для открытия новых магазинов. В обоих процессах алгоритмы машинного обучения применялись еще 10 лет назад — просто никто не знал такого термина. Но в определенный момент приходит понимание того, что существует масса процессов, где данные также можно использовать по-другому — не так, как раньше.

Несколько лет назад у «Леруа Мерлен» был период экспансии в России: открывалось около 20 магазинов в год. Об оптимизации процессов в такой ситуации думать некогда — фаза роста бизнеса подразумевает сосредоточение усилий совсем в другом направлении.

В 2018 году руководство компании пришло к выводу о необходимости выстраивания баланса между расширением и эффективностью процессов. С этого момента анализ данных стал одним из ключевых направлений и вышел на первый план. Инвестиции в эту область включают две важные составляющие: долгосрочные инвестиции в платформу и реализацию отдельных «быстрых побед», позволяющих поддерживать интерес компании к проекту.

Очевидно, что выстраивание процессов работы с данными открывает новые горизонты. Например, на текущем этапе развития мы поменяли стратегию — отошли от продажи исключительно товаров, чтобы трансформироваться в компанию-платформу (или экосистему) по благоустройству дома. В этом случае речь идет о сопровождении человека с момента возникновения у него идеи обустройства дома до полного завершения ремонта и в дальнейшем выполнения экстренных или плановых действий (вплоть до замены лампочек). К такому подходу сейчас стремятся абсолютно все.

Это стандартная эволюция бизнеса: сначала развиваем базовую бизнес-модель, затем оптимизируем, далее строим платформенные решения. Сейчас мы находимся на втором этапе и постепенно исследуем возможности использования данных в рамках платформы по обустройству дома.

— Какое место в иерархии «Леруа Мерлен» занимает CDO ?

У «Леруа Мерлен» нет «лишних» иерархических звеньев, структура выстроена довольно плоско. CDO входит в управляющий менеджмент компании (в «Леруа Мерлен» он называется «группа лидеров»), и это очень важно. Если требуются изменения, то их следует проводить и «снизу», и «сверху», причем изменения сверху — это всегда изменение мышления. Если у руководителя нет необходимого уровня влияния, то возможность воздействовать на работу большого числа ключевых специалистов уменьшается.

Эта роль — «плавающая». В какой-то момент я очень плотно работал с CIO, затем — с заместителем генерального директора, курировавшим финансы и поиск новых точек открытия магазинов, сейчас — с заместителем генерального директора, отвечающим за цифровые сервисы. Поэтому трудно сказать, кто мой шеф, — на эту роль «претендуют» около 6–7 человек, как в России, так и в штаб-квартире. Такова наша специфика, хотя для обычной российской компании это покажется абсурдным. Но я к своим руководителям отношусь скорее как к компаньонам — людям, с которыми мы взаимно развиваемся. С их помощью реализация проектов, связанных с данными, происходит быстрее — если бы я занимался этим в одиночку, эффективность моей работы была бы ниже.

— Компания начала активную работу с данными довольно поздно…

Конечно, пионерами мы не являемся. Активные действия начались в начале 2019 года, когда я присоединился к компании. Разумеется, начинал не на пустом месте: и в России, и на глобальном уровне существовали и озеро Hadoop, и хранилище Teradata. Но тогда в компании не было стратегического видения пути развития платформы данных, не существовало целей, к которым можно стремиться.

Однако технологии за те 6–7 лет, на которые нас опережают лидеры в использовании данных, существенно изменились. Многие компании, сделавшие ставки на определенные технологические решения, сейчас вынуждены задуматься. Например, многих очаровал Hadoop, начинавшийся примерно в 2008 году. Сегодня понятна вся его экосистема: что работает хорошо, а что — не очень. Компании, начинающие лишь сейчас, имеют определенное преимущество: и более развитые технологии, и серьезный опыт, накопившийся на рынке. В случае правильных действий они могут найти короткий путь и «срезать круг», сэкономив несколько лет.

— Какие были выбраны подходы для этого?

На уровне группы было много разных решений, по-своему хороших. Мы попытались посмотреть на них новым взглядом, оценить их с учетом накопившегося опыта, и определили метапринципы, на базе которых создается платформа. Технологический стек не так уж и важен, гораздо важнее правила, по которым ведется работа.

Главным требованием стала горизонтальная масштабируемость платформы. Значит, надо ориентироваться на работу в облаке (быть cloud ready), проектировать платформу с учетом этого (быть cloud native) и даже предусмотреть возможность платформы работать в нескольких облаках одновременно (быть cloud agnostic) — другого подхода для нормального масштабирования нет. Еще один принцип — возможность самостоятельной разработки, а значит, нам нужен open source. Проприетарные продукты сложные и закрытые, там не все доступно для самостоятельных работ. И все новые технологические веяния сначала появляются в открытых решениях, а в проприетарных продуктах они реализуются с запаздыванием.

Кроме того, нам следует инвестировать во внутреннюю разработку, а не во внешнюю. Во-первых, в этом случае проще соблюдать утвержденные принципы. Во-вторых, мы разделяем философию компании — ориентироваться не на «ресторанный бизнес», а на «кафетерий», подразумевающий самообслуживание. Во многих компаниях создается огромное подразделение по анализу данных, обслуживающее всю организацию. Это определенно не наш случай. Мы хотели создать площадку, где каждый может набрать нужные ингредиенты и приготовить из них собственное блюдо. Лучший суп — сваренный для себя, в соответствии со своими потребностями. А мы предоставляем ингредиенты и функционал кухни.

И последнее: все наши продукты должны быть стабильными и легкими в использовании. То есть важно их восприятие бизнес-заказчиком. Если продукт важен и нужен компании, но не нравится пользователям, мы что-то делаем не так. Кроме того, мы не строим платформу несколько лет, чтобы потом предоставить заказчикам сразу все ее возможности. Каждый месяц, каждый квартал мы вводим новые функции, элементы, которые сразу становятся доступны всем пользователям. Непрерывная обратная связь — самое важное для нас.

— Какие ИТ-платформы применяются и почему именно они?

Сформулировав метапринципы, мы стали искать технологии, которые обеспечат их реализацию. Во-первых, необходима крупная аналитическая площадка — классическое хранилище данных. Его мы начали строить на платформе Greenplum, и результаты подтвердили правильность этого выбора. Во-вторых, данные, которые туда загружаются, должны быть доступны в реальном времени. Так у нас появилось решение Apache Kafka, а также NiFi, AirFlow и Debezium, отвечающие за процесс загрузки.

Появление остальных продуктов также связано с нашими потребностями. Например, нам был нужен процессинг данных, но мы не стали использовать для этого Hadoop — это довольно сложный стек, для его поддержания нужна большая команда и не всё в нем работает идеально. Однако есть распределенные файловые системы, аналогичные HDFS, — интерфейсы S3, которые стабильны, хорошо работают со Spark и в полной мере подходят для data science.

— Как появилась идея data-акселератора?

Как я сказал, мы вынуждены искать баланс между долгосрочными, малоинтересными для бизнеса работами по построению платформы данных и яркими краткосрочными проектами, приносящими прибыль. Очевидно, нужно заниматься продуктами на основе данных, приносящими прибыль внутри компании. Внедрение нескольких удачных проектов может окупить инвестиции и в платформенную часть, и в продуктовую, что попутно позволит добиться расположения бизнеса. Однако сам data-продукт — часть довольно сложного комплекса, куда также входят клиентский опыт, сервисы, технологии, бизнес-процессы. Data-продукт — еще одно звено в этой цепочке, добавление которого делает конечный продукт более качественным или даже кардинально иным.

Эти быстрые бизнес-ориентированные проекты реализуются с помощью data-акселератора. С самого начала мы заявили, что для создания data-продукта нужна не централизованная команда, которая будет его разрабатывать и внедрять, а «десант», приходящий «в гости» к подразделениям и реализующий проект вместе с ними. При этом преследуются две цели: помимо достижения экономического эффекта, изменяется мышление и развивается data-культура внутри подразделений. Очень важно не только дать подразделениям технологическую площадку, но и внедрить в них новые компетенции, навыки, мышление.

— Каковы успехи в изменении культуры?

Главным стало то, что созданная полноценная аналитическая площадка, куда поступают данные в режиме реального времени, востребована пользователями и имеет позитивные отклики. Это наши ключевые метрики успеха. За два года увеличилось количество пользователей и возросла популярность наших базовых курсов, помогающих освоить работу с данными. Число активных пользователей сегодня превышает 300 человек. Конечно, сначала подразделения демонстрировали скепсис в отношении платформы и средняя оценка удовлетворенности работой с ней колебалась около 3 по пятибалльной шкале, но сейчас наш рейтинг — 4,8.

— Как вы пришли к подходу Data Mesh?

Когда начинали строить платформу данных, то еще не знали такого термина. Руководствовались здравой логикой, сформулированными метапринципами и пониманием того, что важно дать автономию подразделениям в работе с данными, а не развивать централизованную команду. Децентрализованный подход и в технологиях, и в использовании данных подразумевает хорошую площадку, позволяющую реализовать такую автономию, и практики, предоставляющие возможность специалистам решать свои задачи.

Я анализировал тенденции в ИТ, определяемые разработкой архитектуры фронтенда и бэкенда. В части использования бэкенда весь мир движется от монолитных систем к микросервисам. И аналогично, компании движутся к микрофронтендам, чтобы дать автономию отдельным командам и иметь возможность разрабатывать один большой продукт с участием множества команд. То же самое можно делать и с данными. За данные отвечают их владельцы: каждый домен самостоятельно отгружает данные в платформу, следит за их качеством и описательной частью. И это реально работает.

Лишь потом мы увидели, что на самом деле не придумали ничего нового. Стали активно изучать тему Data Mesh и перенимать чужой опыт. Это позволило избежать некоторых ошибок.

— Почему именно Data Mesh? Какие рассматривались альтернативы?

Сама компания «Леруа Мерлен» по сути децентрализованная. Подход Do It Yourself (DIY) транслируется не только вовне — клиентам компании. Мы сами живем по тем же принципам. Нам было понятно, что вначале придется инвестировать в централизованную команду для создания компетенций, практик и ИТ-площадки, а затем все больше инвестиций потребуется направлять на развитие навыков в других подразделениях.

Например, в компании нет ИТ-департамента как такового. Ее структура управления предполагает, что команды, отвечающие за операции, и команды, создающие продукты и сервисы, работают вместе, образуя домены. И такие домены самостоятельно работают с данными.

— Несмотря на децентрализованность процессов работы с данными, политики — это нечто общее. Как определяются политики работы с данными?

Политики работы с данными — это стандарты, правила, подходы и практики. Если мы делаем то, что удобно пользователям, подходы и практики быстро становятся популярными. Да, на первых порах предложенные правила требуется поддерживать внешними механизмами — для утверждения во всех подразделениях. Мы следуем выбранным правилам, они принимаются коллективно и работают в рамках всей компании. Их довольно много — например, они касаются качества данных, доступности данных в платформе, ответственности за метаданные…

— А как решается вопрос качества данных?

Все компании его решают примерно одинаково, но у нас есть преимущество. Мы, как и все, пишем DQ-тесты, но в случае Data Mesh они действительно эффективны, потому что приближены к операциям и людям, которые эти данные порождают. Всегда можно понять, что пошло не так и почему это происходит, — ведь низкое качество данных часто говорит о некорректных операциях.

— Какие источники данных использовались? И как в целом определяется, что нужно компании?

Используем практически все, до чего можем дотянуться. Если есть данные, они должны быть доступны всем — разумеется, за исключением определенных ограничений. Если в компании появились новые данные, их владелец должен заявить об этом, описать их и отдать в нашу платформу. При подходе Data Mesh это важно.

У нас больше 200 типов источников, но польза от них различна. Правило Парето применимо и здесь. Примерно 90% наших аналитических активностей закрывается 70 источниками.

— В чем заключалась ваша самая большая проблема?

Конечно, это изменение мышления людей, которые много лет работают в классических профессиях. Директора, руководители направлений — люди, выросшие в доцифровом ретейле. Для них новые технологии — не самая простая история. Изменить их взгляды — это и ключевой, и самый непростой момент. Требуются правильные примеры и аналогии, чтобы привлечь их на свою сторону.

— Какие data-продукты были созданы? Приведите несколько примеров.

Хорошим примером является продукт «Светофор». Как известно, в ретейле есть операция приема товара от поставщиков, и она включает проверки. Проверять всё от всех поставщиков экономически невыгодно, это требует огромных ресурсов. Но если изучить историю работы с поставщиками и возникавшие с ними проблемы, то процесс можно оптимизировать и проверять не всех поставщиков и не все товары, а делать выборочные проверки, сокращая затраты. Осуществляя контроль по определенным правилам, которые создаются машиной (проверять лишь одну из нескольких поставок), мы находим до 80–90% брака.

Кроме того, можно выделить работу с комплементарными товарами. Такая продукция есть в любом бизнесе, и обустройство дома не исключение. Во многих случаях товары лучше приобретать вместе: либо один без другого невозможно использовать, либо их совместное применение ускоряет процесс ремонта, либо речь идет о «красоте» – элементах декора. Долгое время компания смотрела на комплементарные товары лишь глазами экспертов, определяя связи между ними. Но когда речь идет о работе с 60 тыс. различных номенклатурных позиций, то число таких связей исчисляется десятками миллионов. Никакая экспертная группа такую работу не осилит, да и человеческий взгляд не гарантирует абсолютной правоты выводов. Гораздо интереснее взглянуть на взаимосвязи глазами клиента, оценив, что и в какой последовательности он изучает на сайте, что подбирает в магазине. Это ценная информация, которая обогащает знания экспертов. И мы видим значительный рост эффективности апсейла и кросс-сейла в рамках маркетинговых активностей.

— Каких финансовых результатов удалось достичь с помощью data-акселераторов и в ходе дальнейшего развития инициатив на уровне всей компании?

Экономический эффект от деятельности нашего «десанта» за два года составил несколько миллиардов рублей. Это результат оптимизации продуктов и бизнес-процессов. На уровне всей компании эффект оценить сложнее, поэтому проводятся лишь приблизительные расчеты. Но уже довольно много сотрудников самостоятельно работают с данными, и, по текущим оценкам, эффект от активности всех подразделений в этой сфере в разы превышает экономический эффект от деятельности data-акселератора.

Надо сказать, что наша цель — показатели, в несколько раз большие. Мы ожидаем в ближайшие пару лет рост финансовых результатов от двух до пяти раз.

— Вероятно, многие компании мечтают запустить процесс автономного развития data-driven-культуры. Что для этого нужно?

Вначале нам самим не верилось в это. В ресторанном бизнесе люди тянутся к хорошему обслуживанию — это очевидно. А если речь идет о самообслуживании, то изначально непонятно, будут ли люди приходить и готовить сами. Оказалось — будут. Более того, зачастую это удобнее, понятнее и прозрачнее, когда домены сами отвечают и за ИТ-системы, и за процессы, и за данные. Они сами инвестируют в необходимые им направления, привлекают необходимые компетенции, контролируют получение результата.

— Какие результаты своей деятельности в компании вы сами считаете ключевыми? Как вы оцениваете свое место и роль в реализуемых проектах?

Я рассматриваю себя как «играющего тренера» в команде по десятиборью. Во многих процессах приходится участвовать не только в теории, но и на практике. Часто требуются и коучинг, и размышления о будущем, и оценка способов реализации, а иногда приходится вместе с командой впрягаться в решение задачи.

— Что дальше? Какими вы видите дальнейшие направления развития проекта?

Работа с данными станет частью любого бизнес-процесса компании. Не будет ничего особенного или тем более зазорного в data science и анализе данных. Подразделения будут потреблять данные в рутинном режиме — это станет базовой гигиеной, которая выработается у всех, это будет нормой, без которой невозможно развиваться. Вопрос лишь в том, как это сделать быстрее остальных и пройти такой путь на максимальной скорости. И мне кажется, подход Data Mesh здесь неплохо работает.

Создание аналитических продуктов на базе накопленного пула больших данных  —  одно из ключевых направлений стратегии цифровой трансформации Х5 Retail Group. Большинство инициатив на основе больших данных ставят целью оптимизацию собственных бизнес-процессов  компании:  улучшение промо, планирование ассортимента, повышение эффективности ценообразования. Алгоритмы становятся элементом  data-driven-культуры  Х5, когда все решения принимаются на основе данных и продвинутой аналитики.

Но развивается и разработка цифровых сервисов на основе больших данных для внешнего рынка. В этом году был сделан серьезный шаг в этом направлении  —  выпущена платформа Dialog X5, которая объединяет аналитические продукты, предназначенные для поставщиков X5 Retail Group.

О возможностях Dialog X5, ее роли во взаимодействии ретейлера со своими партнерами, первых результатах и перспективах монетизации рассказывает Дмитрий Прусов, директор департамента продаж продуктов больших данных X5 Retail Group и номинант премии CDO Award 2021 .

— Как появилась идея создания платформы?

В конце прошлого года мы запустили аналитический портал, который позволяет поставщикам в режиме 24х7 оценивать различные показатели, влияющие на продажи их продукции. Востребованность этого решения подтолкнула нас к мысли объединить на одной цифровой площадке все сервисы X5 для поставщиков и партнеров, предоставив им удобный цифровой канал взаимодействия с торговыми сетями Х5.

Платформа Dialog X5, выпущенная осенью этого года, на данный момент состоит из четырех модулей, но в перспективе на нее мигрируют все решения, разработанные в X5 для поставщиков и партнеров. Пройдя один раз авторизацию, пользователь будет иметь доступ ко всем данным и аналитике, необходимым для решения его бизнес-задач.  Фактически  мы создаем удобное, многофункциональное рабочее место аналитика, аккаунт-менеджера и других ключевых специалистов компании-поставщика. Пользователи получают аналитические продукты с возможностью генерации отчетов с нужной степенью детализации для принятия управленческих решений и улучшения взаимодействия между торговой сетью и производителем.

— Что принципиально новое привносит Dialog X5 во взаимодействие ретейлера с поставщиками?

Это взаимодействие по максимуму переводится «в цифру». Платформа предоставляет единую точку доступа ко всему многообразию сервисов для  существующих  и  будущих поставщиков  X5. Если раньше нашим партнерам приходилось держать в голове, что разные бизнес-процессы привязаны к разным окнам, то сейчас мы предлагаем подобие МФЦ с единым окном для всех процессов взаимодействия с  Х5 —  от логистики до анализа потребительской корзины, сбора аналитики по сегментам для запуска своей новинки и  т. д. 

А для самой X5 платформа обеспечивает прозрачную модель взаимодействия с поставщиками, реализует единую систему контроля этого взаимодействия и упрощает внедрение новых инициатив. Мы разработали общие руководства и способы  авторизации таким образом,  чтобы любая бизнес-функция внутри компании могла при желании без проблем интегрировать свои задачи в Dialog X5.

— С какими данными работает платформа?

Это транзакционные данные, данные программ лояльности для построения гипотез изменения потребительских предпочтений и последующих выводов с точки зрения знаний о покупках клиента (customer insights), данные для логистического модуля относительно качества поставки и уровня сервиса. Платформа постепенно охватывает все больше и больше бизнес-сущностей.

Пока мы стараемся «выжать» максимум из внутренних данных компании и не замахиваемся на обогащение внешних. Но команда  Dialog X5  открыта к конструктивному диалогу с потенциальными партнерами. Мы готовы рассматривать варианты взаимовыгодного сотрудничества с учетом требований и ограничений  законодательства  как с поставщиками товаров, так и с агентствами по рекламе и консалтингу, национальными и региональными ретейлерами, а также с зарубежными партнерами для формирования максимально эффективной и полной аналитики рынка.

Dialog X5 объединяет бизнес-сервисы, в основе которых разные по объему, степени детализации и сроку хранения данные. Для одних сервисов не требуются исторические аналитические данные, для других  —  нужны данные более длительного хранения для анализа изменений внутри категории от года к году, от месяца к месяцу. Например, в модуле Insights для понимания изменения продаж необходимы данные за достаточно долгий период (сейчас предоставляются сведения с 2017 года), и это требует от нас более существенных затрат на их правомерное хранение и обработку.

— Dialog X5  —  новое направление бизнеса  компании? Вы  продаете поставщикам новый тип сервиса, верно? Каким образом платформа монетизируется?

Да, в настоящее время Dialog X5 объединяет платные аналитические модули, хотя мы уже начали процесс переноса на платформу и бесплатных цифровых инструментов для поставщиков.

Insights и Logistics  —  это аналитические сервисы, предоставляющие возможность строить аналитические отчеты по выбранным метрикам и категориям. Поставщик приобретает лицензию на софт, чтобы иметь доступ к этим данным и отчетам и искать те инсайты в покупательском поведении, миграции покупок клиента внутри  категории,  к конкурентам и пр., которые позволят ему улучшать бизнес-процессы, добиваясь повышения уровня сервиса.

Targeting  —  это рекламный сервис, который позволяет на основе обезличенных данных собирать сегменты для таргетированной цифровой рекламы. Сервис также решает важную задачу объединения  онлайн-  и офлайн-миров, предоставляя по завершении рекламной  онлайн-кампании  статистически значимые отчеты по метрикам, характеризующим продажи в офлайн-магазине: как реклама повлияла на реальные продажи, был ли рост категории либо продаж конкретного бренда. Этим сервисом пользуются в основном рекламные агентства крупных производителей, он позволяет оценить эффективность рекламных кампаний, запущенных на данных Х5, и стимулировать рост активности поставщика во взаимодействии с торговой сетью.

Сейчас мы работаем над построением единого цикла, интегрирующего аналитику Insights с запуском действий в модуле Targeting. Поставщик сможет проследить, что происходит с категорией с точки зрения продаж, и выделить интересующий его сегмент, а затем посмотреть, какие изменения в поведении категории произошли после рекламной кампании. Более того, дальше можно будет подключить модуль Logistics, чтобы понять причину проблем с  продажами:  дело в выкладке и стоимости товара и недостатках рекламы или его просто не довезли в конкретный магазин.

—  Как долго  платформа уже доступна поставщикам, сколько у нее клиентов?

Объединенную платформу мы запустили в сентябре, но с отдельными модулями поставщики работали и раньше. На данный момент клиентами платформы являются более 20 международных брендов, модуль Targeting используют более 50 рекламных агентств, подключения активно продолжаются.

— Какой это процент от общего количества поставщиков X5?

У X5 Group около 5 тыс. поставщиков, но не всем эти сервисы необходимы. Все зависит от масштаба бизнеса. В первую очередь в таких инструментах заинтересованы крупные международные компании, которые уже имеют  практику  работы с данными и понимают, какую ценность они могут извлечь из аналитики.

Мы рассчитываем, что к концу следующего года  топ-100  поставщиков X5 станут пользователями платформы.

— Какие преимущества получает поставщик от использования платформы и в чем выгода для Х5?

Среди наших клиентов  —  такие компании, как PepsiCo, «Боржоми», Ferrero,  «Балтика»,  и ряд других крупных  поставщиков. Некоторые  из них уже  публично рассказали,  каким образом решают свои бизнес-задачи с использованием инструментов платформы Dialog X5. Например, PepsiCo с помощью  Dialog X5  сумела оценить эффективность активации в акции «Битва завтраков»  —  измерить ее инкрементальный вклад в развитие категории, определить метрики, которые способствовали росту продуктовых групп, участвующих в инициативе, выявить лучшие маркетинг-механики для дальнейшего применения в бизнесе. Сервисы  Dialog X5  помогли компании «Боржоми» провести анализ динамики покупок групп потребителей и на его основе скорректировать позиционирование брендов, ассортиментные матрицы и  промостратегию.  Компания Nestle использует  Dialog X5  для анализа промоактивностей в категории, оперативного принятия решения для исправления ситуации с доступностью товара на полке.

Использование  Dialog X5  становится конкурентным преимуществом для поставщиков, поэтому не все они готовы открывать свои успешные кейсы, особенно сейчас, когда приходится жить и работать в условиях неопределенности. Dialog X5 позволяет быстрее реагировать на постоянные изменения. Вы не только анализируете бенчмарки и можете сопоставлять аналогичные периоды, но  и  практически в режиме реального времени понимаете, что происходит, какие факторы влияют на продажи, запуски новинок и  т. д. 

Для Х5 основные выгоды  —  это повышение прозрачности работы с партнерами, реализация важного направления цифровой трансформации  (data-driven-подход  в принятии решений), очередной прорыв в стремлении к технологическому лидерству, к системному позиционированию себя в качестве цифровой компании. Что касается преимуществ в операционной деятельности, то платформа обеспечивает эффективную модель взаимодействия ретейлера с поставщиками, поддерживая открытый диалог между ними.

— А насколько серьезной будет доля доходов от таких цифровых сервисов?

С  точки зрения монетизации  мы не останавливаемся  на текущих  сервисах. Прорабатываем  новые, полезные рынку предложения на основе аналитики данных. Мы  —  за аналитические продукты, а не простую передачу сухих данных, которая кажется бессмысленной и неинтересной рынку. Наша цель  —  стать центром экспертизы по решению определенных бизнес-задач.  И  конечно, это направление бизнеса должно быть экономически оправданным.

Как новый цифровой бизнес мы показываем хорошие  результаты:  в этом году увеличили выручку по сравнению с предыдущим и планируем рост на следующий год. Наша команда зарекомендовала себя как успешный стартап внутри компании с эффективной бизнес-моделью.

— В заявке на премию вы отметили, что «прозрачность инструментов на основе данных позволяет поддерживать честную конкуренцию, формировать новую добросовестную практику на рынке». Поясните, каким образом это достигается с помощью платформы Dialog X5?

Идеальная картина мира, к которой мы стремимся, состоит в том, чтобы  и  торговая  сеть,  и производитель-поставщик работали с единым пулом данных и принимали решения исходя из понятных  обеим сторонам факторов, чтобы добивались  увеличения своей доходности, не руководствуясь домыслами, а  за цифровым «столом  переговоров» с единой точкой входа и прозрачными процессами на основе данных. Именно это обеспечивает платформа. Dialog X5  —  не просто название платформы,  а  определяющая характеристика взаимодействия X5 со своими партнерами.

— Является ли Dialog X5 конкурентным преимуществом для самого ретейлера?

Безусловно. Платформа со столь широким набором различных инструментов  —  уникальный проект для российского рынка.  Наши основные  конкуренты тоже делают шаги в этом направлении, но подход, когда поставщик может  решить множество  своих задач по принципу единого окна, пока не имеет аналогов.

— Можно ли говорить о влиянии подобного решения на развитие отрасли розничной торговли в России?

Думаю, да. Почему платформу используют в первую очередь международные производители? У крупных мировых брендов стратегия завязана на данные,  у них  уже  создан data-driven-бизнес.  Они понимают значение аналитики для развития своей производственной цепочки, усиления своих позиций в продажах и  т. д. 

Но и среди российских компаний все больше тех, кто активно  использует данные  и  видит,  какую пользу  можно  извлечь из наших аналитических сервисов. И это, на мой взгляд, становится триггером для формирования индустриальной практики. Поставщик не ограничен только Х5, он работает и с другими сетями. И если он понимает, что с помощью цифровых решений, прозрачной аналитики может достичь большего эффекта для своего бизнеса,  то  будет стремиться расширять эту практику на других своих партнеров.

— Какие сложности были при создании платформы?

Основная сложность стоит перед нами сейчас  —  это масштабирование. Любой стартап подходит к тому этапу, когда нужно переосмыслять свое будущее развитие. На старте мы вдохновлялись опытом мировых разработчиков аналогичных решений, но перекладывали его на бизнес-задачи производителей в России. Постепенно в процессе развития платформы  —  появления нового функционала, новых типов отчетности, новых интерфейсов  — расширялось  наше представление о том, какой должна быть Dialog X5.

И сейчас мы достигли той стадии, когда продукт требует переосмысления. Мы получили продвинутый BI-инструмент, в котором, возможно, определенные функции нуждаются в унификации и упрощении, нам нужен поиск новых способов взаимодействия поставщика с аналитикой. Мы находимся в очень тесном контакте с нашими клиентами и постоянно собираем  информацию о том,  чего им не хватает, чтобы реализовать это в платформе.

Кроме того, существует необходимость технологического масштабирования. Перед нами стоят амбициозные задачи по оптимизации архитектуры данных с учетом роста количества пользователей и обеспечения безопасности данных, с одной стороны, и объемов  данных,  с другой. Строим планы на 2021 год по модернизации архитектуры, улучшению обработки данных и повышению скорости генерации отчетов, чтобы пользователи платформы получали максимально полезный результат за минимальное время.

— А какие планы по созданию новых сервисов для внешнего рынка?

Ряд продуктов уже находятся в стадии прототипирования и  пилотов  ad  hoc,  для того чтобы подтвердить гипотезу. Это кардинально новые решения с точки зрения  как  бизнеса, так и технологий. Надеемся, что сможем выпустить их на рынок в будущем году.

Анализ цифровых следов человека получает все большее распространение и начинает использоваться в самых различных направлениях деятельности — от маркетинга до информационной безопасности. В МТС разработали систему анализа бизнес-процессов на основе цифрового следа (Process Mining), и первым местом ее внедрения стал Единый центр управления сетью. Используя технологии автоматизации, дата-инжиниринга и машинного обучения в комплексе, Process Mining позволяет анализировать цифровой след сотрудников и обеспечивает мониторинг загруженности работников технического блока, решающих задачи управления инфраструктурой, а также прогнозирование нагрузки и выявление функций для роботизации. В дальнейших планах компании — использование системы в других подразделениях, развитие ее аналитических возможностей и ее вывод на внешний рынок. Телекоммуникационные компании являются одними из лидеров по количеству данных и уровню цифровизации, поэтому многие успешно обкатанные внутри МТС подходы и решения в дальнейшем адаптируют и предлагают внешним заказчикам.

Иван Исаев, директор направления анализа данных и искусственного интеллекта для проектов технического блока ПАО «Мобильные ТелеСистемы» и номинант на премию CDO Award , поделился деталями проекта по разработке системы Process Mining, осуществляющей учет и прогнозирование эффективности работы сотрудников на основе анализа цифрового следа, с использованием методов машинного обучения.

— Как у вас возник интерес к Process Mining?

В последнее время анализ «цифрового следа» сотрудников становится все более популярным подходом. Информацию об их действиях при выполнении работы можно изучать с различными целями. С переходом многих на режим удаленной работы оставляемых «следов» стало больше: цифровизировались процессы взаимодействия, которые раньше отследить было невозможно. Появляется возможность проанализировать все, что касается сотрудников компании, включая коммуникации, навыки, эффективность работы. По результатам можно принимать решения, направленные на повышение эффективности процессов, и это в целом повышает возможности цифровой трансформации компаний.

Разумеется, речь идет не только о сокращении кадров или выводе части задач на аутсорсинг с целью снижения издержек. Для любой компании не менее важно бороться с перегрузками сотрудников и предотвращать их выгорание, а также выявлять ценных специалистов, склонных к увольнению.

В Boston Consulting Group даже создали методологию BioTag, рассказывающую о том, как «правильно» внедрять анализ цифрового следа сотрудников внутри компании. Их идея разметки данных с помощью бизнес-тегов мне понравилась, и мы потихоньку к ней идем. Это поможет в оцифровке действий сотрудников, в структурировании и оптимизации их деятельности.

— Что в вашем понимании представляет собой цифровой след сотрудника?

Это информация о том, чем человек занимался в процессе работы, — любые его действия, оставившие цифровой отпечаток, и, что крайне важно, с обязательной привязкой ко времени. Конечно, это не цифровой двойник человека, ведь мы рассматриваем его однобоко — лишь с профессиональной точки зрения, но это отпечаток его присутствия в каждый момент времени. Это могут быть записи звонков диспетчеров по рабочим вопросам, текстовые сообщения, а также сведения о событиях, вносимые в информационные системы. В рамках данного проекта очень важно собрать полноценную картину того, чем человек занимается в течение рабочего времени.

— С чего решили начать?

У МТС есть огромное сетевое хозяйство, в обслуживании которого занято около 10 тыс. человек. Естественно, что периодически приходится заниматься оптимизацией технического блока, такие меры инициирует HR-служба в рамках программ автоматизации. Цель — оптимизация зарплатного фонда.

Вероятно, ситуация знакома многим: у директора в подчинении несколько сотен человек, и к нему приходит требование о сокращении 10% сотрудников. Руководитель в ответ заявляет, что у него и без того дефицит кадров, все сотрудники перегружены и для нормальной работы требуется увеличить штат еще на 20%. В этом случае для прояснения реальной картины требуются весомые аргументы, и предоставить их может лишь комплексный анализ работ, проводимых специалистами. Они заносят в информационные системы данные по инцидентам и работам разного вида по обслуживанию сети; обсуждают проблемы по почте; ведут задачи в Jira. Чтобы получить комплексную картину их труда, эти данные нужно объединить. При этом каждый источник довольно объемный, а его бизнес-логика сложна и специфична для каждого подразделения.

Ранее руководителям приходилось пользоваться электронными таблицами, используя такие термины, как годовой объем работ и среднее время решения инцидента, и вычислять потребность в сотрудниках. Этот подход уходит в прошлое, такие оценки субъективны и для внешних экспертов выглядят неубедительно. На смену ему приходят более серьезные, научные методы.

— Как пришла идея, от кого она исходила?

Моя компетенция заключается в том, что я внедряю машинное обучение в технические процессы, ищу конкретные места, где автоматизация может помочь заработать или сэкономить. Ко мне обратились директора департаментов технического блока, занимающиеся обслуживанием радиосети, транспортной сети, коммутационной сети. Им требовалось получить реальную оценку эффективности труда работников. Разумеется, это важно не только для «защиты от HR», но и для повышения собственной эффективности. У каждого подразделения своя механика работы, и она сильно зависит от предметной области. На первом этапе требовалось обеспечить полную прозрачность действий сотрудников.

Перманентный вопрос о необходимости обоснованной и ясной картины по загруженности персонала и оценке его работы волнует всех. Между тем уже достаточно давно консультанты провели аудит, по результатам которого появились зародыши методик расчета эффективности. Мы эту методику развили в программное решение.

— Что было сделано?

Нам удалось создать систему анализа эффективности работы сотрудников. На основе всех источников создается единая витрина данных, и по данным из нее рассчитываются коэффициенты эффективности. Эти коэффициенты учитывают такие факторы, как утилизация рабочего времени, успешность и своевременность выполнения задач, сложность задач и их критичность для работы сети. Система по прогнозированию и учету эффективности в данный момент находится в опытной эксплуатации.

Далее в процесс вступают механизмы машинного обучения — несколько аналитических модулей. Например, с их помощью мы будем прогнозировать перегрузки и выгорание сотрудников, планировать обучение, создавать кадровый резерв и формировать профиль увольняющихся сотрудников для принятия заблаговременных мер по их удержанию.

На базе этого возможно реализовать вполне конкретные решения. Скажем, в конце года по ряду причин загрузка некоторых сотрудников сильно возрастает по сравнению с началом года. Возможно, в этом случае оправданно привлечение аутсорсинга. Помимо этого, выявляются функции, которые можно автоматизировать. Например, глядя на график использования рабочего времени сотрудников подразделения, можно обратить внимание на то, что существенную долю времени (например, 40%) они тратят на диспетчеризацию поступающих заявок и выявление причин инцидента. С помощью модели машинного обучения и анализа естественного языка из переписок, систем управления задачами и комментариев к инцидентам можно создать ассистента (систему-советчик на основе машинного обучения), способного помогать в определении причин инцидента и даже самостоятельно отправлять сообщения другим специалистам. Так можно сократить число людей, работающих на диспетчерских линиях, и экономить операционные расходы.

Еще один пример возможного развития системы анализа цифрового следа: для ряда инцидентов, связанных с сетью, можно реализовать функционал прогнозирования — система автоматически сможет заводить заявку в системы и инициировать работы по предотвращению инцидента.

— Какие пути решения задачи были выбраны?

Для этих целей сформировано отдельное озеро данных, которое в дальнейшем консолидируется с единым озером данных компании. Оно было реализовано в собственной пилотной зоне. Мы создали прототипы моделей и витрин, после чего это средство будет масштабироваться с использованием промышленных решений.

— Какие данные использовались? Как принималось решение о выборе источников?

Какие данные потребуются, стало понятно далеко не сразу. Более того, до сих пор появляются потребности в новых источниках.

Конечно, основными источниками данных стали информационные системы, в которых работают сотрудники. Наиболее распространенные решения для управления операционными процессами и обработки инцидентов (такие как BMC Remedy Service Desk и Oracle Siebel) — монструозные системы, существующие в телеком-компаниях более 10 лет. Они огромны, в них сделано множество доработок, и довольно сложно оценить, что именно оттуда брать и как это сделать. В зависимости от специфики подразделений, требуется соответствующим образом обогащать собранные данные, ведь перед нами стоит задача восстановить 100% рабочего времени сотрудника — лишь так можно оценить его эффективность. Если это будет 50–60%, то это мало что даст.

В течение нескольких месяцев я проводил аудит работы подразделений и узнавал, как именно работают сотрудники. Благодаря этому сейчас наш мониторинг охватывает около 99% их действий. При дальнейшем масштабировании системы внутри компании и для внешних заказчиков, конечно же, потребуется добавлять новые источники.

Мы специальным образом готовили данные, чтобы вывести коэффициент сложности работы сотрудника — это влияет на его показатель эффективности. Учитывали довольно много параметров, проделали огромную работу по структурированию данных из существующих регламентов — то есть оцифровывали неструктурированные данные. На их базе создавали методики расчета эффективности сотрудника. Мы выводим показатель того, насколько сложными являются те или иные виды работ, выполняемых сотрудником, определяем внутренний грейд сотрудника — насколько он авторитетен в подразделении. Эти подходы, наравне с методикой BCG, позволяют получать больше знаний из имеющихся данных.

— Какие технические решения применяются? И почему именно они?

Изначально прототип делали на решениях open source: СУБД PostgreSQL, скрипты на SQL, модели на Python — я являюсь сторонником открытых платформ. В качестве инструмента визуализации используем Power BI.

Однако по мере подключения к системе различных подразделений рано или поздно встанет вопрос масштабирования. Это предусматривает создание более масштабного озера и инструментов управления, включая глоссарий данных. В качестве системы управления данными планируем использовать Informatica — у нас уже есть опыт применения этого решения. На первом этапе мы опробовали интеграционную платформу, далее потребуются бизнес-глоссарий и каталог метаданных.

Система подразумевает подключение более десятка подразделений, и для этого нужен глоссарий для описания данных, методик расчета показателей, различных сущностей (инцидентов, плановых работ, проектных задач, записей звонков, почтовых сообщений), с которыми работают подразделения. Все это требует оцифровки, а на дальнейших стадиях станет необходимым звеном.

Кроме того, при появлении источников неструктурированных данных понадобится переход на платформу Hadoop — реляционной СУБД обойтись уже не удастся.

— Как решается вопрос качества данных?

Разумеется, качество данных в источниках далеко от 100%. Но даже если данные находятся в местах, которые принято называть «болотом», их качество приходится улучшать постфактум — можно их очищать и обогащать. Часто данных не хватает, и тогда мы создаем в источниках новые поля, позволяющие проследить, например, траекторию изменения инцидента в системе. В работах над серьезными инцидентами принимают участие много исполнителей, и лишь с помощью новых полей в базах данных, в которые выгружается информация с оборудования, удается проследить их цифровой след.

Кроме того, применяя искусственный интеллект, мы боремся с аномалиями в данных и нормализуем их. Переписываем много унаследованных систем, чтобы они выгружали данные в нужном нам виде.

Довольно долго проработав с предприятиями реального сектора, я могу констатировать, что в телекоме ситуация с данными гораздо лучше, чем в других индустриях, за счет хорошей инфраструктуры и возможности сбора практически любых данных. Этому уделяется много внимания. И этот опыт мы также можем транслировать как провайдер цифровых услуг для других отраслей непрерывной промышленности. Например, еще один недавний проект нашей команды — цифровизация цеха производства удобрений в компании «Уралхим».

— В чем заключалась самая большая проблема?

В большой компании процессы достаточно бюрократичны и инертны. Но с этим, вероятно, сталкиваются все.

Серьезным вызовом стали неоднородность данных и необходимость создания глоссария, который позволил бы их упорядочить, обеспечив правильное масштабирование проекта. Подразделения очень разнородные, они работают с разными сущностями: кто-то работает за компьютером, а кто-то ездит по базовым станциям и заводит там дизельные генераторы. Их работу надо привести к общему знаменателю и масштабировать. С одной стороны, для этого необходим высокий уровень абстракции, чтобы подводить под логику работы системы функционирование многих подразделений (может быть, даже нетехнических), а с другой — требуется учесть специфику работы каждого подразделения, которая часто уникальна.

— Какие результаты проекта вы сами считаете ключевыми?

Результаты внедрения новой методологии и реализации модулей машинного обучения, апробированных в ряде подразделений компании, показали прирост эффективности работы сотрудников от 5% до 15%. Обслуживанием сетевой инфраструктуры у крупных операторов занимаются десятки тысяч человек, поэтому эффект от масштабирования подобной практики как у телеком-компаний, так и у других промышленных компаний (например, из отраслей сырьевой промышленности) получается значительный — это сотни миллионов рублей.

Достижение четкого экономического эффекта, выражающегося в конкретных «живых» деньгах, было нашей тактической целью. Повысить качество работы сети — это хорошо, но оно не дает прямой и немедленной финансовой отдачи. А вот автоматизация рутинных функций с помощью математической модели — совсем другое дело: компания перестает нести расходы на их выполнение. Персонал может быть или сокращен, или перенаправлен на решение задач, действительно требующих участия людей.

Со стратегической точки зрения это очень важный инструмент для дальнейшего измерения эффекта от цифровизации и для осознания наиболее перспективных направлений для нее. Понимая, на что тратят время сотрудники и какие действия выполняют, мы совершенно точно можем посчитать эффект от автоматизации любой функции. Это действительно очень важно, потому что до сих пор такой эффект было очень проблематично посчитать, чтобы оценить целесообразность проекта.

— Как именно происходит выявление функций для роботизации?

Мой подход включает несколько составляющих. Во-первых, необходим комплексный аудит того, что происходит. Приходится «идти в поле», тесно общаться с людьми, узнавать, что их волнует. Внутри технического блока у меня есть большие рабочие группы таких «следователей», приносящих пул конкретных инициатив. Другое дело, что результаты этих инициатив сложно рассчитать в деньгах.

Например, сотрудник просит разработать решение, способное оценить реальное время простоя базовой станции, и убеждает, что это «очень нужно для работы». Но где здесь экономический эффект? Да, прислушиваться к пожеланию специалистов необходимо, но еще важнее проследить цепочку изменений, приводящую к измеримому эффекту — сокращению простоя станции, увеличению трафика, повышению производительности сотрудников.

— Какие процессы в первую очередь будут замещаться искусственным интеллектом?

Моя область — машинное обучение, как классическое, так и глубокое (связанное с анализом текстов). В каждом из направлений у меня есть набор областей, где можно найти эффект. В классическом машинном обучении это выявление инсайтов, где можно, прогнозируя события, добиться автоматизации конкретной функции. Сюда относятся, скажем, предиктивные ремонты, направленные на предотвращение инцидентов. В случае с анализом текстов следует найти задачи, где задействована лишь одна когнитивная функция — например, принятие решений на основе текстового сообщения.

— Что дальше? Какими вы видите дальнейшие направления развития проекта?

Важным шагом станет добавление неструктурированных данных и развитие проекта от классического машинного обучения в сторону глубокого обучения. Одна из идей — создать аналог алгоритма обработки естественного языка GPT-3, выпущенного OpenAI, который может, проанализировав произведения, писать стихи, музыку и даже программный код.

В нашем случае цель такой модели может заключаться в анализе экспертной информации диспетчеров. Тогда в нашем распоряжении окажется инструмент, который сможет проанализировать труд диспетчеров и стать единым ассистентом для них. Очевидно, что он будет применим и для других компаний, в том числе для непрерывных производств.