Директор по данным

Развитие экосистемы «Сбера» потребовало перехода на новый уровень организации управления данными: возникла необходимость предоставить к ним доступ широкому кругу пользователей внутри компании и реализовать работу с данными как сервис. Нужно было дать пользователям возможность самостоятельно искать и заказывать данные, а кроме того, обеспечить автоматизацию процессов data governance и безопасности. Речь идет о создании «единого окна» доступа к данным, объем которых уже превысил 100 Пбайт.

Решением проблемы стало внедрение разработанной системы «Супермаркет данных», в рамках которой пользователь, работая с каталогом данных «Сбера» с применением поиска на естественном языке, может заказывать данные разово или получать их в виде регулярной поставки. При этом пользователь освобожден от выполнения служебных рутинных операций, связанных с получением доступа, изучением инфраструктуры и структуры данных и т. п., — все процессы централизованы и лежат «под капотом» клиентского сервиса.

О создании «Супермаркета данных» рассказали номинанты премии Data Award 2022 Борис Рабинович, старший управляющий директор — директор Департамента управления данными Сбербанка, CDO «Сбера», и Мария Юшанова, начальник Управления распространения данных Сбербанка.

— Каким был процесс получения данных пользователями раньше? В чем заключались ключевые проблемы?

Борис Рабинович: Для того чтобы начать использовать данные, сначала требовалось понять, где они расположены. И в банке, и в любой другой крупной компании есть множество учетных, клиентских и прочих систем. Аналитики должны были выяснить, где можно раздобыть необходимые данные, и обратиться за доступом к ним. После оформления всех необходимых заявок и их согласования приходилось разбираться со структурой данных и разрабатывать ETL-процесс для загрузки информации в то место, где будут строиться бизнес-решения.

Одно дело, когда такая проблема касается десятка или даже сотни сотрудников, и совсем другое — когда их счет идет на тысячи. Поэтому появилась идея оптимизировать и автоматизировать этот процесс: создать описание данных, их структурированный каталог, облегчить заказ данных, упростить доступ к ним. Но самое важное — заменить разработку тысяч ETL-процессов на единый сервис поставки данных. В масштабах «Сбера» это кратно сокращает трудозатраты и время доступа к данным. Важно отметить, что данные собраны в полном соответствии с действующим законодательством, с разрешения клиентов, и хранятся и обрабатываются они только в обезличенном виде.

— В чем суть созданного решения?

Б.Р.: Цель реализации нашего дата-сервиса — радикальное сокращение времени на доступ к данным, а также упрощение их поиска и потребления. Все происходит аналогично тому, как мы создаем заказ в интернет-магазине: находим нужный «товар» через поисковую строку на портале или в каталоге, добавляем в «корзину» и оформляем разовую или регулярную доставку.

Если раньше для получения данных требовался опытный ИТ-специалист, то теперь процесс доступен любому сотруднику. Более того, прежде даже специалисту на поиск, доступ и выгрузку данных требовалось до 60 дней, а сейчас процесс занимает не более трех часов.

Пользователь может заказать данные в пакетном режиме (разовая поставка, регулярная поставка по времени или по событию) в виде снэпшота или инкремента. Кроме того, работает потоковая поставка данных в режиме, близком к реальному времени.

— Из каких компонентов состоит «Супермаркет данных»?

Мария Юшанова: Важно понимать, что «супермаркет» — не только магазин с данными, где осуществляется заказ и дистрибуция данных. Это конгломерат, который обеспечивает все сопутствующие сервисы.

Супермаркет состоит из трех крупных частей: портал, бэк-офис и ядро, где происходит выполнение и обработка поступающих заказов. Обычно клиентский путь таков: пользователь заходит в супермаркет, видит структурированный каталог либо пользуется поиском на естественном языке — и поисковик предлагает ему необходимые дата-сеты с описанием. После этого пользователь набирает себе «в корзину» необходимые данные, при необходимости накладывает на них фильтры. Если у пользователя еще нет доступа к этим данным, ему не нужно создавать заявку на доступ — и в этом ключевое изменение: она будет сформирована автоматически и обработана по соответствующим правилам, в зависимости от категории данных.

— Сколько времени потребовалось на реализацию проекта, какие этапы он включал?

М.Ю.: Мы начали этот проект еще в 2019 году — с сессии дизайн-мышления. Мы видели возможности для ускорения доступа к данным и думали над тем, как их можно оптимизировать, — именно так и родилась идея супермаркета данных. Далее мы разработали MVP, который работал сначала только на пакетные загрузки и лишь внутри платформы Hadoop. Следующим этапом шло усложнение функциональности: мы развивали доставку на разные площадки, подключали различные системы хранения, увеличивали частоту поставок, охватили потоковые данные. Третий этап включал развитие с точки зрения управления доступом и правил data governance.

В этих направлениях зачастую работа шла параллельно — у нас всегда амбициозные цели: требуется всё, сразу и качественно. Поэтому понадобился еще год после появления MVP.

Мы увеличиваем ассортимент данных, расширяем «зоны» доставки данных, повышаем вариативность поставок и оптимизирум многое другое. На данный момент у нас 57 интеграций, включающих логистику от поставщика до потребителя в разных режимах в сопровождении обеспечивающих сервисов, таких как сервисы защиты данных, федеративного доступа, сервисов поставки и так далее.

— Расскажите об этапе дизайн-мышления.

М.Ю.: Это наша нормальная практика, появившаяся с переходом на Agile и ставшая важнейшей частью всех проектов. Таким образом совместно с заказчиком мы проговариваем не только запуск крупных продуктов, но и любые достаточно крупные изменения в них. Это позволяет сделать сервисы правильнее и удобнее, учесть все возможные нюансы, взглянуть на проблему со всех точек зрения. Кстати, в таких сессиях участвуют не только бизнес-пользователи, но и сотрудники служб безопасности и сопровождения.

Основные пожелания были очевидны: чем быстрее доступ к данным, тем лучше, и при этом решение не должно обойтись слишком дорого. Но именно в процессе дизайн-мышления, в котором участвовали разные категории потребителей, был найден оптимальный вариант взаимодействия пользователя с сервисом — принцип самообслуживания. Кроме того, мы выявили потребность в поиске данных на естественном языке и в наличии рекомендательного сервиса.

— Какие организационные изменения потребовались?

Б.Р.: Функции CDO в банке уже много лет, все процессы и политики уже давно выстроены. Поэтому в SberData была просто выделена команда, отвечающая за этот инструмент.

— Как «Супермаркет данных» стыкуется со стратегией управления данными, какое место в ней занимает?

Б.Р.: Это ключевой элемент в стратегии управления данными, и подразделение кибербезопасности нас в этом поддерживает. «Супермаркет» — единая точка доступа к данным в контуре «Фабрики данных» (единой платформы для работы с данными), и нет никакого другого способа получить данные, кроме как через него. Здесь проходят все процессы, связанные с правами доступа, распространением данных.

В рамках платформы сам бизнес-заказчик может увидеть все, чем он владеет, какие у него есть подписки, каков их статус. Аналогично, все службы могут понимать, кто к каким данным обращается, какие у кого права. Это краеугольный камень работы с данными.

— Сколько людей работает над этим продуктом?

Б.Р.: В SberData за «Супермаркет данных» отвечают около 40 человек.

— Поиск на естественном языке в каталоге данных — действительно громадный шаг навстречу пользователям. Как это решение реализовано, что оно собой представляет?

М.Ю.: В первую очередь данные должны быть описаны, причем строго по стандартам. У нас есть продукт «Карта данных», в нем владельцы данных получают физическую модель данных, за которую отвечают, и описывают эти данные на естественном языке по определенным стандартам. Далее описание данных выгружается в «супермаркет», и через поиск, реализованный на ElasticSearch, становится доступным пользователям.

Обычно пользователи не вводят запрос полностью, а указывают, например, «кредиты юридических лиц». Этого достаточно для того, чтобы подтянуть информацию по всем необходимым таблицам и атрибутам.

— На какие результаты от «Супермаркета данных» рассчитывали, как они соотносятся с практикой?

Б.Р.: Важным эффектом стала демократизация данных, именно на нее мы рассчитывали больше всего. Как и в случае с любым хранилищем, вопрос финансового эффекта — очень спорный, на него вряд ли кто-то сможет ответить. Вероятно, его можно оценить через человеко-дни в «условных миллиардах» для банка. Но ведь речь идет не столько об экономии времени работы специалистов, сколько об ускорении процессов и сокращении времени вывода продуктов на рынок. Поэтому мы больше склонны рассматривать эффекты с точки зрения ресурсов, занятых в работе с данными, и задействованной в этом инфраструктуры.

У платформенного подразделения есть преимущество в том, что мы можем принять проактивное решение о развитии инструментов управления данными, которые, по нашим оценкам, должны быть востребованы бизнесом. И бизнес-подразделения (возможно, после некоторых колебаний) действительно впоследствии начинают их применять.

До реализации «Фабрики данных» мы использовали «озерца» данных. Они были плохо связаны между собой, имели собственную инфраструктуру и процессы загрузки данных, сопровождения и разработки. Когда внедряется централизованный инструмент, для меня как CDO, отвечающего за платформу, важна его востребованность. И я вижу, что на платформу приходят десятки, сотни, а затем и тысячи человек — все сообщество потребителей данных переходит на целевую инфраструктуру. Ключевой драйвер этого «великого переселения» — продукты, которые существенно упрощают жизнь пользователей. Этот комплекс автоматически затягивает в себя все наше комьюнити D-people — дата-сайентистов, аналитиков и инженеров. Мы на это рассчитывали и ровно это получили в итоге. Более того, возможно, мы недооценили востребованность «супермаркета» и сейчас видим рост потребления сервисов, существенно опережающий заложенные темпы.

— А какими количественными результатами можете похвастаться?

М.Ю.: На текущий момент через «Супермаркет данных» по подпискам осуществляется более 70 тыс. поставок данных ежемесячно для более чем 2700 пользователей, и рост продолжается. Мы добились огромных результатов в высвобождении времени наших сотрудников от рутинных операций. С внедрением тегирования данных мы автоматизировали доступ к ассортименту. А после добавления подписки в корзину и разрешенного доступа к данным можно получать данные с задержкой от 15 минут до 3 часов, в зависимости от их объема.

Важно отметить, что платформа «Супермаркета данных» обеспечивает потоковую поставку данных в режиме, близком к реальному времени. В планах — довести производительность системы до 10 млн операций в секунду, что позволит вывести, например, рекомендательные системы на качественно новый уровень.

— Насколько радикальным стало сокращение времени разработки продуктов?

М.Ю.: Поиск данных и доступ к ним занимал несколько недель, и еще полтора месяца — разработка процесса ETL. Это время могло различаться в зависимости от объема и вида данных, а также других факторов, но в среднем составляло около трех месяцев. Именно о таком сокращении сроков реализации проектов идет речь, и, с учетом количества запросов на данные, это гигантские объемы.

— В результате внедрения «Супермаркета данных» у всех пользователей появилась возможность попробовать себя в новой роли — специалиста по работе с данными. Насколько востребованным это оказалось в реальности?

Б.Р.: ИТ-специалисты могут сами извлечь необходимую часть данных с помощью SQL-запроса и проанализировать их. Но ведь большинство сотрудников не обладают такими знаниями. Поэтому было важно дать им инструмент, позволяющий без какого-либо программирования и чьей-либо помощи получить данные и заняться их анализом. Благодаря этому нам действительно удалось привлечь новые группы бизнес-пользователей.

Важность фактора удобства подтвердил резкий скачок объема потребляемых данных. Планируя инфраструктурные мощности для «супермаркета», наши специалисты проанализировали число потенциальных пользователей, наиболее востребованные данные и частоту их потребления. Однако почти сразу же мощностей перестало хватать. Пользователи стали заказывать кратно больше данных, чем делали это обычно. Анализ причины оказался прост: людям было интересно сделать заказ, положив данные в корзину легко и быстро.

— Было ли что-то еще, что вызвало ваше удивление?

М.Ю.: Все же процесс был выстроен так, что вначале мы пообщались с нашими пользователями, узнали их потребности и пожелания и лишь затем их реализовали. Поэтому других сюрпризов, помимо скачка потребления данных, не было.

— В каком направлении будет развиваться проект?

Б.Р.: В дальнейшем предполагаем развивать клиентские пути и повышать удобство сервисов. Например, мы планируем реализовать функционал «джойнов» — объединять данные из разных источников. Мы видим, что в этом есть потребность: многие агрегируют информацию в собственных витринах или лабораториях. Если сотрудник кладет в одну подписку бухгалтерскую информацию и данные о сделках, то понятно, что в дальнейшем он будет объединять их между собой. Мы можем брать это на себя и сразу формировать джойн при предоставлении подписки. Это качественное улучшение — доставлять не только сырые данные для анализа, но и полуфабрикаты, готовые к применению.

Кроме того, мы прорабатываем внедрение нескольких стримов, связанных с искусственным интеллектом, — например, по прогнозированию объемов нагрузки, производительности и надежности логистической цепочки. Это позволит существенно улучшить клиентский опыт, повысить доступность данных и расширить круг их потребителей.

Выставить на полку товары, которые пользуются спросом и могут привлечь потенциальных покупателей, а также по максимуму удовлетворяют разнообразные потребности, — не такая уж тривиальная задача, если ваш ассортимент не относится к ежедневному спросу, а магазинов у вас около 1,2 тыс. в 300 городах по всей России.

М.Видео-Эльдорадо уже несколько лет использует аналитику данных для реализации многих бизнес-процессов и персонализации покупательского опыта. С 2019 года компания начала активно развивать дата-продукты сразу для целого ряда направлений, таких как товарное наполнение магазинов, планирование промоактивностей, ценообразование.

Уже сейчас большая часть ассортимента магазинов «М.Видео» и «Эльдорадо» формируется на основе машинных рекомендаций. Данные, полученные онлайн, позволяют кластеризовать товары и построить дерево клиентских потребностей. На его основе алгоритм формирует рекомендации по наполнению товарной полки, учитывая множество факторов: поставленные бизнес-цели по обороту, размер маржи, особенности спроса в каждом из магазинов, уникальность товара, количество чеков и пр. По результатам пилотного проекта рост продаж по некоторым товарным категориям достиг 3,5% оборота. Автоматизация повышает эффективность планирования ассортимента и дает возможность менеджерам сосредоточиться на стратегическом развитии товарных категорий. Ну а клиенты без проблем находят на полках необходимый им товар.

Ретейлер поставил перед собой цель повысить прозрачность сбора и использования данных, обеспечить легкий и понятный доступ к нужной информации всем командам, работающим над клиентскими и бизнес-продуктами, — то есть, по сути, решил стать data-driven-компанией.

Проводя интервью в рамках конкурса на присуждение премии Data Award 2022 , мы поговорили с CDO М.Видео-Эльдорадо Данилой Наумовым и руководителем по управлению продуктом «Ассортиментное планирование» Максимом Николаевым о пути компании к data-driven-организации, о стирании границ между ИТ и бизнесом и о созданном решении для автоматического управления ассортиментом.

— Считает ли М.Видео-Эльдорадо себя data-driven-компанией? Если да, то как зарождался data-driven-подход? Как появился интерес к работе с данными?

Данила Наумов: Для начала давайте определимся, что такое data-driven-компания. Если это организация, принимающая решения на основании данных, то в наши дни такими могут считаться чуть ли не все. Но на мой взгляд, правильнее относить к категории data-driven компании, получающие конкурентные преимущества благодаря использованию данных. И мы однозначно находимся на пути к этому состоянию.

Еще в 2019 году первыми победами офиса данных стали решения из области клиентской аналитики и целевого маркетинга. Затем мы расширили область применения и создали полноценный центр компетенций по анализу данных и использованию алгоритмов машинного обучения. Сейчас у нас реализовано несколько продуктов для коммерческой дирекции: ценообразование, ассортимент, промопланирование. Отдельный сервис — чат-бот, который помогает нам отвечать на обращения клиентов. И конечно, наша гордость — видеоаналитика в рознице. Этот продукт, созданный внутри компании, позволяет решать большое количество задач по распознаванию очередей, детектированию одиноких покупателей, созданию тепловых карт. Сотрудники офиса данных задействованы более чем в 20 продуктовых командах.

— Как давно у вас появилась стратегия в области управления данными? Каковы ее основные положения и приоритеты?

Д.Н.: Важно, что наша стратегия неотрывна от стратегии компании. М.Видео-Эльдорадо планирует удвоить оборот до 1 трлн руб. к 2025 году за счет расширения ассортимента и создания лучшего персонализированного покупательского опыта на мобильной платформе OneRetail. Благодаря взаимодействию двух приложений — продавца и покупателя — OneRetail стирает границы между онлайном и офлайном, обеспечивая клиентам возможность бесшовно перемещаться из одного пространства в другое и в любом месте в любое время получать полный доступ ко всем товарам, сервисам и рекомендациям на основе данных. Персонализацию для клиентов и эффективность для бизнеса как раз и обеспечивают дата-сервисы.

Цель дата-офиса — создать условия для извлечения конкурентного преимущества из данных. И у группы М.Видео-Эльдорадо есть несколько продуктов, позволяющих создать для этого все условия.

Первое — это платформа данных: доступное, гибкое, логически связанное решение для хранения и анализа данных. Второе — набор практик ML-Ops для «операционализации» моделей машинного обучения и встраивания их в бизнес-продукты. И наконец, Data Governance — корпоративная функция управления данными как активом.

OneRetail — чисто интеграционная концепция, основанная на переиспользовании данных во множестве сценариев. Для ее успешной реализации необходимо обеспечить простое и быстрое получение данных от разных подразделений и их продуктов. Кроме того, не должно быть проблем с интерпретацией данных: источники и методики расчета показателей должны быть прозрачными. Если у подразделений будет возможность оперативно делиться данными, станут доступны процессы data discovery и тестирование гипотез по развитию продуктов, распространится практика внедрения алгоритмов машинного обучения в бизнес-процессы.

Либерализация доступа к данным — базовый принцип, который лежит в основе нашей стратегии. Все данные, которые генерируются в компании, должны быть доступны широкому кругу пользователей с учетом их роли. И чтобы эти данные стали доступными, кто-то их должен опубликовать. Этот кто-то — их владелец. Не ИТ и не офис данных, а руководитель команды или функции, в чьем периметре появляются эти данные. На него возлагаются обязательства по обслуживанию этого актива. Идея создания института владельцев данных — именно то, что ложится в основу нашей функции Data Governance (управление данными как активом).

— Но ведь офис данных существовал и до вашего прихода в компанию… Его стратегия как-то изменилась?

Д.Н.: Да, компания и раньше встраивала аналитику в отдельные бизнес-процессы, и сейчас мы пытаемся масштабировать такой подход. Для этого необходимо, чтобы работа с данными стала более массовой, не ограничивалась несколькими продуктами. Важно поднять общий уровень компетенций по работе с данными в рамках целой компании. Тогда у всех команд, работающих над развитием продуктов, появится возможность использовать машинное обучение в своих процессах.

— Какие ИТ-платформы применяются для работы с данными и почему именно они?

Д.Н.: Раньше в компании использовали хранилище данных SAP BW и BI-систему Microstrategy, преимущественно для формирования отчетности. Нам потребовался продукт, с которым можно было бы применять инструменты машинного обучения, — так у нас появилось аналитическое хранилище на платформе Greenplum. В качестве основного инструмента используются Python и AirFlow. Среди других ИТ-решений можно выделить React, PostgreSQL, Yandex.Cloud и GitLab CI/CD. Для создания ряда аналитических продуктов используем Tableau.

Сейчас мы готовимся к внедрению специализированных инструментов управления данными: бизнес-глоссарий, логическая модель данных, концептуальная модель данных, управление качеством данных. Кроме того, оцениваем возможность виртуализации данных: хотим создать слой доступа, на котором будет реализован каталог данных — к нему станут обращаться бизнес-пользователи. Их работа не должна зависеть от того, где конкретно находятся нужные им данные.

К типичным ошибкам, которые делают компании, можно отнести то, что часто они сразу приобретают понравившийся продукт и начинают его внедрять. Но эти продукты поддерживают лишь определенные процессы и спустя некоторое время способны стать «бутылочным горлышком» для развития систем. Мало у кого хватает мужества признать ошибку, и тогда вокруг продукта начинает развиваться экосистема «костылей», превращающаяся в монстра.

Первичными должны быть процессы. Вначале мы провели оценку зрелости процессов управления данными (Data Management Maturity) по методологии Университета Карнеги — Меллона. Затем определились с тем, что хотим предоставлять сервисы по продуктовому подходу, который у нас очень развит. Соответственно, мы должны разобраться с задачами и потребностями подразделений, узнать об их проблемах и трудностях, понять, какие преимущества и эффекты они ожидают получить. И уже с учетом этих факторов мы предлагаем набор продуктов и сервисов, прорабатываем под них процессы. Лишь разобравшись с процессами, мы можем сформировать требования к ПО, которое их автоматизирует.

К концу года мы планируем выйти на этап детальной проработки и пилотирования архитектуры системы Data Governance.

— Какие направления data-проектов получают наибольший приоритет и активнее всего развиваются?

Д.Н.: Сегодня специалисты центра компетенций по работе с данными задействованы более чем в 20 продуктовых командах. Помимо нескольких важнейших проектов, которые я уже упоминал (ценообразование, ассортимент, промопланирование, целевой маркетинг, чат-бот и видеоаналитика), мы работаем над платформами обратной связи, платформой клиентских данных (customer hub), прогнозированием спроса и оптимизацией товарных запасов, логистическим моделированием, несколькими HR-продуктами.

Очень важная особенность, о которой следует сказать, — матричная структура. В нашей компании происходит цифровая трансформация, и это не просто громкие слова: мы действительно стираем границы между ИТ и бизнесом, у нас нет отношений «заказчик — исполнитель». Продуктовые команды берут ресурсы из центров компетенций, которые находятся в ИТ и дата-офисе. У наших сотрудников, выделенных для продуктовых команд, в качестве KPI стоят бизнес-показатели тех продуктов, в интересах которых они работают. Такой подход позволяет разделить полномочия. Руководитель офиса данных не занимается функционалом в разработанных системах — это дело руководителей продуктов.

— Недавно компания М.Видео-Эльдорадо запустила решение для автоматического формирования ассортимента на полках. Как появился этот проект?

Максим Николаев: Текущее развитие рынка электроники характеризуется большим ассортиментом и высокой скоростью обновления линейки товаров, и поэтому все более актуальной становится работа с различными коммерческими метриками эффективности. На этапе органического роста индустрии было достаточно просто поставить побольше товара на полку — он замечательно продавался. Сейчас такой период прошел. Наступило время конкурентной борьбы: мы боремся за внимание клиента и долю его корзины. Находясь в фазе скорее интенсивного, а не экстенсивного роста, мы должны очень тонко настраивать уровень дистрибуции, управлять ценой, формировать ассортимент. Есть несколько подходов к решению этих задач. Традиционный путь заключается в том, чтобы нанимать все больше людей для управления растущим ассортиментом. Однако скорость развития рынка все увеличивается, учащаются ценовые стрессы, меняются предпочтения покупателей. Поэтому более эффективен альтернативный путь — data-driven-подход: с помощью углубленного анализа данных давать рекомендации по назначению управленческих атрибутов. Проще говоря, мы хотим создавать продукты, создающие рекомендации для менеджеров, на основе которых они могли бы принимать решения.

У нас много источников данных, как внутренних, так и внешних. И во всем этом множестве важно находить неочевидные взаимосвязи между метриками. Например, когда доступный ассортимент превышает 200 тыс. наименований, человеку тяжело понять, какие товары будут набирать популярность, а какие уже залежались на полке и не дают ожидаемого роста продаж.

С учетом скорости изменения рынка выигрывает тот, кто раньше принял правильное решение. Именно поэтому мы берем бизнес-процессы, находящиеся в коммерческом контуре, и насыщаем их цифровыми продуктами, которые помогают участникам процесса принимать решения на основе рекомендаций.

— Когда началась работа по проекту и на какой стадии вы находитесь сейчас?

М.Н.: Активная фаза проекта началась в январе 2021 года. К марту уже был готов MVP и проведены пилоты. Требовалось убедиться в том, что созданные модели действительно приносят дополнительные деньги. И лишь после этого мы начали постепенное масштабирование: процесс перехода должен быть максимально мягким и бесшовным. Сейчас мы находимся в точке, когда бизнес полностью переводит один из ключевых процессов на работу в новом продукте.

— Что собой представляет созданное решение?

М.Н.: Мы не хотели подвергать пользователей излишнему стрессу. На данном этапе все-таки человек принимает конечное решение, а подсказка машины воспринимается как «второе мнение». Поэтому мы попытались воспроизвести продукт в привычной для пользователя форме, чуть изменив дизайн того решения, которое использовалось до сих пор. Оно выглядит как веб-интерфейс, в котором у категорийного менеджера есть личный кабинет. В рамках своих товарных категорий он получает рекомендации, решает, принимать их полностью или частично, и осуществляет управление всеми атрибутами.

— В чем заключались самые большие проблемы в ходе проекта?

М.Н.: Путь был непростой. Так как мы говорим о цифровой трансформации, то институциональный аспект был особенно важен: недостаточно просто нашпиговать бизнес цифровыми продуктами. Как известно, организм часто отторгает плохой имплант. Поэтому было важно научить продуктовую команду и коммерсантов говорить на общем языке. Во многом это задача самой продуктовой команды — понимать потребности бизнеса, но нельзя забывать о необходимости взаимного движения. Бизнесу нужно научиться понимать ритм, в котором работают продуктовые команды, и принципы взаимодействия с ними.

Другой сложный момент — доказательство ценности продукта. Часто приходится слышать: «А вы, вообще, зачем?» В ответ надо «показать деньги», и если этого сделать не удается, то очевидный ответ — «Незачем». Мы демонстрировали ценность с помощью пилотов, чтобы подтвердить, что выдаваемые рекомендации действительно влияют на коммерческие показатели.

— Каких результатов удалось добиться?

М.Н.: Мы только начали. По сути, еще находимся на стадии MVP. Искусственный интеллект и люди работают вместе. Мы совершенствуем продукт, чтобы он рекомендовал продуктовые матрицы более точно, учитывал внешние факторы, на которые обычно обращает внимание только человек. Это помогает увеличить автоматизацию процесса, улучшить проникновение цифровых продуктов в бизнес. В результате высвобождается ресурс коммерческих менеджеров для стратегического развития категорий, для глубинного анализа рынка и зарождающихся трендов.

По результатам пилотов есть и чисто коммерческий эффект: благодаря использованию рекомендованных машиной продуктовых матриц, мы получили средний прирост до 3,5%. При объемах продаж в десятки и сотни миллиардов рублей для отдельных категорий, это весьма заметный эффект.

— Сейчас окончательное решение все-таки принимают люди. Реально ли формировать ассортимент полностью автоматически? Что для этого нужно?

М.Н.: В своих продуктах мы используем огромный объем ретроданных, в том числе из внешних источников, чтобы «заглянуть в завтрашний день». Поэтому одно из направлений развития — повышение доверия к рекомендациям, особенно для категорий, не требующих ежедневных корректировок. Для этого надо учесть как можно больше факторов, влияющих на изменение продуктовой матрицы. В теории это возможно, но на практике очень трудоемко. Когда мы рассматриваем вопрос полного доверия к машинной рекомендации, то уходим на более сложный уровень моделей, учитывающих специфику каждой конкретной категории. Выстроить по кирпичикам доверие человека к машинным рекомендациям — наш следующий шаг.

— Есть ли у этого проекта перспективы развития?

М.Н.: Глобально я вижу два вектора развития. Первый — учитывать как можно больше параметров, влияющих на изменение потребительского спроса. Мы рекомендуем товары, которые будут предлагаться клиентам в обозримом будущем, поэтому важно наращивать возможности в области прогнозирования. Особенно с использованием внешних источников. Скажем, для сезонных товаров (например, климатической техники) мы можем использовать прогноз погоды, а для товаров, предварительный выбор которых начинают онлайн, — поисковые запросы. Наша задача — сделать модели как можно более чувствительными к клиентским метрикам.

Второй вектор — покрытие продуктом всего бизнес-процесса. Так, мы хотим интегрировать данные от поставщиков, чтобы система «знала», что конкретный товар снимают с производства или будет сбой его поставки, и не рекомендовала для него широкую дистрибуцию. Таким образом, во-первых, мы будем рекомендовать тот продукт, который обернётся в дополнительные продажи, а во-вторых, повысим уровень доверия к формируемым рекомендациям.

— Какие еще data-продукты были созданы в последнее время? Приведите несколько показательных примеров.

Д.Н.: Например, очень важным продуктом стал клиентский чат-бот Алёна, который отвечает на обращения клиентов на сайте, в приложении и мессенджерах. В нем реализованы 23 сценария симуляции живого общения. В рамках этого продукта реализованы модели по классификации намерений, тональности, извлечению и распознаванию сущностей, построению оптимального диалогового сценария подбора товаров. Из наиболее сложных и интересных проблем в рамках этого проекта можно выделить модели автоматического построения графов знаний (knowledge graph) по товарным категориям, которые позволяют связать пользовательский словарь терминов с товарными характеристиками. Бот распознает до 98% запросов и самостоятельно обрабатывает порядка 40% обращений.

Еще один продукт, которым можно гордиться, — машинное зрение. Это решение мы реализовали собственными силами. Оно минимально в затратах, использует уже установленные в магазинах камеры. Разработаны модели идентификации клиентов, классификации «клиент — консультант», используются уведомления об одиноких покупателях и очередях на кассах. Для офлайн-аналитики и мерчандайзинга формируются тепловые карты движения наших покупателей. Начав пилотирование с пяти магазинов, к концу нынешнего года мы охватим еще 25.

— Многие отмечают, что для реализации data-driven-подходов необходимо изменение культуры работы с данными. Действительно ли это так и каковы действия компании в этой области?

Д.Н.: Да, это так. Каждый продукт можно очень долго развивать, используя лишь данные, генерируемые внутри подразделения. Но в какой-то момент для его дальнейшего развития потребуются данные извне. Это похоже на принцип работы торрент-трекеров: чтобы получить чужие данные, нужно самому что-то раздавать. Важно приучить пользователей к тому, что необходимо отдавать свои данные, инвестируя их в развитие соседних продуктов. Только если все одновременно так поступят, эта концепция будет работать.

Первый шаг, который мы делаем, — выделяем роли владельцев данных. Мы классифицируем данные на домены, анализируя, в чьем контуре рождается информация, и создаем новую роль. Это должны быть менеджеры достаточно высокого уровня, у которых не будет возникать вопрос: а зачем мне это? Они будут мыслить в масштабах компании, а не своих локальных задач, и поэтому смогут договориться между собой.

— В каком направлении будут развиваться инструменты для работы с данными в обозримом будущем? Какие цели для компании наиболее важны?

Д.Н.: Мы идем в сторону либерализации данных. Хотим выбрать инструменты, посредством которых подразделения смогут получить доступ ко всем данным компании и реализовать самостоятельную работу с ними. Главное, что требуется сделать, — построить каталог данных, с которым бизнес-пользователи могут работать, не вникая в технические вопросы. Мы создаем инструменты, которые смогут максимально упростить наши процессы и повысить их эффективность.

Управление на основе данных постепенно превращается из роскоши в необходимость для организаций любого масштаба и отраслевой принадлежности. Однако внедрение подходов data-driven — сложный проект, затрагивающий все аспекты деятельности организации: от технологий до управленческих практик, бизнес-процессов и культуры. Форум «Управление данными — 2021», организованный издательством «Открытые системы», охватил все эти направления. У компаний постепенно накапливается опыт «правильной» работы с данными, что отражается и на программе форума: с каждым разом все больше места в ней отводится практике.

«Умейте выжидать, умейте нападать…»

У каждой организации свои цели, видение и миссия, свои потребности, особенности и окружающая среда. Именно поэтому универсальных рецептов в управлении данными не существует, компаниям многое приходится придумывать самим. Тем не менее, по мнению Александра Погосьяна, исполнительного директора по направлению «Качество данных» в «Сбере», все стратегии по управлению данными можно разделить на два типа: «защита» и «нападение».

Александр Погосьян: «При выборе стратегии управления данными не стоит ударяться в крайности»

«Защита» подразумевает обилие регуляторных ограничений и приоритет требований безопасности. Но когда ограничений не слишком много, можно уделить гораздо больше внимания «нападению» — захватывать рынок и развиваться. По словам Погосьяна, типичная отрасль, для которой характерна стратегия защитного типа, — здравоохранение, а атакующего — ретейл; финансовый сектор находится примерно посередине. Эти стратегии отличаются технологическими и организационными особенностями. Например, для защитной стратегии характерна высокая степень централизации; это касается и функции CDO, и бюджета. В ее рамках все централизовано и часто доминирует теория: тратится много усилий на создание «единой версии правды», единых стандартов, политик, методик.

Когда же преобладает нападение, приоритет получает децентрализация. Функция CDO расплывается по бизнес-подразделениям, формирующим собственные бюджеты. И подразделения при работе исходят из собственных, сугубо практических задач.

«Как и в спорте, защиту выстроить проще, поэтому компании обычно начинают с нее, а затем переходят к нападению. Обратный подход гораздо сложнее», — отметил Погосьян. Тем не менее, как обычно, не стоит ударяться в крайности. Должен быть баланс между развитием бизнеса и соблюдением комплаенс-требований.

По-прежнему с бубнами

«Счетная палата является одним из лидеров цифровой трансформации органов государственной власти, цифровизируются и объекты ее контроля. Но в реальной работе мы сталкиваемся с тем, что без танцев с бубнами никак не обойтись. Очень печально, что государственным органам не удается выбрать другую музыку», — посетовал Валерий Сохоров, руководитель центра экспертно-аналитических и информационных технологий Счетной палаты РФ.

Валерий Сохоров: «85% рабочего времени инспектора тратится на поиск данных в информационных системах объектов контроля. Если эту рутину удастся снизить с 85% хотя бы до 50%, это станет отличным результатом»

Казалось бы, все необходимые системы внедрены и работают, но по факту инспекторы продолжают работать в электронных таблицах и текстовых документах. Дело в том, что органы власти не слишком сильно хотят делиться информацией не только с бизнесом, но и с органами аудита. Логика очевидна: если данные будут слишком хороши, то с их помощью будет легче выявить нарушения и наказать за них. Как подчеркнул Сохоров, 85% рабочего времени инспектора тратится на поиск данных в информационных системах объектов контроля. Если эту рутину удастся снизить с 85% хотя бы до 50%, это станет отличным результатом.

В Счетной палате работают более 700 инспекторов, которые проводят в среднем 150 проверок в год. В этих условиях Счетная палата остро нуждается в комплексной системе управления данными. Если возникает необходимость проверки, инспектор должен обращаться не к объекту контроля и тратить время на взаимодействие с ним, а непосредственно к данным.

В 2021 году в Счетной палате была создана единая команда по работе с данными, в которую, помимо «технарей» и дата-аналитиков, входят 52 дата-стюарда, являющихся, по словам Сохорова, «переводчиками между айтишниками и чиновниками».

Путь осознанного потребления

«В будущем компании будут управлять данными, потому что этого будут требовать не регуляторы и руководители, а клиенты и партнеры. Приходит время культуры, основанной на осознанности потребления данных», — считает Полина Минеева, руководитель практики Applied Intelligence в Accenture.

Полина Минеева: «В будущем компании будут управлять данными, потому что этого будут требовать не регуляторы и руководители, а клиенты и партнеры. Приходит время культуры, основанной на осознанности потребления данных»

Действительно, все компании начинали свой путь к управлению данными с проектов, заключающихся в разработке стратегии использования данных и повышения их качества, стремясь ускорить получение регуляторной и управленческой отчетности. Эти проекты реализовывались исключительно по требованию регуляторов и руководства компании. Они характеризовались жестко централизованной моделью и созданием единого центра компетенций внутри организации. Впоследствии приоритеты существенно изменились: компании начали управлять данными, потому что увидели в этом ценность для себя. Как результат, в ходе проектов стали появляться два-три центра компетенций, в бизнесе произошла федерализация данных. Изменились и технологии: на смену традиционным хранилищам данных пришли гибридные решения и микросервисная архитектура.

Сейчас наблюдается новая тенденция, — data minimalism: происходит переход от больших (big data) и умных данных (smart data) к minimum viable data — минимально необходимым данным для создания конкретного информационного продукта. Такая осознанная фильтрация данных не только сокращает стоимость их хранения и обработки, но и, например, позволяет четко ответить клиентам на вопрос, какие данные о них собираются и с какой целью.

Большие данные для малых предприятий

Поставщики данных и аналитических сервисов на их основе предполагают, что потребители их продуктов – также крупные компании, использующие аналитику для поддержки принятия решений. Поэтому и соответствующие сервисы, в первую очередь, ориентированы именно на такие организации. Малому бизнесу, не имеющему собственных аналитических ресурсов, приходится действовать наощупь. Как следствие, большинство из мелких компаний живут очень непродолжительное время.

«Не имея достоверных данных, решения о старте и развитии бизнеса принимать очень сложно: предприниматель, организуя свое дело, должен просчитать множество факторов. Крупный бизнес для этого привлекает консалтинг и пользуется услугами профессионалов высокого класса, а у ‘малышей’ таких возможностей нет», — подчеркнула Мария Поликанова, управляющий директор SberData и руководитель стратегического комитета Ассоциации больших данных. Предпринимателям нужна поддержка принятия решений: отчеты, фактически обрисовывающие перспективы на ближайшее будущее, а в идеале – финансовый план на три года.

Мария Поликанова: «Не имея достоверных данных, решения о старте и развитии бизнеса принимать очень сложно: предприниматель, организуя свое дело, должен просчитать множество факторов»

Поликанова рассказала о том, как большие данные помогают развиваться малому и микробизнесу. Участниками Ассоциации больших данных создан рекомендательный сервис «Собственное дело» для малого бизнеса. Он использует обезличенные данные из различных отраслей и вошел в перечень проектов в области цифровых инноваций, для которых вводится особый экспериментальный правовой режим. Сервис дает возможность правильно выбрать локацию для своего бизнеса и задать его параметры: необходимые инвестиции, окупаемость проекта, оборудование и персонал, ценовая политика и план продаж.

Без бизнеса не обойтись

«Далеко не все аналитические проекты являются успешными. Где-то нарушается бюджет, где-то — сроки, где-то достигаются не все цели. Всегда что-то может пойти не так», — признал Иван Вахмянин, генеральный директор компании Visiology. По его убеждению, большая часть проблем связана не с технологиями, а с соответствием бизнес-задачам, наличием компетенций и готовности меняться. Основной эффект дает не само внедрение BI, а именно управление на основе данных. Для этого необходимы и качество данных, и корректная их обработка, и визуализация, и заточенность на предметную область. Но самое главное — должны быть внедрены соответствующие управленческие практики. Если менеджеры не привыкли работать с данными и не верят в это, то им не помогут даже лучшие инструменты.

«Большое количество возникающих в ходе проектов проблем связано не с техническими решениями, а с неверным подходом. Пробивать лбом стены — не самое правильное занятие», — согласился Олег Гиацинтов, технический директор DIS Group.

Роль CDO в компании до сих пор размыта, на него часто взваливают много лишнего. Например, его обязанности могут включать защиту и обеспечение безопасности данных, создание аналитических систем. В результате Data Governance в компании часто остается «на бумаге», за теоретической деятельностью не доходит до реальной работы с данными. Отсутствие реального финансового эффекта предсказуемо приводит к смене CDO. Гиацинтов привел примеры «лучших практик» CDO-долгожителей: необходима стратегия управления данными; нужны наглядные примеры того, как аналитика данных может стимулировать бизнес-результат; в обязательном порядке следует выбрать одного-двух передовых директоров для поддержки и показать другим руководителям результаты их работы.

К слову, именно таким путем пошла Светлана Бова, CDO ВТБ, заручившись в начале своей работы поддержкой департамента рисков. Она рассказала о выстраивании в банке карт потоков данных — data lineage. Наличие такого инструмента радикально сокращает время решения аналитических задач. Возможно, он не обязателен для небольших компаний, но когда речь заходит о больших масштабах, то все меняется. Например, такой подход позволяет просчитать, на какие из систем повлияет изменение части корпоративного ландшафта, а также серьезно помогает в решении инцидентов, касающихся качества данных.

«Наша цель — стать data-driven-компанией. Самое привлекательное в этом — возможность отдать рутинные процессы искусственному интеллекту, а человеку оставить лишь стратегические задачи», — заявил Сергей Иванов, CDO «Уралхима». Чтобы это стало реальностью, нужна трансформация культуры и открытость бизнес-подразделений новшествам, их помощь в создании цифровых продуктов. Как подчеркнул Иванов, пока бизнес не вовлечен в этот процесс, серьезного эффекта не будет. Как следствие, на первый план у ИТ-подразделения выходят задачи по обучению бизнеса.

«Данные — это актив. Мы просчитали, что произойдет, если не будет соответствия между одинаковыми продуктами в разных странах, и результаты нас впечатлили», — рассказала Анна Дудина, руководитель функции по управлению мастер-данными IDS Borjomi International. Сразу после восприятия данных как актива естественным образом встает вопрос управления ими и контроля их качества. Актив необходимо описать и оценить, и он должен иметь хотя бы одного бизнес-владельца, а в идеале — ровно одного. Кроме того, данные публикуемые цифровыми продуктами, должны ссылаться на описание используемых активов данных.

В 2020 году в IDS Borjomi International был начат масштабный MDM-проект, в ходе которого пришли к необходимости создания совета по управлению данными (data council) — совещательного органа, на котором принимаются решения, связанные с анализом данных, а также с планированием и контролем работы с данными.

В пивоваренной компании «Балтика» тоже разработали ролевую модель, привлекающую бизнес-функции к управлению данными. «Данные должны иметь 'имя и фамилию' — только так можно добиться их качества», — уверена Варвара Макарьина, отвечающая в компании «Балтика» за реализацию стратегии Data Governance. Практика показывает, что до 30% времени сотрудников тратится на поиск данных и оценку их качества. Более того, часто компании зависят от экспертов, которые знают о данных все и уход которых может стать катастрофой. Внедрение в «Балтике» каталога данных позволило решить эти проблемы.

Варвара Макарьина: «Данные должны иметь 'имя и фамилию' — только так можно добиться их качества»

«В онлайн-продажах, в отличие от традиционного ретейла, решение о покупке зачастую принимается исключительно на основании представленной информации о товарах, поэтому качество данных приобретает критически важное значение», — отметил Юрий Кротков, менеджер проектов в «Яндекс.Маркете». Любой инцидент, связанный с качеством данных, влияет на продажи, а иногда и на логистические процессы. При этом в ряде случаев искажения в данные вносят умышленно — это делают с различными целями поставщики продукции и их партнеры. По признанию Кроткова, раньше в «Яндекс.Маркете» пытались «максимально эффективно тушить пожары». После внедрения решения Ataccama в компании появились дата-стюарды, настраивающие логику автоматического контроля качества данных.

***

Как отметили многие участники форума, до недавнего времени акцент делался исключительно на технологиях сбора и анализа данных, а управление ими отходило на второй план. И до сих пор компании часто не знают, кого нанимать на позиции, связанные с управлением данными, ведь эта функция у многих только создается. Более того, руководители и специалисты — от CDO до аналитиков — имеют субъективные представления о целях управления данными, часто оно сводится лишь к быстрой окупаемости проектов.

Согласно меткому высказыванию, коронавирус стал лучшим директором по цифровой трансформации – всего за год ему удалось то, на что в «мирное» время потребовалось бы долгое время. Многие утверждают, что за прошедший год, несмотря на все проблемы, в области работы с данными было сделано больше, чем за прошедшие 10 лет. Как отметили эксперты рамках форума INFADAY 2021, организованного компанией DIS Group, именно сейчас на первый план выходит задача создания корпоративной культуры управления данными.

Готовились долго, перешли за недели

«Компании долго готовились. К 2019-2020 году компании подошли с большим количеством инструментов, командами разработки, гибкими методологиями, инструментами управления данными», — констатировал Михаил Садофьев, руководитель направления продвинутой аналитики Accenture. Но прошлый год потребовал новых методов работы, другой манеры обмена информацией, правильного ее преподнесения, накопления базы знаний. Произошел и большой сдвиг с точки зрения информационной безопасности: компании сплотились, чтобы преодолеть неожиданный барьер. Узким горлышком стала правильная коммуникация между людьми, и в числе прочего, это повлияло на культуру работы с данными.

Михаил Садофьев: «Прошлый год потребовал новых методов работы, другой манеры обмена информацией, правильного ее преподнесения, накопления базы знаний. Узким горлышком стала правильная коммуникация между людьми, и это повлияло на культуру работы с данными»

Как подчеркнула Алевтина Тинас, руководитель отдела методологии, дирекции по управлению данными и контролю маржинальности бизнеса Tele2, прошлый год показал, насколько быстро при необходимости все мы умеем меняться. Конечно, это не было волшебством: все компании, успешно прошедшие сквозь сложный период, уже были готовы к изменениям. Тем не менее, Tele2, как и все компании, столкнулась с определенными сложностями.

«Мы увидели, что абоненты начинают пользоваться услугами в необычных местах, и пришлось оперативно развивать сети там, где они до сих пор не были востребованы», — отметила Тинас. Стали востребованными сервисы, связанные с государственными данными, в том числе в части предотвращения распространения коронавируса. Все это требовало большого объема оперативной работы.

Татьяна Борисова: «Прежде чем организовывать доступ большого количества людей к данным, в компании должно появиться понимание того, что данные – это ценный актив компании»

«Конечно, был вызов с точки зрения перехода на онлайн-формат. Пандемия дала развитие для него, но при этом мы увидели многие проблемы, которые подчеркнули важность работы с данными. И культуры работы с ними», — рассказала Татьяна Борисова, руководитель направления стандартизации данных и управления знаниями пивоваренной компании «Балтика». Если раньше сотрудники, находясь в офисе, могли спросить у коллег совета, то сейчас на лишние созвоны и совещания времени нет. Это показало важность создания единого места для хранения информации о данных.

«Наш банк давно работал над созданием стратегической финансовой модели, которая позволяла бы делать динамическое моделирование. Но лишь в условиях кризиса ее удалось завершить», — поделился Игорь Гончаров, руководитель службы управления данными и организационным развитием банка «Уралсиб». У руководства банка уже давно было ощущение, что нельзя по три года жить в рамках нескольких основных сценариев – от оптимистического до пессимистического, – ситуация меняется гораздо быстрее. А пандемия показала, что надо опираться не на долгосрочные прогнозы, а на возможность оперативно перестраивать свои планы.

Игорь Гончаров: «Именно культура определяет эффективность работы с данными. Это стиль мышления: я наблюдаю, как шаг за шагом удается изменить подходы к принятию решений»

«Мы перешли на 'удаленку' за несколько недель. Для этого нужно было иметь и необходимый технологический ландшафт, и культуру управления, которую следовало изменить в считанные дни», — заявила Наталья Третьякова, руководитель управления организации работы с данными «Газпром нефть». Практике регулярного менеджмента были сильно изменены именно из-за того, что культура онлайн-общения совсем другая. В частности, пришлось сильно изменить управление проектами – требовалось очень быстро принимать решения в рамках крупных проектов.

Наталья Третьякова: «Нужно сообщество евангелистов. Одному человеку, особенно в крупной компании, трудно изменить мир, а вот усилия нескольких человек вполне способны на это»

Что такое культура работы c данными?

«Сейчас со всей очевидностью становится ясно, что именно культура определяет эффективность работы с данными, – уверен Гончаров. – Это другой стиль мышления, я наблюдаю, как шаг за шагом удается изменить подходы к принятию решений». Если раньше многие организации опирались на экспертизу и опыт, особенно при принятии быстрых решений, то сейчас всё изменяется. Разрабатываются гипотезы, как дальше может развиваться организация, что может приносить прибыль, что выгодно клиенту. Проверка этих гипотез на реальных данных и порождает изменение культуры: представители топ-менеджмента действительно начинают мыслить категориями проверки гипотез. Прав не тот, кто более красноречив, а чьи доводы подкреплены данными.

Исследования, проводимые аналитиками, показывают: организации, изменившие культуру работы с данными, способы обработки информации, сейчас становятся гораздо более эффективными.

«Культура – это не процессы и инструменты, а то как они реально применяются в компании», — согласна Тинас. Все зависит от того, насколько много людей принимают решения, основываясь на данных, сколько из них осознанно используют данные – понимают, откуда они происходят, какого они качества, как эти данные используются в дальнейшем. Чем больше людей проникаются этой культурой, тем мощнее наблюдаемый эффект. Проблема в том, что именно культурные изменения – самые сложные.

«Культура работы с данными зависит от того, какие действия выполняет каждый сотрудник в своей ежедневной работе. Работа с данными должна стать рутинной для всех», — полагает Третьякова. До сих пор во многих компаниях знания о работе с данными передаются из уст в уста: получив успешный опыт, сотрудники транслируют его на своих коллег. Российская ментальность заключается не в чтении инструкций, а передаче лучших практик через «сарафанное радио». Как следствие у нас нормальной практикой становится распространение культуры через пилотные проекты, в которых сотрудники видят ценность лично для себя. Это более эффективный путь, чем любые изменения сверху.

Действительно важна заинтересованность топ-менеджмента и в целом идеология. Но самый лучший двигатель изменения – бизнес-кейсы. «Данные должны монетизироваться – и это не просто слова. Если мы найдем возможность строить новый бизнес или получать новую добавленную стоимость от работы с данными, это лучший путь к изменению культуры», — отметил Гончаров.

Возглавить «окультуривание»

В развитии культуры помогает социальный подход: внутри организации важно создать сообщество аналитиков и потребителей данных, чтобы появились горизонтальные связи и размылись стены между различными департаментами. Люди должны обмениваться не отчетами, вызывающими споры, а дата-сетами, где все прозрачно. Если такое сообщество будет создано, то это лучший двигатель развития культуры.

«Сообщества – это тренд, который развивает любую культуру», — говорит Тинас. Другой вопрос – как людей вовлекать в эти сообщества. Самые ценные его участники – эксперты, которые уже успешно используют данные. Но как замотивировать их делиться успехом с остальными? И как организовать сотрудничество большого количества людей и выровнять у них культуру работы?

«Мы сотрудничали с вузами, и несколько идей относительно внедрения культуры управления данными пришло от студентов. Например, использование геймификации, позволяющей вовлечь большее число участников», — отметила Борисова. Она считает, что прежде чем организовывать доступ большого количества людей к данным, в компании должно появиться понимание того, что данные – это ценный актив компании, и они имеют не меньшее значение, чем оборудование и основные средства. Через обучение и тренинги такое понимание можно привить.

Предоставляя доступ к данным большому числу пользователей, важно подчеркивать, что это единый источник правды. Не должно быть противоречивых данных; кроме того, необходим каталог, помогающий видеть единый порядок их интерпретации и трактовки. Иногда имеет смысл предусмотреть возможность задать вопрос владельцу данных. Имея такую прозрачную систему, и культуру строить проще, и времени на поиск информации будет уходить меньше. Это крайне важно, особенно на начальном этапе.

CDO-евангелист: один в поле не воин?

«При наличии единственного амбассадора и отсутствии вовлеченности к других сторон велик риск замедленного развития», – полагает Борисова. А вот наличие кросс-функциональной команды снижает риски и сокращает сроки. Именно такой подход является самым эффективным, и к нему стоит стремиться.

«Нужно сообщество евангелистов. Одному человеку, особенно в крупной компании, трудно изменить мир, а вот усилия нескольких человек вполне способны на это», — согласна Третьякова. Для этого нужна общая идея, общая цель и понимание того, что компания в итоге должна получить от этих серьезных инвестиций – ведь ресурсов действительно потребуется много. Если нет стратегии и цели, то такую группу евангелистов, понимающих, на какую цель они работают, создать сложно.

«Культуру сложно насаждать, она должна расти сама. Внешние усилия могут лишь поспособствовать росту», — уверена Тинас. Со стороны CEO требуется поддержка, со стороны CDO – обеспечение процессов и инструментов, со стороны HR – организация обучения. Но ключевую роль играют «евангелисты от бизнеса» – ключевые пользователи данных.

Разумеется, технологии важны: говорить про культуру работы с данными, имея в наличии лишь электронные таблицы и почту, сложно. Но она в любом случае должна распространяться личным примером, в идеале – со стороны руководства. Поддержка членов правления, хотя бы декларативная («Не приносите мне отчеты в Excel и не присылайте отчеты по почте»), очень важна и показывает остальным направление развития.

Созданная в компании «Почта России» единая платформа больших данных стала основой для интеграции множества информационных систем компании и технологическим фундаментом ее сотрудничества с партнерами по логистическому рынку. Экономический эффект от создания платформы огромен, и оценить его в полной мере еще только предстоит. О внедренной платформе и полученных благодаря ее появлению результатах рассказывает Анна Ахобадзе, руководитель департамента обработки, хранения и аналитики больших данных «Почты России» и номинант на премию CDO Award 2021 .

- Ваша компания — обладатель, вероятно, одного из самых крупных массивов данных в нашей стране. Как давно у вас появилась стратегия в области управления данными? Каковы ее основные положения и приоритеты?

Заниматься управлением данными в компании начали достаточно давно, но в течение последнего года мы стали очень активно развивать это направление. Основные положения ИТ-стратегии «Почты России» в области данных вполне понятны: нужно накапливать максимально возможное количество данных, описывать их, верифицировать, проверять их качество и добиваться того, чтобы оно было достаточно высоким на всех уровнях систем и процессов, которые порождают и обрабатывают эти данные. С точки зрения демократизации данных нужно позаботиться о том, чтобы предоставить всем заинтересованным пользователям удобные инструменты для работы с этими данными и для принятия на их основе правильных решений. Наконец, компания рассчитывает на внутреннюю монетизацию накопленных данных. О продаже данных вовне речь не идет.

- Как в компании организовано управление данными?

Ответственность за управление данными в компании лежит на мне. Другими словами, я выполняю роль директора по данным.

Технологическую основу управления данными обеспечивает единая платформа больших данных. Она состоит из нескольких модулей. Один из них обеспечивает сбор данных из различных источников, их предварительную обработку и хранение в кластере Hadoop. Другой модуль предоставляет пользователям набор инструментов для доступа к данным. Третий модуль помогает отслеживать и контролировать качество данных внутри платформы и в других ИТ-системах компании. Для расчетов и дистрибуции витрин данных у нас применяется MPP-платформа. Для потоковой обработки данных используются популярные инструменты Kafka, Spark, Сassandra.

Кроме того, есть модуль описания данных (каталог данных): он содержит информацию о том, какими именно данными компания располагает и какие методы расчетов следует применять для определения тех или иных показателей. Этот модуль создан, для того чтобы помочь сотрудникам правильно пользоваться имеющимися данными.

Еще один модуль помогает обеспечить монетизацию данных. По сути, это инфраструктура для Data Science, разработки и продуктивной эксплуатации аналитических приложений, в том числе с использованием машинного обучения и моделей ИИ — для их написания используется популярная платформа Jupyter. Планируем также дополнить этот модуль возможностями для сбора внешних данных.

Информация может передаваться в платформу как один раз в сутки, так и в режиме, близком к реальному времени. Это одна из ключевых систем в архитектуре нашего ИТ-ландшафта. Она обеспечивает не только сбор и накопление данных, но и их обработку и передачу в различные системы для последующей работы.

- Как давно идет работа над созданием и развитием платформы?

Платформа создается в рамках масштабного долгосрочного проекта, который продолжается около трех лет. В минувшем году ее развитие шло особенно активно: темпы совершенствования платформы выросли в два раза. Это объясняется и тем, что к началу прошлого года уже была в целом завершена работа над базовыми элементами платформы, и тем, что именно в этот период работа над платформой была признана одним из приоритетных направлений развития ИТ в компании.

За минувший год был значительно расширен состав пользовательских сервисов, сформирована база знаний по использованию инструментов. Количество пользователей платформы выросло более чем в два раза. Кроме того, были сформированы KPI качества данных по ключевым сущностям компании, выстроены процессы мониторинга этих KPI.

- Какие основные бизнес-задачи решаются с помощью платформы? В каких бизнес-процессах она применяется?

Платформа применяется в огромном количестве бизнес-процессов. На ее основе рассчитываются ключевые показатели и принимаются различные управленческие решения. Она служит основой для исследований различных гипотез относительно бизнес-потенциала новых продуктов и их ценообразования. Наконец, поступающие из платформы данные используются в ключевых системах компании, в том числе тех, что поддерживают работу производственных подразделений.

- Как удалось совместить в единой платформе самые разные функции и возможности для решения таких разнообразных по масштабам и специфике аналитических задач?

Собственно, наша платформа для того и создавалась, чтобы с ее помощью решать самые разные задачи. Ключевое преимущество использования платформы заключается в том, что единая для всей компании модель данных помогает привести их в порядок, позволяя удовлетворять требования самых разных бизнес-заказчиков. Более того, платформа обеспечивает не только единое хранение данных, но и единую их интерпретацию, помогая упорядочить их и сделать понятными для всей компании.

В настоящее время в системе хранится около 5,5 Пбайт данных, для их обработки и анализа используется более 200 серверов.

- Кто является непосредственными основными пользователями платформы? В каких подразделениях компании они работают?

Платформу используют сотрудники производственных подразделений и почтовых отделений (у «Почты России» 42 тыс. отделений), которые отслеживают посылки и письма. Кроме того, с ней работают аналитики — и те, кто изучает информацию по отдельным продуктам компании, и те, кто отвечает за подготовку данных для принятия решений руководителями различного уровня. Сейчас мы активно привлекаем к работе с платформой наших топ-менеджеров.

Разным пользователям мы предоставляем разные инструменты для доступа к данным: аналитики предпочитают работать с витринами данных, руководители хотят получать наглядные и содержательные дашборды, сотрудникам производственных центров и почтовых отделений мы предоставляем отчеты, соответствующие их специфике деятельности.

Прежде, до создания единой платформы, пользователям нередко приходилось сталкиваться с ошибками ручного ввода и противоречивыми данными, взятыми из разных источников. К тому же не было уверенности в их полноте. Единая платформа хранит и предоставляет исчерпывающие и достаточно качественные данные.

- Какие результаты достигнуты благодаря созданию и использованию единой аналитической платформы? Что в компании удалось улучшить с ее помощью?

Приведу в пример интеграцию систем «Почты России» и Cainiao, логистического оператора AliExpress. Как известно, AliExpress — один из ключевых партнеров «Почты России». Благодаря интеграции наших баз данных об отправлениях, мы повысили непротиворечивость и целостность информации, в результате чего количество проблемных посылок (не дошедших до адресата или пришедших с большим отставанием от стандартных сроков доставки) уменьшилось более чем в два раза. И поскольку потоки отправлений, следующих между Cainiao и «Почтой России», огромны (счет идет на сотни миллионов посылок в год), мы получили огромный экономический эффект.

Появление платформы обеспечило и масштабный косвенный экономический эффект. Наши аналитики смогли оперировать более точными и полными данными, в результате руководители получили возможность быстрее принимать управленческие решения, а коммерческие подразделения научились создавать и быстрее выводить на рынок улучшенные и более востребованные продукты.

Платформа обеспечила интеграцию множества информационных систем компании, сопровождающих почтовые отправления в разных регионах и производственных подразделениях. Это помогло оптимизировать наши внутренние логистические процессы и ускорить доставку отправлений. В масштабах компании эти улучшения дают огромную выгоду.

Вот еще один пример оптимизации: в ходе проекта создания сети почтаматов на основе данных из единой платформы мы успешно решили задачу оптимальной расстановки этого оборудования по почтовым отделениям. Так или иначе, выгоду от создания платформы получили практически все подразделения компании. Этот эффект нам еще предстоит оценить.

Важнейшим достижением стало то, что, благодаря улучшению работы с данными, компания стала гораздо более зрелым и компетентным в технологическом плане логистическим партнером. В настоящее время мы сотрудничаем с 10 крупнейшими eCom-игроками России.

- Как внедрение единой платформы повлияло на корпоративную культуру работы с данными?

Наши сотрудники осознали, что необходимо использовать всю совокупность данных. И такая возможность появилась у них благодаря единой платформе. Они стали больше доверять данным, которыми пользуются, и активнее применять их в своей работе.

Существенно изменилось и отношение коллег к качеству данных: они осознали, насколько важно контролировать качество данных там, где они порождаются, и стали с гораздо большей ответственностью заботиться о том, чтобы данные изначально были правильными.

- По каким направлениям планируется развивать платформу в ближайшем будущем?

В ближайшее время мы предполагаем сосредоточить усилия на основных направлениях Data Governance: дальнейшем повышении качества данных, развитии описания данных, а также монетизации данных и извлечении различных выгод от их использования, в том числе с помощью Data Science, машинного обучения и других популярных технологий.

Офис управления данными появился в Ак Барс Банке в 2014 году, когда это еще не было мейнстримом. Его появление создало определенный задел в формировании компетенций по работе с данными. Сейчас офис переходит на новую ступень своего развития, внедряя гибкую платформу управления данными, выстраивая взаимодействие с бизнес-подразделениями и трансформируя восприятие бизнесом ценности данных. Вячеслав Яшкин, директор по информационной безопасности и управлению данными Ак Барс Банка и номинант на премию CDO Award, рассказывает об этапах реализации этого проекта и достигнутых результатах.

— У вас в должности сочетаются информационная безопасность и управление данными. Как вы пришли к этой позиции?

Изначально я был больше связан с ИТ-тематикой и уже позже перешел в сферу безопасности. Могу сказать, что ИБ не так уж и далека от управления данными, и в международной практике есть примеры, когда они хорошо сочетаются — например, в контексте управления событиями. Решения класса SIEM собирают логи событий из разных систем, которые можно считать «большими данными компании». Кроме того, в инфобезе сейчас используются похожие технологические стеки для управления данными, хотя для этого и не строится хранилище данных.

В любом случае один из важных аспектов заключается в том, что ИБ и управление данными не должны становиться ограничителями свободы или диктаторами, устанавливающими жесткие правила. Нужно не противостоять бизнесу, а играть на его стороне и учитывать его пожелания. Не только блокировать излишне смелые идеи, но и предлагать свои альтернативы. Все это приводит к необходимости понимать и ИТ, и бизнес и вести с ними диалог. Это подразумевает определенные лидерские качества, ну и, возможно, вдобавок требуется «быть хорошим человеком».

— ИБ подразумевает минимизацию рисков, а управление данными предполагает поиск новых возможностей для бизнеса. Как решается конфликт интересов?

Есть определенный кодекс этики, и существуют принципы принятия решений. Например, если мы говорим про ИБ, то я не могу единолично принять решение. У меня есть директор по ИБ, мы разделяем полномочия и принимаем решения коллегиально. Как правило, внутренние вопросы проходят через него, а я фокусируюсь на стратегии развития.

Фокус моего внимания в области управления и принятия решений сместился на работу офиса управления данными. Примерно 80% времени занимает именно он. Там нет выделенного директора, хотя такая позиция и предусматривается. Возможно, в будущем — с развитием офиса — он потребуется.

— Каково место офиса данных в иерархии компании?

Я подчиняюсь напрямую председателю правления банка. Офис управления данными — выделенная, самостоятельная единица, она не подчиняется ни ИТ, ни одному из бизнес-блоков.

Основные «заказчики», на которых мы работаем, — бизнес-подразделения. Мы не можем существовать сами по себе, устанавливая для себя задачи. У нас есть цикл взаимодействия с подразделениями — финансовым департаментом, розничным и корпоративным бизнесом, департаментом рисков. Эти четыре подразделения генерируют основной объем работ для офиса управления данными.

— Откуда растут корни у проекта по развитию управления данными?

Проект стартовал в 2014 году, еще до моего прихода в банк. Именно тогда было приобретено промышленное хранилище данных, а также сформирован офис управления данными. Кстати, у офиса за это время успели поменяться пять руководителей, а основное хранилище — комплекс IBM Netezza — устарело.

Тогда же была сформирована стратегия развития управления данными и data science в целом — вероятно, это произошло под влиянием моды, но задало определенный вектор развития. Была поставлена цель построить направление по работе с большими данными и научиться извлекать из них ценность.

— Что подтолкнуло к изменениям?

Драйвером изменений стало то, что решение IBM Netezza было снято с поддержки производителем. Тратить средства на развитие системы, не имеющей будущего, было нецелесообразно.

Кроме того, развитие своего ЦОДа подтолкнуло нас к тому, чтобы больше внимания обращать на программные решения и уйти от монолита, которым мы сейчас владеем. Уже реализован проект ABCloud — собственное облако с архитектурой application-control interface, полностью программно управляемое и ориентированное на микросервисную архитектуру.

Хочется прийти к технологиям самообслуживания, чтобы наши заказчики могли получать ценность из данных самостоятельно. Изначально это было компетенцией офиса управления данными и требовало длительного создания витрин. Это то, от чего мы хотим уйти.

— Это со стороны ИТ. А в чем заключалась бизнес-боль?

Длительное построение витрин серьезно влияет на бизнес. В том числе из-за этого многие подразделения не получали ожидаемой ценности от аналитики. Кроме того, в хранилище не был загружен весь объем данных, которым обладал банк, — все-таки у него более 300 систем различного назначения. Например, один из ключевых источников знаний для банка — транзакционные данные. Их накоплено очень много, и к ним довольно сложно подступиться. Это далеко не самый простой инструмент для извлечения ценности.

В целом бизнес нуждается в сокращении показателя time to market — времени вывода новых продуктов на рынок. Весь прошлый год мы выстраивали взаимодействие с бизнесом на ежеквартальной основе: нам ставили задачи, мы их приоритизировали и решали в соответствии с пропускной способностью офиса управления данными. До сих пор к таким упражнениям никто не приступал: деятельность офиса управления данными была довольно темной зоной. В этом году наши спринты сокращаются: мы ставим себе цель приносить пользу бизнесу уже на ежемесячной основе.

— В чем заключается стратегия управления данными, если ее выразить обычными человеческими словами?

Основная цель — создать простую и понятную экосистему для всех участников этого командного вида спорта с набором не очень сложных, но значимых правил игры. Очень важна синергия взаимодействия: нарушенные коммуникации влекут за собой сложности.

Надо показать всем, какую ценность они могут получить от нашей команды. Для этого дважды в год проводятся опросы удовлетворенности наших внутренних клиентов. Из ответов видно, что сначала коллеги даже не понимали, о чем идет речь. Например, многие думали, что к нам можно обратиться с проблемами в работе CRM. Это показывает, до какой степени люди не понимали, что такое управление данными и в чем оно заключается. Уже через полгода нам задали весь спектр вопросов, которые входили в наш фронт работ. Это серьезное достижение. Понимание пользователями того, чем мы занимаемся, — это очень важно.

С этой точки зрения очень хорошо себя показал крупный проект по кросс-продажам. Изначально бизнес-заказчики, в том числе на уровне топ-менеджмента, не видели особой ценности в офисе управления данными, но ситуация резко изменилась в момент запуска этого проекта. Стало очевидно, что без адекватного управления данными получить пользу от этого критически важного для банка проекта будет невозможно.

Мы пытаемся демократизировать доступ к информации, нужной для принятия решений, и делаем это для всех уровней — от операционного до стратегического.

— Какие этапы и работы включает в себя эта стратегия?

Первое — это качество данных, и мы продолжаем его развивать. Нам впервые удалось оценить качество данных в хранилище и по банку в целом. Впервые мы проделали это упражнение в начале прошлого года, внедрив инструмент Ataccama.

Далее идет управление данными, и это изменение — скорее культурное. Оно требует осознанности и понимания со стороны всех подразделений банка. Для построения эффективного процесса необходимо соблюдать внутренние нормативы и правила.

Третье направление — MDM и нормативно-справочная информация. В части мастер-данных мы уже запустили проект, и эта система будет реализована до конца года. Ее ценность будет заключаться в автоматизации процессов и дедупликации данных. Кроме того, с ее помощью получится снять статус мастер-системы с нашей CRM и присвоить его MDM — именно она должна иметь такой статус.

Что касается НСИ, то нашей задачей стало выстраивание жизненного цикла нормативно-справочной информации. Сейчас существуют разрозненные решения, которые практически не контролируются. И это становится причиной дополнительных работ по интеграции систем, а также вызывает расхождения в данных, что приводит к снижению их качества.

Четвертый пункт — создание обновленного корпоративного хранилища и BI. К середине нынешнего года мы должны полностью отключить старую платформу.

Пятое — безопасность данных. У нас есть проекты по обезличиванию данных, по ролевым моделям доступа, а также по тематике DevSecOps.

Шестое направление работ — создание архитектуры данных, этому я уделяю особое внимание. До сих пор ее не было. При наличии большого зоопарка систем важно ее моделировать, описывать источники. Здесь мы работаем совместно с архитекторами департамента ИТ, которые занимаются больше технологическим стеком, и наша группа архитектуры данных с ними активно взаимодействует.

Наконец, необходима интеграция созданных решений и процессов — формирование внутренней экосистемы управления данными. Здесь приходится вовлекать как технологические блоки, так и бизнес-команды. Главное, что сейчас ожидается от бизнеса, — определить владельцев систем и данных. Знаю, что договориться об этом с бизнесом — большая проблема, но это позволит нам ускориться и в целом обеспечить прозрачность.

— Сколько времени потребуется на реализацию столь масштабной программы?

Предыдущий пятилетний стратегический цикл у нас заканчивается в этом году, и сейчас мы формируем новую стратегию — с трехлетним циклом. Все описанные работы, и даже чуть больше, мы планируем завершить в течение этого цикла. Впрочем, это не означает, что программа не может быть пересмотрена. Более того, в отдельных направлениях изменения произойдут неизбежно.

— Какие выбраны ИТ-платформы и почему именно они? На базе чего планируется организовать управление данными?

В качестве единого хранилища выступает платформа Arenadata. В качестве систем Data Quality и MDM используется решение Ataccama. Холодное хранилище данных организовано на базе Hadoop S3. Решение для построения бизнес-глоссария пока ищем. Причина выбора всех этих решений — наше стремление к гибкости и желание упрощать и ускорять процессы.

Первым и самым сложным выбором прошлого года стала платформа хранилища данных. Мы потратили полгода на пилотные проекты — и не жалеем: это был осознанный выбор. Мы попробовали решения IBM, Micro Focus, а также Greenplum — как «чистый», так и Pivotal, и Arenadata. Была выполнена масштабная работа, а списки сравнения превышали 400 позиций. Проводились нагрузочные тестирования и тесты по миграции данных.

Оказалось, что у Arenadata не только адекватная стоимость владения, но и технологический стек, близкий к использовавшемуся у нас решению IBM Netezza. Это означало не столь сложную миграцию данных, как казалось вначале. Ну а вишенкой на торте стало импортозамещение, о котором в нынешних реалиях тоже приходится думать.

— Каковы особенности вашего подхода?

Я пришел из ИТ, поэтому, по сравнению с большинством CDO, смотрю на управление данными с несколько другого ракурса. Обычно на позицию CDO приходят люди либо из бизнеса, либо хорошо знающие теорию, но они, как правило, мало знают «матчасть». Кроме того, мой опыт в ИБ также дает взгляд со стороны. Поэтому я бы посоветовал коллегам посмотреть на решения в области Change Management и почерпнуть в них что-то ценное для себя.

Немаловажен и культурный момент. Я вижу, что часто изменению культуры уделяется мало внимания, практически отсутствует коммуникация между офисом данных и остальной компанией. Так как область работы с данными еще довольно «зеленая», коллеги не знают, как говорить о ней простым языком и доносить свои идеи до широкого круга пользователей. А ведь именно активная работа с пользователями помогает повышать их вовлеченность. На это стоит выделять ресурсы.

— Чем именно вам помогает наличие технического бэкграунда?

Легче найти общий язык с коллегами — например, участвующими в разработке. Для меня не было тайной, что такое язык SQL и как именно можно управлять данными. Да, я не имел дела с более сложными сущностями, но процессы обеспечения качества данных выглядели совсем несложно.

Кроме того, у меня уже есть опыт взаимодействия с высшим руководством, и поэтому рассказать о сути решаемых задач на языке бизнеса для меня не проблема. Собственно, это моя основная роль. Без наличия соответствующего технического бэкграунда было бы трудно описать в доступной форме работы, которые выполняет наше подразделение.

— Какие проблемы возникают при реализации этого проекта?

Обычно выделяют технические, социальные, процессные и ресурсные проблемы. Каждую из них можно решить — с помощью руководства, коллег, партнеров, тесной работы с вузами и т. п. Пока самая тяжелая — именно люди и процессы. Больше всего приходится акцентироваться на выстраивании правильного общения. Это дает хорошие плоды.

— Было ли желание что-то сделать совсем по-другому?

Оглядываясь назад, обычно думаешь: что-то можно было сделать быстрее и решительнее. Но я не вижу явных ошибок за полтора года своей деятельности.

— Каких показателей планируется достичь?

У каждого блока есть оцифрованные показатели. Их можно разделить на две составляющие: бизнес- и технологические. В части бизнес-показателей это полное соответствие создаваемых решений стратегическим планам. Благодаря этому мы не отклоняемся от единого вектора и не занимаемся тем, что не приносит пользу бизнесу.

Технологические показатели — это количество подключенных систем, объемы охваченных предметных областей, а также число пользователей платформы. Эти метрики прописаны, и мы за ними следим.

Вообще, я могу рекомендовать вводить на старте как можно больше метрик, а затем отсеивать ненужные.

— За счет внедрения Arenadata планируется сократить TCO на 51,9%. Откуда такие точные расчеты?

Они получены на основе оценки производительности решения по результатам тестирования на синтетических данных. На самом деле это очень консервативная оценка.

— На какие бизнес-проекты уже успели повлиять улучшения в области работы с данными?

Они повлияли на все реализуемые сейчас проекты — на все, что связано с маркетинговыми кампаниями, прогнозированием оттока, расчетом активных клиентов.

На автоматизацию в части улучшения качества данных тоже возлагаются большие надежды. Хочется убрать различные выгрузки, которые происходят между системами и могут портить качество данных. Это позволит исключить ручной труд по исправлению ошибок. И в целом качество данных — такое направление, которое может показывать эффективность работы подразделений: мы видим, где возникают ошибки, и работаем над устранением их причин.

— В каком направлении будет развиваться создаваемая платформа?

Важно, что компонентная архитектура будет не конечной, а расширяемой. Планы нужны, но они не должны быть догмой: в нынешних реалиях все меняется очень быстро, и надо уметь подстраиваться под эти изменения.

Отдельное внимание стоит уделить облачным вычислениям. Мы с коллегами пристально наблюдаем за этой областью, которая активно развивается на Западе. Возможно, подтянутся российские поставщики и реализуют сервисы похожего уровня. Появившаяся мировая практика использования облачных сервисов представляет для финансовых организаций большие возможности. Но важно не забывать, что мы обеспечиваем хранение персональных данных клиентов и должны исключить утечки такой информации.

Возможно дальнейшее развитие системы в сторону каппа-архитектуры, подразумевающей загрузку и обработку данных в реальном времени. Я уверен, что мы поможем извлекать все больше ценности из данных коллегам из data science, чтобы они быстрее и оперативнее получали качественную информацию.

Наконец, важны тренды внедрения машинного обучения не только в бизнес, но и в процессы управления данными. Автоматизация — существенный момент, который позволит использовать меньше человеческого труда в решении механических задач. Человек должен принимать решения, анализируя информацию, полученную роботами, а не наоборот.

Несмотря на усилия государства по стимулированию программ высшего образования в сфере ИТ, дефицит специалистов по данным не ослабевает. Исследователи данных, дата-инженеры и дата-аналитики требуются сегодня всем или почти всем. Компании, для которых перевод бизнеса в статус data-driven — не модный слоган, а жизненная необходимость, вынуждены взращивать таких специалистов собственными силами. Решая острый кадровый вопрос, они тем самым способствуют и росту зрелости российского профессионального сообщества в сфере работы с данными и аналитикой.

«МегаФон» — как раз из числа таких компаний. За последний год в ведущем телеком-операторе значительно расширена программа стажировок для студентов и выпускников вузов, созданы новые учебные программы для собственных сотрудников.

Леонид Черный, CDO «МегаФона» и номинант на премию CDO Award 2021, объясняет, почему такое обучение — обязательный элемент профессионального подхода к работе с данными и почему популяризации этого профессионализма пора выходить за рамки дата-сообщества.

— Программы стажировок для студентов, обучающие программы для сотрудников — какой общей идеей они объединены?

Эти программы содержат много общих идей. Это и повышение квалификации, и распространение знания, и общность подходов к решению задач. Если говорить о системном высшем образовании, то, конечно, оно предполагает получение огромного пласта теоретических знаний, однако каждая компания на рынке обладает своим, во многом уникальным подходом к рабочему процессу, к используемым инструментам и к организации данных в хранилищах. Не говоря уже о том, что в каждой компании решают свои, специфичные задачи, которые в принципе больше нигде не встречаются. И все эти задачи, инструментарии, данные существуют в рамках опять-таки уникальных бизнес-процессов.

— Обучение сотрудников в «МегаФоне» — это системная программа или отдельные курсы, отвечающие определенные болям компании с точки зрения нехватки компетенций?

Мы системно подходим к обучению сотрудников. Одна из наших задач как работодателя — сформировать для приходящих к нам специалистов определенную сферу компетенций, в развитие которой они должны вкладывать свои усилия. Ни один университет, работающий по утвержденным в прошлом методичкам, не сможет нам этого обеспечить. Мир меняется очень быстро, и бизнес прилагает фантастические усилия, для того чтобы успевать за изменениями, а еще лучше — возглавлять их. Один из механизмов образовательной работы — создание собственных обучающих центров внутри компании. У нас в «МегаФоне» есть МегаАкадемия, которая обеспечивает наилучшую доступность знаний для сотрудников на всей территории страны.

Число программ обучения только растет: сейчас в образовательном каталоге доступно более тысячи курсов, которые читают лучшие на рынке специалисты и наши собственные сотрудники. Любой человек, работающий в «МегаФоне», может зайти в этот каталог и выбрать необходимый ему курс. Любой руководитель, который испытывает необходимость в новых знаниях в своем подразделении, может выбрать курс для своей команды.

Кроме того, в образовательных программах мы сотрудничаем с Высшей школой менеджмента СпбГУ. Сейчас проходит обучение второго набора лаборатории «5G_Dream_lab», мы также планируем принимать активное участие в программе Master in Business Analytics and Big Data магистратуры ВШМ.

— Обучение в области данных и аналитики ориентировано только на профессионалов по данным? Или есть программы для сотрудников бизнес-подразделений, которым нужны определенные навыки в работе с данными?

У меня есть любимая история, которую я регулярно обсуждаю с коллегами и использую в выступлениях на конференциях. Когда я только пришел в компанию, я обошел всех руководителей, которые в принципе могли являться источниками или потребителями данных. Причем фокусировался на вторых. И приходил к ним с очень простым вопросом: что именно у вас «болит» и чем я могу помочь? Дальше оставалось только слушать и записывать, слушать и записывать. А потом разбирать записи, ранжировать и думать, что со всем этим «счастьем» делать. Одной из верхних строчек объединенного «списка наболевшего» была история про слишком долгое ожидание нетиповых отчетов и вообще всего нетипового. У нас в компании есть BI-системы, есть ненулевое количество обучающих программ, но с точки зрения бизнес-процесса некоторые элементы выглядели так: первое — заказать, второе — ждать. Это порочная система, и для того чтобы ее сломать, мы начали популяризацию идеи self-аналитики.

В «МегаФоне» создано одно из самых больших хранилищ структурированных данных, приближаемся к петабайту. Мы вкладываем в его развитие огромные усилия, знаем, как в этих хранилищах формируется каждый кусочек информации, что стоит за этими данными, какой у нас SLA на изменение, как мы проверяем качество. Пора было сделать следующий шаг — предложить коллегам обучение тому, как формировать для себя отчетность, используя доступный в компании инструментарий. По итогам 2020 года, механизмы self-service используют более 2 тыс. сотрудников, почти все — регулярно. И мы не собираемся останавливаться на достигнутом. Как я уже отметил, одна из ключевых ценностей обучения — это распространение знания.

— Существует ли в компании системный подход к формированию культуры работы с данными?

Формирование культуры работы с данными всегда системное, по-другому не получится. Если просто организовать «болото данных» и сказать сотрудникам: «Кладите свои данные сюда, отсюда же и берите, что вам надо», — вы получите серию негативных эффектов, в том числе с точки зрения влияния на операционную эффективность.

Для начала необходимо понять, какой результат мы хотим получить в итоге и зачем мы хотим получить именно такой. В свою очередь, процесс получения результата декомпозируется на шаги, которые необходимо выполнить. Затем определяем необходимые затраты на каждый из этих шагов и оцениваем их применимость в рамках существующих в компании бизнес-процессов, смотрим, что может стать так называемым quick win. Если что-то необходимо поменять в компании, в нашей дорожной карте — меняем. Если где-то надо показать эффект — показываем. Очень похоже на продуктовый подход, только не для создания продукта, а для создания культуры. Чтобы все заинтересованные стороны увидели, что это хорошо и правильно, и начали применять.

И конечно, необходимо рассказывать о том, что уже сделано, что происходит, чего удалось достигнуть на всех уровнях взаимодействия. Внутренний PR — очень важная составляющая как для формирования знания, так и для выстраивания культуры. Но часто ее недооценивают.

— Кто выступает преподавателями курсов, наставниками стажеров? Хватает ли вам таких кадров?

Это наши коллеги — экспертное сообщество, которое мы создаем внутри «МегаФона», которое любим, развиваем, холим и лелеем. Таких людей всегда не хватает, сколько бы их ни было. К работе с данными сейчас проявляют огромный интерес и образовательные учреждения, и организаторы разных мероприятий. И мы, насколько можем, стараемся этот интерес удовлетворить.

— Мотивированы ли сотрудники проходить обучение?

Мы живем в эпоху, когда цифровая гибкость, цифровые навыки являются значимым преимуществом. Остается все меньше профессий и сфер деятельности, доступных тем, кто не развивается не только в своей профессиональной области, но и в смежных, прежде всего цифровых областях. Сейчас уже моветон спрашивать у кандидатов, знают ли они Word или Excel. Но компании все чаще ищут претендентов со знаниями SQL и умением работать с BI-системами. И это нормально, потому что мы видим глобальный тренд на автоматизацию и алгоритмизацию процессов. И тот, кто хочет претендовать на более высокую позицию, более высокую зарплату, должен показывать лучшую производительность, а это невозможно без знаний и умений.

Люди это понимают очень хорошо. В современном мире темп жизни и бизнеса все время ускоряется. И для того чтобы оставаться на месте, надо бежать в два раза быстрее. Компании хотят от сотрудников больше. Получается двунаправленное движение к общим целям — по эффективности, скорости, достижению результата.

— Стажировки для студентов предлагают многие компании. В чем уникальность ваших? Почему, например, будущий data scientist должен выбрать стажировку в «МегаФоне», а не в «Яндексе»?

Это очень простой вопрос. Будущий data scientist никому ничего не должен. Наша компания прикладывает максимум усилий, чтобы заинтересовать кандидатов — масштабом задач, объемом работы, возможностью влиять на жизнь огромного количества людей, приносить пользу, развиваться, будучи на переднем крае технологий. При этом у нас довольно жесткий отбор. И те, кто его проходит, попадают в центр нашего внимания.

Наша уникальность в том, что задания, над которыми работают студенты и аспиранты, — это не набор задач, специально отобранных по принципу «наименьшего вреда», а реальные, боевые задачи, результат решения которых можно очень быстро увидеть в продуктиве.

За последний год-полтора на наши стажерские программы приходили студенты почти всех крупных технических высших учебных заведений. МФТИ, мехмат и факультет ВМиК МГУ, МГТУ им. Баумана, Высшая школа экономики, ИТМО, СПбГУ, УрФУ можно смело считать ключевыми кузницами кадров для работы в области больших данных. Также в последнее время к нам стали приходить выпускники «Сколково».

Сегодня студенты старших курсов видят в стажировках возможность получить практические знания и опыт и сами изыскивают способы попасть в компании, которые такую практику предлагают. Поэтому доступность информации о том, как устроена работа в компании, какие технологии используются, какие решаются задачи, становится ключевым фактором выбора места, где проходить стажировку и в дальнейшем работать.

— Как изменяются программы обучения, стажировок? Что является стимулом для их развития: появление новых задач в компании, новые технологии, потребность в новых компетенциях сотрудников?

Индустрия движется вперед очень быстро. Постоянно появляется новый инструментарий, развиваются новые подходы, меняется технологический стек. Образовательные инициативы должны быть впереди этого движения или по крайней мере идти вровень. Нельзя учить людей прошлому, на это тратятся усилия и время, а эффект не очень велик. Те учебные программы, которые разрабатываются моими коллегами, модифицируются в процессе обучения, и это нормально. Никто не хочет в 2020 году быть рудиментом прошлого с точки зрения знаний.

— И всё-таки — на что направлены эти инициативы в первую очередь: на решение кадровых задач компании или на развитие рынка специалистов по данным?

Если вам кто-нибудь скажет, что, занявшись системной организацией стажерских программ, компания не ставит перед собой задачу решать кадровую проблему, — не верьте этому человеку. За последние три года (да, наверное, правильно считать началом бума 2017–2018 годы) невероятно вырос спрос на специалистов по работе с данными. Прежде всего это связано с тем, что большое количество компаний из абсолютно разных индустрий стали реализовывать программы цифровизации и цифровой трансформации, что, в свою очередь, привело к дефициту специалистов.

Возникла специфическая ситуация: постоянно растущий спрос и стабильное количество специалистов на рынке. Причем я говорю не только и не столько про специалистов по машинному обучению. Прежде всего я имею в виду дата-инженеров, архитекторов, ETL-разработчиков, специалистов по BI. Произошла индустриализация профессии: то, что раньше расценивалось как признаки «гика», стало новой нормой. Раньше невозможно было представить, что конкурировать за кадры в отдельном сегменте информационных технологий будут не только ИТ-компании, но и компании из банковского сектора, телекома, нефтедобычи и ретейла. А сейчас всем этим отраслям, и не только им, приходится жить в состоянии острой конкуренции.

— Как трансформировались ваши учебные программы в 2020 году в условиях пандемии? Что из кризисного опыта вы возьмете на вооружение в «нормальной» жизни?

Поменялось немногое. Мы изначально делали ставку на онлайн. «МегаФон» — компания федерального уровня не только с точки зрения предоставления сервиса, но и с точки зрения географического распределения наших экспертов. Моя команда физически находится в разных регионах страны: Владивосток, Новосибирск, Екатеринбург, Краснодар, Ростов-на-Дону, Санкт-Петербург, Нижний Новгород. И это далеко не полный перечень городов присутствия. И конечно, в реальном мире мы использовали наше локальное присутствие для связи с региональными образовательными центрами. Но на уровне внутреннего обучения онлайн — наше все! И в тот момент, когда мир неожиданно для самого себя стал цифровым, а все образование и обучение — дистанционным, мы уже были готовы.

Из интересных открытий 2020-го могу отметить следующее: умение выступать вживую и умение выступать онлайн — это два принципиально отличающихся набора навыков. Я люблю и, как мне кажется, умею выступать перед живой аудиторией. В процессе рассказа ты видишь глаза людей, отмечаешь их реакцию на свои слова, можешь передвигаться по сцене, подстраивая механику передвижения и артикуляцию под материал, получаешь обратную связь из зала… Это сильно отличается от выступления перед экраном компьютера. И обратная история: в тот момент, когда формат вебинара превращается в привычную среду проведения обучения или чтения лекции, становится значительно сложнее выйти к людям на расстояние вытянутой руки и чувствовать себя при этом свободно.

Раньше мы вкладывали очень много усилий, чтобы научить наших экспертов выступать перед живой аудиторией, а в 2020 году поменяли вектор и стали учить их выступать перед камерой, перед экраном компьютера. Это было очень интересно, хотя все равно хочется видеть живых людей в зале.

— Про будущее. Планируются ли другие, принципиально новые инициативы в области популяризации профессиональной работы с данными?

По моему глубокому убеждению, популяризация работы с данными в профессиональном сообществе и в рамках образовательных программ — очень важное, но далеко не единственное направление деятельности. Критически важно выходить за пределы устоявшегося сообщества и рассказывать миру о том, что такое данные и что такое качество данных, как устроена работа с данными в компаниях-лидерах и какие возможности для общества и бизнеса в этом заложены, в чем польза data-driven-подхода по сравнению с традиционным. Надо планомерно заниматься евангелизмом профессиональной работы с данными.

Движение в сторону цифровой трансформации, которое сейчас происходит в бизнесе, по большому счету направлено на достижение нескольких побед. Во-первых, обеспечить автоматизацию и алгоритмизацию рутинных процедур; во-вторых, предоставить максимальное (но в пределах разумного) количество инструментов для принятия решений, базирующихся на данных; и в-третьих — создать новые возможности для бизнеса.

Работа с данными является необходимой предпосылкой для каждого из этих направлений. На мой взгляд, неоспоримым является утверждение о том, что качество принимаемых решений напрямую зависит от качества данных, которые предоставлены бизнесу. От интерпретации данных — тоже. Однако именно обеспечение качества — один из столпов всего процесса работы с данными. Если есть данные, процессы обеспечения их качества, инструменты для построения наборов аналитик на данных, то открываются возможности для создания новых продуктов, новых бизнес-моделей и новых, эффективных процессов работы.

Но для того, чтобы это стало нормой, необходимо рассказывать о том, что это достижимо, что в эту сторону надо смотреть, думать, двигаться. Нужно рассказывать об этом на митапах, бизнес-завтраках, клиентских встречах — везде, где только можно и куда зовут. Популяризация подходов работы с данными, инженерии, построенной на данных и взаимодействий на основе данных, — это то, чем необходимо заниматься.

«Газпром нефть» — один из лидеров цифровой трансформации в нашей стране. Мы постоянно слышим о достижениях компании во внедрении передовых цифровых решений в разные направления бизнеса. Понятно, что без серьезной работы с данными такие прорывы были бы невозможны. Но разрозненных проектов по созданию хранилищ и аналитике данных уже недостаточно. С мая 2019 года в «Газпром нефти» функционирует общекорпоративная структура по управлению данными, которая закладывает фундамент для всех инициатив цифровой трансформации компании.

Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть» и номинант премии CDO Award 2021, рассказывает о масштабном проекте выстраивания корпоративной функции управления данными: как это начиналось, к чему пришли сегодня и какие задачи стоят на ближайшее будущее.

Данные в основе цифровой трансформации

— Каковы предпосылки для создания функции «Управление данными» в «Газпром нефти»? С чего вы начинали?

Одной из главных предпосылок стало создание стратегии цифровой трансформации компании. В 2018 году в «Газпром нефти» начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными.

Перед нами стояли задачи формирования методологии, выстраивания процессов и встраивания их в регулярную деятельность подразделений для обеспечения максимальной ценности от использования данных. Также требовалась реализация инструментальной поддержки при помощи внедрения платформы управления данными, формирование нового семейства центров компетенций и широкомасштабное обучение.

Совместно с компанией McKinsey нами был реализован проект по формированию концептуальной модели управления данными. В результате были определены ключевые принципы, цели и задачи функции управления данными, основные КПЭ, определяющие ее эффективность, процессная и организационная модели, необходимые компетенции и инструментарий.

С точки зрения приоритетов в первую очередь необходимо было обеспечить прозрачный и быстрый доступ к качественным данным для бизнес-пользователей. В компании огромный объем информации, которая хранится и обрабатывается в более чем тысяче бизнес-систем. Пока система работы с данными настраивается, информация еще существенно разрозненна, что затрудняет оперативный анализ и принятие решений на ее основе. Работы по интеграции данных и активное строительство корпоративного хранилища дают первые результаты. Раньше в отсутствие централизованной точки доступа каждый пользователь вынужден был запрашивать права на чтение данных владельцев отдельных бизнес-систем, что сильно ограничивало возможности работы с данными. В настоящее время реализуется доменная модель организации доступа к данным, которая существенно продвинет компанию в области демократизации данных и ускорения процессов их обработки. Кроме того, мы уделяем особое внимание таким направлениям деятельности, как повышение уровня доверия к данным за счет увеличения их качества, а также формирование ответственности за данные.

— Какое место занимает функция «Управление данными» в оргструктуре компании?

Мы активно сотрудничаем с ИТ-кластером компании и ее подразделением цифровой трансформации. Разрабатывая с McKinsey концепцию управления данными, мы рассматривали различные варианты расположения нашей функции в организационной структуре и сочли наиболее удачной модель, в соответствии с которой функция войдет в состав подразделения, ответственного за вопросы экономики и финансов, поскольку в нем уже накоплен серьезный опыт работы с данными, а сотрудники имеют хорошее представление о потребностях в данных других подразделений.

— В «Газпром нефти» работа по управлению данными на уровне подразделений уже ведется. Например, лауреатом премии CDO Award 2020 в номинации «За обеспечение качества данных» стал Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж. Каким образом вы, строя глобальную корпоративную функцию «Управление данными», учитываете наличие таких процессов, разный уровень зрелости подразделений с точки зрения работы с данными?

Компания реализует федеративную модель управления данными: определенные задачи решаются на уровне корпоративного центра, и есть направления, которые развиваются в дочерних подразделениях, а затем их лучшие практики тиражируются на всю компанию.

В «Газпром нефти» создана специальная система коллегиальных органов, которая унифицирует и оптимизирует процессы управления данными в разных подразделениях. Управляющий совет по данным определяет стратегию в области управления данными, приоритизирует задачи в рамках реализации дорожной карты, принимает наиболее важные решения по развитию функции. Экспертный совет призван решать прежде всего вопросы методологии, выявлять лучшие практики для их дальнейшего тиражирования. Технический совет отвечает за выбор ИТ-инструментов, обеспечивая целостность архитектуры управления данными, и регулирует, какие технологические решения реализуются на уровне корпоративного центра, а какие можно эффективно воплотить в жизнь на уровне бизнес-подразделений.

На корпоративном уровне сосредоточены процессы data governance, в частности управление бизнес-глоссарием и каталогом данных. Мы создаем нашу википедию по данным компании, так называемый единый источник правды о данных. В рамках развития платформ на корпоративный уровень поднимаются также отдельные решения, реализованные бизнес-блоками, что позволяет быстрее и эффективнее их использовать для оптимизации процессов на уровне всей компании.

Вначале — методология

— Как формировалась методология управления данными?

Мы начали с методологии, потому что понимали, что пока не будет сформирована модель процессов и детально проработаны артефакты управления данными, тиражирование в рамках компании невозможно. Первым шагом стала разработка процессной модели, в основе которой лежат свод знаний по управлению данными DAMA DMBoK и лучшие практики передовых компаний России и мира. Затем мы конкретизировали ее с помощью так называемых кратких руководств, определяющих порядок процессов и роли в них. Следующим шагом стало формирование детальных стандартов и регламентов, являющихся базисом методологии.

Создание методологии идет параллельно с разработкой корпоративной системы управления данными. Задача состоит в том, чтобы сначала описать целевой процесс, а затем найти инструмент, который обеспечит его гибкую реализацию. Многие действуют в обратном порядке: выбирают коробочное решение и под него настраивают процессы. Наш путь более сложный, но более правильный, мы под методологию настраиваем инструменты.

— Какие процессы управления данными у вас есть?

Процессная модель включает в себя семь блоков процессов. Первый процесс — организация управления данными, в основе которой лежит доменная модель. Домены данных — это предметные области работы с данными, определяющие границы ответственности за данные. Процесс организации управления данными описывает ключевые роли, такие как ответственный за домен, администратор домена, бизнес-эксперт. Кроме того, в рамках данного процесса детально описывается, как формируется спрос на данные в домене.

Следующий блок процессов — управление структурными элементами данных, включающий такие ключевые направления, как управление архитектурой данных, управление НСИ, управление репозиторием метаданных.

Блок управления жизненным циклом данных описывает все, что касается движения данных во времени, включая определение требований к регламентным срокам поставки и интеграции данных.

В отдельный блок выделен процесс управления неструктурированной информацией, в его рамках успешно реализован проект корпоративного поиска и анализа контента. Корпоративный поиск очень востребован, с его помощью более 17 тыс. сотрудников получают доступ к более чем 6,5 млн документов.

Следующий и один из наиболее важных составных элементов модели — процесс управления качеством данных, обеспечивающий доверие к данным бизнес-пользователей.

Процесс управления хранилищем и BI и продвинутая аналитика логично завершают процессную модель и формируют основную ценность принятия решений на основе данных.

— В каком статусе находятся процессы: описаны, реализованы?

Практически все процессы функционируют. Их внедрение в операционную деятельность происходит поэтапно. Мы определили пилотные домены данных, где внедрили процессы в первую очередь. Для этого была сформирована целостная программа управления данными, включающая семь проектов, охватывающих девять пилотных доменов. Три домена связаны с коммерческой деятельностью по сбыту нефтепродуктов; четыре домена покрывают процессы текущего и капитального ремонта скважин и интегрированного планирования добычи нефти, добычу на шельфовых активах; домены производственной безопасности и управления персоналом относятся к общекорпоративным функциям.

В настоящий момент мы получили результаты по пилотным проектам и начали масштабировать их на домены так называемой второй волны.

— Какие выводы были сделаны по результатам пилотной программы?

На пилотных доменах мы сформировали ключевые артефакты управления данными, научились выявлять и определять спрос бизнеса на данные и даже научились иногда данные бизнесу «продавать» (показывать ценность на реальных кейсах и задачах). По итогам проделанной работы мы поняли, что, во-первых, успех управления данными в огромной степени зависит от уровня зрелости бизнес-подразделения, а во-вторых, этот уровень изменяется со временем. Не только мы нарабатываем опыт как функция управления данными, но и в подразделениях, которые участвуют в пилоте, существенно растет уровень понимания значения данных и процессов работы с ними.

Поэтому основную задачу мы видим в том, чтобы повысить уровень зрелости бизнеса в отношении данных. Если у бизнеса есть осознанный запрос на данные, все остальное — дело техники.

— Организационная модель функции «Управление данными» — в чем ее задача?

Организационная модель определяет взаимодействие между бизнес-подразделениями, функцией управления данными и ИТ-кластером: три больших блока, в каждом из которых требовались определенные преобразования с точки зрения выполняемых функций. В бизнес-подразделениях появились новые роли: ответственные за данные, администраторы доменов и т. д. Со стороны управления данными сформирован целый набор функций, реализованных либо в качестве сервисов, либо в рамках проектной деятельности. Организована совместная работа с коллегами из цифровых и ИТ-подразделений, которые помогают нам в развитии инструментов управления данными.

Организационная модель также описывает, как формируется команда внутри функции управления данными — на уровне корпоративного центра и на уровне основных бизнес-подразделений, каким образом реализуется кросс-функциональное взаимодействие специалистов, как обеспечиваются накопление и развитие компетенций.

— Какое обучение и для кого потребовалось при формировании функции «Управление данными»?

По обучению у нас идет очень активная работа. Совместно с Высшей школой экономики мы разработали модуль по управлению данными в рамках образовательной программы по цифровой трансформации для топ-менеджеров. Нам удалось собрать сильную команду спикеров — экспертов рынка, в том числе я сама с удовольствием приняла участие в этой программе в качестве спикера. В следующем году этот курс может стать доступным для менеджеров других компаний.

Кроме того, сформированы различные программы внутреннего обучения. Сотрудники функции управления данными (более 170 человек) уже прошли как минимум один тренинг по инструментам, в настоящий момент идет обучение в части методологии и сертификация ключевых сотрудников функции по DAMA DMBoK.

В этом году мы планируем запустить программу для бизнес-пользователей — Школу аналитики в рамках факультета цифровой трансформации корпоративного университета «Газпром нефти». Это входит в план работ кафедры управления данными и бизнес-аналитики, созданной в 2020 году. Кроме того, для сотрудников бизнес-подразделений, которые занимаются работой с данными, создаются видеокурсы по различным компонентам управления данными, которые станут обязательными элементами программ корпоративного университета.

«В 2018 году в "Газпром нефти" начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными»

Платформа управления данными

— Ваша корпоративная платформа управления данными называется Reporting HelpDesk (RHD). Всего лишь HelpDesk? Не принижает ли такое название значимость решения?

Да, мы тоже поняли, что переименование назрело. Проект начинался два года назад с сервиса отчетности, но сейчас это уже полноценная платформа управления данными, интегрирующая множество инструментов. Очевидно, что название не отражает масштаба решения.

— Какие задачи решает платформа, из каких блоков она состоит?

Фронтенд платформы — это бизнес-глоссарий, построенный на базе системы Alteryx. Основная цель глоссария — реализовать процесс know your data, обеспечить прозрачность всех данных, которые есть в компании. Решение представляет собой комплексный каталог, который наполняется данными по доменам, поддерживает внутренние потоки работ по сбору и описанию данных, делает доступной информацию по их уровню качества. Предполагается также интеграция с внутренним порталом для сотрудников, что позволит распространять методологическую информацию по управлению данными по всей компании, а также сделает доступным процесс заказа дата-сервисов.

Бизнес-глоссарий интегрирован с каталогом технических метаданных на базе решения Informatica Enterprise Data Catalog, благодаря чему в бизнес-глоссарии отображаются потоки данных (data lineage) и процесс трансформации данных.

Отдельный блок платформы представлен инструментом оценки качества данных, реализованным с помощью Informatica Data Quality. Оценка качества интегрирована с общекорпоративным журналом результатов проверок качества данных, который, в свою очередь, передает информацию о зафиксированных нарушениях правил качества в корпоративную платформу управления инцидентами. В рамках этого компонента платформы выполняются процессы управления инцидентами и управления проблемами качества данных.

Функции бизнес- и продвинутой аналитики реализуются с использованием инструментов SelfService BI на базе Qlik с возможностью доступа к данным через каталог, обеспечивают формирование дашбордов, генерацию отчетности по запросу и т. д.

Платформа интегрируется с корпоративной системой управления НСИ на базе «1С», а также с корпоративным поиском, который, в свою очередь, позволяет обрабатывать неструктурированные метаданные.

Таким образом, в рамках реализации проекта RHD мы развиваем платформу, представляющую собой комплексную систему управления данными.

— Есть ли уже примеры того, как использование бизнес-глоссария — «узнавание своих данных» — стимулировало бизнес на новый аналитический проект?

Конечно. Например, описание данных в домене коммерческой деятельности позволило существенно повысить эффективность реализации нефтепродуктов за счет получения оперативной и достоверной информации в части детализации по контрагентам, каналам продаж и т. д.

В домене производственной безопасности с использованием сервисов цифровой платформы (PaaS) «Газпром нефти» по интеграции и анализу данных реализуются инструменты для анализа барьеров безопасности. Барьер безопасности — это информация о том, где может быть нарушено правило безопасности, к чему это приведет, как этого можно избежать. Описание барьера с помощью данных и визуализации в дашбордах позволяет максимально приблизиться к автоматизированной системе предотвращения происшествий.

Все внимание — качеству

— Важный процесс управления данными — обеспечение их качества. У вас есть реестр бизнес-правил, которые переводятся в реестр технических правил качества данных. Как это делается и что дает?

С помощью бизнес-правила описывается требование бизнеса к элементу данных. Например, сотруднику Блока производственной безопасности необходимо предоставить информацию по номерам транспортных средств, которые выезжают на нефтепромысел, с детализацией по времени, чтобы можно было отследить нарушителей. На языке бизнеса требования сформулированы следующим образом: для поля «номер автотранспортного средства» должна быть доступна информация в разрезе времени, когда транспортное средство работало на месторождении. Затем эта информация переводится в язык технических правил при помощи Informatica DQ, то есть создается код технической проверки на наличие в данном поле данной информации. Благодаря процессу мониторинга качества данных мы можем отследить, когда была проведена проверка этих данных, сколько инцидентов выявлено на определенном датасете, в какой период времени произошли инциденты и т. д.

— Использование процессов управления инцидентами и проблемами в качестве данных — ваше ноу-хау или это распространенный подход?

Это классическая реализация процесса качества данных. Сначала необходимо найти инциденты, то есть нарушения качества, затем — понять, кто их может устранить, то есть определить производителей данных, ответственных за их состояние. И после этого обеспечить решение инцидента, иначе уровень качества останется неизменным. Не могу сказать, что внедрение такого подхода идет легко. В каждом отдельном домене разработка планов по повышению качества данных имеет свои особенности. Основная задача — определить, что можно сделать для того, чтобы повысить качество приоритетных для бизнеса элементов данных.

— В компании огромное количество источников данных. Какие из них создают наибольшие сложности?

Я бы прежде всего назвала ландшафт SAP: он у нас достаточно сложный, с жесткими условиями по интеграции, что создает дополнительные требования и условия для внедрения инструментов управления данными. Например, необходимы специальные коннекторы, чтобы считывать метаданные. Это непростая задача, но мы нашли подход к ее решению и сейчас уже хорошо понимаем, как работать с метаданными для этих систем.

Второй по масштабу ландшафт в компании представлен платформой «1С», для которой нет типовых решений от вендора по сбору метаданных, поэтому также требуется разрабатывать индивидуальный подход.

Достаточно большое количество источников данных в компании представлено MES-системами, для них мы только начинаем прорабатывать вопросы управления данными. Действительно, источников данных в компании множество, между ними много различий, и каждая группа систем требует своего подхода.

— А каков вклад бизнес-пользователей в обеспечение качества данных?

Появилась новая роль — ответственный за данные. Матрица ответственности за данные — отдельный артефакт качества данных, в котором отмечено, что за определенные данные в этом дочернем обществе отвечает конкретный сотрудник. И это очень важная история, потому что процесс управления инцидентами качества привязан именно к ответственному за данные: он совместно с аналитиком по качеству данных разбирается с инцидентами, может оперативно получать информацию, а если есть причины для недовольства его работой с данными, то делает выводы и оперативно принимает меры по повышению качества данных.

— С другой стороны, у бизнес-пользователей есть возможность самостоятельно строить аналитические приложения — SelfService BI. Насколько широко применяется этот механизм?

В подразделении, которое отвечает за логистику, переработку и сбыт продукции, инструменты SelfService BI подключены к хранилищу, и пользователи получили возможность из портала работать с разнообразными датасетами. Сейчас мы занимаемся донасыщением источников данных для SelfService BI в рамках интеграции с корпоративной платформой анализа данных, а также SAP BW, интегрируя огромный объем самых критичных для бизнеса данных.

— Можно ли сказать, что в результате ваших усилий по внедрению управления данными существенно расширился круг людей в компании, которые работают с данными, получают от них эффект и несут за них ответственность?

Безусловно, это так. Прежде всего в пилотных доменах.

Первые итоги и большие планы

— Каковы результаты вашего проекта на данный момент? Дает ли функция «Управление данными» экономический эффект?

Экономический эффект, безусловно, есть. Уровень экономической эффективности, достижение которого обеспечивает программа по управлению данными, сравним с показателями эффективности других инвестиционных проектов компании.

Главный результат — функция «Управление данными» участвует в формировании фундаментальных процессов в рамках цифровой трансформации «Газпром нефти». Первый год реализации стратегии цифровой трансформации обеспечил компании 7,2 млрд рублей экономического эффекта, в этом есть и наш вклад.

Но впереди у нас большой путь. По каждому из ключевых направлений программы по управлению данными (методология, инструменты, внедрение в регулярную операционную деятельность бизнес-подразделений, коммуникации и обучение) реализуется дорожная карта. Масштаб работ огромный, поскольку компания большая и диверсифицированная. Мы рассчитываем на то, что активное внедрение технологических инструментов позволит в ближайшее время осуществить прорыв в масштабировании функции «Управление данными».

— Каковы сроки реализации дорожной карты?

Около 40% доменов данных будут охвачены функцией «Управление данными» до конца 2021 года, а 100-процентное покрытие ожидается к 2023 году.

— Насколько важен для отрасли ваш опыт в управлении данными?

Пока уровень развития управления данными существенно выше в банках и в розничной торговле. Промышленность только начинает двигаться в этом направлении. Мы обмениваемся опытом с большим количеством производственных компаний, также переосмысливаем наработки финансовой отрасли и ретейла, чтобы применить их в своей практике. Так что в определенном смысле мы — одни из первопроходцев.

Чтобы оперативно принимать решения на основе данных, необходимо вовлечь в работу с ними как можно больше сотрудников. Какие шаги предприняли в Сбере, чтобы быстро и с разумными затратами проверять различные гипотезы, находить эффективные решения и за считанные часы вводить в эксплуатацию модели на базе машинного обучения? Как на платформе «Фабрика данных» появилось «Рабочее место D-people» и что за этим последует, рассказывает номинант CDO Award 2021 Борис Рабинович, CDO Сбербанка, старший управляющий директор, директор департамента управления данными Сбербанка.

- Как зарождался data-driven-подход в Сбере?

После того как мы поняли, что с текущими темпами роста наших объемов данных масштабировать текущую архитектуру будет очень дорого, было принято решение о запуске программы создания «Фабрики данных». В рамках этой программы была разработана новая, современная архитектура, принята политика управления данными, внедрены функция и вертикаль CDO, началась проработка централизованных политик управления корпоративными данными и качеством данных.

- Чем занимается ваш департамент?

Миссия департамента — создание эффективной и доступной для всех подразделений банка среды работы с данными. Он отвечает за разработку, внедрение и сопровождение платформы, а также за управление корпоративными данными.

По смыслу и платформа, и департамент разделены на этапы жизненного цикла данных: загрузка, внутренняя обработка, предоставление данных. Отдельные классы задач — работа с интегрированными данными и сопровождение в режиме 24x7.

Поначалу программа создания «Фабрики данных» воспринималась бизнесом как пассив и факультативная нагрузка, поскольку платформа развивалась в соответствии с приоритетами, поставленными в основном технологическим блоком. Чтобы изменить это отношение, мы поменяли парадигму — пошли от задач бизнеса: определили ключевые проекты бизнес-блоков, связанные с данными, разобрались, что требуется от платформы этим проектам, сделали бэклог задач, привязанный к вехам этих проектов, распределили такие задачи по командам в департаменте и включили в эти команды представителей бизнес-блоков. Кроме того, мы ввели понятие «поколение платформы». Каждая смена «поколений» характеризуется качественным скачком, произошедшим в результате запуска ключевых бизнес-проектов.

В течение двух лет мы организовали подключение к платформе более 250 источников данных, выстроили инструменты для конкретных пользователей. Сейчас каждый третий трайб (группа команд. — Прим. ред. ) имеет на платформе свои решения. Количество решений выросло с 12 на конец 2019 года до 90 на конец 2020-го. Это масштабные аналитические системы, каждая из которых решает множество задач.

- Что собой представляет «Фабрика данных»?

Это платформа, которая на данный момент состоит из более 100 элементов и сервисов, таких как компонент загрузки данных в реальном времени, журналирование действий пользователя, аудит, проверка прав доступа, карта данных как средство навигации, механизм проверки качества данных, механизм распространения данных и т. п. Все эти процессы увязаны и работают так, чтобы в нужное время в нужном месте у наших клиентов были данные и решения. Часть платформы — промышленная область, где процессы выполняются без участия людей (по расписанию и для интеграции с внешними системами). Другая часть связана с процессом разработки, будь то инженерия, создание отчетов, аналитика или задачи data science.

- В чем заключается политика Сбера в работе с данными?

Политика по управлению корпоративными данными — это утвержденный правлением банка нормативный документ, свод правил, вокруг которого выстраиваются организационная вертикаль CDO, набор процессов управления данными, роли, их функции и взаимодействие друг с другом (CDO банка и блоков, владельцы предметных областей, менеджеры данных, дата-стюарды, дата-инженеры, архитекторы по работе с данными и др.).

Это верхнеуровневый документ, в котором структурированы и описаны ключевые вопросы работы с данными в банке и опорные точки, на которые мы ориентируемся: качество данных, описание данных, владение данными, предоставление прав доступа к данным.

Жизнь не стоит на месте, мы понимаем, какие области надо развивать, и сейчас выходит уже третья версия политики. На 2021 год стоит задача внедрить управление жизненным циклом данных — программу ILM (Information Lifecycle Management), чтобы обеспечить сквозное управление данными на всех этапах — «от рождения до смерти».

У нас не было подхода к «смерти» данных, но сейчас ясно: объем такой, что некоторые данные хранить нецелесообразно — мы их никак не используем, а они занимают место и стоят денег. Особое внимание направлено на все, что связано с конфиденциальными и персональными данными. Мы должны очень четко понимать, где они «живут», как мы их используем и обезличиваем для разных целей применения и как удаляем. Кроме того, все операции с данными необходимо выполнять в строгом соответствии с правилами действующего законодательства в части персональных данных, банковской тайны и других чувствительных данных.

Будет и четвертая версия политики, действие которой распространится на работу с данными не только Сбербанка, но и всей экосистемы. Нет предела совершенству.

- «Кладбище» данных еще не организовали?

Устроить «чердак» данных перед уничтожением — это хорошее предложение, я подумаю. Тема важная, потому что объемы данных Сбера колоссальны. В «Фабрике данных» около 12 Пбайт полезных данных, а с учетом репликаций — около 40 Пбайт. А кроме того, есть еще транзакционные системы, их копии — с ними объемы данных ушли уже далеко за сотню петабайт. Стоит их хранение очень прилично. Поэтому нам предстоит разобраться, нужно ли это хранить и можно ли перевести их хранение из «горячего» в «холодное». Фрагментарно это уже делается, но задача CDO — сделать это системно на уровне всего банка.

- Какие задачи превалируют: направленные на оптимизацию процессов или на создание новых продуктов и сервисов?

У меня три приоритета. Первый и основной — дать возможность бизнесу эффективно реализовывать на платформе все его задачи. Цель каждого из 90 решений — заработать денег и минимизировать потери банка. Второй важнейший приоритет — высочайшие стандарты кибербезопасности платформы. Третий — ее надежность и эффективность. При этом я слежу за тем, чтобы банк получал максимальный эффект, тратя минимальные деньги.

- Какую цель перед собой ставили, начиная работу над проектом D-people?

Ставилась цель — существенно повысить эффективность работы сотрудников D-people (дата-инженеры, дата-сайентисты, дата-аналитики) за счет сокращения времени создания и вывода моделей в промышленную эксплуатацию. Для этого и создавали единое рабочее место. Когда была запущена программа AI-трансформации, в банке появились сотни дата-сайентистов и еще больше дата-инженеров, которые готовят фичи (наборы данных, на которых работают модели. — Прим. ред. ). Если для такой армии созданы оптимальные условия работы (инструменты, доступные данные и пр.), то это в конечном итоге отражается на эффективности компании. Ради этого все и затевалось. Созаказчиком тут выступил розничный бизнес, трайб «Массовая персонализация», возглавляемый Игорем Зарубинским, где сосредоточено большинство D-People розницы.

Основные процессы для исследователей данных — это разработка моделей, анализ их работы, вывод в эксплуатацию и проверка результатов. Но фактически на это коллеги тратили лишь 10–15% времени, остальное занимала рутина — получение инфраструктуры, прав доступа, самих данных, разрешения на вывод модели в промышленную эксплуатацию. В любой крупной организации каждый элемент этой цепочки — длительный процесс. В результате на создание прототипов и проверку гипотез тратились не недели, а месяцы.

- Когда началась работа и какие задачи решали в первую очередь?

Ключевой компонент — лаборатория данных — появился в 2019 году. Это инфраструктура, которая доступна пользователям для прототипирования, проверки гипотез и разработки моделей.

Первая проблема заключалась в длительности процесса получения данных — заказа, получения согласований и разрешений для разовой загрузки данных на сервер. Мы обсудили с коллегами наболевшие вопросы и выяснили, что они хотят концентрироваться на своем ключевом навыке — строить модели, а не тратить время на решение «коммунальных» вопросов.

Разложив процесс работы дата-сайентиста на части — от получения выделенной инфраструктуры до вывода модели в промышленную эксплуатацию, — мы увидели, что проверка одной гипотезы занимает три с лишним месяца. Так жить нельзя!

И мы сосредоточились на том, чтобы многократно ускорить получение результата, выстроив новую цепочку процессов и совместив их с инструментарием, компоненты которого интегрированы друг с другом. Сделали супермаркет данных, позволяющий заказать любые доступные в банке данные.

Товары на «полках» нашего супермаркета — это дата-сеты, построенные на основе копий систем — источников информации, с полным описанием атрибутного состава и другой необходимой информации. К выбранным дата-сетам можно заказать доступ: кладешь в корзину, выбираешь к какому времени они нужны, куда их нужно выгрузить и нажимаешь кнопку «Заказать». Формируется подписка. Данные отгружаются c указанной заказчиком периодичностью. Параллельно в этом же интерфейсе происходит предоставление прав доступа.

Также мы запустили магазин инфраструктуры, где можно выбрать виртуальный сервер необходимой конфигурации — с нужным числом ядер, объемом памяти и «начинкой». Заказываешь — и в течение часа разворачивается Hadoop и создается твой персональный сервер. Специально для тебя! Получается новый клиентский опыт: развернув сервер, заказываешь данные в супермаркете, получаешь права доступа — и эти данные автоматически отгружаются на твой сервер.

На следующем шаге дата-сайентисту нужны инструменты. Поэтому рабочее место D-People наполнено всеми современными инструментами обработки данных (spark, hive и пр.), UI (hue, Jupyter Hub) и библиотеками.

Когда сервер развернут со всеми инструментами и современными библиотеками, дата-сайентист начинает делать фичи и моделировать. Следующая задача — вывести витрину фичей и саму модель в промышленную эксплуатацию. Вывод витрины занимает до недели, но это разовая акция, а вот для вывода самой модели, когда витрина уже есть, мы сделали модельный DevOps, оптимизировав этот процесс до 4 часов.

Таким образом, весь цикл организационной работы дата-сайентиста сжат с трех с лишним месяцев до одного дня.

- Какие источники данных использовались?

Сейчас загружено более 250 внешних и внутренних источников данных плюс внешние справочники. Но гипотетически в банке более 300 централизованных систем, есть и децентрализованные. У дочерних обществ Сбера появляются данные, которые тоже нужны в контуре банка. Поэтому количество источников постоянно растет.

- Какие платформы применяются в работе с данными?

Источниками служат главным образом legacy-системы на базе Oracle, основное хранение данных осуществляется в Hadoop в сборке от Cloudera. С помощью OGG (Oracle Golden Gate) и Apache Kafka мы ежедневно поставляем данные как в пакетном режиме, так и в реальном времени. Движок супермаркета данных и инструмент для загрузки данных — наша собственная разработка на Java, фронтенд сделан на JavaScript. Лаборатория данных обладает динамической инфраструктурой под управлением OpenStack/OpenShift и позволяет динамически развернуть необходимые сборки (Hadoop/Spark/РСУБД), содержащие все нужные инструменты для дата-сайентистов. Инструментарий DevOps AI для прототипирования витрин и моделей с последующим выводом в эксплуатацию строится на стандартном наборе Jenkins, BitBucket, Nexus и прочих решений open source — тут мы ничего не изобретаем.

- С какими сложностями пришлось столкнуться в проекте D-people?

Проблем было несколько: технологическая, процессная и человеческая.

Во-первых, надо было сделать так, чтобы созданные инновационные компоненты стабильно работали с нужной функциональностью и нужными объемами данных. Через это надо было пройти, набить шишек и масштабироваться.

Во-вторых, нужно было поменять процессы банка так, чтобы права доступа и согласования стало возможно заказывать и получать автоматизированно и чтобы все эти механизмы были узаконены. Вывод компонентов в эксплуатацию потребовал изменения регламентов по порядку проведения приемо-сдаточных испытаний и по правилам вывода моделей — это был большой труд.

Но наиболее сложной была человеческая история: необходимо было убедить людей в том, что мы делаем действительно нужные, полезные и перспективные вещи. Добиться, чтобы люди начали доверять созданному нами решению, стали амбассадорами нового бренда и начали «переманивать» коллег выходить из привычных им систем, убеждать их в том, что новое решение эффективнее и за ним будущее.

- Что стало главным достижением этого проекта?

Ключевой эффект — сокращение времени дата-сайентиста на построение модели с трех месяцев до дней. Этот проект обеспечил единое окно к океану данных всему сообществу дата-инженеров и дата-сайентистов. Время доступа к данным сократилось с нескольких недель до часа, получение вычислительных мощностей — с нескольких месяцев до часа. Также инструмент позволил быстро выводить разработанное решение в промышленную эксплуатацию.

- Какие результаты своей деятельности вы считаете главными и как оцениваете свою роль в реализуемых проектах банка?

Первый результат — команда, второй — передовая платформа.

Одним из ключевых изменений стало новое представление о «Фабрике данных» в банке. Мы внедрили совместную ответственность за части платформы тех бизнес-блоков, которые наиболее заинтересованы в результате или создании того или иного компонента. Например, за компоненты загрузки и распространения данных совместно с блоком технологий отвечают розничный и корпоративный блоки. Во главу угла были поставлены проекты, приоритетные для бизнес-блоков. Мы разбираемся до «винтиков» в том, что нужно сделать, чтобы этот проект «полетел», и устанавливаем для команд сроки, чтобы обеспечить бизнесу нужную функциональность в нужное время. В итоге и у сотрудников, и у руководства сложилось другое представление о платформе.

Помимо благодарности контрагентов, для меня мерилом успеха является число клиентов и количество решений, которые запускаются на платформе. Если бы клиенты не были удовлетворены, то к нам не приходили бы новые пользователи. А я вижу очень высокий спрос, и это для меня важный результат.

- Как платформа будет развиваться дальше?

Количество требований к платформе возросло за год с 250 до 750. В стратегии до 2023 года обозначены задачи, связанные с надежностью уже запущенных инструментов, которые нам предстоит поддерживать, c ростом количества источников и подписок. Кроме того, для улучшения клиентского опыта мы внедряем еще одно цифровое решение — рабочее место аналитика. Так как практически каждый сотрудник банка работает с отчетностью и данными, мы хотим, чтобы у любого из них был инструмент, с помощью которого он может видеть аналитику своего подразделения и делать отчеты.

Данные генерируются во все больших объемах, и выигрывает тот, кто максимально оперативно реагирует на события. Учитывая быстрый рост экосистемы, мы хотим перейти на работу в реальном времени и иметь возможность реагировать на миллионы транзакций. Мы поставили цель — обеспечить обработку более 10 млн транзакций в секунду (это события, которые генерируют наши клиенты во всех каналах одновременно). Поверх этих данных будет выстраиваться рекомендательная система реагирования на действия клиента во всех каналах.

Следующее направление — оптимизация, уменьшение стоимости инфраструктуры и переход на собственные сборки программных продуктов. Мы сделали свою сборку стека Hadoop, назвали ее Sberbank Data Platform, также будет собственная сборка реляционной БД Greenplum. Такие сборки при наших объемах данных позволят существенно снизить стоимость инфраструктуры.

Еще одна тема, как я уже говорил, — внедрение концепции управления жизненным циклом информации.

- А каким вы видите дальнейшее развитие проекта D-People?

Одна из перспективных задач — вывод всей платформы в SberCloud (SberCloud — это наш облачный провайдер). Мы хотим вывести платформу как набор интегрированных друг с другом дистрибутивов, чтобы дать возможность нашим дочерним компаниям строить на них свои решения. Рабочее место D-People — основной компонент облачной платформы, который позволит любому сотруднику загрузить свои данные и выполнить свою задачу. Эта инфраструктура уже до конца текущего года станет доступна внешнему миру.

Ступени CDO Борис Рабинович более 15 лет проработал в консалтинговых организациях, отвечая за такие области, как внедрение хранилищ данных, отчетность, системы управления справочниками. Позднее, в компании «Сбербанк Технологии», он возглавлял центр компетенции BI, затем — департамент BI и больших данных. При реструктуризации перешел в Сбербанк на должность руководителя управления загрузки данных. Летом 2019 года Борис стал директором департамента управления данными, и сегодня как CDO Сбербанка он отвечает за все централизованные функции по работе с данными банка и за программу создания «Фабрики данных».

Подход «сделай сам» (Do It Yourself, DIY) компания «Леруа Мерлен» не только пропагандирует среди клиентов, но и распространяет на себя. Процесс работы с данными в ней полностью децентрализован: реализована концепция Data Mesh, в рамках которой подразделения (домены) самостоятельно отвечают за данные и создают продукты на их основе. В результате в подразделениях начался процесс автономного развития data-driven-культуры. За два года команда data-акселератора («десанта», который помогает создавать продукты на основе данных) создала более 10 продуктов, пять из которых оказались успешными и принесли несколько миллиардов рублей. За этот же период все подразделения компании самостоятельно запустили более 20 продуктов, оценочный эффект от внедрения которых в разы превышает эффект от действий data-акселератора.

Дмитрий Шостко, CDO «Леруа Мерлен» и номинант на премию CDO Award 2021, сравнивает Data Mesh с кафетерием, противопоставляя его «ресторану» в виде централизованного data-офиса. Дмитрий рассказал о том, как в компании пришли к подходу Data Mesh, о развитии корпоративной культуры и достигнутых результатах.

— Как в «Леруа Мерлен» зарождался data-driven-подход, откуда растет интерес к работе с данными?

У нас, как и в любой индустрии, есть процессы, изначально основанные на данных. В ретейле это логистика и поиск точек для открытия новых магазинов. В обоих процессах алгоритмы машинного обучения применялись еще 10 лет назад — просто никто не знал такого термина. Но в определенный момент приходит понимание того, что существует масса процессов, где данные также можно использовать по-другому — не так, как раньше.

Несколько лет назад у «Леруа Мерлен» был период экспансии в России: открывалось около 20 магазинов в год. Об оптимизации процессов в такой ситуации думать некогда — фаза роста бизнеса подразумевает сосредоточение усилий совсем в другом направлении.

В 2018 году руководство компании пришло к выводу о необходимости выстраивания баланса между расширением и эффективностью процессов. С этого момента анализ данных стал одним из ключевых направлений и вышел на первый план. Инвестиции в эту область включают две важные составляющие: долгосрочные инвестиции в платформу и реализацию отдельных «быстрых побед», позволяющих поддерживать интерес компании к проекту.

Очевидно, что выстраивание процессов работы с данными открывает новые горизонты. Например, на текущем этапе развития мы поменяли стратегию — отошли от продажи исключительно товаров, чтобы трансформироваться в компанию-платформу (или экосистему) по благоустройству дома. В этом случае речь идет о сопровождении человека с момента возникновения у него идеи обустройства дома до полного завершения ремонта и в дальнейшем выполнения экстренных или плановых действий (вплоть до замены лампочек). К такому подходу сейчас стремятся абсолютно все.

Это стандартная эволюция бизнеса: сначала развиваем базовую бизнес-модель, затем оптимизируем, далее строим платформенные решения. Сейчас мы находимся на втором этапе и постепенно исследуем возможности использования данных в рамках платформы по обустройству дома.

— Какое место в иерархии «Леруа Мерлен» занимает CDO ?

У «Леруа Мерлен» нет «лишних» иерархических звеньев, структура выстроена довольно плоско. CDO входит в управляющий менеджмент компании (в «Леруа Мерлен» он называется «группа лидеров»), и это очень важно. Если требуются изменения, то их следует проводить и «снизу», и «сверху», причем изменения сверху — это всегда изменение мышления. Если у руководителя нет необходимого уровня влияния, то возможность воздействовать на работу большого числа ключевых специалистов уменьшается.

Эта роль — «плавающая». В какой-то момент я очень плотно работал с CIO, затем — с заместителем генерального директора, курировавшим финансы и поиск новых точек открытия магазинов, сейчас — с заместителем генерального директора, отвечающим за цифровые сервисы. Поэтому трудно сказать, кто мой шеф, — на эту роль «претендуют» около 6–7 человек, как в России, так и в штаб-квартире. Такова наша специфика, хотя для обычной российской компании это покажется абсурдным. Но я к своим руководителям отношусь скорее как к компаньонам — людям, с которыми мы взаимно развиваемся. С их помощью реализация проектов, связанных с данными, происходит быстрее — если бы я занимался этим в одиночку, эффективность моей работы была бы ниже.

— Компания начала активную работу с данными довольно поздно…

Конечно, пионерами мы не являемся. Активные действия начались в начале 2019 года, когда я присоединился к компании. Разумеется, начинал не на пустом месте: и в России, и на глобальном уровне существовали и озеро Hadoop, и хранилище Teradata. Но тогда в компании не было стратегического видения пути развития платформы данных, не существовало целей, к которым можно стремиться.

Однако технологии за те 6–7 лет, на которые нас опережают лидеры в использовании данных, существенно изменились. Многие компании, сделавшие ставки на определенные технологические решения, сейчас вынуждены задуматься. Например, многих очаровал Hadoop, начинавшийся примерно в 2008 году. Сегодня понятна вся его экосистема: что работает хорошо, а что — не очень. Компании, начинающие лишь сейчас, имеют определенное преимущество: и более развитые технологии, и серьезный опыт, накопившийся на рынке. В случае правильных действий они могут найти короткий путь и «срезать круг», сэкономив несколько лет.

— Какие были выбраны подходы для этого?

На уровне группы было много разных решений, по-своему хороших. Мы попытались посмотреть на них новым взглядом, оценить их с учетом накопившегося опыта, и определили метапринципы, на базе которых создается платформа. Технологический стек не так уж и важен, гораздо важнее правила, по которым ведется работа.

Главным требованием стала горизонтальная масштабируемость платформы. Значит, надо ориентироваться на работу в облаке (быть cloud ready), проектировать платформу с учетом этого (быть cloud native) и даже предусмотреть возможность платформы работать в нескольких облаках одновременно (быть cloud agnostic) — другого подхода для нормального масштабирования нет. Еще один принцип — возможность самостоятельной разработки, а значит, нам нужен open source. Проприетарные продукты сложные и закрытые, там не все доступно для самостоятельных работ. И все новые технологические веяния сначала появляются в открытых решениях, а в проприетарных продуктах они реализуются с запаздыванием.

Кроме того, нам следует инвестировать во внутреннюю разработку, а не во внешнюю. Во-первых, в этом случае проще соблюдать утвержденные принципы. Во-вторых, мы разделяем философию компании — ориентироваться не на «ресторанный бизнес», а на «кафетерий», подразумевающий самообслуживание. Во многих компаниях создается огромное подразделение по анализу данных, обслуживающее всю организацию. Это определенно не наш случай. Мы хотели создать площадку, где каждый может набрать нужные ингредиенты и приготовить из них собственное блюдо. Лучший суп — сваренный для себя, в соответствии со своими потребностями. А мы предоставляем ингредиенты и функционал кухни.

И последнее: все наши продукты должны быть стабильными и легкими в использовании. То есть важно их восприятие бизнес-заказчиком. Если продукт важен и нужен компании, но не нравится пользователям, мы что-то делаем не так. Кроме того, мы не строим платформу несколько лет, чтобы потом предоставить заказчикам сразу все ее возможности. Каждый месяц, каждый квартал мы вводим новые функции, элементы, которые сразу становятся доступны всем пользователям. Непрерывная обратная связь — самое важное для нас.

— Какие ИТ-платформы применяются и почему именно они?

Сформулировав метапринципы, мы стали искать технологии, которые обеспечат их реализацию. Во-первых, необходима крупная аналитическая площадка — классическое хранилище данных. Его мы начали строить на платформе Greenplum, и результаты подтвердили правильность этого выбора. Во-вторых, данные, которые туда загружаются, должны быть доступны в реальном времени. Так у нас появилось решение Apache Kafka, а также NiFi, AirFlow и Debezium, отвечающие за процесс загрузки.

Появление остальных продуктов также связано с нашими потребностями. Например, нам был нужен процессинг данных, но мы не стали использовать для этого Hadoop — это довольно сложный стек, для его поддержания нужна большая команда и не всё в нем работает идеально. Однако есть распределенные файловые системы, аналогичные HDFS, — интерфейсы S3, которые стабильны, хорошо работают со Spark и в полной мере подходят для data science.

— Как появилась идея data-акселератора?

Как я сказал, мы вынуждены искать баланс между долгосрочными, малоинтересными для бизнеса работами по построению платформы данных и яркими краткосрочными проектами, приносящими прибыль. Очевидно, нужно заниматься продуктами на основе данных, приносящими прибыль внутри компании. Внедрение нескольких удачных проектов может окупить инвестиции и в платформенную часть, и в продуктовую, что попутно позволит добиться расположения бизнеса. Однако сам data-продукт — часть довольно сложного комплекса, куда также входят клиентский опыт, сервисы, технологии, бизнес-процессы. Data-продукт — еще одно звено в этой цепочке, добавление которого делает конечный продукт более качественным или даже кардинально иным.

Эти быстрые бизнес-ориентированные проекты реализуются с помощью data-акселератора. С самого начала мы заявили, что для создания data-продукта нужна не централизованная команда, которая будет его разрабатывать и внедрять, а «десант», приходящий «в гости» к подразделениям и реализующий проект вместе с ними. При этом преследуются две цели: помимо достижения экономического эффекта, изменяется мышление и развивается data-культура внутри подразделений. Очень важно не только дать подразделениям технологическую площадку, но и внедрить в них новые компетенции, навыки, мышление.

— Каковы успехи в изменении культуры?

Главным стало то, что созданная полноценная аналитическая площадка, куда поступают данные в режиме реального времени, востребована пользователями и имеет позитивные отклики. Это наши ключевые метрики успеха. За два года увеличилось количество пользователей и возросла популярность наших базовых курсов, помогающих освоить работу с данными. Число активных пользователей сегодня превышает 300 человек. Конечно, сначала подразделения демонстрировали скепсис в отношении платформы и средняя оценка удовлетворенности работой с ней колебалась около 3 по пятибалльной шкале, но сейчас наш рейтинг — 4,8.

— Как вы пришли к подходу Data Mesh?

Когда начинали строить платформу данных, то еще не знали такого термина. Руководствовались здравой логикой, сформулированными метапринципами и пониманием того, что важно дать автономию подразделениям в работе с данными, а не развивать централизованную команду. Децентрализованный подход и в технологиях, и в использовании данных подразумевает хорошую площадку, позволяющую реализовать такую автономию, и практики, предоставляющие возможность специалистам решать свои задачи.

Я анализировал тенденции в ИТ, определяемые разработкой архитектуры фронтенда и бэкенда. В части использования бэкенда весь мир движется от монолитных систем к микросервисам. И аналогично, компании движутся к микрофронтендам, чтобы дать автономию отдельным командам и иметь возможность разрабатывать один большой продукт с участием множества команд. То же самое можно делать и с данными. За данные отвечают их владельцы: каждый домен самостоятельно отгружает данные в платформу, следит за их качеством и описательной частью. И это реально работает.

Лишь потом мы увидели, что на самом деле не придумали ничего нового. Стали активно изучать тему Data Mesh и перенимать чужой опыт. Это позволило избежать некоторых ошибок.

— Почему именно Data Mesh? Какие рассматривались альтернативы?

Сама компания «Леруа Мерлен» по сути децентрализованная. Подход Do It Yourself (DIY) транслируется не только вовне — клиентам компании. Мы сами живем по тем же принципам. Нам было понятно, что вначале придется инвестировать в централизованную команду для создания компетенций, практик и ИТ-площадки, а затем все больше инвестиций потребуется направлять на развитие навыков в других подразделениях.

Например, в компании нет ИТ-департамента как такового. Ее структура управления предполагает, что команды, отвечающие за операции, и команды, создающие продукты и сервисы, работают вместе, образуя домены. И такие домены самостоятельно работают с данными.

— Несмотря на децентрализованность процессов работы с данными, политики — это нечто общее. Как определяются политики работы с данными?

Политики работы с данными — это стандарты, правила, подходы и практики. Если мы делаем то, что удобно пользователям, подходы и практики быстро становятся популярными. Да, на первых порах предложенные правила требуется поддерживать внешними механизмами — для утверждения во всех подразделениях. Мы следуем выбранным правилам, они принимаются коллективно и работают в рамках всей компании. Их довольно много — например, они касаются качества данных, доступности данных в платформе, ответственности за метаданные…

— А как решается вопрос качества данных?

Все компании его решают примерно одинаково, но у нас есть преимущество. Мы, как и все, пишем DQ-тесты, но в случае Data Mesh они действительно эффективны, потому что приближены к операциям и людям, которые эти данные порождают. Всегда можно понять, что пошло не так и почему это происходит, — ведь низкое качество данных часто говорит о некорректных операциях.

— Какие источники данных использовались? И как в целом определяется, что нужно компании?

Используем практически все, до чего можем дотянуться. Если есть данные, они должны быть доступны всем — разумеется, за исключением определенных ограничений. Если в компании появились новые данные, их владелец должен заявить об этом, описать их и отдать в нашу платформу. При подходе Data Mesh это важно.

У нас больше 200 типов источников, но польза от них различна. Правило Парето применимо и здесь. Примерно 90% наших аналитических активностей закрывается 70 источниками.

— В чем заключалась ваша самая большая проблема?

Конечно, это изменение мышления людей, которые много лет работают в классических профессиях. Директора, руководители направлений — люди, выросшие в доцифровом ретейле. Для них новые технологии — не самая простая история. Изменить их взгляды — это и ключевой, и самый непростой момент. Требуются правильные примеры и аналогии, чтобы привлечь их на свою сторону.

— Какие data-продукты были созданы? Приведите несколько примеров.

Хорошим примером является продукт «Светофор». Как известно, в ретейле есть операция приема товара от поставщиков, и она включает проверки. Проверять всё от всех поставщиков экономически невыгодно, это требует огромных ресурсов. Но если изучить историю работы с поставщиками и возникавшие с ними проблемы, то процесс можно оптимизировать и проверять не всех поставщиков и не все товары, а делать выборочные проверки, сокращая затраты. Осуществляя контроль по определенным правилам, которые создаются машиной (проверять лишь одну из нескольких поставок), мы находим до 80–90% брака.

Кроме того, можно выделить работу с комплементарными товарами. Такая продукция есть в любом бизнесе, и обустройство дома не исключение. Во многих случаях товары лучше приобретать вместе: либо один без другого невозможно использовать, либо их совместное применение ускоряет процесс ремонта, либо речь идет о «красоте» – элементах декора. Долгое время компания смотрела на комплементарные товары лишь глазами экспертов, определяя связи между ними. Но когда речь идет о работе с 60 тыс. различных номенклатурных позиций, то число таких связей исчисляется десятками миллионов. Никакая экспертная группа такую работу не осилит, да и человеческий взгляд не гарантирует абсолютной правоты выводов. Гораздо интереснее взглянуть на взаимосвязи глазами клиента, оценив, что и в какой последовательности он изучает на сайте, что подбирает в магазине. Это ценная информация, которая обогащает знания экспертов. И мы видим значительный рост эффективности апсейла и кросс-сейла в рамках маркетинговых активностей.

— Каких финансовых результатов удалось достичь с помощью data-акселераторов и в ходе дальнейшего развития инициатив на уровне всей компании?

Экономический эффект от деятельности нашего «десанта» за два года составил несколько миллиардов рублей. Это результат оптимизации продуктов и бизнес-процессов. На уровне всей компании эффект оценить сложнее, поэтому проводятся лишь приблизительные расчеты. Но уже довольно много сотрудников самостоятельно работают с данными, и, по текущим оценкам, эффект от активности всех подразделений в этой сфере в разы превышает экономический эффект от деятельности data-акселератора.

Надо сказать, что наша цель — показатели, в несколько раз большие. Мы ожидаем в ближайшие пару лет рост финансовых результатов от двух до пяти раз.

— Вероятно, многие компании мечтают запустить процесс автономного развития data-driven-культуры. Что для этого нужно?

Вначале нам самим не верилось в это. В ресторанном бизнесе люди тянутся к хорошему обслуживанию — это очевидно. А если речь идет о самообслуживании, то изначально непонятно, будут ли люди приходить и готовить сами. Оказалось — будут. Более того, зачастую это удобнее, понятнее и прозрачнее, когда домены сами отвечают и за ИТ-системы, и за процессы, и за данные. Они сами инвестируют в необходимые им направления, привлекают необходимые компетенции, контролируют получение результата.

— Какие результаты своей деятельности в компании вы сами считаете ключевыми? Как вы оцениваете свое место и роль в реализуемых проектах?

Я рассматриваю себя как «играющего тренера» в команде по десятиборью. Во многих процессах приходится участвовать не только в теории, но и на практике. Часто требуются и коучинг, и размышления о будущем, и оценка способов реализации, а иногда приходится вместе с командой впрягаться в решение задачи.

— Что дальше? Какими вы видите дальнейшие направления развития проекта?

Работа с данными станет частью любого бизнес-процесса компании. Не будет ничего особенного или тем более зазорного в data science и анализе данных. Подразделения будут потреблять данные в рутинном режиме — это станет базовой гигиеной, которая выработается у всех, это будет нормой, без которой невозможно развиваться. Вопрос лишь в том, как это сделать быстрее остальных и пройти такой путь на максимальной скорости. И мне кажется, подход Data Mesh здесь неплохо работает.