Data Governance

Большинство компаний привлекают для получения ценной информации всё новые источники данных, причем делают это предельно осознанно, имея перед собой четкую цель. В рамках дискуссии «Можно ли предвидеть непредвиденное?», состоявшейся на форуме «Данные – катализатор цифровизации», организованном DIS Group, участники обсудили расширение спектра данных, используемых для анализа, и подходы к управлению данными.

Заглянуть в расплавленную сталь

Как отметил Максим Феопентов, директор по развитию цифровых технологий «Евраз», данные используются каждый день для принятия оптимальных решений абсолютно всеми, и сталеплавильные производства – не исключение. Однако можно отметить, что типы привлекаемых данных становятся другими, зачастую принципиально новыми. Например, в «Евраз» стали анализировать не только видео, но и звуки производственных процессов.

«Мы развиваемся, пытаясь понять, что еще можно взять из процессов, помимо табличных данных. Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов», — подчеркнул Феопентов.

Максим Феопентов: «Хочется понять, что творится в глубине сталеплавильных агрегатов, именно это подвигает компанию проводить эксперименты даже с акустической диагностикой процессов»

Финансовый сектор тоже ищет свой путь: рынок требует максимальной скорости. Модели предвидения ситуации и различных расчетов в зависимости от внешних факторов занимают большую часть работы банков. Данные проникают во все процессы, в том числе связанные с оценкой рисков и борьбой с мошенничеством.

«Мы большинство усилий концентрируем на способности предугадать потребность клиента и предложить ему максимально подходящий продукт. Данные для этого используются повсеместно, начиная с сегментации клиентов и выявления их моделей поведения на основе транзакционных данных и до анализа записей звонков в контакт-центр», — рассказала Светлана Бова, CDO ВТБ. Отдельное направление – метаданные, которым в ВТБ сейчас уделяется очень много времени и усилий, это крайне важная часть работы. Автоматизируется их сбор и интерпретация, что помогает как в ускорении процессов, так и в оптимизации отчетности.

«Можно разделить вопрос на две части: зачем нам данные и каким образом они используются», — считает Павел Шорохов, директор департамента по работе с данными сети «Магнит». По его словам, потребности в большинстве компаний одинаковы: data science, выверенная корпоративная отчетность, ad-hoc аналитика, системы лояльности и оптимизация логистики. А вот сценарии использования у многих уникальные. Например, «Магнит» ежедневно доставляет товары из 45 распределительных центров в 26 тыс. магазинов. Требуется отслеживать наличие каждого из товаров, оценить необходимый объем доставки, стимулировать продажи промоакциями. Главная цель при этом – увеличение доходности торговли и минимизация логистических издержек.

Доверие к данным и ответственность за них

Однако данные – это не только технологии, но также люди и процессы, они требуют взаимодействия между различными подразделениями. Новые задачи подталкивают компании к внутренним изменениям.

Как рассказал Феопентов, «Евразу» помогла концепция ‘гражданских’ (citizen) дата-сайентистов, находящихся в бизнес-подразделениях. Им предоставляется поддержка и обучение, а затем они работают в автономном режиме. Таким образом расширяется штат профессионалов, появляется возможность быстро проверять бизнес-гипотезы и в конечном итоге экономятся ресурсы. Сейчас в «Евразе» идет уже третья волна обучения таких экспертов.

«Вопрос, где брать кандидатов на обучение и что с ними потом делать – нужно понимать, где должно быть их место после получения новых компетенций», – признал Феопентов. По его словам, около 60% обучившихся применяют полученные знания на практике – это очень хороший результат, и позитивный эффект от такого подхода очень заметен.

Феопентов отметил растущую роль дата-партнеров – экспертов, аккумулирующих бизнес-потребности определенного блока. До сих пор это направление в «Евразе» не сильно развивалось: функция Data Governance до определенного времени не получала приоритета, однако сейчас она есть в целях компании и активно развивается. Запрос со стороны бизнеса на данные породил потребность в выстраивании процессов по управлению данными.

«Важно вовлечение бизнеса в управление данными напрямую, и с этой точки зрения большое значение имеет доверие к данным. Когда данными управляют сотрудники твоего подразделения, доверие к ним выше», — констатировала Бова. Именно поэтому такая распределенная система управления данными и признана в мире. Распространение Data Governance как ответственности за данные внутри бизнес-единиц набирает обороты, потому что доказывает свою эффективность.

Если говорить про ВТБ, то концепция Data Governance все сильнее прорастает в бизнес-подразделения. С точки зрения выстраивания ответственности по всей цепочке следования данных банк выходит за контур хранилищ и проникает на уровень фронт-офисных систем. Распределение ответственности за данные перешло в операционную модель, в жизнь сотрудников, а в будущем планируется оценивать влияние качества данных на процессы и их этапы.

Изменения в «Магните» начались пару лет назад, когда стало очевидно, что департаменту управления данными не хватает гибкости с точки зрения управления своими приоритетами и ресурсами; кроме того, оставляла желать лучшего скорость реакции на запросы бизнеса – требовалось сокращение сроков разработки систем.

Павел Шорохов: «Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды»

«Естественно, бизнес-заказчикам не хочется подстраиваться под режим работы ИТ. Напротив, они предпочитают, чтобы ИТ-специалисты встраивались в их команды. Пару лет назад у нас это не получалось из-за того, что подразделение было монолитным», — сказал Шорохов. Эта проблема была решена внедрением института дата-партнеров. Фактически это мини-CDO по направлениям бизнеса, находящиеся в общем офисе CDO. Для них главным показателем является удовлетворенность бизнеса, но при этом они участвуют в развитии данных в соответствии с общей стратегией.

«Нам это очень помогло: во-первых, мы стали работать гораздо быстрее, во-вторых, мы действительно стали партнерами бизнеса», — резюмировал Шорохов. Как следствие, в компании началась сервисно-продуктовая трансформация. Элементы корпоративной платформы данных разделились на продукты, у которых появились свои владельцы.

***

В последние годы в подходах компаний произошел огромный скачок: практически в каждой индустрии произошло слияние предметной области и технологий. Это позволило поставить технологии на службу бизнесу. Любая отрасль стала использовать результаты анализа данных – вплоть до сельского хозяйства, где пытаются предсказать будущий урожай и цены на зерно и на основе этого спланировать будущую посевную.

Кроме того, мы живем в такое время, когда компаниям постоянно требуются глобальные изменения. Например, пандемия потребовала от всех участников рынка перехода в электронную торговлю. Сейчас наблюдается фокус на цифровой суверенитет, и востребован переход с зарубежных решений на open source, а также российские и собственные разработки. Компаниям приходится быстрее реагировать на потребности бизнеса и правильно приоритезировать свои усилия.

В Группе компаний «Газпром нефть» реализована полноценная платформа управления данными. Реализуемые инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. В результате появилась прозрачность данных, обеспечено единое их понимание, достигнут быстрый доступ к данным и доверие к ним со стороны бизнеса. О реализации проекта рассказала Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть».

— Когда была начата реализация комплексной программы по управлению данными в «Газпром нефти», каковы были предпосылки? На что рассчитывали?

В 2018 году в «Газпром нефти» были начаты глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях сформировалось полное осознание, что без данных цифровая трансформация не осуществима, и возник комплексный запрос на выстраивание процессов управления данными – обеспечение быстрого доступа к качественным данным для повышения эффективности процессов компании и качества принимаемых управленческих решений за счет использования данных и цифровых двойников. Реализация комплексной программы по управлению данными была начата в 2019 году.

— Что представляет собой программа?

Реализация комплексной программы по управлению данными включает формирование методологии, выстраивание процессов управления данными и встраивание их в регулярную деятельность подразделений, внедрение платформы управления данными на базе наиболее современных инструментов. Кроме того, в ее рамках формируются и развиваются как специализированные компетенции, так и компетенции бизнеса по работе с данными.

— В прошлом году вы принимали участие в CDO Award и стали лауреатом в номинации «За обеспечение качества данных». Что изменилось за этот год?

Самым важным стало дальнейшее вовлечение бизнес-пользователей в процесс «Управление качеством данных». В частности, за год использования методологии и инструментов проработано и зарегистрировано в каталоге данных 1343 бизнес-требования к качеству данных для 12 доменов данных (предметных областей), поставлено на мониторинг более 160 технических проверок качества данных, устранено более 120 тыс. инцидентов качества данных.

— Что стало самым сложным в реализации этого проекта?

Наиболее сложным является проведение культурных изменений, связанных c существенными изменениями в ключевых процессах по работе с данными.

— Что стало главным достижением? Чем можно гордиться?

Нами реализована полноценная платформа управления данными. В инструменте «Глоссарий» описано более 8 тыс. элементов данных, более 40 систем-источников данных интегрировано с каталогом данных. На портале управления данными (УпД) зарегистрировано более 1,4 тыс. уникальных пользователей, 71 тыс. просмотров разделов портала. Более 600 элементов данных имеют проверку качества данных с использованием инструментов качества данных, реализовано более 3 тыс. бизнес-правил, более 650 автоматизированных проверок качества данных. Более 147 тыс. ошибок исправлено по результатам мониторинга; в рамках развития процесса качества данных в 2021 году был создан модуль управления инцидентами и проблемами качества данных.

В системах НСИ размещено более 3,2 тыс. объектов (справочники, классификаторы, реестры, каталоги и др.), осуществлена интеграция более чем с 70 информационными системами при помощи около 1,2 тыс. сценариев интеграции. В рамках работы по направлению «Аналитика BI» (в том числе self-service) опубликовано 125 аналитических приложений, подключены данные из четырех корпоративных хранилищ, создано более 20 дата-сетов.

Более 36 тыс. уникальных пользователей (более 7,5 тыс. в мес.) реализуют работу с неструктурированными данными в корпоративном поиске, осуществляя более 1,6 тыс. поисковых запросов в день по 25,7 млн доступных в поиске документов.

Для повышения уровня компетенции нами проведено более 80 онлайн-обучений и 147 инфо-сессий, разработано два электронных курса на кафедре УпД Корпоративного университета «Газпром нефти», основам управления данными обучено более 800 сотрудников. Кроме того, разработаны три обучающих программы на базе «Школы аналитики», обучено более 60 сотрудников.

— А к чему еще можно стремиться?

В настоящее время мы заканчиваем опытно-промышленную эксплуатацию корпоративных панелей качества данных, представляющих собой единое окно для потребителей, в котором будут собраны метрики качества данных из всех корпоративных систем мониторинга. Работаем над внедрением корпоративного магазина данных и развитием дата-сервисов.

— Насколько заметным стал более простой доступ к данным? Как изменились процессы, как это отразилось на времени доступа?

Благодаря комплексной программе по управлению данными был подготовлен инструментарий, позволяющий управлять доступом к данным на основе метаданных. Доступ будет предоставляться на основе бизнес-роли сотрудника и тегов информационной безопасности, присвоенных данным. Существенная часть доступов будет предоставляться по умолчанию. В настоящий момент этот инструментарий уже подготовлен для проведения опытно-промышленной эксплуатации.

Также в программе проведен пилот по реализации логического хранилища данных, что позволит дополнительно повысить доступность данных, позволяя не только получить доступ, но и оперативно решать комплексные задачи, требующие задействования данных из различных источников.

— Какие результаты достигнуты?

Программой охвачено более 50 проектов и более 15 доменов данных, в рамках которых развиваются ключевые направления управления данными. Основные экономические и нематериальные эффекты программы основаны на переиспользовании данных, ускорении реализации цифровых продуктов, сокращении времени на анализ и поиск качественной информации, а также снижении трудозатрат как на этапе обследования систем-источников, так и при подготовке проектной документации. Отдельно можно выделить повышение качества управления, основанного на данных.

— В чем роль проекта для бизнеса компании?

Реализуемые нами инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. Повышается прозрачность данных за счет создания единого источника информации о данных (бизнес-глоссарий) и правил управления данными группы «Газпром нефть», обеспечивается единое понимание данных: терминологии, взаимосвязей между бизнес-терминами и источниками данных, методологии расчетов, достигается быстрый доступ к данным и повышение доверие к ним со стороны бизнеса. Важную роль также играет повышение аналитичности данных за счет внедрения инструментов self-service BI.

— В чем выражается доверие пользователей к данным? Как понять, что оно есть?

Доверие пользователей отражает степень их уверенности в том, что представляемые данные полностью соответствуют описанию (бизнес-описание, родословная, информация об актуальности и оценки качества данных) и обеспечены поддержкой, гарантирующей актуализацию этого описания в последующем. Это позволяет использовать данные с прогнозируемым результатом не только в моменте, но и реализовать процессы и функционал, работающие на постоянной основе в долгосрочной перспективе. Как результат, доверие пользователей выражается в готовности максимально оперативного применения данных без дополнительных мер по их проверке, без потерь времени на поиск и ожидание консультаций от экспертов отдельных бизнес-систем или предметных областей.

Таким образом, для тех команд аналитиков, разработчиков и архитекторов, которые участвуют в анализе исходных данных, проектировании и разработке, индикатором доверия к данным является интенсивность использования ими бизнес-глоссария, каталога данных, мониторов качества данных с одной стороны и сокращение времени разработки продуктов как результат отсутствия затрат времени на перепроверку данных перед их применением.

Что касается менеджмента компании, то в этом случае индикатором доверия к данным является отказ от предварительной перепроверки информации, представленных в отчетах и дашбордах. Это приводит к сокращению времени на принятие решений.

— Насколько распространен self-service BI внутри компании? Какая доля сотрудников пользуется им, как их число изменилось за последнее время? Есть ли показатель, к которому стремитесь?

У пользователей велик интерес к инструменту самостоятельной аналитики, и наблюдается готовность переходить со стандартной и привычной аналитической отчетности к гибким механизмам самостоятельного анализа данных. Распространение self-service BI находится в самой активной фазе, и за прошлый год количество пользователей увеличилось в два раза. В этом году планируется дальнейшее развитие и еще более высокий рост, так как помимо развития самого инструмента, уже на год вперед расписан план обучения сотрудников в «Школе аналитики».

В рамках развития self-service BI также прорабатывается вопрос с импортозамещением, в прошлом году был осуществлен выбор платформы и проведена апробация. В этом году стартуют активности по переводу функционала self-service BI на новую импортонезависимую платформу и обучению сотрудников.

— В каком направлении планируете развиваться?

Мы будем продолжать развивать свою функцию по всем ключевым направлениям – методология, инструменты, компетенции – для обеспечения максимального эффекта от внедрения процессов управления данными и достижения компанией статуса data-driven согласно международной методологии DCAM.

В S7 Airlines запущена корпоративная платформа, обеспечившая прозрачность активов данных и значительно сократившая время доступа пользователей к данным. Об особенностях этого проекта и используемых подходах рассказал Арег Азарян, Chief Data Officer компании S7 Airlines.

— Как формировалась в S7 Airlines практика работы с данными, какие этапы она прошла?

S7 Airlines, как и любая авиакомпания, зависит от различного рода ИТ-решений, в которых в большом количестве могут генерироваться данные. Данных этих бывает много, а иногда даже очень много – например, если брать телеметрию воздушного судна. У нас много источников различного рода данных, около 120, расположенных как в нашем контуре, так и вовне. Все эти данные необходимо накапливать и использовать – в сегодняшних реалиях это один из активов наравне с материальными. На что-то уже есть зрелый запрос у бизнеса, в каких-то случаях мы пытаемся помочь такой запрос сформировать и развить, а иногда сохраняем данные «на будущее», чтобы иметь готовый архив, когда потребность сформируется.

Наша история была типичной для многих. Финансово-экономические службы хотели иметь «источник правды» по основным метрикам функционирования бизнеса. Мы начали формировать классическое корпоративное хранилище данных. Потом оно постепенно начало использоваться в аналитике. При появлении проектов, связанных с глубокой аналитикой, инфраструктура данных начала разрастаться: появилось озеро данных, виртуализация данных, каталог данных и т.д. У нас появилось много хранилищ: четыре доменных хранилища, источники для корпоративной отчетности, а также локальные хранилища в дочерних компаниях. Данные требовалось демократизировать и сделать доступными для использования бизнесом. Потребности стали возрастать, и появилась необходимость в создании полноценной платформы для работы с данными.

— Как пришло понимание, что компании необходима корпоративная платформа данных? Что не устраивало в сложившейся ситуации, какие проблемы требовалось решить?

В 2018–2019 годах у нас начали появляться в большом количестве различные проекты, основанные на технологиях машинного обучения, очень емкие по части данных. Возникали сложности различного характера: было непонятно, где данные находятся, какими данными нужно пользоваться в том или ином случае, длительное получение доступа, нестандартные процессы согласования доступа к различным источникам. Кроме того, бизнес вырос с точки зрения зрелости и культуры работы с данными. В большинстве бизнес-направлений появились аналитические подразделения, которые располагали не только потребностью использования более продвинутых решений, но и навыками работы с ними.

Пришло понимание, что нам нужно обеспечить более дружелюбный инструментарий, сократить время предоставления данных на всех этапах – поиск, получение доступа, предварительная подготовка, доставка и т. д. С другой стороны, мы понимали, что у нас большое количество хранилищ и источников данных, которые нужно как-то описать, демократизировать и предоставить в пользование независимо от уровня пользователя.

— Какие цели были поставлены? Какие принципы требовалось соблюсти при построении платформы?

Если говорить об измеримых целях, то в первую очередь это снижение длительности выполнения задач, связанных с данными, – то есть поиск, получение доступа, исследование и подготовка данных. Побочная цель, которая также измерима, – это снижение трудозатрат сотрудников на те же задачи. Мы провели внутреннее исследование и увидели, что пользователи-аналитики тратят на перечисленные задачи около 20-30% своего рабочего времени. Кстати, некоторые компании такие трудозатраты оценивают в 70%. Мы хотели именно работать над этими показателями чтобы снизить время разработки наших внутренних и внешних продуктов.

Качественно мы хотели данные как можно больше демократизировать, как можно лучше их подготовить под самостоятельный формат работы, под потребителя различного уровня – от бизнес-аналитиков до дата-сайентистов и даже дата-инженеров. Каждому должен быть предоставлен подходящий интерфейс доступа к данным и необходимая ему информация.

— Какие основные части включает платформа, на каких инструментах реализована?

Платформа получилась многослойная, при этом она позволяет предоставлять данные под различные нужды – классический self-service на SQL, для корпоративной отчетности, для использования в Python-скриптах или поставки данных в приложения.

Первым компонентом, через который проходит пользователь, – каталог данных, он обеспечивает функции как репозитория метаданных, так и информационного портала с реестрами имеющихся у холдинга данных. Благодаря каталогу данных пользователь может осуществлять поиск необходимых ему объектов, как с помощью технических наименований, так и на основе связи таких объектов с терминами в корпоративном глоссарии. Кроме поиска, каталог позволяет получать много другой технической и бизнес-ориентированной информации об объектах. Также важно, что каталог данных является центральным инструментом компании для ведения родословной данных (маршрут движения данных по системам), категорирования объектов (персональные данные, коммерческие данные и др.), поддержки работы дата-стюардов и других процессов управления данными.

Следующий этап – доступ и использование найденных данных. Для этого используется технологии виртуализации данных, которые позволяют объединить все источники в рамках одного веб-интерфейса и обеспечивают работу с ними через удобный всем потребителям язык SQL. Виртуализация дает нам возможность в одном инструменте объединять между собой данные, вне зависимости от технологий, на которых построены отдельные хранилища и без необходимости загрузки их в промежуточные хранилища. Это оказалось очень ценным как с точки сокращения времени доступа к данным, так и с точки зрения их снижения затрат на их обработку, а также значительно упростило для бизнес-аналитиков возможности использования данных, например, в корпоративном озере данных или наборе доменных хранилищ.

Транспорт данных в платформе обеспечивает шина данных – она не только позволяет организовывать потоковые данные, в ней также автоматизировано большинство рутинных операций – например, создание топиков, предоставление к ним доступов, настройка мониторингов и проверок

Одно из хранилищ – наше корпоративное озеро данных – также создавалось как компонент платформы. Мы используем озеро данных не как единственное централизованное хранилище, а как дополнительный компонент нашей общей инфраструктуры данных. Оно выполняет роль архива «сырых» данных организации, а также хранилища «холодных» данных.

Нужно также упомянуть, что в корпоративную платформу данных также входят доменные хранилища данных, реализованные по концепции Data Mesh.

— Каковы сроки реализации проекта, какими силами он проводился?

Проект по объединению всех хранилищ в единую платформу начался в 2019 году. Сейчас у нас все компоненты, кроме шины (она в опытной эксплуатации), введены в промышленную эксплуатацию и уже имеют свой набор пользователей и активно функционируют. Могу отметить, что работы реализованы очень скромной командой из восьми человек, занимавшихся платформенными сервисами, не считая сами хранилища. Мы смогли внедрить два коробочных решения, создать два собственных, интегрировать это всё между собой и с хранилищами.

— В чем «фишки» созданного решения, чем можно гордиться?

Самое яркое – это виртуализация данных. На отечественном рынке не так много примеров применения виртуализации данных, и я считаю наш кейс одним из наиболее успешных. Очень большое количество довольных пользователей отмечают, что теперь они могут значительно быстрее решать свои задачи по ad-hoc-аналитике за счет возможности объединять данные из разных источников в рамках одного SQL-запроса.

Кроме того, аналитикам теперь не нужно многократно запрашивать доступ к различным хранилищам и объектам – всё доступно в одном месте. Такого результата мы добились путем применения практик Data Governance. Чтобы соблюдать политики безопасности и не допустить хаотичного доступа к критичным данным, нами была проработана особая матрица доступов, которая позволила разграничить доступ к данным на основе доменов, возможности доступа к персональным данным, возможности доступа к коммерческим данным. Все работает таким образом, что достаточно запросить один раз доступ к интерфейсу виртуализации, указав интересующие домены и категории данных, – после согласования данные сразу будут доступны, причем при появлении новых объектов в хранилищах и источниках, доступ к ним появляется автоматически.

Также важно отметить, что такой функционал платформы стал доступен благодаря работе с метаданными в каталоге данных – она позволяет нам применять нашу матрицу доступов на уровне отдельных объектов, без необходимости регулировать доступ к источнику целиком. За счет того, что мы подключили все необходимые хранилища к каталогу данных, мы смогли увидеть все объекты с данными и категорировать их. Теперь мы знаем, где у нас находятся, например, персональные данные, а где – коммерческие. Это позволяет нам тонко настраивать политики безопасности для этих объектов, автоматизировать процессы по разграничению доступов, корректно назначать владельцев данных.

— Децентрализованный подход к управлению данными (Data Mesh) требует от подразделений определенной зрелости, в том числе культурной. Какие организационные изменения и мероприятия потребовались?

Нельзя сказать, что все было гладко с первого же дня. Data Mesh изначально требует налаженного внутри компании продуктового подхода. Важно воспринимать создаваемые платформы не просто как информационную систему, а как продукт, и работать с ним, как с полноценным продуктом – это несет в себе как плюсы, так и минусы. Один из таких минусов мы прочувствовали на себе – каждое отдельное хранилище получалось слишком обособленным, и возникали проблемы с синхронизацией планов развития, распределением данных по доменам, дублированием и сложностями в объединении данных.

Сейчас мы видим необходимость лучше структурировать работу доменных хранилищ не только как отдельных продуктов, но и как элементов одной платформы. Создание и реализация корпоративной модели данных в доменных хранилищах – это один из проектов, над которым мы будем работать в будущем, и мы рассчитываем, что он поможет нам достигнуть синергии между доменными хранилищами. Такой подход, действительно, требует определенной зрелости, в том числе от офиса данных.

— Как реализовано автоматическое категорирование данных, какой точности удалось достичь, какую роль она играет?

Мы хорошо продвинулись в этой теме и продолжаем исследовать ее. Сейчас мы от ручного категорирования перешли к полуавтоматическому. Техническими средствами каталога данных мы составляем первичную выборку объектов, в которых потенциально содержатся персональные данные, и после этого дата-стюарды могут подтверждать корректность соотнесения данных по категориям. Мы уже начали работать над созданием моделей для нахождения персональных данных в примерах записей из объектов, но даже при высокой точности таких моделей вряд ли мы сможем полностью отказаться от валидации человеком.

Корректное категорирование, как я уже сказал, очень важно для автоматизированного применения корректных политик безопасности к объектам с данными, что позволяет нам значительно упрощать процесс получения доступа к ним и снижает риски утечки персональных данных.

— Насколько ощутимым стало сокращение времени доступа к данным?

Мы добились сокращения времени получения данных на 15%. Дальше мы видим простор для действий как через работу над эффективностью команд, которые создают витрины данных и подключают новые источники, так и через предварительную подготовку данных в доменных хранилищах для использования инструментов self-service. Если потребитель сможет решить самостоятельно свою задачу, то это тоже принесет большую пользу.

— Как велико число аналитических задач, уже сейчас решаемых бизнес-пользователями самостоятельно?

Сейчас, когда пользователи имеют возможность самостоятельно находить и исследовать данные, некоторые задачи они действительно предпочитают решать в режиме self-service. Например, это задачи создания единого профиля клиента, персонализация коммуникаций, мониторинг удовлетворенности клиентов, fraud-аналитика программы лояльности, исследование новых маршрутов – там уже активно используется функционал нашей платформы.

— Прозрачность активов данных подразумевает возможность их капитализировать и монетизировать. Какие сценарии возможны?

Мы как офис данных сейчас только начинаем работать над этими вопросами. Мы хотим определить набор критичных активов данных, которые у нас есть, и понять, где мы их применяем или где их можно применить. Обеспечив видимость всех активов данных, мы получили картину в целом и будем иметь лучшее понимание возможностей для их монетизации.

Говоря про монетизацию, мы имеем в виду, что рассматриваем возможность использования данных в каких-то проектах типа создания цифровых двойников или предиктивного ремонта двигателей на воздушных суднах. Очевидно, путем своевременного обслуживания мы сокращаем потребление топлива – явная монетизация данных. Другой вариант – возможность более точечного, персонализированного предложения для наших клиентов, что позволит увеличивать выручку. Также мы в перспективе рассматриваем возможность партнерских проектов с другими игроками на рынке.

Еще одним направлением нашей деятельности будет являться капитализация активов данных: например, необходимо понимать, сколько нам стоит владение тем или иным объектом данных.

— В каком направлении будет развиваться платформа данных S7 Airlines?

Первоочередная задача – как можно более тесная интеграция всех компонентов платформы между собой. Кроме того, важно внедрение практик управления метаданными внутри самих хранилищ и шины данных для того, чтобы выстраивать более точные маршруты движения данных, лучше понимать характеристики активов данных, которые доступны в платформе. Мы рассматриваем развитие системы с точки зрения тесной интеграции – например, каталога данных с системой виртуализации, системы виртуализации с источниками, каталога данных с BI-системой и так далее.

Также мы видим возможность развития нашей платформы в плане централизации работы с качеством данных – это следующий этап, над которым мы будем работать.

Управление на основе данных постепенно превращается из роскоши в необходимость для организаций любого масштаба и отраслевой принадлежности. Однако внедрение подходов data-driven — сложный проект, затрагивающий все аспекты деятельности организации: от технологий до управленческих практик, бизнес-процессов и культуры. Форум «Управление данными — 2021», организованный издательством «Открытые системы», охватил все эти направления. У компаний постепенно накапливается опыт «правильной» работы с данными, что отражается и на программе форума: с каждым разом все больше места в ней отводится практике.

«Умейте выжидать, умейте нападать…»

У каждой организации свои цели, видение и миссия, свои потребности, особенности и окружающая среда. Именно поэтому универсальных рецептов в управлении данными не существует, компаниям многое приходится придумывать самим. Тем не менее, по мнению Александра Погосьяна, исполнительного директора по направлению «Качество данных» в «Сбере», все стратегии по управлению данными можно разделить на два типа: «защита» и «нападение».

Александр Погосьян: «При выборе стратегии управления данными не стоит ударяться в крайности»

«Защита» подразумевает обилие регуляторных ограничений и приоритет требований безопасности. Но когда ограничений не слишком много, можно уделить гораздо больше внимания «нападению» — захватывать рынок и развиваться. По словам Погосьяна, типичная отрасль, для которой характерна стратегия защитного типа, — здравоохранение, а атакующего — ретейл; финансовый сектор находится примерно посередине. Эти стратегии отличаются технологическими и организационными особенностями. Например, для защитной стратегии характерна высокая степень централизации; это касается и функции CDO, и бюджета. В ее рамках все централизовано и часто доминирует теория: тратится много усилий на создание «единой версии правды», единых стандартов, политик, методик.

Когда же преобладает нападение, приоритет получает децентрализация. Функция CDO расплывается по бизнес-подразделениям, формирующим собственные бюджеты. И подразделения при работе исходят из собственных, сугубо практических задач.

«Как и в спорте, защиту выстроить проще, поэтому компании обычно начинают с нее, а затем переходят к нападению. Обратный подход гораздо сложнее», — отметил Погосьян. Тем не менее, как обычно, не стоит ударяться в крайности. Должен быть баланс между развитием бизнеса и соблюдением комплаенс-требований.

По-прежнему с бубнами

«Счетная палата является одним из лидеров цифровой трансформации органов государственной власти, цифровизируются и объекты ее контроля. Но в реальной работе мы сталкиваемся с тем, что без танцев с бубнами никак не обойтись. Очень печально, что государственным органам не удается выбрать другую музыку», — посетовал Валерий Сохоров, руководитель центра экспертно-аналитических и информационных технологий Счетной палаты РФ.

Валерий Сохоров: «85% рабочего времени инспектора тратится на поиск данных в информационных системах объектов контроля. Если эту рутину удастся снизить с 85% хотя бы до 50%, это станет отличным результатом»

Казалось бы, все необходимые системы внедрены и работают, но по факту инспекторы продолжают работать в электронных таблицах и текстовых документах. Дело в том, что органы власти не слишком сильно хотят делиться информацией не только с бизнесом, но и с органами аудита. Логика очевидна: если данные будут слишком хороши, то с их помощью будет легче выявить нарушения и наказать за них. Как подчеркнул Сохоров, 85% рабочего времени инспектора тратится на поиск данных в информационных системах объектов контроля. Если эту рутину удастся снизить с 85% хотя бы до 50%, это станет отличным результатом.

В Счетной палате работают более 700 инспекторов, которые проводят в среднем 150 проверок в год. В этих условиях Счетная палата остро нуждается в комплексной системе управления данными. Если возникает необходимость проверки, инспектор должен обращаться не к объекту контроля и тратить время на взаимодействие с ним, а непосредственно к данным.

В 2021 году в Счетной палате была создана единая команда по работе с данными, в которую, помимо «технарей» и дата-аналитиков, входят 52 дата-стюарда, являющихся, по словам Сохорова, «переводчиками между айтишниками и чиновниками».

Путь осознанного потребления

«В будущем компании будут управлять данными, потому что этого будут требовать не регуляторы и руководители, а клиенты и партнеры. Приходит время культуры, основанной на осознанности потребления данных», — считает Полина Минеева, руководитель практики Applied Intelligence в Accenture.

Полина Минеева: «В будущем компании будут управлять данными, потому что этого будут требовать не регуляторы и руководители, а клиенты и партнеры. Приходит время культуры, основанной на осознанности потребления данных»

Действительно, все компании начинали свой путь к управлению данными с проектов, заключающихся в разработке стратегии использования данных и повышения их качества, стремясь ускорить получение регуляторной и управленческой отчетности. Эти проекты реализовывались исключительно по требованию регуляторов и руководства компании. Они характеризовались жестко централизованной моделью и созданием единого центра компетенций внутри организации. Впоследствии приоритеты существенно изменились: компании начали управлять данными, потому что увидели в этом ценность для себя. Как результат, в ходе проектов стали появляться два-три центра компетенций, в бизнесе произошла федерализация данных. Изменились и технологии: на смену традиционным хранилищам данных пришли гибридные решения и микросервисная архитектура.

Сейчас наблюдается новая тенденция, — data minimalism: происходит переход от больших (big data) и умных данных (smart data) к minimum viable data — минимально необходимым данным для создания конкретного информационного продукта. Такая осознанная фильтрация данных не только сокращает стоимость их хранения и обработки, но и, например, позволяет четко ответить клиентам на вопрос, какие данные о них собираются и с какой целью.

Большие данные для малых предприятий

Поставщики данных и аналитических сервисов на их основе предполагают, что потребители их продуктов – также крупные компании, использующие аналитику для поддержки принятия решений. Поэтому и соответствующие сервисы, в первую очередь, ориентированы именно на такие организации. Малому бизнесу, не имеющему собственных аналитических ресурсов, приходится действовать наощупь. Как следствие, большинство из мелких компаний живут очень непродолжительное время.

«Не имея достоверных данных, решения о старте и развитии бизнеса принимать очень сложно: предприниматель, организуя свое дело, должен просчитать множество факторов. Крупный бизнес для этого привлекает консалтинг и пользуется услугами профессионалов высокого класса, а у ‘малышей’ таких возможностей нет», — подчеркнула Мария Поликанова, управляющий директор SberData и руководитель стратегического комитета Ассоциации больших данных. Предпринимателям нужна поддержка принятия решений: отчеты, фактически обрисовывающие перспективы на ближайшее будущее, а в идеале – финансовый план на три года.

Мария Поликанова: «Не имея достоверных данных, решения о старте и развитии бизнеса принимать очень сложно: предприниматель, организуя свое дело, должен просчитать множество факторов»

Поликанова рассказала о том, как большие данные помогают развиваться малому и микробизнесу. Участниками Ассоциации больших данных создан рекомендательный сервис «Собственное дело» для малого бизнеса. Он использует обезличенные данные из различных отраслей и вошел в перечень проектов в области цифровых инноваций, для которых вводится особый экспериментальный правовой режим. Сервис дает возможность правильно выбрать локацию для своего бизнеса и задать его параметры: необходимые инвестиции, окупаемость проекта, оборудование и персонал, ценовая политика и план продаж.

Без бизнеса не обойтись

«Далеко не все аналитические проекты являются успешными. Где-то нарушается бюджет, где-то — сроки, где-то достигаются не все цели. Всегда что-то может пойти не так», — признал Иван Вахмянин, генеральный директор компании Visiology. По его убеждению, большая часть проблем связана не с технологиями, а с соответствием бизнес-задачам, наличием компетенций и готовности меняться. Основной эффект дает не само внедрение BI, а именно управление на основе данных. Для этого необходимы и качество данных, и корректная их обработка, и визуализация, и заточенность на предметную область. Но самое главное — должны быть внедрены соответствующие управленческие практики. Если менеджеры не привыкли работать с данными и не верят в это, то им не помогут даже лучшие инструменты.

«Большое количество возникающих в ходе проектов проблем связано не с техническими решениями, а с неверным подходом. Пробивать лбом стены — не самое правильное занятие», — согласился Олег Гиацинтов, технический директор DIS Group.

Роль CDO в компании до сих пор размыта, на него часто взваливают много лишнего. Например, его обязанности могут включать защиту и обеспечение безопасности данных, создание аналитических систем. В результате Data Governance в компании часто остается «на бумаге», за теоретической деятельностью не доходит до реальной работы с данными. Отсутствие реального финансового эффекта предсказуемо приводит к смене CDO. Гиацинтов привел примеры «лучших практик» CDO-долгожителей: необходима стратегия управления данными; нужны наглядные примеры того, как аналитика данных может стимулировать бизнес-результат; в обязательном порядке следует выбрать одного-двух передовых директоров для поддержки и показать другим руководителям результаты их работы.

К слову, именно таким путем пошла Светлана Бова, CDO ВТБ, заручившись в начале своей работы поддержкой департамента рисков. Она рассказала о выстраивании в банке карт потоков данных — data lineage. Наличие такого инструмента радикально сокращает время решения аналитических задач. Возможно, он не обязателен для небольших компаний, но когда речь заходит о больших масштабах, то все меняется. Например, такой подход позволяет просчитать, на какие из систем повлияет изменение части корпоративного ландшафта, а также серьезно помогает в решении инцидентов, касающихся качества данных.

«Наша цель — стать data-driven-компанией. Самое привлекательное в этом — возможность отдать рутинные процессы искусственному интеллекту, а человеку оставить лишь стратегические задачи», — заявил Сергей Иванов, CDO «Уралхима». Чтобы это стало реальностью, нужна трансформация культуры и открытость бизнес-подразделений новшествам, их помощь в создании цифровых продуктов. Как подчеркнул Иванов, пока бизнес не вовлечен в этот процесс, серьезного эффекта не будет. Как следствие, на первый план у ИТ-подразделения выходят задачи по обучению бизнеса.

«Данные — это актив. Мы просчитали, что произойдет, если не будет соответствия между одинаковыми продуктами в разных странах, и результаты нас впечатлили», — рассказала Анна Дудина, руководитель функции по управлению мастер-данными IDS Borjomi International. Сразу после восприятия данных как актива естественным образом встает вопрос управления ими и контроля их качества. Актив необходимо описать и оценить, и он должен иметь хотя бы одного бизнес-владельца, а в идеале — ровно одного. Кроме того, данные публикуемые цифровыми продуктами, должны ссылаться на описание используемых активов данных.

В 2020 году в IDS Borjomi International был начат масштабный MDM-проект, в ходе которого пришли к необходимости создания совета по управлению данными (data council) — совещательного органа, на котором принимаются решения, связанные с анализом данных, а также с планированием и контролем работы с данными.

В пивоваренной компании «Балтика» тоже разработали ролевую модель, привлекающую бизнес-функции к управлению данными. «Данные должны иметь 'имя и фамилию' — только так можно добиться их качества», — уверена Варвара Макарьина, отвечающая в компании «Балтика» за реализацию стратегии Data Governance. Практика показывает, что до 30% времени сотрудников тратится на поиск данных и оценку их качества. Более того, часто компании зависят от экспертов, которые знают о данных все и уход которых может стать катастрофой. Внедрение в «Балтике» каталога данных позволило решить эти проблемы.

Варвара Макарьина: «Данные должны иметь 'имя и фамилию' — только так можно добиться их качества»

«В онлайн-продажах, в отличие от традиционного ретейла, решение о покупке зачастую принимается исключительно на основании представленной информации о товарах, поэтому качество данных приобретает критически важное значение», — отметил Юрий Кротков, менеджер проектов в «Яндекс.Маркете». Любой инцидент, связанный с качеством данных, влияет на продажи, а иногда и на логистические процессы. При этом в ряде случаев искажения в данные вносят умышленно — это делают с различными целями поставщики продукции и их партнеры. По признанию Кроткова, раньше в «Яндекс.Маркете» пытались «максимально эффективно тушить пожары». После внедрения решения Ataccama в компании появились дата-стюарды, настраивающие логику автоматического контроля качества данных.

***

Как отметили многие участники форума, до недавнего времени акцент делался исключительно на технологиях сбора и анализа данных, а управление ими отходило на второй план. И до сих пор компании часто не знают, кого нанимать на позиции, связанные с управлением данными, ведь эта функция у многих только создается. Более того, руководители и специалисты — от CDO до аналитиков — имеют субъективные представления о целях управления данными, часто оно сводится лишь к быстрой окупаемости проектов.

Самое важное и самое сложное звено системы управления данными — люди. В ходе практической конференции «Качество данных — 2021. Стратегия, инструменты, практика», организованной издательством «Открытые системы», очень многие эксперты фокусировались вовсе не на технологиях. По их мнению, в вопросах управления данными и обеспечения их качества гораздо важнее методология, правильно выстроенные процессы и отношения с людьми, причем на всех уровнях корпоративной иерархии. (О конференции см. также "Качество данных: советы бывалых".)

Сизифов труд для марафонцев

«Качество данных — это не только формальные процедуры проверки того, насколько они удовлетворяют заданным критериям. Это в большой степени и вопрос культуры организации, выстраивания процессов, дающих необходимый результат», — подчеркнул Михаил Петров, директор департамента цифровой трансформации Счетной палаты РФ.

Исторически в обязанности Счетной палаты не входили аналитика и работа с данными, этот орган выполнял контрольные функции. Сейчас происходит движение в сторону аналитической работы с данными, в том числе профилактики и системного анализа проблем. Переход к цифровому формату работы требует совсем другой культуры — необходимо менять мышление с «карательного» на аналитическое.

Для изменения культуры в числе прочего оказались весьма полезными конкурсы и хакатоны, в ходе которых совместно с сотрудниками формулируются ИТ-задачи для участников. Такие мероприятия стали очень эффективным инструментом, позволившим вовлечь сотрудников в работу с данными.

При создании службы управления данными был выбран децентрализованный подход, при котором работа с данными в значительной степени делегируется в подразделения. Взращивать компетенции в подразделениях — более длительный путь, но на стратегическом горизонте он принесет больше пользы.

«Термин 'качество данных' олицетворяет боль любой крупной организации: данных становится все больше, компании старательно собирают их, но чистить данные — сизифов труд, — признала Светлана Бова, директор по управлению данными ВТБ. — Можно достичь сколь угодно больших успехов, но с каждой новой порцией данных, с каждым структурным изменением все начинается заново».

Тем не менее без цикличного процесса контроля качества данных состояние «цифрового здоровья» организации будет ухудшаться. Команда, которая занимается качеством данных, сродни марафонцам: только у них достаточно воли и терпения для выполнения повторяющихся рутинных действий. Такая работа не всегда благодарная, поэтому, чтобы ею заниматься, необходимы высокая степень мотивации и понимание ценности данных для организации. Это достаточно сложный профиль при подборе персонала.

Управления данными не существует без бизнеса

«Люди — значимая история в нашей системе координат по управлению данными. Именно они выполняют процессы и корректируют их, используют внедренные инструменты в своей работе», — отметила Любовь Кайдалова, руководитель направления по качеству данных компании «Газпром нефть».

В компании очень много времени потратили на назначение ответственных за данные. По словам Кайдаловой, вкладываться в это направление необходимо, хотя это и трудоемко: игра стоит свеч, поскольку работать потом становится проще. Еще одной зоной повышенного внимания стали сами потребители данных. Как правило, люди, работающие с данными, могут сформулировать требования к ним и свои ожидания, но есть и много чрезмерно эмоциональных пользователей, не настроенных на конструктив. Надо концентрировать усилия на работе именно с теми, с кем можно продуктивно вести диалог.

«Обязательно вовлекайте бизнес-подразделения в работу с данными, потому что не существует управления данными без бизнеса», — порекомендовала Кайдалова.

Александр Афонин, директор департамента развития платформы по управлению качеством данных X5 Retail Group, рассказал о том, как важно правильно позиционировать роль подразделения Data Quality. «Мы не собираемся становиться клининговой службой, прибирая за бизнесом и исправляя некачественные данные», — заявил он. Верный подход — выстроить вместе с бизнесом правильные процессы, чтобы не допускать повторения ошибок в дальнейшем, а затем совместными усилиями устранить их. При этом ответственность за качество данных несет бизнес, а специалисты по качеству данных вынуждены иногда быть «плохими полицейскими», попутно объясняя и бизнесу, и ИТ, как нужно работать, чтобы качество данных повышалось.

Качество — забота каждого

Когда компании задумываются о рациональном управлении — то есть о принятии решений на основании данных, а не чьих-то субъективных мнений и эмоций, они осознают необходимость обеспечить отчетность. Как отметил Сергей Горшков, директор компании «ТриниДата», желание получать информацию для решения всех прикладных задач быстро приводит к тому, что отчетности становится очень много. Работа с ней занимает значительное время, а вот извлечь пользу из нее удается не всегда. Помимо выявления данных низкого качества, необходимо фиксировать методики расчета каждого показателя, но в компаниях не сразу приходят к пониманию важности решения этой задачи.

«Чтобы правильно работали процессы управления данными, должна быть выстроена мощная структура из методологических подходов», — уверен Олег Гиацинтов, технический директор компании DIS Group. Обеспечить возможность каждому пользователю легко воспользоваться данными — очень непросто. И правильные процессы здесь гораздо важнее, чем внедряемые для их реализации ИТ-решения.

При этом важно определить тех, кто отвечает за данные. «Вероятно, все думают, что их будут бить, поэтому отчаянно сопротивляются. Хотя на самом деле должно быть наоборот: они сами должны выдвигать требования к данным и наказывать нарушителей», — считает Гиацинтов. В любом случае бизнес может гораздо быстрее и лучше обеспечить качество своих данных. И самое главное — когда бизнес-пользователь хочет сделать что-то быстро, нужно дать ему возможность сделать это самостоятельно. Пользователи, желающие заказать данные, должны получить их быстро и автоматически, причем с качеством, которому будут доверять.

Анна Серебряникова, президент Ассоциации больших данных, рассказала о выстраивании работы с данными за рамками закрытого контура. По ее словам, 70% данных, интересных компаниям с коммерческой точки зрения, так или иначе связаны с персональными данными. Работать с такой информацией очень сложно с законодательной точки зрения, и это не позволяет ни развивать кросс-отраслевые проекты, ни обогащать данные, ни обучать качественные модели. Поэтому в Ассоциации сейчас активно занимаются проблемой работы с обезличенными данными.

Алексей Ильин: «Управление качеством данных должно стать в буквальном смысле задачей каждого сотрудника»

По словам Алексея Ильина, генерального директора российского офиса компании Ataccama, много проектов data governance приходят к тому состоянию, когда система внедрена и «лампочки мигают», но люди с ней не работают. Это проблема: нужно менять процессы, чтобы люди пользовались решением; задача управления качеством данных должна стать массовой. Каждый должен стараться улучшать их или хотя бы не ухудшать.

Надо стремиться к тому, чтобы все пользовались внедряемыми инструментами управления данными. Однако для этого важно дать пользователям удобный инструмент для работы с качеством в реальном времени, причем «оторвать» его от ИТ, предоставить возможность самообслуживания. Платформа должна помогать пользователям решать рутинные задачи — например, самостоятельно выявлять аномалии в данных, автоматически их идентифицировать и предлагать проверки по ним.

Самая большая проблема в проектах data governance — управление изменениями, в том числе культурными. Мало кому удается поменять культуру в организации настолько, чтобы качество данных стало задачей каждого.

Дирекция региональных продаж ПАО «Газпром нефть» (ДРП) управляет сбытом различных видов моторного топлива компании через собственную розничную сеть, состоящую из более чем 1,8 тыс. АЗС и включающую свыше 800 магазинов и кафе, а также через оптовые каналы и сервисы для коммерческих транспортных парков. Кроме того, подразделение отвечает за товаропроводящую сеть, в которую входят нефтебазы, лаборатории и собственный парк бензовозов. В периметре компаний под управлением дирекции работают более 20 тыс. сотрудников, и по численности персонала это примерно треть всей группы «Газпром нефть».

В ДРП построена уникальная на сегодняшний день платформа — smart data lake. В ее рамках озеро данных и аналитическое хранилище данных интегрированы с инструментами Data Governance. Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж «Газпром нефти» и номинант на премию CDO Award 2020, рассказывает о пути к созданию умного озера данных, о первых результатах и ближайших направлениях развития.

- Какова история подходов к работе с данными в Дирекции региональных продаж?

У нас сложилась уникальная для крупного бизнеса ситуация с автоматизацией и управлением данными. Наше сбытовое подразделение было выделено в «Газпром нефти» в 2008 году. Тогда же пришла команда топ-менеджеров, сохранившая свой состав по сей день, и стартовала программа унификации процессов, а затем и информационных систем всех дочерних предприятий. В этой програме я принимал активное участие.

В 2009–2011 годах в ДРП были внедрены унифицированные для всех регионов учетные и производственные системы: системы управления АЗС, коммерческого, бухгалтерского и управленческого учета, планирования и бюджетирования, управления инвестициями, персоналом, автотранспортом и др. Это позволило создать институт владельцев систем и через него управлять регламентами ведения первичных данных, расчета ключевых показателей и их изменения. С помощью сравнительного бенчмаркинга показателей регионов были найдены лучшие способы, позволяющие экономично вести деятельность. Благодаря тиражированию этих практик ДРП, в течение трех лет удалось существенно сэкономить затраты и добиться прироста продаж. Сбыт моторного топлива «Газпром нефти» стал признанным эталоном эффективности в России.

- Когда и как пришло понимание того, что надо заниматься развитием комплексных аналитических решений?

Иван Черницын: «Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий».

В 2011 году мы задумались об интеграции данных всех учетных и производственных систем в едином аналитическом пространстве, чтобы находить новые инсайты. Для этого мы разработали и внедрили систему управления нормативно-справочной информацией и подошли к выбору платформы класса BI. В конце 2012 года проект BI стартовал. В его ходе мы отказались от создания единого хранилища данных ради скорости реализации аналитических задач, взамен было организовано логическое хранилище с единым семантическим слоем на платформе Qlik. Благодаря очень удачному архитектурному решению наша BI-система за четыре года стала одной из самых функциональных и крупномасштабных в России. У всех сотрудников появились единый бизнес-словарь и набор гибких аналитических инструментов с едиными методиками и терминологией.

Мы также сформировали центр компетенции по BI, объединивший не только системных аналитиков, архитекторов и разработчиков, но и экспертов по качеству данных. Благодаря организации эффективной работы и очень пристальному вниманию к качеству данных, к концу 2016 года с единым BI работали уже более 1,1 тыс. пользователей. Это решение аккумулировало данные свыше 80 корпоративных систем, а очередь на разработку нового функционала от бизнес-заказчиков состояла из более чем 200 задач.

Вместе с тем за годы работы с аналитическими инструментами выросла культура сотрудников и стали меняться требования подразделений. Усложнялись алгоритмы обработки данных, рос их объем и количество источников, появлялось все больше внешних данных. Кроме того, бизнес-аналитикам требовались актуальные диаграммы происхождения данных, различная статистика по качеству данных, инструменты поиска данных на внутренних слоях BI. У нас возникла необходимость в проактивном управлении качеством данных.

- Какой подход был выбран?

Чтобы удовлетворить наши новые потребности, мы совместно с фондом «Сколково» в 2016 году масштабно исследовали рынок решений, изучили рекомендации DAMA DMBoK, пообщались с экспертами Gartner и сделали много референс-визитов. В итоге остановились на концепции комплексной системы управления данными. Она включала в себя каталог данных с описаниями и происхождением объектов данных, каталог правил по качеству данных с возможностью обогащения правил и просмотра их статуса и истории, бизнес-глоссарий с инструментами управления изменениями определений и формул расчета бизнес-терминов, а также пользовательский портал. С целью сделать детальные данные доступными для аналитиков мы провели изыскания в области промышленных инструментов обработки и хранения данных, после чего было решено внедрить современное многокомпонентное логическое хранилище данных.

- В чем заключалась суть этого проекта?

В конце 2017 года мы сформировали и защитили программу из двух взаимосвязанных проектов («Создание озера данных ДРП» и «Создание системы управления данными ДРП») как часть стратегии цифровой трансформации нашего бизнеса. Совместный результат программы проектов мы стали называть «умным озером данных», в соответствии с зарубежными терминами smart data lake и governed data lake. Я стал лично отвечать за программу, а наш центр компетенций расширился на 20 человек и получил в 2018 году сначала название «Офис управления данными», а затем, в 2019 году, — «Центр аналитических решений». Сейчас у нас более 60 сотрудников, и в едином подразделении работают специалисты по качеству данных, по управлению метаданными, разработчики и архитекторы big data, хранилищ данных и BI, системные аналитики, исследователи данных, а также тренеры по развитию аналитической культуры.

- Тренеры по развитию аналитической культуры? На кого именно направлена их деятельность?

На всех бизнес-сотрудников, которые используют или хотят использовать аналитические решения либо хотят изменить свою роль в подразделениях.

В нынешнем году у нас появилась матрица компетенций, включающая как технические, так и нетехнические навыки, уровни развития компетенций, индикаторы их наличия. К этой матрице привязаны программы обучения, семинары и тесты. За 2019 год более 400 специалистов прошли обучение по Python, SQL, машинному обучению и применению аналитики в различных направлениях бизнеса. Неплохо для начала. За прошлые годы на курсах по BI в общей сложности обучилось 1,2 тыс. человек.

Сейчас разрабатываем онлайн-курсы для удаленных сотрудников и программы тестирования. В дальнейшем сотрудники, которые не прошли тесты, подтверждающие соответствующие компетенции, не будут допускаться к работе со сложными аналитическими инструментами. Неподготовленные сотрудники не должны дискредитировать своими действиями всю аналитическую программу. Полученные ими некорректные результаты или интерпретации могут привести к самым нежелательным последствиям — подрыву доверия к данным со стороны руководителей бизнеса.

- Что такое «умное» озеро данных? Чем оно отличается от «обычного»?

Согласно оценкам Gartner, в мире 83% озер данных превращаются в «болота данных» и в итоге забрасываются из-за проблем с поиском качественных данных. Еще сильнее усложняет ситуацию то, что все больше компаний используют гибридную архитектуру хранения (часть данных хранится в публичных облаках, а часть — в корпоративных озерах и хранилищах). Выходом из ситуации является создание озер и хранилищ с интегрированными инструментами управления данными: каталогом данных, системой управления качеством данных, бизнес-глоссарием, средствами интеграции и маскирования данных. Однако на сегодняшний день не существует готовых промышленных решений, включающих в себя комплексные платформы обработки, хранения и управления данными. К созданию таких решений приблизились Microsoft и Amazon в своих публичных облаках. В материалах Gartner и публикациях вендоров описаны архитектурные шаблоны для таких решений.

- С какими проблемами пришлось столкнуться в ходе проекта?

Подобных решений нет не только в России, но и на Западе. И вообще было непонятно, как это будет работать на практике.

В Gartner признают, что «умное озеро данных» — это не практическое решение, а продвинутый архитектурный шаблон на будущее, который сегодня апробируют Microsoft и Amazon в собственных облаках. А мы построили все это на своей площадке.

Мы реализовывали умное озеро данных на базе практических бизнес-кейсов, входящих в состав актуальных проектов, при этом обкатывая совместную работу компонент и участников команды разработки. Проект был крайне сложным, мы несколько раз меняли подходы и переделывали реализованные кейсы, когда находили новые решения. Только организовав работу всех участников в одной команде с единой мотивацией, мы смогли преодолеть огромное множество технологических и методологических трудностей.

- Какова архитектура созданной платформы данных? На каких решениях она построена?

«Умное озеро данных ДРП» — название комплексной системы управления данными, а не просто разновидность Data Lake. Мы использовали такое название, чтобы кратко выделить ключевые особенности решения. Умное озеро данных ДРП включает в себя подсистемы Data Governance на платформе Informatica (каталог данных, управление качеством данных, бизнес-глоссарий, пользовательский портал обзора данных), компоненты интеграции данных, а также интегрированные с ними компоненты обработки больших данных (на основе Arenadata Hadoop), аналитическое хранилище данных (Microsoft SQL Server 2017), BI (Qlik), аналитическую лабораторию с набором инструментов Data Science.

- Какие источники данных вы используете в своей работе?

К внешним источникам можно отнести Санкт-Петербургскую товарно-сырьевую биржу, «СПАРК-Интерфакс», Портал открытых данных РФ, сайты Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, «Яндекс», открытые данные социальных сетей, различные данные партнеров и сведения о конкурентах, данные мобильных приложений. И конечно, мы широко охватываем наши внутренние системы.

- Как в рамках проекта выстроена работа с качеством данных?

Система управления качеством данных была выстроена очень серьезно в рамках развития единого BI. Исторически это реактивная система, которая развивалась через разрешение инцидентов с данными (аналог service desk), но она весьма эффективно работала. В 2015 году мы создали выделенную функцию по качеству данных, за 4 года выросшую в подразделение из семи человек, чьей задачей было системно не допускать повторных ошибок. Эти специалисты формализовывали причины появления дефектов данных и формировали запросы на доработку систем-источников или BI-инструментов. Поскольку BI-система интегрировала все ключевые данные в контуре ДРП, выполняла массовое устранение причин дефектов в данных через решение ежедневных обращений от сотен сотрудников, большой эффект распространялся на все системы и в целом на культуру работы с данными в контуре всех наших подразделений.

Однако, после того как число BI-приложений в парке выросло до нескольких сотен, созданными правилами стало сложно управлять, при доработках для различных заказчиков начали возникать несоответствия в требованиях по качеству данных. Исправить ситуацию помогла идея централизованного каталога правил по качеству данных, чтобы правила можно было видеть в разрезе потоков данных и ключевых наборов данных, витрин или BI-приложений и привязывать к аспектам качества, бизнес-процессам, определять уровень их критичности. Это дает возможность видеть не только существующие правила, но и пробелы в них. Возможные проблемы можно предвидеть еще до их появления — система управления качеством становится проактивной. Чтобы внедрить такую систему, мы при формировании умного озера данных предусмотрели промышленное решение класса Data Quality, охватывающее именно эти функции.

Вследствие этого в подразделении по качеству данных фокус сместился с прошлого на будущее: если раньше все внимание было направлено на устранение причин уже произошедших ошибок в данных, то сейчас — на разработку системы проактивного мониторинга, продумывание и настройку правил по качеству данных, чтобы тем самым избежать ошибок.

- Насколько обязательно для бизнеса использование созданной вами платформы?

На созданной централизованной аналитической инфраструктуре мы реализуем актуальные задачи исходя из бизнес-приоритетов. При таком подходе с течением времени все ключевые данные и аналитические модели окажутся в умном озере данных.

Однако, чтобы наш ресурс не стал «бутылочным горлышком», мы не мешаем создавать в некоторых проектах локальные аналитические решения со своими отдельными командами. Выбор нашей инфраструктуры и нашей внутренней команды — это дело добровольное для бизнес-заказчиков. Мы делаем ставку на то, что завтра эффективность и высокое качество работы нашей команды приведут к полному охвату всех задач и данных ДРП в умном озере данных.

Точно такая же схема работы была во времена BI, когда внутренний Центр компетенций по BI за несколько лет вытеснил всех внешних подрядчиков. Подразделения просто перестали заказывать работы извне, потому что мы смогли очень качественно решать все задачи своими силами.

- Приведите в качестве примера несколько наиболее ярких проектов, реализованных в последнее время.

Первые кейсы включили в себя конвейер обработки транзакций АЗС, расчет сегментов для клиентской аналитики, семантический анализ обратной связи от клиентов в различных каналах, обработку многолетних внешних и внутренних данных о ценах на нефтепродукты. Несмотря на трудности, уже первичное внедрение стало успешным: на текущий момент примерно половина всех аналитических проектов и инициатив ДРП уже реализуется в контуре умного озера данных, план на 2020 год — охватить не менее 75%.

- Можно ли что-то сказать о первых финансовых результатах этих проектов?

Эффект от озера данных нужно считать очень трезво. Пока очевидно лишь то, что мы экономим на интеграции данных для многих проектов, сокращаем время поставки готовых наборов данных для всех будущих проектных и продуктовых команд, а также для задач прототипирования.

Когда мы только пилотировали клиентскую аналитику — расчет сегментов с помощью машинного обучения, — уже первые кейсы, сделанные «на коленке», без всякого озера данных, дали серьезную монетизацию. Возврат клиентов, склонных к оттоку, вырос втрое. Существенное преимущество озера в том, что модели переносятся в более надежную среду, получают надежные инструменты, обеспечивающие качество данных. Поэтому большинство эффектов будет проявляться спустя некоторое время.

- Почему именно сбытовое подразделение компании выступило в авангарде создания умного озера?

В двух других крупнейших бизнес-блоках «Газпром нефти» тоже внедряются озера и аналитические хранилища данных, они сфокусированы на обработке и хранении данных и быстрой разработке и монетизации бизнес-кейсов, но не на Data Governance.

Архитектура smart data lake, которую мы реализуем в ДРП, — самая сложная из всех существующих для работы с большими данными. В Gartner отмечают, что организация, прежде чем к ней прийти, должна сначала внедрить у себя более простые варианты. Мы в блоке ДРП семь лет развивали BI и управление качеством данных, отработали интеграцию множества источников, конвейеры обработки данных, большое число бизнес-кейсов. И два года назад инициировали амбициозный и рискованный эксперимент со smart data lake, потому что у нас и наших бизнес-заказчиков было четкое понимание стратегических преимуществ инструментов Data Governance. Ради этих преимуществ мы потратили и продолжаем тратить большие средства на отладку совместной работы всех компонентов и методологию управления данными в smart data lake, так что наш проект окупится в более долгосрочной перспективе.

Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий. Внутри компании мы организовываем дни открытых дверей, внутренние конференции с демонстрацией решений, и мы открыты к диалогу.

После двух-трех лет практической эксплуатации озер и аналитических хранилищ данных в блоках можно ожидать появления первых общекорпоративных стандартов, а затем стандартизации на уровне компонент и методологии. В корпоративном центре «Газпром нефти» чуть более года назад появился орган, задача которого — формировать общую стратегию и общие «правила игры» в части Data Governance на уровне всей компании.

- Как будет дальше развиваться платформа данных?

На сегодня у нас все еще остается много нерешенных вопросов. Следующий год будет годом становления внутренней эффективности при разработке аналитических решений со встроенными инструментами управления данными. Один из существенных этапов такого становления — интеграция с имеющейся у нас инфраструктурой DataOps: Kubernetes/Openshift, Jenkins, Gitlab, Jira, Confluence. В результате удастся автоматизировать рабочие процессы инжиниринга данных, тестирования, выпуска релизов и в дальнейшем внедрить SLA — подход «данные как сервис» с гарантированными сроками и параметрами по типовым задачам поставки данных.

Кроме того, важными этапами в развитии культуры работы с данными станут официальное закрепление ролей владельцев данных (data owner) и распорядителей данных (data steward) в бизнес-подразделениях, а также настройка рабочих процессов управления изменениями объектов данных через единый каталог и бизнес-глоссарий.