«Газпром нефть» строит экосистему управления данными

«Газпром нефть» — один из лидеров цифровой трансформации в нашей стране. Мы постоянно слышим о достижениях компании во внедрении передовых цифровых решений в разные направления бизнеса. Понятно, что без серьезной работы с данными такие прорывы были бы невозможны. Но разрозненных проектов по созданию хранилищ и аналитике данных уже недостаточно. С мая 2019 года в «Газпром нефти» функционирует общекорпоративная структура по управлению данными, которая закладывает фундамент для всех инициатив цифровой трансформации компании.

Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть» и номинант премии CDO Award 2021, рассказывает о масштабном проекте выстраивания корпоративной функции управления данными: как это начиналось, к чему пришли сегодня и какие задачи стоят на ближайшее будущее.

Данные в основе цифровой трансформации

— Каковы предпосылки для создания функции «Управление данными» в «Газпром нефти»? С чего вы начинали?

Одной из главных предпосылок стало создание стратегии цифровой трансформации компании. В 2018 году в «Газпром нефти» начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными.

Перед нами стояли задачи формирования методологии, выстраивания процессов и встраивания их в регулярную деятельность подразделений для обеспечения максимальной ценности от использования данных. Также требовалась реализация инструментальной поддержки при помощи внедрения платформы управления данными, формирование нового семейства центров компетенций и широкомасштабное обучение.

Совместно с компанией McKinsey нами был реализован проект по формированию концептуальной модели управления данными. В результате были определены ключевые принципы, цели и задачи функции управления данными, основные КПЭ, определяющие ее эффективность, процессная и организационная модели, необходимые компетенции и инструментарий.

С точки зрения приоритетов в первую очередь необходимо было обеспечить прозрачный и быстрый доступ к качественным данным для бизнес-пользователей. В компании огромный объем информации, которая хранится и обрабатывается в более чем тысяче бизнес-систем. Пока система работы с данными настраивается, информация еще существенно разрозненна, что затрудняет оперативный анализ и принятие решений на ее основе. Работы по интеграции данных и активное строительство корпоративного хранилища дают первые результаты. Раньше в отсутствие централизованной точки доступа каждый пользователь вынужден был запрашивать права на чтение данных владельцев отдельных бизнес-систем, что сильно ограничивало возможности работы с данными. В настоящее время реализуется доменная модель организации доступа к данным, которая существенно продвинет компанию в области демократизации данных и ускорения процессов их обработки. Кроме того, мы уделяем особое внимание таким направлениям деятельности, как повышение уровня доверия к данным за счет увеличения их качества, а также формирование ответственности за данные.

— Какое место занимает функция «Управление данными» в оргструктуре компании?

Мы активно сотрудничаем с ИТ-кластером компании и ее подразделением цифровой трансформации. Разрабатывая с McKinsey концепцию управления данными, мы рассматривали различные варианты расположения нашей функции в организационной структуре и сочли наиболее удачной модель, в соответствии с которой функция войдет в состав подразделения, ответственного за вопросы экономики и финансов, поскольку в нем уже накоплен серьезный опыт работы с данными, а сотрудники имеют хорошее представление о потребностях в данных других подразделений.

— В «Газпром нефти» работа по управлению данными на уровне подразделений уже ведется. Например, лауреатом премии CDO Award 2020 в номинации «За обеспечение качества данных» стал Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж. Каким образом вы, строя глобальную корпоративную функцию «Управление данными», учитываете наличие таких процессов, разный уровень зрелости подразделений с точки зрения работы с данными?

Компания реализует федеративную модель управления данными: определенные задачи решаются на уровне корпоративного центра, и есть направления, которые развиваются в дочерних подразделениях, а затем их лучшие практики тиражируются на всю компанию.

В «Газпром нефти» создана специальная система коллегиальных органов, которая унифицирует и оптимизирует процессы управления данными в разных подразделениях. Управляющий совет по данным определяет стратегию в области управления данными, приоритизирует задачи в рамках реализации дорожной карты, принимает наиболее важные решения по развитию функции. Экспертный совет призван решать прежде всего вопросы методологии, выявлять лучшие практики для их дальнейшего тиражирования. Технический совет отвечает за выбор ИТ-инструментов, обеспечивая целостность архитектуры управления данными, и регулирует, какие технологические решения реализуются на уровне корпоративного центра, а какие можно эффективно воплотить в жизнь на уровне бизнес-подразделений.

На корпоративном уровне сосредоточены процессы data governance, в частности управление бизнес-глоссарием и каталогом данных. Мы создаем нашу википедию по данным компании, так называемый единый источник правды о данных. В рамках развития платформ на корпоративный уровень поднимаются также отдельные решения, реализованные бизнес-блоками, что позволяет быстрее и эффективнее их использовать для оптимизации процессов на уровне всей компании.

Вначале — методология

— Как формировалась методология управления данными?

Мы начали с методологии, потому что понимали, что пока не будет сформирована модель процессов и детально проработаны артефакты управления данными, тиражирование в рамках компании невозможно. Первым шагом стала разработка процессной модели, в основе которой лежат свод знаний по управлению данными DAMA DMBoK и лучшие практики передовых компаний России и мира. Затем мы конкретизировали ее с помощью так называемых кратких руководств, определяющих порядок процессов и роли в них. Следующим шагом стало формирование детальных стандартов и регламентов, являющихся базисом методологии.

Создание методологии идет параллельно с разработкой корпоративной системы управления данными. Задача состоит в том, чтобы сначала описать целевой процесс, а затем найти инструмент, который обеспечит его гибкую реализацию. Многие действуют в обратном порядке: выбирают коробочное решение и под него настраивают процессы. Наш путь более сложный, но более правильный, мы под методологию настраиваем инструменты.

— Какие процессы управления данными у вас есть?

Процессная модель включает в себя семь блоков процессов. Первый процесс — организация управления данными, в основе которой лежит доменная модель. Домены данных — это предметные области работы с данными, определяющие границы ответственности за данные. Процесс организации управления данными описывает ключевые роли, такие как ответственный за домен, администратор домена, бизнес-эксперт. Кроме того, в рамках данного процесса детально описывается, как формируется спрос на данные в домене.

Следующий блок процессов — управление структурными элементами данных, включающий такие ключевые направления, как управление архитектурой данных, управление НСИ, управление репозиторием метаданных.

Блок управления жизненным циклом данных описывает все, что касается движения данных во времени, включая определение требований к регламентным срокам поставки и интеграции данных.

В отдельный блок выделен процесс управления неструктурированной информацией, в его рамках успешно реализован проект корпоративного поиска и анализа контента. Корпоративный поиск очень востребован, с его помощью более 17 тыс. сотрудников получают доступ к более чем 6,5 млн документов.

Следующий и один из наиболее важных составных элементов модели — процесс управления качеством данных, обеспечивающий доверие к данным бизнес-пользователей.

Процесс управления хранилищем и BI и продвинутая аналитика логично завершают процессную модель и формируют основную ценность принятия решений на основе данных.

— В каком статусе находятся процессы: описаны, реализованы?

Практически все процессы функционируют. Их внедрение в операционную деятельность происходит поэтапно. Мы определили пилотные домены данных, где внедрили процессы в первую очередь. Для этого была сформирована целостная программа управления данными, включающая семь проектов, охватывающих девять пилотных доменов. Три домена связаны с коммерческой деятельностью по сбыту нефтепродуктов; четыре домена покрывают процессы текущего и капитального ремонта скважин и интегрированного планирования добычи нефти, добычу на шельфовых активах; домены производственной безопасности и управления персоналом относятся к общекорпоративным функциям.

В настоящий момент мы получили результаты по пилотным проектам и начали масштабировать их на домены так называемой второй волны.

— Какие выводы были сделаны по результатам пилотной программы?

На пилотных доменах мы сформировали ключевые артефакты управления данными, научились выявлять и определять спрос бизнеса на данные и даже научились иногда данные бизнесу «продавать» (показывать ценность на реальных кейсах и задачах). По итогам проделанной работы мы поняли, что, во-первых, успех управления данными в огромной степени зависит от уровня зрелости бизнес-подразделения, а во-вторых, этот уровень изменяется со временем. Не только мы нарабатываем опыт как функция управления данными, но и в подразделениях, которые участвуют в пилоте, существенно растет уровень понимания значения данных и процессов работы с ними.

Поэтому основную задачу мы видим в том, чтобы повысить уровень зрелости бизнеса в отношении данных. Если у бизнеса есть осознанный запрос на данные, все остальное — дело техники.

— Организационная модель функции «Управление данными» — в чем ее задача?

Организационная модель определяет взаимодействие между бизнес-подразделениями, функцией управления данными и ИТ-кластером: три больших блока, в каждом из которых требовались определенные преобразования с точки зрения выполняемых функций. В бизнес-подразделениях появились новые роли: ответственные за данные, администраторы доменов и т. д. Со стороны управления данными сформирован целый набор функций, реализованных либо в качестве сервисов, либо в рамках проектной деятельности. Организована совместная работа с коллегами из цифровых и ИТ-подразделений, которые помогают нам в развитии инструментов управления данными.

Организационная модель также описывает, как формируется команда внутри функции управления данными — на уровне корпоративного центра и на уровне основных бизнес-подразделений, каким образом реализуется кросс-функциональное взаимодействие специалистов, как обеспечиваются накопление и развитие компетенций.

— Какое обучение и для кого потребовалось при формировании функции «Управление данными»?

По обучению у нас идет очень активная работа. Совместно с Высшей школой экономики мы разработали модуль по управлению данными в рамках образовательной программы по цифровой трансформации для топ-менеджеров. Нам удалось собрать сильную команду спикеров — экспертов рынка, в том числе я сама с удовольствием приняла участие в этой программе в качестве спикера. В следующем году этот курс может стать доступным для менеджеров других компаний.

Кроме того, сформированы различные программы внутреннего обучения. Сотрудники функции управления данными (более 170 человек) уже прошли как минимум один тренинг по инструментам, в настоящий момент идет обучение в части методологии и сертификация ключевых сотрудников функции по DAMA DMBoK.

В этом году мы планируем запустить программу для бизнес-пользователей — Школу аналитики в рамках факультета цифровой трансформации корпоративного университета «Газпром нефти». Это входит в план работ кафедры управления данными и бизнес-аналитики, созданной в 2020 году. Кроме того, для сотрудников бизнес-подразделений, которые занимаются работой с данными, создаются видеокурсы по различным компонентам управления данными, которые станут обязательными элементами программ корпоративного университета.

«В 2018 году в "Газпром нефти" начались глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях полностью осознали, что без нового подхода к работе с данными цифровая трансформация неосуществима, и возник комплексный запрос на выстраивание процессов управления данными»

Платформа управления данными

— Ваша корпоративная платформа управления данными называется Reporting HelpDesk (RHD). Всего лишь HelpDesk? Не принижает ли такое название значимость решения?

Да, мы тоже поняли, что переименование назрело. Проект начинался два года назад с сервиса отчетности, но сейчас это уже полноценная платформа управления данными, интегрирующая множество инструментов. Очевидно, что название не отражает масштаба решения.

— Какие задачи решает платформа, из каких блоков она состоит?

Фронтенд платформы — это бизнес-глоссарий, построенный на базе системы Alteryx. Основная цель глоссария — реализовать процесс know your data, обеспечить прозрачность всех данных, которые есть в компании. Решение представляет собой комплексный каталог, который наполняется данными по доменам, поддерживает внутренние потоки работ по сбору и описанию данных, делает доступной информацию по их уровню качества. Предполагается также интеграция с внутренним порталом для сотрудников, что позволит распространять методологическую информацию по управлению данными по всей компании, а также сделает доступным процесс заказа дата-сервисов.

Бизнес-глоссарий интегрирован с каталогом технических метаданных на базе решения Informatica Enterprise Data Catalog, благодаря чему в бизнес-глоссарии отображаются потоки данных (data lineage) и процесс трансформации данных.

Отдельный блок платформы представлен инструментом оценки качества данных, реализованным с помощью Informatica Data Quality. Оценка качества интегрирована с общекорпоративным журналом результатов проверок качества данных, который, в свою очередь, передает информацию о зафиксированных нарушениях правил качества в корпоративную платформу управления инцидентами. В рамках этого компонента платформы выполняются процессы управления инцидентами и управления проблемами качества данных.

Функции бизнес- и продвинутой аналитики реализуются с использованием инструментов SelfService BI на базе Qlik с возможностью доступа к данным через каталог, обеспечивают формирование дашбордов, генерацию отчетности по запросу и т. д.

Платформа интегрируется с корпоративной системой управления НСИ на базе «1С», а также с корпоративным поиском, который, в свою очередь, позволяет обрабатывать неструктурированные метаданные.

Таким образом, в рамках реализации проекта RHD мы развиваем платформу, представляющую собой комплексную систему управления данными.

— Есть ли уже примеры того, как использование бизнес-глоссария — «узнавание своих данных» — стимулировало бизнес на новый аналитический проект?

Конечно. Например, описание данных в домене коммерческой деятельности позволило существенно повысить эффективность реализации нефтепродуктов за счет получения оперативной и достоверной информации в части детализации по контрагентам, каналам продаж и т. д.

В домене производственной безопасности с использованием сервисов цифровой платформы (PaaS) «Газпром нефти» по интеграции и анализу данных реализуются инструменты для анализа барьеров безопасности. Барьер безопасности — это информация о том, где может быть нарушено правило безопасности, к чему это приведет, как этого можно избежать. Описание барьера с помощью данных и визуализации в дашбордах позволяет максимально приблизиться к автоматизированной системе предотвращения происшествий.

Все внимание — качеству

— Важный процесс управления данными — обеспечение их качества. У вас есть реестр бизнес-правил, которые переводятся в реестр технических правил качества данных. Как это делается и что дает?

С помощью бизнес-правила описывается требование бизнеса к элементу данных. Например, сотруднику Блока производственной безопасности необходимо предоставить информацию по номерам транспортных средств, которые выезжают на нефтепромысел, с детализацией по времени, чтобы можно было отследить нарушителей. На языке бизнеса требования сформулированы следующим образом: для поля «номер автотранспортного средства» должна быть доступна информация в разрезе времени, когда транспортное средство работало на месторождении. Затем эта информация переводится в язык технических правил при помощи Informatica DQ, то есть создается код технической проверки на наличие в данном поле данной информации. Благодаря процессу мониторинга качества данных мы можем отследить, когда была проведена проверка этих данных, сколько инцидентов выявлено на определенном датасете, в какой период времени произошли инциденты и т. д.

— Использование процессов управления инцидентами и проблемами в качестве данных — ваше ноу-хау или это распространенный подход?

Это классическая реализация процесса качества данных. Сначала необходимо найти инциденты, то есть нарушения качества, затем — понять, кто их может устранить, то есть определить производителей данных, ответственных за их состояние. И после этого обеспечить решение инцидента, иначе уровень качества останется неизменным. Не могу сказать, что внедрение такого подхода идет легко. В каждом отдельном домене разработка планов по повышению качества данных имеет свои особенности. Основная задача — определить, что можно сделать для того, чтобы повысить качество приоритетных для бизнеса элементов данных.

— В компании огромное количество источников данных. Какие из них создают наибольшие сложности?

Я бы прежде всего назвала ландшафт SAP: он у нас достаточно сложный, с жесткими условиями по интеграции, что создает дополнительные требования и условия для внедрения инструментов управления данными. Например, необходимы специальные коннекторы, чтобы считывать метаданные. Это непростая задача, но мы нашли подход к ее решению и сейчас уже хорошо понимаем, как работать с метаданными для этих систем.

Второй по масштабу ландшафт в компании представлен платформой «1С», для которой нет типовых решений от вендора по сбору метаданных, поэтому также требуется разрабатывать индивидуальный подход.

Достаточно большое количество источников данных в компании представлено MES-системами, для них мы только начинаем прорабатывать вопросы управления данными. Действительно, источников данных в компании множество, между ними много различий, и каждая группа систем требует своего подхода.

— А каков вклад бизнес-пользователей в обеспечение качества данных?

Появилась новая роль — ответственный за данные. Матрица ответственности за данные — отдельный артефакт качества данных, в котором отмечено, что за определенные данные в этом дочернем обществе отвечает конкретный сотрудник. И это очень важная история, потому что процесс управления инцидентами качества привязан именно к ответственному за данные: он совместно с аналитиком по качеству данных разбирается с инцидентами, может оперативно получать информацию, а если есть причины для недовольства его работой с данными, то делает выводы и оперативно принимает меры по повышению качества данных.

— С другой стороны, у бизнес-пользователей есть возможность самостоятельно строить аналитические приложения — SelfService BI. Насколько широко применяется этот механизм?

В подразделении, которое отвечает за логистику, переработку и сбыт продукции, инструменты SelfService BI подключены к хранилищу, и пользователи получили возможность из портала работать с разнообразными датасетами. Сейчас мы занимаемся донасыщением источников данных для SelfService BI в рамках интеграции с корпоративной платформой анализа данных, а также SAP BW, интегрируя огромный объем самых критичных для бизнеса данных.

— Можно ли сказать, что в результате ваших усилий по внедрению управления данными существенно расширился круг людей в компании, которые работают с данными, получают от них эффект и несут за них ответственность?

Безусловно, это так. Прежде всего в пилотных доменах.

Первые итоги и большие планы

— Каковы результаты вашего проекта на данный момент? Дает ли функция «Управление данными» экономический эффект?

Экономический эффект, безусловно, есть. Уровень экономической эффективности, достижение которого обеспечивает программа по управлению данными, сравним с показателями эффективности других инвестиционных проектов компании.

Главный результат — функция «Управление данными» участвует в формировании фундаментальных процессов в рамках цифровой трансформации «Газпром нефти». Первый год реализации стратегии цифровой трансформации обеспечил компании 7,2 млрд рублей экономического эффекта, в этом есть и наш вклад.

Но впереди у нас большой путь. По каждому из ключевых направлений программы по управлению данными (методология, инструменты, внедрение в регулярную операционную деятельность бизнес-подразделений, коммуникации и обучение) реализуется дорожная карта. Масштаб работ огромный, поскольку компания большая и диверсифицированная. Мы рассчитываем на то, что активное внедрение технологических инструментов позволит в ближайшее время осуществить прорыв в масштабировании функции «Управление данными».

— Каковы сроки реализации дорожной карты?

Около 40% доменов данных будут охвачены функцией «Управление данными» до конца 2021 года, а 100-процентное покрытие ожидается к 2023 году.

— Насколько важен для отрасли ваш опыт в управлении данными?

Пока уровень развития управления данными существенно выше в банках и в розничной торговле. Промышленность только начинает двигаться в этом направлении. Мы обмениваемся опытом с большим количеством производственных компаний, также переосмысливаем наработки финансовой отрасли и ретейла, чтобы применить их в своей практике. Так что в определенном смысле мы — одни из первопроходцев.