«Газпром нефть»: стандартизация работы с данными

«Газпром нефть» реализовала единую платформу по работе с данными на своих предприятиях с использованием российских решений и собственных разработок. В результате стандартизированы инструменты и процессы работы с данными и достигнуто их эффективное использование. О реализации проекта рассказывает Александр Чепкасов, начальник отдела развития цифровой платформы «Газпром нефти» и номинант на премию Data Award.

- Какие бизнес-задачи решает внедрение единой дата-платформы «Газпром нефти»?

Прежде всего, это необходимый шаг в сторону технологической независимости: дата-платформа реализована полностью на базе российских решений. Внедряя единую систему, мы устраняли дублирование инструментария, который используется в разных блоках компании, решали задачу улучшения взаимосвязанности компонентов технологического стека по работе с данными и заодно повышали прозрачность в распределении ответственности за технологический стек и реализацию дата-продуктов. Все это, конечно, повлияло на трудозатраты и повысило эффективность работы с данными в объеме всех предприятий группы.

- Что требовалось сделать, какой подход был выбран?

Для решения этих задач требовалось построение единой системы, в которой все подразделения смогли бы работать по общим процессам. Часть требуемых функций платформы мы смогли реализовать с помощью интеграции российских вендорских решений, но для некоторых задач не было систем на отечественном рынке и их пришлось разработать самостоятельно.

Созданный единый конвейер данных помогает избежать использования разных инструментов при решении схожих задач и снижает риски, связанные с лицензированием систем.

В рамках внедрения платформы были созданы шаблоны разработки, упрощающие работу с данными, а также регламенты, которые стандартизируют подходы для взаимодействия с ними. Кроме того, шаблоны и регламенты помогают ускорить обучение работе с новыми системами и развить компетенции профильных специалистов.

В итоге эффективность процессов обработки данных значительно повысилась за счет их оптимизации, а трудозатраты на выполнение этих процессов сократились. Благодаря использованию платформы компания может принимать обоснованные и качественные решения.

- Сколько времени и какие ресурсы заняла реализация проекта?

На создание корпоративной дата-платформы у нас ушло два года. За это время была разработана и внедрена система, которая отвечает всем текущим требованиям компании по управлению данными. Для реализации проекта была сформирована специальная команда дата-платформы из 50 специалистов – от разработчиков до инженеров данных.

- На базе какого инструментария создана платформа?

В состав платформы входят инструменты по интеграции и хранению данных (решения класса ETL, DWH), инструменты по каталогизации и описанию данных (решение класса DG и портал «Технические метаданные» собственной разработки), инструменты по верификации качества данных (решения класса Data Quality и портал «Качество данных» собственной разработки). Кроме того, инструменты для визуализации и анализа данных (BI) и инструменты для самостоятельного анализа данных (self-service BI и портал «Магазин данных» собственной разработки).

- Что стало самой сложной задачей при реализации проекта?

Основной вызов состоял в отсутствии готовых отечественных решений на рынке, что потребовало от нас разработки собственной высокотехнологичной платформы по работе с данными. Дополнительные трудности возникли из-за разрозненных подходов к работе с данными в различных блоках компании и дублирования используемых инструментов.

- Было бы интересно узнать, как устроено взаимодействие бизнес-подразделений, CDO и технических служб при работе с данными. Какие инструменты помогают улучшить совместную работу?

Здесь немного сложнее. На стороне бизнес-подразделений есть дата-стюарды (они у нас называются менеджеры доменов), есть CDO и его команда, есть команда дата-платформы, есть ИТ-специалисты, которые задействованы, например, при реализации конкретных проектов.

Далее нужно разделять формирование требований на треки: требования к инструментам дата-платформы и требования к реализации дата-продуктов (например, витрин данных, аналитических приложений).

Изначально команда дата-платформы получила требования к инструментам управления данными от команды CDO и менеджеров доменов. После создания дата-платформы, менеджеры доменов формируют задачи по созданию дата-продуктов, а команда CDO, используя инструменты дата-платформы, их реализовывает. ИТ-специалисты в рамках своих проектов также пользуются инструментами, например, при поиске данных. А сотрудники бизнес-подразделений самостоятельно реализовывают аналитические задачи в рамках self-service BI.

Планы развития инструментов формируются совместно квартальными инкрементами.

- Как решаются проблемы, связанные с передачей чувствительных данных между компаниями, относящимися к структуре «Газпром нефти»?

Корпоративная дата-платформа — это единый конвейер по работе с данными для всей структуры компаний «Газпром нефти». В дата-платформе используются различного уровня данные, если используются чувствительные данные, это согласуется дополнительно.

- Какие результаты достигнуты?

Сократилось время на разработку новых дата-продуктов – более чем на 40%. Время выдачи данных с момента поступления запроса уменьшилось до четырех часов. Наблюдается значительная экономия бюджета и времени на сопровождение всех процессов работы с данными. Снизилось дублирование загрузки данных из источников. Достигнуто сокращение срока получения доступа к наборам данных для самостоятельного анализа бизнесом через сквозную ролевую модель дата-платформы.

Также реализован интеграционный слой (более 40 внутренних и внешних интеграций), соединяющий инструменты между собой в единый процесс. Для снижения трудозатрат по работе с данными реализован набор организационных, технологических, методологических мероприятий: шаблоны разработки, сквозная ролевая модель доступа к данным, ускоренное подключение источников данных к дата-платформе, регламенты разработки, стандарты и программы обучения по всем инструментам. С целью обеспечения стабильности дата-платформы реализован целый ряд аналитических приложений — от мониторинга уровня программного обеспечения до объемов наполнения платформы.

Платформа объединяет все эти элементы в единую систему, обеспечивая тем самым эффективное использование данных и повышение конкурентоспособности компании.

- Пытались ли оценить эффекты с финансовой точки зрения?

Помимо сокращения трудозатрат благодаря использованию платформы, компания экономит средства за счет устранения дублирования расходов на лицензии различных инструментов и эксплуатацию инфраструктуры.

- В чем роль проекта для бизнеса компании?

Платформа помогает компании принимать более обоснованные, точные и оперативные решения, что позволяет быстро адаптироваться к рыночным изменениям и повышает общую эффективность работы, снижая риски. Дополнительно, она позволила оптимизировать рабочие процессы и внедрить современные методы управления данными, укрепив аналитические компетенции сотрудников.

- В чем уникальность вашего проекта?

Уникальность проекта в том, что мы использовали архитектуру решения с самописными компонентами, основанными на российских технологиях. Поскольку готовых отечественных продуктов для работы с данными не существовало, наша проектная команда вместе с пятью вендорами разработала и внедрила новые функциональные возможности, став первопроходцами в этой области.

Особенность и сложность проекта также заключались в создании единого конвейера обработки данных с обширным набором функций, построенного на основе единых бизнес- и технических метаданных.

- Какое значение имеет проект для отрасли?

Создание единой платформы для работы с данными — интересный и значимый кейс для всей нефтегазовой отрасли. Это обусловлено сложностью и разнообразием процессов работы с данными в корпорации, ограничениями, которые накладываются корпоративной архитектурой и требованиями к безопасности решений, а также с огромными объемами обрабатываемых данных.

Часть функциональности реализована с использованием собственных разработок, которые не имеют аналогов на российском рынке. Это может служить примером для компаний из любых отраслей в решении подобных задач по управлению данными.

Реализация таких проектов оказывает значительное влияние на развитие отраслевого профессионального сообщества, способствуя формированию среды, где специалисты могут обмениваться знаниями и опытом в области разработки и усовершенствования дата-платформ. Такое взаимодействие особенно ценно для крупных промышленных компаний, которым приходится интегрировать и управлять большими массивами данных.

- В каком направлении будет развиваться платформа для работы с данными «Газпром нефти»?

Мы сосредоточены на активном внедрении российских продуктов, которые развиваются одновременно с нашими потребностями. В ближайшее время основное внимание будет уделено развитию этих вендорских решений. Помимо этого, с повышением уровня зрелости компании и возрастающим спросом на данные, увеличиваются требования к новым инструментам и функциям, которые они предоставляют.

Мы стремимся упрощать процессы через внедрение инструментов с низким кодированием (low-code), сервисов самостоятельного извлечения, преобразования и загрузки данных (self-service ETL) и др.

Еще одно важное направление – интеграция дата-платформы, где хранятся и описываются данные, с ML-платформой для выполнения более сложных аналитических задач. Наша цель – сократить время, затрачиваемое исследователями данных на поиск, обработку и получение данных, чтобы они могли быстрее использовать их в своих моделях.