Качество данных

Алгоритмы машинного обучения вполне способны работать на данных, содержащих выбросы, пропуски и ошибки. Но все же есть предел качества данных, после достижения которого даже самый высококвалифицированный специалист не сможет построить адекватную модель.

Выступая на конференции «Качество данных 2020», которую провело издательство «Открытые системы», генеральный директор компании Mechanica AI Александр Хайтин мастерски добавил «Ложку дегтя в озеро данных». Так он назвал свой доклад, в котором поделился опытом выполнения проекта для предприятия черной металлургии — весьма полезным для тех, кто работает с машиногенерируемыми данными.

Озеро или отстойник?

Прямой связи между ростом объемов данных и принятием лучших управленческих решений нет. Сами по себе данные — это источник затрат на их сбор, хранение, обработку. И очистку! «В реальной жизни data lake больше похоже не на альпийское озеро меж сосен, а на отстойник жидких отходов: подойти страшно, но теоретически полезная вещь», — пошутил Хайтин.

Чтобы превратить данные в бизнес-актив, к ним применяют технологии искусственного интеллекта и другие методы. По сути в Mechanica AI занимаются переработкой вторсырья, превращая его в три полезные вещи: в виртуальные сенсоры, применяемые там, где слишком долго или дорого измерять что-либо физическими сенсорами; в предсказания, позволяющие улучшить управление объектами за счет предотвращения проблем, и, наконец, в прямую оптимизацию и экономию.

Но чтобы получить результат, приходится отделять ценное вторичное сырье, которое можно переработать, от токсичных отходов.

Кунсткамера проблем

Подготовка данных занимает до 80% времени работы с ними, при этом накоплению исторических данных, необходимых для построения модели, часто не уделяется должного внимания.

«Мы по определению с самого начала работаем с мусором и собрали целую коллекцию проблем с данными», — сообщил Хайтин. Пропуски, в том числе из-за поломок сенсоров и сбоев архивирования, а также явные ошибки — самые дешевые из них, так как их легко обнаружить и от них легко избавиться. Главное условие для этого — большой объем данных и не очень большая доля пропусков и ошибок, чтобы не уничтожить весь датасет.

К категории дорогих и очень дорогих проблем он отнес так называемую эзотерическую схему данных — несколько тысяч полей с именами в виде сокращений, аббревиатур и индексов. Также дорого обходится бизнесу неаккуратное агрегирование с усредненными по времени показателями, сделанное в расчете на то, что эта информация уже никому не понадобится. «Данные за много лет, превращенные в бесполезные агрегаты, — это необратимые потери: фарш обратно в мясо уже не превратишь», — отметил Хайтин.

Между тем исторические данные — самые дорогие. Их нельзя купить, можно только накопить. При этом нестыковки исходных данных с результатами, а также нецелостность информации значительно обесценивают накопленный массив. Например, отсутствие сведений о нештатных ситуациях порождает артефакты в данных, приводя впоследствии к попыткам обучить алгоритмы на негодных датасетах.

Если при накоплении данных были допущены критические ошибки, оптимизация производства с помощью обработки больших массивов накопленных данных может оказаться недостижимой. Всего одна ошибка в информационном потоке, поступающем с производственной линии, способна привести к задержке проекта на годы и обесценить все усилия по сбору данных.

Традиционно накопление данных ведется в компаниях по функциональным подразделениям, и в результате «озера данных» на практике часто оказываются фрагментированными. «В этой ситуации достаточно того, чтобы одно подразделение не передало свои данные в озеро, — и тогда ценность всех накопленных в нем данных резко упадет. Не на полпроцента, соответственно объему непоступивших данных, а на все 90%», — подчеркнул Хайтин.

Но проблема-рекордсмен в практике Mechanica AI — сбитые отметки времени в разных информационных системах внутри организации. Причем в некоторых случаях — с плавающей разницей между часами. Для оператора, управляющего физическим процессом в реальном времени, эта разница не имеет значения, так как он собственными глазами одновременно видит показания приборов. А вот сопоставить исторические данные разных систем и использовать их — в этом случае уже нельзя. Чтобы спасти ситуацию, приходится строить интеллектуальные программные решения, что обходится гораздо дороже, чем время системного администратора на настройку часов.

Для предотвращения подобных проблем рекомендуется крайне аккуратно относиться к процессу накопления исторических данных. «Не надо выкидывать сырье, хуже всего бороться потом с алгоритмами агрегации и очистки», — предостерег Хайтин. Он также советует протестировать собранные данные на целостность, построив учебную модель. А также не забывать притчу: «Если лошадь сдохла, слезь с нее, а не пытайся ее оживить». Иногда не стоит «городить огород» интеллектуальных решений, а надо просто смириться с потерей данных.

Высококонкурентная среда вынуждает торговлю становиться цифровой, и ключевые конкуренты X5 Retail сегодня — тоже цифровые гиганты наподобие Mail.ru и «Яндекса». Отвечая на вопросы участников конференции «Качество данных 2020», проведенной издательством «Открытые системы», директор по работе с данными X5 Retail Group Тигран Саркисов констатировал сложившееся положение: «Для нас это вопрос существования: либо мы будем развиваться как технологическая компания, либо не выживем».

Количество данных не переходит в качество само по себе, для этого приходится прикладывать усилия, подчеркнул он. При этом наличие «скрытых ИТ» и «подпольных» баз данных служит одним из признаков проблем с качеством данных и сигналом низкой эффективности процессов организации работы с ними.

Низкое качество данных несет множество рисков для ретейлера — начиная от штрафных санкций из-за ошибок в отчетности и заканчивая прямыми потерями. Наиболее дорогостоящие из них связаны с ошибками в прогнозировании спроса и в выборе места размещения складов. Кроме того, в последнее время в фокусе специалистов X5 — риск упущенной выгоды.

Даже обладая неплохим арсеналом средств управления качеством данных, нужно помнить, что инструменты управления качеством не работают без четких бизнес-процессов и соответствующей корпоративной культуры.

Не стоит приступать к нормализации данных, пока не будет построен бизнес-процесс или хотя бы не станут ясны его основные контуры, полагает Саркисов. Сначала следует наладить конкретные процессы и исправить в них ошибки, и лишь потом можно будет очищать данные и приступать к внедрению Data Governance, назначениям на роли и к «обвязке» их KPI по всей компании. Это практично и дает хорошие, а главное устойчивые результаты, которые не пропадут через месяц-другой.

Самое тяжкое и при этом бесполезное занятие, по мнению Саркисова, — это очистка неиспользуемых данных. И поскольку качество данных пропорционально частоте их использования, для повышения качества он рекомендовал увеличивать количество потребителей данных.

Специфика работы в X5 заключается в том, что большая часть информации формируется силами множества небольших партнеров, поставляющих не только товары, но и данные. При этом далеко не все они обладают достаточной квалификацией в ИТ. Чтобы повысить качество данных, необходимо внедрять культуру работы с ними. И в этот процесс обязательно нужно вовлекать партнеров. Мотивировать их очень важно. Если партнеры станут своевременно актуализировать, например, описания товара, то это существенно упростит работу по очистке данных, сэкономит колоссальное количество энергии, затрачиваемое на коммуникацию, расследование инцидентов и пр.

Обязательный компонент обеспечения качества — дисциплина. За качество данных отвечает каждый сотрудник компании, и крайне важно работать с лидерами «антирейтинга», подчеркнул Саркисов. Чек-лист для контроля процесса работы с данными включает проверку наличия полномочий, распределения ролей и ответственности. «Убедитесь в том, что вас не воспринимают как уборщицу», — посоветовал он коллегам и призвал их пропагандировать важность правильной работы с информацией и воспитывать в сотрудниках культуру предоставления обратной связи. «Культурный ингредиент» в вопросах качества тяжело измерить, но без него далеко не уедешь.

И конечно, необходимо обучение персонала, особенно нового. Очень важны специальные тренинги. «Встраивание в 'курс молодого бойца' блоков про важность качества данных и его влияние на бизнес нам крайне помогло, — отметил Саркисов. — Обучить проще, чем исправлять последствия».

Успех в цифровом бизнесе невозможен без эффективной стратегии работы с данными. Как ее сформировать, а затем воплотить в жизнь, обсудили участники конференции «Качество данных 2020», которую провело издательство «Открытые системы». Независимо от того, насколько убедительны бизнес-аргументы или талантлива команда разработчиков, без консолидированных качественных данных любые проекты цифровой трансформации обречены на провал.

Реляционные базы данных, озера данных и хранилища NoSQL являются мощными средствами, позволяющими выполнять операции сбора, обновления, поиска, выборки и обработки данных. Вместе с тем они, как ни странно, обычно не предоставляют инструментов и интерфейсов, позволяющих организовать совместное использование того, что находится внутри них. Соответствующие ресурсы зачастую больше похожи на сейфы для данных. Известно, что внутри находятся ценные сведения, но простого способа получить доступ к ним снаружи не существует.

Бизнесу приходится иметь дело с множеством самых разных хранилищ данных: многочисленными корпоративными базами данных, небольшими информационными складами, ЦОДами, облаками, приложениями, инструментами бизнес-анализа, API, электронными таблицами и открытыми источниками данных.

Конечно, метаданные для таблиц, хранимых процедур, индексов и других объектов базы данных можно получить с помощью запроса к реляционной базе данных, составив таким образом ее каталог. Но такой подход отнимает много времени, требует хорошей технической подготовки и позволяет получить только базовый список из одного источника данных.

Можно использовать инструменты для обратного проектирования моделей данных или навигации по метаданным. Но они, как правило, предназначены для технических специалистов и служат главным образом для аудита, документирования и анализа баз данных.

Другими словами, возможностей запросов и инструментов, извлекающих метаданные, для удовлетворения имеющихся потребностей бизнеса сегодня явно недостаточно. Обусловлено это следующими причинами:

• cуществующие технологии требуют очень хорошей технической подготовки и вряд ли могут эффективно использоваться конечными пользователями;
• предприятиям, которые оперируют множеством баз с большими данными, различными технологиями баз данных и гибридными облаками, слишком много операций придется выполнять вручную;
• имеющиеся подходы не особенно полезны для исследователей данных, желающих наладить совместную работу и проводить эксперименты с машинным обучением, используя первичные и производные наборы данных;
• стратегия аудита метаданных не упрощает командам, осуществляющим управление данными, переход к методам активного управления.

Единый достоверный источник сведений об информационных активах организации

Каталоги данных существуют уже достаточно давно и приобретают все более стратегический характер, поскольку организации масштабируют платформы больших данных, инвестируют в программы исследования данных и машинного обучения, а также стараются поддерживать управляемое данными поведение.

Первое, что нужно знать о каталогах данных: это инструменты, помогающие всей организации обучаться и взаимодействовать на основе источников данных. В организациях, которые пытаются ориентироваться на данные, экспериментировать с машинным обучением и использовать встроенные средства анализа в приложениях управления взаимоотношениями с клиентами, им отводится очень важная роль.

Ответственность за интеграцию каталогов данных с основными источниками данных предприятия возлагается на инженеров по данным, разработчиков программного обеспечения и других технических специалистов. Именно они чаще всего обращаются к каталогу данных и видоизменяют его, особенно в процессе создания и модификации баз данных.

Каталоги данных, взаимодействующие с большей частью массивов данных предприятия, представляют собой единый источник достоверной информации. Они помогают ответить на вопросы о том, какие данные существуют у предприятия, где найти наилучшие источники данных, как защитить данные и кто обладает необходимым для этого опытом. Каталог данных включает в себя инструменты для обнаружения источников данных, получения метаданных для этих источников, выполнения поиска и управления метаданными.

Многие каталоги данных выходят за рамки понятия структурированного справочника, описывая связи между источниками данных, сущностями и объектами. Большинство каталогов отслеживают различные классы метаданных, особенно в части конфиденциальности и безопасности. Они позволяют получить и совместно использовать информацию о том, как различные люди, подразделения и приложения используют источники данных. Большинство каталогов данных включают также инструменты для определения словарей данных, для профилирования и очистки данных, а также для выполнения других сервисных операций. Специализированные каталоги данных предоставляют также возможности управления основными данными и получения информации о происхождении данных.

Продукты и сервисы каталогов данных

На рынке сегодня присутствует достаточно много инструментов и платформ для ведения каталогов данных. Некоторые из них представляют собой расширение какой-то другой инфраструктуры и функций управления корпоративными данными. Другие открывают возможности нового поколения и ориентированы на простоту использования, взаимодействие и дифференциацию машинного обучения. В конечном итоге выбор будет зависеть от масштабов, уровня квалификации пользователей, стратегии исследования данных, архитектуры данных и других требований, предъявляемых организацией.

Приведем примеры продуктов для ведения каталогов данных.

• Azure Data Catalog и AWS Glue – сервисы каталогизации данных, встроенные в платформы публичного облака.
• Функции каталога данных поддерживают многие платформы для интеграции данных, в том числе Informatica Enterprise Data Catalog, Talend Data Catalog, SAP Data Hub и IBM Infosphere Information Governance Catalog.
• Некоторые каталоги данных предназначены для платформ больших данных и гибридных облаков. К ним относятся, в частности, Cloudera Data Platform и InfoWorks DataFoundry, поддерживающие операции с данными и их настройку.
• Существуют автономные платформы с функциями машинного обучения: Unifi Data Catalog, Alation Data Catalog, Collibra Catalog, Waterline Data и IBM Watson Knowledge Catalog.
• Инструменты для управления основными данными (например, Stibo Systems и Reltio), а также платформы клиентских данных (Arm Treasure Data) также могут использоваться в качестве каталогов данных.

Машинное обучение для лучшего понимания данных

Функции автоматизации процесса обнаружения данных, осуществления поиска в репозитарии и предоставления инструментов для взаимодействия относятся к числу базовых. Более развитые каталоги поддерживают функции машинного обучения, обработки естественного языка и программирования с написанием минимального объема кода.

Функции машинного обучения могут принимать различные формы, зависящие от платформы. Unifi, к примеру, имеет встроенный функционал рекомендаций, который анализирует, как люди используют, объединяют и маркируют первичные и производные наборы данных. Проанализировав характер использования, компоненты машинного обучения выдают рекомендации другим пользователям в момент, когда они обращаются с запросом к аналогичным данным и шаблонам. В Unifi применяются также алгоритмы машинного обучения для профилирования данных, выявления конфиденциальной идентификационной информации личного характера и маркировки источников данных.

Collibra использует машинное обучение, чтобы помочь администраторам классифицировать данные. Компонент Automatic Data Classification анализирует новые наборы данных и сопоставляет их с 40 уже имеющимися классификаторами – адресов, финансовой информации и идентификаторов продуктов.

Waterline Data использует патентованную технологию отпечатков, которая автоматизирует обнаружение, классификацию и управление корпоративными данными. Одним из направлений является идентификация и маркировка конфиденциальных данных, которая, как утверждается, сокращает время, требуемое для маркировки, на 80%.

У разных платформ имеются разные стратегии и технические возможности для обработки данных. Некоторые из них функционируют только на уровне каталога данных и метаданных, в то время как другие поддерживают расширенные функции подготовки данных, их интеграции, очистки и других операций с данными.

Корпоративная система обработки и настройки данных InfoWorks Data Foundry непосредственно интегрирована с алгоритмами машинного обучения. Интерфейс визуального программирования, требующий написания минимального объема программного кода, позволяет конечным пользователям объединить данные с алгоритмами машинного обучения: кластеризацией k-means и классификацией по алгоритму случайных лесов.

Сегодня мы находимся на ранней стадии разработки активных платформ и каталогов данных, обеспечивающих управление, расширяющих операционные возможности и содержащих исследовательские инструменты для предприятий с растущими объемами данных. По мере роста ценности данных и их анализа, у организаций возникает потребность в их масштабировании и управлении ими. Одной из тех областей, в которых различные платформы каталогов данных будут конкурировать друг с другом, вероятно, станет машинное обучение.

Дирекция региональных продаж ПАО «Газпром нефть» (ДРП) управляет сбытом различных видов моторного топлива компании через собственную розничную сеть, состоящую из более чем 1,8 тыс. АЗС и включающую свыше 800 магазинов и кафе, а также через оптовые каналы и сервисы для коммерческих транспортных парков. Кроме того, подразделение отвечает за товаропроводящую сеть, в которую входят нефтебазы, лаборатории и собственный парк бензовозов. В периметре компаний под управлением дирекции работают более 20 тыс. сотрудников, и по численности персонала это примерно треть всей группы «Газпром нефть».

В ДРП построена уникальная на сегодняшний день платформа — smart data lake. В ее рамках озеро данных и аналитическое хранилище данных интегрированы с инструментами Data Governance. Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж «Газпром нефти» и номинант на премию CDO Award 2020, рассказывает о пути к созданию умного озера данных, о первых результатах и ближайших направлениях развития.

- Какова история подходов к работе с данными в Дирекции региональных продаж?

У нас сложилась уникальная для крупного бизнеса ситуация с автоматизацией и управлением данными. Наше сбытовое подразделение было выделено в «Газпром нефти» в 2008 году. Тогда же пришла команда топ-менеджеров, сохранившая свой состав по сей день, и стартовала программа унификации процессов, а затем и информационных систем всех дочерних предприятий. В этой програме я принимал активное участие.

В 2009–2011 годах в ДРП были внедрены унифицированные для всех регионов учетные и производственные системы: системы управления АЗС, коммерческого, бухгалтерского и управленческого учета, планирования и бюджетирования, управления инвестициями, персоналом, автотранспортом и др. Это позволило создать институт владельцев систем и через него управлять регламентами ведения первичных данных, расчета ключевых показателей и их изменения. С помощью сравнительного бенчмаркинга показателей регионов были найдены лучшие способы, позволяющие экономично вести деятельность. Благодаря тиражированию этих практик ДРП, в течение трех лет удалось существенно сэкономить затраты и добиться прироста продаж. Сбыт моторного топлива «Газпром нефти» стал признанным эталоном эффективности в России.

- Когда и как пришло понимание того, что надо заниматься развитием комплексных аналитических решений?

Иван Черницын: «Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий».

В 2011 году мы задумались об интеграции данных всех учетных и производственных систем в едином аналитическом пространстве, чтобы находить новые инсайты. Для этого мы разработали и внедрили систему управления нормативно-справочной информацией и подошли к выбору платформы класса BI. В конце 2012 года проект BI стартовал. В его ходе мы отказались от создания единого хранилища данных ради скорости реализации аналитических задач, взамен было организовано логическое хранилище с единым семантическим слоем на платформе Qlik. Благодаря очень удачному архитектурному решению наша BI-система за четыре года стала одной из самых функциональных и крупномасштабных в России. У всех сотрудников появились единый бизнес-словарь и набор гибких аналитических инструментов с едиными методиками и терминологией.

Мы также сформировали центр компетенции по BI, объединивший не только системных аналитиков, архитекторов и разработчиков, но и экспертов по качеству данных. Благодаря организации эффективной работы и очень пристальному вниманию к качеству данных, к концу 2016 года с единым BI работали уже более 1,1 тыс. пользователей. Это решение аккумулировало данные свыше 80 корпоративных систем, а очередь на разработку нового функционала от бизнес-заказчиков состояла из более чем 200 задач.

Вместе с тем за годы работы с аналитическими инструментами выросла культура сотрудников и стали меняться требования подразделений. Усложнялись алгоритмы обработки данных, рос их объем и количество источников, появлялось все больше внешних данных. Кроме того, бизнес-аналитикам требовались актуальные диаграммы происхождения данных, различная статистика по качеству данных, инструменты поиска данных на внутренних слоях BI. У нас возникла необходимость в проактивном управлении качеством данных.

- Какой подход был выбран?

Чтобы удовлетворить наши новые потребности, мы совместно с фондом «Сколково» в 2016 году масштабно исследовали рынок решений, изучили рекомендации DAMA DMBoK, пообщались с экспертами Gartner и сделали много референс-визитов. В итоге остановились на концепции комплексной системы управления данными. Она включала в себя каталог данных с описаниями и происхождением объектов данных, каталог правил по качеству данных с возможностью обогащения правил и просмотра их статуса и истории, бизнес-глоссарий с инструментами управления изменениями определений и формул расчета бизнес-терминов, а также пользовательский портал. С целью сделать детальные данные доступными для аналитиков мы провели изыскания в области промышленных инструментов обработки и хранения данных, после чего было решено внедрить современное многокомпонентное логическое хранилище данных.

- В чем заключалась суть этого проекта?

В конце 2017 года мы сформировали и защитили программу из двух взаимосвязанных проектов («Создание озера данных ДРП» и «Создание системы управления данными ДРП») как часть стратегии цифровой трансформации нашего бизнеса. Совместный результат программы проектов мы стали называть «умным озером данных», в соответствии с зарубежными терминами smart data lake и governed data lake. Я стал лично отвечать за программу, а наш центр компетенций расширился на 20 человек и получил в 2018 году сначала название «Офис управления данными», а затем, в 2019 году, — «Центр аналитических решений». Сейчас у нас более 60 сотрудников, и в едином подразделении работают специалисты по качеству данных, по управлению метаданными, разработчики и архитекторы big data, хранилищ данных и BI, системные аналитики, исследователи данных, а также тренеры по развитию аналитической культуры.

- Тренеры по развитию аналитической культуры? На кого именно направлена их деятельность?

На всех бизнес-сотрудников, которые используют или хотят использовать аналитические решения либо хотят изменить свою роль в подразделениях.

В нынешнем году у нас появилась матрица компетенций, включающая как технические, так и нетехнические навыки, уровни развития компетенций, индикаторы их наличия. К этой матрице привязаны программы обучения, семинары и тесты. За 2019 год более 400 специалистов прошли обучение по Python, SQL, машинному обучению и применению аналитики в различных направлениях бизнеса. Неплохо для начала. За прошлые годы на курсах по BI в общей сложности обучилось 1,2 тыс. человек.

Сейчас разрабатываем онлайн-курсы для удаленных сотрудников и программы тестирования. В дальнейшем сотрудники, которые не прошли тесты, подтверждающие соответствующие компетенции, не будут допускаться к работе со сложными аналитическими инструментами. Неподготовленные сотрудники не должны дискредитировать своими действиями всю аналитическую программу. Полученные ими некорректные результаты или интерпретации могут привести к самым нежелательным последствиям — подрыву доверия к данным со стороны руководителей бизнеса.

- Что такое «умное» озеро данных? Чем оно отличается от «обычного»?

Согласно оценкам Gartner, в мире 83% озер данных превращаются в «болота данных» и в итоге забрасываются из-за проблем с поиском качественных данных. Еще сильнее усложняет ситуацию то, что все больше компаний используют гибридную архитектуру хранения (часть данных хранится в публичных облаках, а часть — в корпоративных озерах и хранилищах). Выходом из ситуации является создание озер и хранилищ с интегрированными инструментами управления данными: каталогом данных, системой управления качеством данных, бизнес-глоссарием, средствами интеграции и маскирования данных. Однако на сегодняшний день не существует готовых промышленных решений, включающих в себя комплексные платформы обработки, хранения и управления данными. К созданию таких решений приблизились Microsoft и Amazon в своих публичных облаках. В материалах Gartner и публикациях вендоров описаны архитектурные шаблоны для таких решений.

- С какими проблемами пришлось столкнуться в ходе проекта?

Подобных решений нет не только в России, но и на Западе. И вообще было непонятно, как это будет работать на практике.

В Gartner признают, что «умное озеро данных» — это не практическое решение, а продвинутый архитектурный шаблон на будущее, который сегодня апробируют Microsoft и Amazon в собственных облаках. А мы построили все это на своей площадке.

Мы реализовывали умное озеро данных на базе практических бизнес-кейсов, входящих в состав актуальных проектов, при этом обкатывая совместную работу компонент и участников команды разработки. Проект был крайне сложным, мы несколько раз меняли подходы и переделывали реализованные кейсы, когда находили новые решения. Только организовав работу всех участников в одной команде с единой мотивацией, мы смогли преодолеть огромное множество технологических и методологических трудностей.

- Какова архитектура созданной платформы данных? На каких решениях она построена?

«Умное озеро данных ДРП» — название комплексной системы управления данными, а не просто разновидность Data Lake. Мы использовали такое название, чтобы кратко выделить ключевые особенности решения. Умное озеро данных ДРП включает в себя подсистемы Data Governance на платформе Informatica (каталог данных, управление качеством данных, бизнес-глоссарий, пользовательский портал обзора данных), компоненты интеграции данных, а также интегрированные с ними компоненты обработки больших данных (на основе Arenadata Hadoop), аналитическое хранилище данных (Microsoft SQL Server 2017), BI (Qlik), аналитическую лабораторию с набором инструментов Data Science.

- Какие источники данных вы используете в своей работе?

К внешним источникам можно отнести Санкт-Петербургскую товарно-сырьевую биржу, «СПАРК-Интерфакс», Портал открытых данных РФ, сайты Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, «Яндекс», открытые данные социальных сетей, различные данные партнеров и сведения о конкурентах, данные мобильных приложений. И конечно, мы широко охватываем наши внутренние системы.

- Как в рамках проекта выстроена работа с качеством данных?

Система управления качеством данных была выстроена очень серьезно в рамках развития единого BI. Исторически это реактивная система, которая развивалась через разрешение инцидентов с данными (аналог service desk), но она весьма эффективно работала. В 2015 году мы создали выделенную функцию по качеству данных, за 4 года выросшую в подразделение из семи человек, чьей задачей было системно не допускать повторных ошибок. Эти специалисты формализовывали причины появления дефектов данных и формировали запросы на доработку систем-источников или BI-инструментов. Поскольку BI-система интегрировала все ключевые данные в контуре ДРП, выполняла массовое устранение причин дефектов в данных через решение ежедневных обращений от сотен сотрудников, большой эффект распространялся на все системы и в целом на культуру работы с данными в контуре всех наших подразделений.

Однако, после того как число BI-приложений в парке выросло до нескольких сотен, созданными правилами стало сложно управлять, при доработках для различных заказчиков начали возникать несоответствия в требованиях по качеству данных. Исправить ситуацию помогла идея централизованного каталога правил по качеству данных, чтобы правила можно было видеть в разрезе потоков данных и ключевых наборов данных, витрин или BI-приложений и привязывать к аспектам качества, бизнес-процессам, определять уровень их критичности. Это дает возможность видеть не только существующие правила, но и пробелы в них. Возможные проблемы можно предвидеть еще до их появления — система управления качеством становится проактивной. Чтобы внедрить такую систему, мы при формировании умного озера данных предусмотрели промышленное решение класса Data Quality, охватывающее именно эти функции.

Вследствие этого в подразделении по качеству данных фокус сместился с прошлого на будущее: если раньше все внимание было направлено на устранение причин уже произошедших ошибок в данных, то сейчас — на разработку системы проактивного мониторинга, продумывание и настройку правил по качеству данных, чтобы тем самым избежать ошибок.

- Насколько обязательно для бизнеса использование созданной вами платформы?

На созданной централизованной аналитической инфраструктуре мы реализуем актуальные задачи исходя из бизнес-приоритетов. При таком подходе с течением времени все ключевые данные и аналитические модели окажутся в умном озере данных.

Однако, чтобы наш ресурс не стал «бутылочным горлышком», мы не мешаем создавать в некоторых проектах локальные аналитические решения со своими отдельными командами. Выбор нашей инфраструктуры и нашей внутренней команды — это дело добровольное для бизнес-заказчиков. Мы делаем ставку на то, что завтра эффективность и высокое качество работы нашей команды приведут к полному охвату всех задач и данных ДРП в умном озере данных.

Точно такая же схема работы была во времена BI, когда внутренний Центр компетенций по BI за несколько лет вытеснил всех внешних подрядчиков. Подразделения просто перестали заказывать работы извне, потому что мы смогли очень качественно решать все задачи своими силами.

- Приведите в качестве примера несколько наиболее ярких проектов, реализованных в последнее время.

Первые кейсы включили в себя конвейер обработки транзакций АЗС, расчет сегментов для клиентской аналитики, семантический анализ обратной связи от клиентов в различных каналах, обработку многолетних внешних и внутренних данных о ценах на нефтепродукты. Несмотря на трудности, уже первичное внедрение стало успешным: на текущий момент примерно половина всех аналитических проектов и инициатив ДРП уже реализуется в контуре умного озера данных, план на 2020 год — охватить не менее 75%.

- Можно ли что-то сказать о первых финансовых результатах этих проектов?

Эффект от озера данных нужно считать очень трезво. Пока очевидно лишь то, что мы экономим на интеграции данных для многих проектов, сокращаем время поставки готовых наборов данных для всех будущих проектных и продуктовых команд, а также для задач прототипирования.

Когда мы только пилотировали клиентскую аналитику — расчет сегментов с помощью машинного обучения, — уже первые кейсы, сделанные «на коленке», без всякого озера данных, дали серьезную монетизацию. Возврат клиентов, склонных к оттоку, вырос втрое. Существенное преимущество озера в том, что модели переносятся в более надежную среду, получают надежные инструменты, обеспечивающие качество данных. Поэтому большинство эффектов будет проявляться спустя некоторое время.

- Почему именно сбытовое подразделение компании выступило в авангарде создания умного озера?

В двух других крупнейших бизнес-блоках «Газпром нефти» тоже внедряются озера и аналитические хранилища данных, они сфокусированы на обработке и хранении данных и быстрой разработке и монетизации бизнес-кейсов, но не на Data Governance.

Архитектура smart data lake, которую мы реализуем в ДРП, — самая сложная из всех существующих для работы с большими данными. В Gartner отмечают, что организация, прежде чем к ней прийти, должна сначала внедрить у себя более простые варианты. Мы в блоке ДРП семь лет развивали BI и управление качеством данных, отработали интеграцию множества источников, конвейеры обработки данных, большое число бизнес-кейсов. И два года назад инициировали амбициозный и рискованный эксперимент со smart data lake, потому что у нас и наших бизнес-заказчиков было четкое понимание стратегических преимуществ инструментов Data Governance. Ради этих преимуществ мы потратили и продолжаем тратить большие средства на отладку совместной работы всех компонентов и методологию управления данными в smart data lake, так что наш проект окупится в более долгосрочной перспективе.

Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий. Внутри компании мы организовываем дни открытых дверей, внутренние конференции с демонстрацией решений, и мы открыты к диалогу.

После двух-трех лет практической эксплуатации озер и аналитических хранилищ данных в блоках можно ожидать появления первых общекорпоративных стандартов, а затем стандартизации на уровне компонент и методологии. В корпоративном центре «Газпром нефти» чуть более года назад появился орган, задача которого — формировать общую стратегию и общие «правила игры» в части Data Governance на уровне всей компании.

- Как будет дальше развиваться платформа данных?

На сегодня у нас все еще остается много нерешенных вопросов. Следующий год будет годом становления внутренней эффективности при разработке аналитических решений со встроенными инструментами управления данными. Один из существенных этапов такого становления — интеграция с имеющейся у нас инфраструктурой DataOps: Kubernetes/Openshift, Jenkins, Gitlab, Jira, Confluence. В результате удастся автоматизировать рабочие процессы инжиниринга данных, тестирования, выпуска релизов и в дальнейшем внедрить SLA — подход «данные как сервис» с гарантированными сроками и параметрами по типовым задачам поставки данных.

Кроме того, важными этапами в развитии культуры работы с данными станут официальное закрепление ролей владельцев данных (data owner) и распорядителей данных (data steward) в бизнес-подразделениях, а также настройка рабочих процессов управления изменениями объектов данных через единый каталог и бизнес-глоссарий.