Озеро данных

В 2020 году компания Azercell создала умное озеро данных, которое было призвано стать надежным поставщиком данных и вывести на новый уровень возможности их обработки. Амбициозность задач демонстрирует название проекта: «Стать центром ИИ и аналитики Азербайджана». С помощью мощной платформы компания отслеживает многие процессы в реальном времени, но главным достижением стало то, что люди действительно принимают решения на основе получаемых данных. Об истории и подробностях этого проекта рассказал Азад Гусейнов, директор департамента больших данных и Аналитики компании Azercell.

— Расскажите об истории создания в Azercell умного озера данных.

Создание умного озера данных было начато в марте 2019 года. Наша цель заключалась в том, чтобы предоставить бизнесу больше источников данных, необходимых для анализа. Мы начали создавать озеро данных параллельно с подготовкой среды машинного обучения и развития искусственного интеллекта. С самого момента запуска озеро данных было интегрировано в эту среду.

Кроме подключения различных источников и колоссальных возможностей обработки данных, мы также ввели возможности обработки и анализа данных в режиме реального времени. Сейчас компания, используя созданную платформу, отслеживает свой общий ежедневный доход с 15-минутной задержкой.

— Чем, с вашей точки зрения, умное озеро данных отличается от «обычного»?

Наше умное озеро данных не используется в качестве фиктивного хранилища данных. Оно используется в качестве надежного поставщика данных и платформы для распределенной обработки данных и работы моделей машинного обучения.

— Какие были поставлены цели перед проектом?

Цель состояла в том, чтобы включить множество ценных источников данных, иметь возможность отслеживать все ключевые показатели эффективности практически в реальном времени. Еще одной важной целью было создание культуры Data Governance внутри организации.

После этого мы нацелились на прямую и косвенную монетизацию всего проекта. На основе информации, извлеченной из озера данных, были созданы многие процессы машинного обучения, а также боты.

— Сколько времени и какими силами реализовывался проект?

Начальная фаза проекта в целом заняла 12 месяцев, из которых два месяца ушло на развертывание и перенос данных. Остальное время проекта было потрачено на создание конвейеров потоковой передачи и пакетной обработки. Проект был реализован собственными силами, без каких-либо внешних консультаций и поддержки.

— Какие платформы были использованы?

Среда озера данных создана на основе технологий с открытым исходным кодом — с использованием предоставленного Cloudera дистрибутива Hadoop, Apache Kafka, Apache Nifi. Мы разработали нашу отдельную среду машинного обучения и искусственного интеллекта (сервер рабочих станций) на основе технологий и библиотек с открытым исходным кодом и интегрировали ее в качестве граничного узла в наш кластер озера данных.

Кроме того, для выявления аномалий в данных используется модуль Informatica Data Quality, а для визуализации применяются средства Tableau.

— Что в ходе проекта было самым сложным?

Самой сложной частью всего процесса было формирование видения и миссии всего проекта. Мы должны были определиться, кем хотим быть и что хотим получить в итоге. В результате мы назвали проект «Стать центром ИИ и аналитики Азербайджана», и это стало маяком для всех нас.

— Каких результатов удалось достичь, какие из них вы считаете наиболее важными?

Для принятий решений нами используется достоверная, качественная информация. Все данные, которые занесены в платформу, отслеживаются и при наличии аномалий исправляются. Тем самым обеспечивается достоверность данных в реальном времени, что дает возможность выполнять точные расчеты. Например, сведены к нулю ошибки при оплате, калькуляциях и прочих процессах. Повышение качества обслуживания абонентов.

Кроме того, произошло ускорение time-to-market за счет качественных данных в реальном времени. Рост скорости принятия решений составил до пяти раз.

Но главное достижение — видеть, как люди принимают решения на основе данных, которыми мы их снабжаем. Они достигают реальных целей компании, снижают отток, увеличивают средний доход на пользователя и т.д.

— Приведите пример проекта, который принес заметный результат и стал возможен благодаря внедрению умного озера данных?

На базе озера данных была запущена программа лояльности. Всего за месяц удалось увеличить количество пользователей приложения Azercell на 400%. Мы гордимся этим результатом.

— Пытались ли оценить совокупный финансовый результат от внедренного решения? Ускорение и точность решений, сокращение ТТМ, уменьшение оттока клиентов имеют вполне исчислимые эффекты.

Дополнительный доход составляет 0,5% от общего дохода Azercell в 2021 году. Кроме того, на 25% сократился показатель оттока клиентов.

— В каком направлении будет развиваться озеро данных?

Недавно мы согласовали нашу дорожную карту озера данных с целью превратить его в готовую к выходу в облако платформу данных с использованием последних технологий (таких как Delta, Apache Iceberg), а также контейнеризации. Это позволит нам выполнять любые задачи с данными в гибридном облаке и в локальной среде. Мы также планируем внедрять и использовать только инструменты и программное обеспечение с открытым исходным кодом, что также снизит общую стоимость владения нашей будущей платформы данных.

Алгоритмы машинного обучения вполне способны работать на данных, содержащих выбросы, пропуски и ошибки. Но все же есть предел качества данных, после достижения которого даже самый высококвалифицированный специалист не сможет построить адекватную модель.

Выступая на конференции «Качество данных 2020», которую провело издательство «Открытые системы», генеральный директор компании Mechanica AI Александр Хайтин мастерски добавил «Ложку дегтя в озеро данных». Так он назвал свой доклад, в котором поделился опытом выполнения проекта для предприятия черной металлургии — весьма полезным для тех, кто работает с машиногенерируемыми данными.

Озеро или отстойник?

Прямой связи между ростом объемов данных и принятием лучших управленческих решений нет. Сами по себе данные — это источник затрат на их сбор, хранение, обработку. И очистку! «В реальной жизни data lake больше похоже не на альпийское озеро меж сосен, а на отстойник жидких отходов: подойти страшно, но теоретически полезная вещь», — пошутил Хайтин.

Чтобы превратить данные в бизнес-актив, к ним применяют технологии искусственного интеллекта и другие методы. По сути в Mechanica AI занимаются переработкой вторсырья, превращая его в три полезные вещи: в виртуальные сенсоры, применяемые там, где слишком долго или дорого измерять что-либо физическими сенсорами; в предсказания, позволяющие улучшить управление объектами за счет предотвращения проблем, и, наконец, в прямую оптимизацию и экономию.

Но чтобы получить результат, приходится отделять ценное вторичное сырье, которое можно переработать, от токсичных отходов.

Кунсткамера проблем

Подготовка данных занимает до 80% времени работы с ними, при этом накоплению исторических данных, необходимых для построения модели, часто не уделяется должного внимания.

«Мы по определению с самого начала работаем с мусором и собрали целую коллекцию проблем с данными», — сообщил Хайтин. Пропуски, в том числе из-за поломок сенсоров и сбоев архивирования, а также явные ошибки — самые дешевые из них, так как их легко обнаружить и от них легко избавиться. Главное условие для этого — большой объем данных и не очень большая доля пропусков и ошибок, чтобы не уничтожить весь датасет.

К категории дорогих и очень дорогих проблем он отнес так называемую эзотерическую схему данных — несколько тысяч полей с именами в виде сокращений, аббревиатур и индексов. Также дорого обходится бизнесу неаккуратное агрегирование с усредненными по времени показателями, сделанное в расчете на то, что эта информация уже никому не понадобится. «Данные за много лет, превращенные в бесполезные агрегаты, — это необратимые потери: фарш обратно в мясо уже не превратишь», — отметил Хайтин.

Между тем исторические данные — самые дорогие. Их нельзя купить, можно только накопить. При этом нестыковки исходных данных с результатами, а также нецелостность информации значительно обесценивают накопленный массив. Например, отсутствие сведений о нештатных ситуациях порождает артефакты в данных, приводя впоследствии к попыткам обучить алгоритмы на негодных датасетах.

Если при накоплении данных были допущены критические ошибки, оптимизация производства с помощью обработки больших массивов накопленных данных может оказаться недостижимой. Всего одна ошибка в информационном потоке, поступающем с производственной линии, способна привести к задержке проекта на годы и обесценить все усилия по сбору данных.

Традиционно накопление данных ведется в компаниях по функциональным подразделениям, и в результате «озера данных» на практике часто оказываются фрагментированными. «В этой ситуации достаточно того, чтобы одно подразделение не передало свои данные в озеро, — и тогда ценность всех накопленных в нем данных резко упадет. Не на полпроцента, соответственно объему непоступивших данных, а на все 90%», — подчеркнул Хайтин.

Но проблема-рекордсмен в практике Mechanica AI — сбитые отметки времени в разных информационных системах внутри организации. Причем в некоторых случаях — с плавающей разницей между часами. Для оператора, управляющего физическим процессом в реальном времени, эта разница не имеет значения, так как он собственными глазами одновременно видит показания приборов. А вот сопоставить исторические данные разных систем и использовать их — в этом случае уже нельзя. Чтобы спасти ситуацию, приходится строить интеллектуальные программные решения, что обходится гораздо дороже, чем время системного администратора на настройку часов.

Для предотвращения подобных проблем рекомендуется крайне аккуратно относиться к процессу накопления исторических данных. «Не надо выкидывать сырье, хуже всего бороться потом с алгоритмами агрегации и очистки», — предостерег Хайтин. Он также советует протестировать собранные данные на целостность, построив учебную модель. А также не забывать притчу: «Если лошадь сдохла, слезь с нее, а не пытайся ее оживить». Иногда не стоит «городить огород» интеллектуальных решений, а надо просто смириться с потерей данных.

Успех в цифровом бизнесе невозможен без эффективной стратегии работы с данными. Как ее сформировать, а затем воплотить в жизнь, обсудили участники конференции «Качество данных 2020», которую провело издательство «Открытые системы». Независимо от того, насколько убедительны бизнес-аргументы или талантлива команда разработчиков, без консолидированных качественных данных любые проекты цифровой трансформации обречены на провал.

Реляционные базы данных, озера данных и хранилища NoSQL являются мощными средствами, позволяющими выполнять операции сбора, обновления, поиска, выборки и обработки данных. Вместе с тем они, как ни странно, обычно не предоставляют инструментов и интерфейсов, позволяющих организовать совместное использование того, что находится внутри них. Соответствующие ресурсы зачастую больше похожи на сейфы для данных. Известно, что внутри находятся ценные сведения, но простого способа получить доступ к ним снаружи не существует.

Бизнесу приходится иметь дело с множеством самых разных хранилищ данных: многочисленными корпоративными базами данных, небольшими информационными складами, ЦОДами, облаками, приложениями, инструментами бизнес-анализа, API, электронными таблицами и открытыми источниками данных.

Конечно, метаданные для таблиц, хранимых процедур, индексов и других объектов базы данных можно получить с помощью запроса к реляционной базе данных, составив таким образом ее каталог. Но такой подход отнимает много времени, требует хорошей технической подготовки и позволяет получить только базовый список из одного источника данных.

Можно использовать инструменты для обратного проектирования моделей данных или навигации по метаданным. Но они, как правило, предназначены для технических специалистов и служат главным образом для аудита, документирования и анализа баз данных.

Другими словами, возможностей запросов и инструментов, извлекающих метаданные, для удовлетворения имеющихся потребностей бизнеса сегодня явно недостаточно. Обусловлено это следующими причинами:

• cуществующие технологии требуют очень хорошей технической подготовки и вряд ли могут эффективно использоваться конечными пользователями;
• предприятиям, которые оперируют множеством баз с большими данными, различными технологиями баз данных и гибридными облаками, слишком много операций придется выполнять вручную;
• имеющиеся подходы не особенно полезны для исследователей данных, желающих наладить совместную работу и проводить эксперименты с машинным обучением, используя первичные и производные наборы данных;
• стратегия аудита метаданных не упрощает командам, осуществляющим управление данными, переход к методам активного управления.

Единый достоверный источник сведений об информационных активах организации

Каталоги данных существуют уже достаточно давно и приобретают все более стратегический характер, поскольку организации масштабируют платформы больших данных, инвестируют в программы исследования данных и машинного обучения, а также стараются поддерживать управляемое данными поведение.

Первое, что нужно знать о каталогах данных: это инструменты, помогающие всей организации обучаться и взаимодействовать на основе источников данных. В организациях, которые пытаются ориентироваться на данные, экспериментировать с машинным обучением и использовать встроенные средства анализа в приложениях управления взаимоотношениями с клиентами, им отводится очень важная роль.

Ответственность за интеграцию каталогов данных с основными источниками данных предприятия возлагается на инженеров по данным, разработчиков программного обеспечения и других технических специалистов. Именно они чаще всего обращаются к каталогу данных и видоизменяют его, особенно в процессе создания и модификации баз данных.

Каталоги данных, взаимодействующие с большей частью массивов данных предприятия, представляют собой единый источник достоверной информации. Они помогают ответить на вопросы о том, какие данные существуют у предприятия, где найти наилучшие источники данных, как защитить данные и кто обладает необходимым для этого опытом. Каталог данных включает в себя инструменты для обнаружения источников данных, получения метаданных для этих источников, выполнения поиска и управления метаданными.

Многие каталоги данных выходят за рамки понятия структурированного справочника, описывая связи между источниками данных, сущностями и объектами. Большинство каталогов отслеживают различные классы метаданных, особенно в части конфиденциальности и безопасности. Они позволяют получить и совместно использовать информацию о том, как различные люди, подразделения и приложения используют источники данных. Большинство каталогов данных включают также инструменты для определения словарей данных, для профилирования и очистки данных, а также для выполнения других сервисных операций. Специализированные каталоги данных предоставляют также возможности управления основными данными и получения информации о происхождении данных.

Продукты и сервисы каталогов данных

На рынке сегодня присутствует достаточно много инструментов и платформ для ведения каталогов данных. Некоторые из них представляют собой расширение какой-то другой инфраструктуры и функций управления корпоративными данными. Другие открывают возможности нового поколения и ориентированы на простоту использования, взаимодействие и дифференциацию машинного обучения. В конечном итоге выбор будет зависеть от масштабов, уровня квалификации пользователей, стратегии исследования данных, архитектуры данных и других требований, предъявляемых организацией.

Приведем примеры продуктов для ведения каталогов данных.

• Azure Data Catalog и AWS Glue – сервисы каталогизации данных, встроенные в платформы публичного облака.
• Функции каталога данных поддерживают многие платформы для интеграции данных, в том числе Informatica Enterprise Data Catalog, Talend Data Catalog, SAP Data Hub и IBM Infosphere Information Governance Catalog.
• Некоторые каталоги данных предназначены для платформ больших данных и гибридных облаков. К ним относятся, в частности, Cloudera Data Platform и InfoWorks DataFoundry, поддерживающие операции с данными и их настройку.
• Существуют автономные платформы с функциями машинного обучения: Unifi Data Catalog, Alation Data Catalog, Collibra Catalog, Waterline Data и IBM Watson Knowledge Catalog.
• Инструменты для управления основными данными (например, Stibo Systems и Reltio), а также платформы клиентских данных (Arm Treasure Data) также могут использоваться в качестве каталогов данных.

Машинное обучение для лучшего понимания данных

Функции автоматизации процесса обнаружения данных, осуществления поиска в репозитарии и предоставления инструментов для взаимодействия относятся к числу базовых. Более развитые каталоги поддерживают функции машинного обучения, обработки естественного языка и программирования с написанием минимального объема кода.

Функции машинного обучения могут принимать различные формы, зависящие от платформы. Unifi, к примеру, имеет встроенный функционал рекомендаций, который анализирует, как люди используют, объединяют и маркируют первичные и производные наборы данных. Проанализировав характер использования, компоненты машинного обучения выдают рекомендации другим пользователям в момент, когда они обращаются с запросом к аналогичным данным и шаблонам. В Unifi применяются также алгоритмы машинного обучения для профилирования данных, выявления конфиденциальной идентификационной информации личного характера и маркировки источников данных.

Collibra использует машинное обучение, чтобы помочь администраторам классифицировать данные. Компонент Automatic Data Classification анализирует новые наборы данных и сопоставляет их с 40 уже имеющимися классификаторами – адресов, финансовой информации и идентификаторов продуктов.

Waterline Data использует патентованную технологию отпечатков, которая автоматизирует обнаружение, классификацию и управление корпоративными данными. Одним из направлений является идентификация и маркировка конфиденциальных данных, которая, как утверждается, сокращает время, требуемое для маркировки, на 80%.

У разных платформ имеются разные стратегии и технические возможности для обработки данных. Некоторые из них функционируют только на уровне каталога данных и метаданных, в то время как другие поддерживают расширенные функции подготовки данных, их интеграции, очистки и других операций с данными.

Корпоративная система обработки и настройки данных InfoWorks Data Foundry непосредственно интегрирована с алгоритмами машинного обучения. Интерфейс визуального программирования, требующий написания минимального объема программного кода, позволяет конечным пользователям объединить данные с алгоритмами машинного обучения: кластеризацией k-means и классификацией по алгоритму случайных лесов.

Сегодня мы находимся на ранней стадии разработки активных платформ и каталогов данных, обеспечивающих управление, расширяющих операционные возможности и содержащих исследовательские инструменты для предприятий с растущими объемами данных. По мере роста ценности данных и их анализа, у организаций возникает потребность в их масштабировании и управлении ими. Одной из тех областей, в которых различные платформы каталогов данных будут конкурировать друг с другом, вероятно, станет машинное обучение.

Дирекция региональных продаж ПАО «Газпром нефть» (ДРП) управляет сбытом различных видов моторного топлива компании через собственную розничную сеть, состоящую из более чем 1,8 тыс. АЗС и включающую свыше 800 магазинов и кафе, а также через оптовые каналы и сервисы для коммерческих транспортных парков. Кроме того, подразделение отвечает за товаропроводящую сеть, в которую входят нефтебазы, лаборатории и собственный парк бензовозов. В периметре компаний под управлением дирекции работают более 20 тыс. сотрудников, и по численности персонала это примерно треть всей группы «Газпром нефть».

В ДРП построена уникальная на сегодняшний день платформа — smart data lake. В ее рамках озеро данных и аналитическое хранилище данных интегрированы с инструментами Data Governance. Иван Черницын, руководитель Центра аналитических решений Дирекции региональных продаж «Газпром нефти» и номинант на премию CDO Award 2020, рассказывает о пути к созданию умного озера данных, о первых результатах и ближайших направлениях развития.

- Какова история подходов к работе с данными в Дирекции региональных продаж?

У нас сложилась уникальная для крупного бизнеса ситуация с автоматизацией и управлением данными. Наше сбытовое подразделение было выделено в «Газпром нефти» в 2008 году. Тогда же пришла команда топ-менеджеров, сохранившая свой состав по сей день, и стартовала программа унификации процессов, а затем и информационных систем всех дочерних предприятий. В этой програме я принимал активное участие.

В 2009–2011 годах в ДРП были внедрены унифицированные для всех регионов учетные и производственные системы: системы управления АЗС, коммерческого, бухгалтерского и управленческого учета, планирования и бюджетирования, управления инвестициями, персоналом, автотранспортом и др. Это позволило создать институт владельцев систем и через него управлять регламентами ведения первичных данных, расчета ключевых показателей и их изменения. С помощью сравнительного бенчмаркинга показателей регионов были найдены лучшие способы, позволяющие экономично вести деятельность. Благодаря тиражированию этих практик ДРП, в течение трех лет удалось существенно сэкономить затраты и добиться прироста продаж. Сбыт моторного топлива «Газпром нефти» стал признанным эталоном эффективности в России.

- Когда и как пришло понимание того, что надо заниматься развитием комплексных аналитических решений?

Иван Черницын: «Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий».

В 2011 году мы задумались об интеграции данных всех учетных и производственных систем в едином аналитическом пространстве, чтобы находить новые инсайты. Для этого мы разработали и внедрили систему управления нормативно-справочной информацией и подошли к выбору платформы класса BI. В конце 2012 года проект BI стартовал. В его ходе мы отказались от создания единого хранилища данных ради скорости реализации аналитических задач, взамен было организовано логическое хранилище с единым семантическим слоем на платформе Qlik. Благодаря очень удачному архитектурному решению наша BI-система за четыре года стала одной из самых функциональных и крупномасштабных в России. У всех сотрудников появились единый бизнес-словарь и набор гибких аналитических инструментов с едиными методиками и терминологией.

Мы также сформировали центр компетенции по BI, объединивший не только системных аналитиков, архитекторов и разработчиков, но и экспертов по качеству данных. Благодаря организации эффективной работы и очень пристальному вниманию к качеству данных, к концу 2016 года с единым BI работали уже более 1,1 тыс. пользователей. Это решение аккумулировало данные свыше 80 корпоративных систем, а очередь на разработку нового функционала от бизнес-заказчиков состояла из более чем 200 задач.

Вместе с тем за годы работы с аналитическими инструментами выросла культура сотрудников и стали меняться требования подразделений. Усложнялись алгоритмы обработки данных, рос их объем и количество источников, появлялось все больше внешних данных. Кроме того, бизнес-аналитикам требовались актуальные диаграммы происхождения данных, различная статистика по качеству данных, инструменты поиска данных на внутренних слоях BI. У нас возникла необходимость в проактивном управлении качеством данных.

- Какой подход был выбран?

Чтобы удовлетворить наши новые потребности, мы совместно с фондом «Сколково» в 2016 году масштабно исследовали рынок решений, изучили рекомендации DAMA DMBoK, пообщались с экспертами Gartner и сделали много референс-визитов. В итоге остановились на концепции комплексной системы управления данными. Она включала в себя каталог данных с описаниями и происхождением объектов данных, каталог правил по качеству данных с возможностью обогащения правил и просмотра их статуса и истории, бизнес-глоссарий с инструментами управления изменениями определений и формул расчета бизнес-терминов, а также пользовательский портал. С целью сделать детальные данные доступными для аналитиков мы провели изыскания в области промышленных инструментов обработки и хранения данных, после чего было решено внедрить современное многокомпонентное логическое хранилище данных.

- В чем заключалась суть этого проекта?

В конце 2017 года мы сформировали и защитили программу из двух взаимосвязанных проектов («Создание озера данных ДРП» и «Создание системы управления данными ДРП») как часть стратегии цифровой трансформации нашего бизнеса. Совместный результат программы проектов мы стали называть «умным озером данных», в соответствии с зарубежными терминами smart data lake и governed data lake. Я стал лично отвечать за программу, а наш центр компетенций расширился на 20 человек и получил в 2018 году сначала название «Офис управления данными», а затем, в 2019 году, — «Центр аналитических решений». Сейчас у нас более 60 сотрудников, и в едином подразделении работают специалисты по качеству данных, по управлению метаданными, разработчики и архитекторы big data, хранилищ данных и BI, системные аналитики, исследователи данных, а также тренеры по развитию аналитической культуры.

- Тренеры по развитию аналитической культуры? На кого именно направлена их деятельность?

На всех бизнес-сотрудников, которые используют или хотят использовать аналитические решения либо хотят изменить свою роль в подразделениях.

В нынешнем году у нас появилась матрица компетенций, включающая как технические, так и нетехнические навыки, уровни развития компетенций, индикаторы их наличия. К этой матрице привязаны программы обучения, семинары и тесты. За 2019 год более 400 специалистов прошли обучение по Python, SQL, машинному обучению и применению аналитики в различных направлениях бизнеса. Неплохо для начала. За прошлые годы на курсах по BI в общей сложности обучилось 1,2 тыс. человек.

Сейчас разрабатываем онлайн-курсы для удаленных сотрудников и программы тестирования. В дальнейшем сотрудники, которые не прошли тесты, подтверждающие соответствующие компетенции, не будут допускаться к работе со сложными аналитическими инструментами. Неподготовленные сотрудники не должны дискредитировать своими действиями всю аналитическую программу. Полученные ими некорректные результаты или интерпретации могут привести к самым нежелательным последствиям — подрыву доверия к данным со стороны руководителей бизнеса.

- Что такое «умное» озеро данных? Чем оно отличается от «обычного»?

Согласно оценкам Gartner, в мире 83% озер данных превращаются в «болота данных» и в итоге забрасываются из-за проблем с поиском качественных данных. Еще сильнее усложняет ситуацию то, что все больше компаний используют гибридную архитектуру хранения (часть данных хранится в публичных облаках, а часть — в корпоративных озерах и хранилищах). Выходом из ситуации является создание озер и хранилищ с интегрированными инструментами управления данными: каталогом данных, системой управления качеством данных, бизнес-глоссарием, средствами интеграции и маскирования данных. Однако на сегодняшний день не существует готовых промышленных решений, включающих в себя комплексные платформы обработки, хранения и управления данными. К созданию таких решений приблизились Microsoft и Amazon в своих публичных облаках. В материалах Gartner и публикациях вендоров описаны архитектурные шаблоны для таких решений.

- С какими проблемами пришлось столкнуться в ходе проекта?

Подобных решений нет не только в России, но и на Западе. И вообще было непонятно, как это будет работать на практике.

В Gartner признают, что «умное озеро данных» — это не практическое решение, а продвинутый архитектурный шаблон на будущее, который сегодня апробируют Microsoft и Amazon в собственных облаках. А мы построили все это на своей площадке.

Мы реализовывали умное озеро данных на базе практических бизнес-кейсов, входящих в состав актуальных проектов, при этом обкатывая совместную работу компонент и участников команды разработки. Проект был крайне сложным, мы несколько раз меняли подходы и переделывали реализованные кейсы, когда находили новые решения. Только организовав работу всех участников в одной команде с единой мотивацией, мы смогли преодолеть огромное множество технологических и методологических трудностей.

- Какова архитектура созданной платформы данных? На каких решениях она построена?

«Умное озеро данных ДРП» — название комплексной системы управления данными, а не просто разновидность Data Lake. Мы использовали такое название, чтобы кратко выделить ключевые особенности решения. Умное озеро данных ДРП включает в себя подсистемы Data Governance на платформе Informatica (каталог данных, управление качеством данных, бизнес-глоссарий, пользовательский портал обзора данных), компоненты интеграции данных, а также интегрированные с ними компоненты обработки больших данных (на основе Arenadata Hadoop), аналитическое хранилище данных (Microsoft SQL Server 2017), BI (Qlik), аналитическую лабораторию с набором инструментов Data Science.

- Какие источники данных вы используете в своей работе?

К внешним источникам можно отнести Санкт-Петербургскую товарно-сырьевую биржу, «СПАРК-Интерфакс», Портал открытых данных РФ, сайты Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, «Яндекс», открытые данные социальных сетей, различные данные партнеров и сведения о конкурентах, данные мобильных приложений. И конечно, мы широко охватываем наши внутренние системы.

- Как в рамках проекта выстроена работа с качеством данных?

Система управления качеством данных была выстроена очень серьезно в рамках развития единого BI. Исторически это реактивная система, которая развивалась через разрешение инцидентов с данными (аналог service desk), но она весьма эффективно работала. В 2015 году мы создали выделенную функцию по качеству данных, за 4 года выросшую в подразделение из семи человек, чьей задачей было системно не допускать повторных ошибок. Эти специалисты формализовывали причины появления дефектов данных и формировали запросы на доработку систем-источников или BI-инструментов. Поскольку BI-система интегрировала все ключевые данные в контуре ДРП, выполняла массовое устранение причин дефектов в данных через решение ежедневных обращений от сотен сотрудников, большой эффект распространялся на все системы и в целом на культуру работы с данными в контуре всех наших подразделений.

Однако, после того как число BI-приложений в парке выросло до нескольких сотен, созданными правилами стало сложно управлять, при доработках для различных заказчиков начали возникать несоответствия в требованиях по качеству данных. Исправить ситуацию помогла идея централизованного каталога правил по качеству данных, чтобы правила можно было видеть в разрезе потоков данных и ключевых наборов данных, витрин или BI-приложений и привязывать к аспектам качества, бизнес-процессам, определять уровень их критичности. Это дает возможность видеть не только существующие правила, но и пробелы в них. Возможные проблемы можно предвидеть еще до их появления — система управления качеством становится проактивной. Чтобы внедрить такую систему, мы при формировании умного озера данных предусмотрели промышленное решение класса Data Quality, охватывающее именно эти функции.

Вследствие этого в подразделении по качеству данных фокус сместился с прошлого на будущее: если раньше все внимание было направлено на устранение причин уже произошедших ошибок в данных, то сейчас — на разработку системы проактивного мониторинга, продумывание и настройку правил по качеству данных, чтобы тем самым избежать ошибок.

- Насколько обязательно для бизнеса использование созданной вами платформы?

На созданной централизованной аналитической инфраструктуре мы реализуем актуальные задачи исходя из бизнес-приоритетов. При таком подходе с течением времени все ключевые данные и аналитические модели окажутся в умном озере данных.

Однако, чтобы наш ресурс не стал «бутылочным горлышком», мы не мешаем создавать в некоторых проектах локальные аналитические решения со своими отдельными командами. Выбор нашей инфраструктуры и нашей внутренней команды — это дело добровольное для бизнес-заказчиков. Мы делаем ставку на то, что завтра эффективность и высокое качество работы нашей команды приведут к полному охвату всех задач и данных ДРП в умном озере данных.

Точно такая же схема работы была во времена BI, когда внутренний Центр компетенций по BI за несколько лет вытеснил всех внешних подрядчиков. Подразделения просто перестали заказывать работы извне, потому что мы смогли очень качественно решать все задачи своими силами.

- Приведите в качестве примера несколько наиболее ярких проектов, реализованных в последнее время.

Первые кейсы включили в себя конвейер обработки транзакций АЗС, расчет сегментов для клиентской аналитики, семантический анализ обратной связи от клиентов в различных каналах, обработку многолетних внешних и внутренних данных о ценах на нефтепродукты. Несмотря на трудности, уже первичное внедрение стало успешным: на текущий момент примерно половина всех аналитических проектов и инициатив ДРП уже реализуется в контуре умного озера данных, план на 2020 год — охватить не менее 75%.

- Можно ли что-то сказать о первых финансовых результатах этих проектов?

Эффект от озера данных нужно считать очень трезво. Пока очевидно лишь то, что мы экономим на интеграции данных для многих проектов, сокращаем время поставки готовых наборов данных для всех будущих проектных и продуктовых команд, а также для задач прототипирования.

Когда мы только пилотировали клиентскую аналитику — расчет сегментов с помощью машинного обучения, — уже первые кейсы, сделанные «на коленке», без всякого озера данных, дали серьезную монетизацию. Возврат клиентов, склонных к оттоку, вырос втрое. Существенное преимущество озера в том, что модели переносятся в более надежную среду, получают надежные инструменты, обеспечивающие качество данных. Поэтому большинство эффектов будет проявляться спустя некоторое время.

- Почему именно сбытовое подразделение компании выступило в авангарде создания умного озера?

В двух других крупнейших бизнес-блоках «Газпром нефти» тоже внедряются озера и аналитические хранилища данных, они сфокусированы на обработке и хранении данных и быстрой разработке и монетизации бизнес-кейсов, но не на Data Governance.

Архитектура smart data lake, которую мы реализуем в ДРП, — самая сложная из всех существующих для работы с большими данными. В Gartner отмечают, что организация, прежде чем к ней прийти, должна сначала внедрить у себя более простые варианты. Мы в блоке ДРП семь лет развивали BI и управление качеством данных, отработали интеграцию множества источников, конвейеры обработки данных, большое число бизнес-кейсов. И два года назад инициировали амбициозный и рискованный эксперимент со smart data lake, потому что у нас и наших бизнес-заказчиков было четкое понимание стратегических преимуществ инструментов Data Governance. Ради этих преимуществ мы потратили и продолжаем тратить большие средства на отладку совместной работы всех компонентов и методологию управления данными в smart data lake, так что наш проект окупится в более долгосрочной перспективе.

Компания воспринимает первые внедрения комплексных систем управления данными в бизнес-блоках вполне лояльно: разнородность подходов расценивается как некое соревнование, апробация разных идей и технологий. Внутри компании мы организовываем дни открытых дверей, внутренние конференции с демонстрацией решений, и мы открыты к диалогу.

После двух-трех лет практической эксплуатации озер и аналитических хранилищ данных в блоках можно ожидать появления первых общекорпоративных стандартов, а затем стандартизации на уровне компонент и методологии. В корпоративном центре «Газпром нефти» чуть более года назад появился орган, задача которого — формировать общую стратегию и общие «правила игры» в части Data Governance на уровне всей компании.

- Как будет дальше развиваться платформа данных?

На сегодня у нас все еще остается много нерешенных вопросов. Следующий год будет годом становления внутренней эффективности при разработке аналитических решений со встроенными инструментами управления данными. Один из существенных этапов такого становления — интеграция с имеющейся у нас инфраструктурой DataOps: Kubernetes/Openshift, Jenkins, Gitlab, Jira, Confluence. В результате удастся автоматизировать рабочие процессы инжиниринга данных, тестирования, выпуска релизов и в дальнейшем внедрить SLA — подход «данные как сервис» с гарантированными сроками и параметрами по типовым задачам поставки данных.

Кроме того, важными этапами в развитии культуры работы с данными станут официальное закрепление ролей владельцев данных (data owner) и распорядителей данных (data steward) в бизнес-подразделениях, а также настройка рабочих процессов управления изменениями объектов данных через единый каталог и бизнес-глоссарий.

Цифровая трансформация предприятия зачастую требует радикальной перестройки инфраструктуры с ориентацией на данные реального времени. Об успехах компаний в этом направлении и имеющихся проблемах рассказал Артем Фомин, директор по работе с ключевыми заказчиками OSIsoft в России и странах СНГ, в рамках региональной конференции OSIsoft 2018, посвященной вопросам цифровой трансформации современного предприятия, промышленному Интернету вещей и Индустрии 4.0.

- Про концепцию Real-Time Enterprise говорят уже давно. Каковы реальные успехи компаний в этом направлении?

Действительно, данная концепция обсуждается давно, и многие компании в том или ином виде приняли ее как один из приоритетов на пути к цифровой эффективности. Однако только лишь внедрение новейших цифровых технологий не означает, что эффективность в полной мере будет обеспечена, поскольку такая комплексная задача затрагивает не только технологии, но и персонал, и организацию бизнеса в целом.

Опросы аналитиков показывают, что о полной реализации подобных концепций на промышленных предприятиях заявляют менее 1% респондентов. Наша компания имеет почти сорокалетний практический опыт в этой области, и мы в полной мере понимаем сложности, которые возникают на этом непростом пути. В последнее время даже приходится приглашать в штат выделенных специалистов, чтобы оказывать помощь заказчикам в процессе цифровой трансформации бизнеса на всех этапах.

- С какими сложностями сталкиваются компании при интеграции данных реального времени в озера данных? Каковы их типичные ошибки?

Я бы выделил три основных момента. Во-первых, это необходимость четко понимать задачи, которые нужно решить с помощью озера данных. Все чаще мы видим, что озера данных внедряются ради технологии, а не ради понятной выгоды для бизнеса.

Во-вторых, это отсутствие удобного механизма работы с данными в озере для людей из производства. Дефицит квалификации и невозможность самообслуживания – вот самые главные проблемы здесь.

В-третьих, попытки перепрыгнуть одну или несколько ступеней в эволюции данных, когда озера наполняются сырыми данными, без контекста и смысла.

- Как за последнее время изменились потребности ваших заказчиков и их требования к реализуемым решениям? Каких изменений можно ожидать в обозримом будущем?

Я бы сказал, что заказчик становится более «продвинутым». Привыкнув к удобству многих новых технологий, которые используются в повседневной жизни, руководство компаний с подобными мерками подходит к производственным и бизнес-системам. Например, доступ к системе с любого мобильного устройства в удобном виде становится стандартом де-факто. Бесшовная интеграция с существующими системами планирования ресурсов предприятия и бизнес-аналитики также практически всегда фигурирует в перечне требований.

Мы постоянно анализируем требования заказчиков и вносим соответствующие изменения в продукты. Из последних тенденций стоит отметить движение к так называемому цифровому сообществу, когда максимальная ценность от использования данных рассматривается не в рамках цепочки создания стоимости на отдельно взятом предприятии, а в рамках единой информационной среды, включающей потребителей продукции, поставщиков, партнеров и подрядчиков. Мы видим за этим будущее.

Наряду с социальными сетями, мобильными и облачными технологиями, анализ и связанные с ним технологии обработки данных в цифровой век превратились в одну из главных движущих сил развития бизнеса. К 2017 году многие компании стали подпитываться данными, а не генерировать их, как прежде, а сами данные и средства их анализа на многих предприятиях превратились в главный центр притяжения. В 2018 году технологии обработки данных должны привносить новые ценности. Рассмотрим подходы, роли и проблемы, которые будут сопровождать дальнейшее развитие стратегий анализа данных в нынешнем году.

Озера данных должны продемонстрировать ценность для бизнеса или уйти в небытие

На протяжении многих лет данные в больших объемах накапливались на предприятиях. Интернет вещей еще сильнее ускорил этот процесс, а источники данных из Web переместились в мобильную сферу и на уровень машин.

Гай Чарчуорд, генеральный директор компании DataTorrent, разработавшей платформу потоковой передачи данных в реальном времени, отмечает, что возникла потребность в масштабировании конвейеров данных экономически эффективным способом.

И действительно, многие предприятия, использовавшие технологии наподобие Apache Hadoop, стали создавать озера данных – корпоративные платформы управления данными для хранения всех данных организации в их исходных форматах. Озера данных призваны были ликвидировать информационную разобщенность, предоставив единое хранилище данных в масштабах всей организации, которое можно было бы использовать в самых разных целях, начиная от бизнес-анализа и заканчивая глубинной обработкой данных. Сырые и неуправляемые, озера данных преподносились как панацея и универсальное место сбора информации.

Но если в качестве хранилищ больших объемов данных они эксплуатировались достаточно успешно, то извлекать из этих данных полезные сведения оказалось весьма затруднительно.

«Озера данных идеально подходили для анализа статических данных в пакетном режиме, – поясняет Чарчуорд. – Однако уже в 2015 году стало ясно, что этой архитектурой злоупотребляют, а сегодня она превратилась в настоящую ахиллесову пяту анализа в реальном времени. Когда требовалось сразу проанализировать только что размещенные данные, это вызывало значительные неудобства. При необходимости оперативно получить представление о текущей ситуации и мгновенно принять необходимые меры компании, полагавшиеся на уже устаревшие события, теряли контроль и не имели возможности реагировать нужным образом. И это лишь одна из областей, где “достаточно хорошее” оказалось стратегически фатальным».

Генеральный директор Splice Machine Монте Цвебен поддерживает эту точку зрения: «Hadoop разочаровывает, и этот процесс идет полным ходом. Многие организации, утонув в своих озерах данных, не могут получить желаемой отдачи из-за сложности неповоротливого вычислительного механизма Hadoop».

«Чтобы выжить в 2018 году, озера данных должны доказать свою ценность для бизнеса», – подчеркнул Кен Хоанг, вице-президент по стратегии и формированию союзов компании Alation, занимающейся каталогами данных: «Новые свалки – озера данных – в последние несколько лет прошли этап экспериментального развертывания, и их ждет постепенная ликвидация, если они не докажут свою ценность. Отличительной чертой успешного озера данных является каталог предприятия, позволяющий совмещать обнаружение информации, искусственный интеллект и информационное обслуживание и помогающий по-новому взглянуть на проблемы бизнеса».

Впрочем, для озер данных еще не все потеряно. Озера данных и другие крупные центры данных могут обрести новую жизнь в так называемых суперцентрах, предлагающих «контекст в качестве сервиса» благодаря использованию методов машинного обучения.

«Развертывание в последние 25 лет крупных центров данных (хранилищ данных, систем управления основными данными, озер данных, сервисов Salesforce и систем ERP) привело к еще большей разобщенности данных. Кроме того, затруднились их понимание, поиск связей и совместное использование, – подчеркнул Хоанг. – Центр, объединяющий другие центры, позволит связать их активы и предоставить контекст в качестве сервиса. А это, в свою очередь, обеспечит еще более мощные и релевантные результаты прогнозирования, которые помогут бизнесу».

Главный архитектор приложений MapR Тед Даннинг предсказывает аналогичный сдвиг: «Когда системы больших данных превратятся в главный центр хранения, доступа и выполнения операций, организации смогут выстроить глобальную структуру данных, предоставляющую исчерпывающий доступ к данным, полученным из множества различных источников, и к вычислениям в действительно многопользовательских системах. Все больше и больше компаний будут рассматривать вычислительные системы с точки зрения потоков данных, а не просто данных, которые только обрабатываются и помещаются в БД. Эти потоки данных охватывают ключевые события бизнеса и отражают его структуру. Объединенная структура данных станет основой для построения таких крупномасштабных потоковых систем».

По мнению Лэнгли Айде, директора по стратегии компании Alteryx, занимающейся анализом данных на условиях самообслуживания, руководители ИТ-служб – не единственные, кто отвечает за извлечение ценностей из озер данных. Ответственность за это в 2018 году будут нести также производственные аналитики и директора по цифровым технологиям.

Большинство аналитиков так и не воспользовались огромными объемами неструктурированных ресурсов (данными о перемещениях, данными Интернета вещей, данными системных журналов и т. д.), которыми наводнены их озера данных. Такая ситуация возникла главным образом потому, что сделать это довольно сложно. Но, честно говоря, аналитики плохо выполняют свою работу, если оставляют эти данные нетронутыми. Многие озера данных остаются неэффективными активами – люди не знают, что там находится, как получить доступ и как извлечь из этих данных полезную информацию. В 2018 году положение дел изменится, поскольку от озер данных хотят получать более высокую отдачу.

По прогнозам Айде, в 2018 году аналитики заменят инструменты «грубой силы» наподобие Excel и SQL технологиями с более высоким уровнем программирования – в частности, каталогизацией данных, которая позволит извлекать из данных добавочную информацию и получать дополнительные ценности.

Возрастание роли директора по цифровым технологиям

В условиях нового толчка к проникновению вглубь данных, в 2018 году директор по цифровым технологиям в полной мере вступит в свои права.

«По сути, данные – это новая нефть. И директор по цифровым технологиям становится фигурой, вокруг которой вращается одна из наиболее важных проблем современных предприятий – извлечение ценностей из данных, – указал Айде. – Зачастую при бюджете менее 10 млн долл. одной из главных задач директора по цифровым технологиям становится превращение широко разрекламированной возможности самообслуживания в реальность за счет переноса корпоративных источников данных ближе к бизнес-пользователям. В 2018 году директор по цифровым технологиям начнет отходить от централизованных функций, а необходимость расширить возможности бизнес-пользователей в конечном итоге приведет к увеличению бюджетов».

Директора по цифровым технологиям, обладающие необходимыми ресурсами, навыками и функционалом, организуют быструю передачу передового опыта из центров компетенции бизнес-пользователям. И ключевую роль в этом сыграют платформы и методологии гибкой разработки.

Появление кураторов данных

Согласно прогнозам Томера Ширана, генерального директора аналитического стартапа Dremio, возглавляющего проект с открытым кодом Apache Arrow, в ближайшее время предприятиям потребуется новая роль куратора данных.

Куратор данных занимает промежуточное положение между потребителями данных (аналитиками и исследователями данных, использующими инструменты Tableau и Python для получения ответов на важные вопросы с помощью данных) и инженерами данных (людьми, которые перемещают данные между системами и преобразуют их посредством скриптовых языков Spark, Hive и MapReduce). Кураторы данных должны понимать значимость данных и применимые к ним технологии.

Куратор данных отвечает за понимание типов анализа, которые должны выполняться различными подразделениями организации, знать, какие наборы данных лучше подходят для этой работы и что необходимо предпринять, чтобы перевести данные из их исходного состояния в форму, которая нужна потребителю данных для выполнения им своей работы. Куратор данных использует различные системы, в том числе платформы самообслуживания, когда требуется ускорить сквозной процесс предоставления потребителям доступа к необходимым им наборам данных, исключив при этом их бесконечное копирование.

Стратегии управления данными станут ключевым вопросом для всех руководителей высшего звена

Общий регламент защиты данных (General Data Protection Regulation, GDPR) Европейского союза вступает в силу 25 мая 2018 года, однако далеко не все предприятия к этому готовы.

«GDPR будет применяться всеми государствами Европейского союза и радикально изменит подход компаний к сбору и обработке данных о гражданах ЕС, – пояснили юристы Global Privacy + Data Security Group компании Morrison & Foerster Мириам Вугмайстер, Локке Мерель и Джон Карлин. – Компании, ранее полагавшиеся на получение согласия для выполнения всех своих операций, больше не смогут делать этого. Им придется действовать на основе другой юридической базы (например, договорной необходимости и законного интереса). Организациям необходимо внедрять совершенно новую систему уведомлений и получения согласия».

Потенциальные штрафы GDPR весьма велики: административные штрафы могут достигать 20 млн евро или 4% общего годового оборота.

«Когда над миром нависла проблема 2000 года, все рассуждали о вероятностях и о том, придется им с ней столкнуться или нет, – заметил технический директор компании Hortonworks Скотт Гнау. – Сегодня едва ли кто-то в полной мере готов во всеоружии встретить вступление GDPR в силу. Многие компании полагаются на директора по безопасности, который должен определить правила, системы и прочие параметры, способные помочь глобальному интегратору выбрать оптимальный план действий. Ждать индивидуального подхода к каждому отдельно взятому клиенту просто нереалистично».

«Выполнение предписаний GDPR требует от руководства информированности, готовности и поддержания связей со всеми элементами организации, – указал Гнау. – Компаниям необходимо улучшить управление своими данными. Но крупные взломы – например, взлом бюро кредитных историй Equifax, о котором стало известно в 2017 году, – говорят о том, что предприятиям приходится искать баланс между предоставлением своим сотрудникам самостоятельного доступа к данным и защитой тех же самых данных от потенциальных угроз. В 2018 году управление данными станет одной из основных тем в повестке дня любой организации. Ключевой целью должна стать разработка системы, которая уравновешивала бы потребность в данных, доступе и анализе на условиях самообслуживания с регулирующими мерами. Путь, который мы изберем при проектировании архитектуры безопасности данных, отразится на каждом – клиентах в США и за границей, СМИ, ваших партнерах и т. д.».

Закари Босин, директор по маркетингу решений компании Veritas Technologies, специализирующейся на управлении данными в различных облаках, считает, что именно американская компания станет одним из первых кандидатов на штраф за несоблюдение GDPR: «Несмотря на приближающийся срок, только 31% организаций, опрошенных Veritas, заявили о выполнении требований GDPR. Штрафы будут очень высоки, а регулирование затронет каждую компанию, имеющую дело с гражданами стран Европейского союза».

Улучшение управления метаданными

Конечно, одним только GDPR дело не ограничивается. Поток данных продолжает расти, и правительства вводят все новые правила регулирования. Сотрудники организаций имеют сейчас больший доступ к данным, чем когда-либо прежде. Все это повышает важность управления данными, а также их качества, интеграции и управления метаданными.

«Необходимость улучшить управление метаданными и обеспечить конфиденциальность данных, в том числе и на основе GDPR, логично дополнит уже сформировавшиеся тенденции развития искусственного интеллекта и Интернета вещей, – подчеркнула старший вице-президент по управлению продуктами компании Infogix Эмили Вашингтон. – Предприятиям все чаще приходится искать способы оптимизации своего технологического стека, если они хотят успешно использовать большие данные и средства анализа, чтобы улучшить клиентское восприятие, достичь бизнес-целей, получить конкурентные преимущества и в конечном итоге занять лидирующие позиции на рынке».

Понадобятся гибкие, интегрированные инструменты, позволяющие пользователям быстро принимать данные, готовить их, анализировать и управлять ими. Управление метаданными будет иметь важное значение для поддержки управления данными, соблюдения действующих норм и выработки требований к управлению данными в корпоративной среде.

Повышение качества данных с помощью прогнозного анализа

По мере того как проекты, связанные с данными, переходят в производственную среду, качество данных вызывает все более серьезное беспокойство. Особенно в условиях, когда Интернет вещей открывает шлюзы их масштабным потокам. В 2018 году организации начнут активно обращаться к алгоритмам машинного обучения для обнаружения аномалий в качестве данных. Используя исторические шаблоны для прогнозирования будущих результатов качества данных, предприятия смогут динамически выявлять аномалии, которые прежде остались бы незамеченными или обнаружились с помощью ручного вмешательства гораздо позже.

В условиях, когда все больше данных генерируется техническими средствами Интернета вещей, усложняется и управление ими. Полная прозрачность ресурсов данных компании будет иметь важнейшее значение для успешной реализации аналитических инициатив, адресации управления данными и нуждами конфиденциальности, монетизации ресурсов данных и решения других задач, которые будут стоять перед организациями в 2018 году.

– Thor Olavsrud. 6 data analytics trends that will dominate 2018. CIO. MAR 15, 2018

На протяжении многих лет организации, вдохновленные технологиями наподобие Apache Hadoop, искали пути построения озер данных – платформ управления данными в масштабах предприятия, которые позволили бы хранить корпоративную информацию в исходном формате. Озера данных помогали избежать разобщенности, формируя для всей организации единое хранилище данных, используемое в самых разных целях – начиная от поиска и выборки необходимой информации и заканчивая бизнес-анализом. Озера данных служили вместилищем сведений самого разного толка и средством на все случаи жизни.

Но, как рассказал технический директор компании Pyramid Analytics по бизнес-анализу Ави Перес, у многих его клиентов озера данных очень быстро превращались в болота – масштабную свалку, совершенно непригодную для конечных пользователей.

По словам Переса, базы данных обходятся предприятиям слишком дорого. Существующие источники и генераторы данных порождают огромные объемы информации, которую нужно где-то хранить. Озеро же данных дает фундаментальный ответ, помогающий справиться с решением этой задачи. Озера данных и все инициативы Больших Данных имеют, по сути, одну цель, формируя соответствующий рынок.

Но если некоторые наиболее успешные компании (в первую очередь Google) выстраивают на основе озер данных свой бизнес, то другие собирают информацию, не имея четкого представления о том, какую выгоду из нее можно извлечь.

«Они просто накапливают мусор, который в конечном итоге будет выброшен, – пояснил Перес. – Бюджеты, выделяемые на дорогостоящее хранение огромных объемов данных, не приносящих никакой пользы, начинают сокращаться».

Нельзя сказать, что идея, положенная в основу озер данных, плоха. Перес убежден в том, что рано или поздно все компании будут испытывать потребность в таких хранилищах. Но проектирование озер данных, к которым реально смогут обращаться конечные пользователи, требует серьезного продумывания.

Чтобы не утонуть в своем собственном озере данных, Перес рекомендует придерживаться трех основополагающих принципов.

1. Собирайте поменьше данных, по крайней мере на начальном этапе

Одна из главных ошибок организаций – это сбор слишком большого количества данных просто в силу наличия такой возможности.

Взгляните на свой смартфон. Почти наверняка в нем хранятся сотни самых разных фотографий. «В конце концов в телефоне накопится несметное число снимков, причем 99% из них представляют собой мусор, с которым можно расстаться без всякого сожаления, – заметил Перес. – А объясняется все тем, что делать фотографии при помощи телефона очень легко, и обходится это практически бесплатно. Вы, наверное, утешаете себя тем, что в один прекрасный день соберетесь с духом и все почистите, но день этот почему-то никак не наступает». И когда вам захочется показать кому-нибудь какую-то конкретную фотографию, искать ее придется среди большого количества мусора.

То же самое происходит и с озерами данных. Хранение данных в Hadoop обходится так дешево, что многие зачастую считают его бесплатным. Однако накапливающиеся объемы информации затрудняют доступ к ней и извлечение действительно полезных сведений.

Для того чтобы избежать этого, достаточно просто «перекрыть кран». Исходите из того, что дешевизна сбора данных не обязательно означает дешевизну их использования. На самом деле затраты могут оказаться достаточно велики. Прекратите собирать информацию отовсюду и постоянно. Сосредоточьтесь на наборе данных, в отношении которого у вас имеется конкретный план.

2. Внедряйте машинное обучение

Но даже при наличии набора данных с конкретной ориентацией, если его объем достаточно велик, работа с ним требует автоматизации.

Вам понадобится автоматизированная система анализа. Искусственный интеллект, машинное обучение, глубинное обучение – какой бы термин вы ни использовали, речь идет о волшебном решении, которое поможет вам справиться со своей информацией. И самым простым способом извлечь ценности из огромного 5-петабайтного озера будет построение системы обучения на основе имеющихся данных.

Для начала возьмите набор данных, который вы хорошо знаете, и подберите для него технологию машинного обучения. Чтобы решить эту задачу, вам, очевидно, потребуется переподготовить уже имеющихся сотрудников или привлечь специалистов со стороны. Машинное обучение – это настоящая черная магия. Внедрить такую систему нелегко. Вам понадобятся весьма специфичные знания.

3. Составляйте список задач

Нужно четко определить для себя бизнес-задачи, которые вы будете пытаться решить. Исходя из поставленных целей, относительно несложно сконцентрироваться на сборе необходимых данных и выборе наилучшей технологии машинного обучения, чтобы проанализировать эти данные.

Допустим, вы представляете крупную розничную сеть и хотите понять, какие покупатели приходят в ваши магазины. Фотографии клиентов можно делать на входе, после чего использовать для обработки полученных изображений сложную нейронную сеть (convoluted neural network, CNN) – разновидность нейронной сети глубинного обучения, прекрасно справляющейся с решением задач компьютерного зрения. CNN способна определять, мужчина изображен на снимке или женщина, ребенок или взрослый, регистрировать одновременно ребенка и взрослого, молодого человека и пожилого и т. д.

После того как вышеперечисленное сделано, увяжите это со своей бизнес-инициативой и предоставьте соответствующие возможности своим бизнес-пользователям. Это поможет вам сформулировать для себя текущие задачи. Нужно, например, акцентировать маркетинговые усилия на привлечении мужчин, потому что в магазины приходит мало мужчин. Необходимо заранее выработать четкую стратегию. В противном случае растущая коллекция фотографий будет только мешать оптимизации бизнес-процессов.

Выстраивая функционал с прицелом на конкретную инициативу, можно постепенно совершенствовать его и предлагать бизнесу еще более акцентированные решения. Определив, например, кто заходит в магазин, на следующем этапе вы можете использовать те же самые функции для определения того, кто проходит мимо прилавков с косметикой.

– Thor Olavsrud. 3 keys to keep your data lake from becoming a data swamp. CIO. JUN 8, 2017

Большие Данные – с этим явлением компания сталкивается, когда поток входящих данных превосходит ее технические возможности по обработке и извлечению полезной информации, а сложность ландшафта превышает возможности технологий по быстрому сбору данных», – высказал мнение Дмитрий Первухин, начальник управления технологий сбора и хранения данных ВТБ24, выступая на форуме BIG DATA 2017, организованном издательством «Открытые системы». В этом случае бесполезно говорить о наращивании мощности, применении каких-либо новых инструментов. Необходимо кардинально менять мировоззрение и тематический подход.

Начальник управления технологий сбора и хранения данных ВТБ24 Дмитрий Первухин: «Технология озер данных позволяет быстро проводить натурные эксперименты с данными. При этом стоимость эксперимента стремится к нулю»

Когда компания «захлебывается» данными, у нее возникают проблемы. Главная – это очень высокая стоимость владения информацией при ее крайне низкой пользе. Чтобы представить эту информацию потребителю, нужно сначала ее извлечь, обработать, обеспечить качество данных, развернуть мощные аппаратные комплексы корпоративного класса, стоимость которых начинается от 30 тыс. долл. за 1 Тбайт. Проекты требуют космических затрат, а пользы от этих данных, как правило, очень мало. Зачастую речь идет об элементарных управленческих отчетах.

Поскольку данные хранятся в разных источниках, различных форматах и между собой никак не согласованы, они недоступны для анализа и моделирования, позволяющих использовать их в процессах прогнозирования и скоринга. Дополнительная проблема – крайне длительное время вывода продуктов на рынок. Разработка внутри банка, интеграция источников, включение их в технологические процессы могут занимать от нескольких месяцев до нескольких лет. Борьба за качество данных превращается в бесконечный и бесперспективный процесс, который обычно ничем не заканчивается.

Data Science – это эксперименты

«Большие Данные» вовсе не означают «много данных». Сама философия Больших Данных предлагает осознать, что «много» – понятие относительное.

«Например, мы работаем с корпоративным хранилищем на платформе Teradata размером 140 Тбайт, но телеком-операторов эти объемы не впечатлят, а есть много других банков, для которых даже этот объем – недостижимая величина», – рассказывает Первухин. Вопрос именно в том, успевает ли организация обрабатывать эти данные, получить от них пользу или они просто занимают место в хранилище. Если с обработкой данных проблем не возникает, то можно продолжать работать по-прежнему, а если сложности появляются, то надо брать на вооружение подходы Больших Данных.

Большие Данные – это набор технологий и методов математической статистики, позволяющий в многообразии данных получить статистически значимые результаты. Все остальное решается стандартными методами. Когда данных становится слишком много, приходится переходить к статистике, обрабатывать ее и получать тенденции, которые можно применять к тем или иным процессам.

К сожалению, использование Больших Данных сильно связано с человеческим фактором. В этом деле многое зависит от знаний имеющихся экспертов, нужны люди, знающие структуру данных компании и способные на основе своих знаний решать определенные аналитические задачи. Эти люди постепенно превращаются в айтишников, заточенных на выполнение конкретных бизнес-функций и превращающих данные в полезную информацию. Простые ИТ-специалисты не владеют бизнес-контекстом в достаточном объеме для решения таких задач.

«Data Science – это всегда эксперимент. Мы хотим сначала посмотреть на данные, оценить их качество и пользу, после чего принимаем решение об их промышленном использовании», – отмечает Первухин.

Расширение, но не замена

Использование Больших Данных требует централизации, построения организованного процесса по сбору и структурированию информации. Есть компании, в которых создают целые службы по управлению данными и их качеством. Зачастую это вполне оправданно: надо осознать, где какие данные лежат, как они могут использоваться. При работе с Большими Данными приходится прибегать к технологии озер данных, когда источник данных становится распределенным.

«Стремление впихнуть все данные в единое хранилище не закончится ничем хорошим. Объем появляющихся данных растет гораздо быстрее, чем способность ИТ дорабатывать техническую часть, обеспечивая попадание данных в хранилище и реальное их использование аналитиками», – объясняет Первухин.

Вместе с тем Большие Данные – это набор технологий, расширяющий, но отнюдь не заменяющий существующие решения. Например, инструмент Hadoop – всего лишь один из способов распределенного хранения данных с определенным образом структурирования. Он удешевляет хранение и позволяет построить аналитическую фабрику, в рамках которой возможно использование инструментов аналитики для построения моделей и проверки предположений. Конечно, это хранилище данных может использоваться в самых разных задачах – от отчетности до расчета кешбэка по операциям клиента, однако такая система в силу распределенности данных не может обеспечить пользователя отчетностью так оперативно, как ему это требуется. Поэтому правильнее применять традиционные решения.

Большие Данные – это набор технологий и методов математической статистики, позволяющий в многообразии данных получить статистически значимые результаты

«Песочница» для аналитиков

«В начале 2014 года коллеги из департамента рисков предложили создать модель, помогающую оценить, как изменения в кредитной политике влияют на бизнес-результаты, – рассказывает Первухин историю создания в ВТБ24 озера данных. – Они предлагали для анализа эффективности кредитной стратегии использовать логи кредитного конвейера». Речь шла об объеме данных из каждой системы 5-10 Тбайт в год (таких систем было семь), выкладывать такой объем в существовавшее хранилище Teradata было долго и дорого.

На одной из конференций специалисты банка заинтересовались платформой Hadoop в реализации Cloudera и начали создавать решение на ее основе. Первыми опытами заказчики остались недовольны: доля информации, полезной для решения их задач, не превышала 5%. Они начали экспериментировать, добавлять в хранилище внешние источники данных, проверяя их ценность, – Пенсионный фонд и другие источники. И, несмотря на то что первый блин вышел комом, вскоре выяснилось, что в результате банк получил весьма ценный своей гибкостью и скоростью разработки инструмент.

«Выяснилось, что технология озер данных позволяет быстро проводить натурные эксперименты с данными. Взять данные из источника, добавить их к имеющимся, проверить гипотезу силами одного аналитика. Стоимость эксперимента стремится к нулю», – подчеркивает Первухин. В случае успешного эксперимента принимается решение о дальнейшем использовании данных с помощью промышленных аналитических инструментов.

Когда источник данных становится распределенным, приходится прибегать к технологии озер данных

В Hadoop полностью копируются данные хранилища; кроме того, там располагаются данные для моделирования, а также «бизнес-песочница» – место, куда пользователи сами выкладывают данные из доступных источников, в том числе внешних. Объем озера данных на данный момент составляет 288 Тбайт на 12 узлах.

«Когда подсчитали, во что обойдется такой же комплекс для экспериментов с данными на решениях корпоративного класса, оказалось, что потребовалось бы от 3,5 до 6,5 млн долл. Hadoop позволил обойтись суммой в 500 тыс. долл.», – отмечает Первухин.

За год работы «аналитической фабрики», по самым скромным оценкам, было получено 1,2 млрд долл. дополнительных доходов, а продажи увеличились на 30 млрд руб. Этого удалось добиться главным образом благодаря точной настройке рисковых моделей – в особенности поведенческих моделей клиентов, на основе которых рассчитывается вероятность дефолта. Если же говорить о моделях, направленных на борьбу с мошенничеством, то эффект от снижения числа операций, ошибочно попадающих в разряд рискованных, посчитать сложнее, но он тоже очень серьезен. К тому же за счет более точной сегментации клиентов на 7% увеличился отклик в маркетинговых кампаниях, и на 5% – средний чек.

Именно благодаря технологиям Больших Данных удалось достичь большей точности, учесть в моделях большее количество факторов. Многократно проводя расчеты, эксперты отбирали действительно наиболее значимые из них.