Внедрение «Платформы данных и глубокой аналитики» для групп «Уралхим» и «Уралкалий» является одним из этапов стратегии цифровой трансформации. Цель этого проекта — создание экосистемы данных, которая обеспечивает их сбор, обработку и хранение с целью поддержания бизнес-инициатив в части цифровизации, создания цифровых двойников и прогнозной аналитики для процессов и активов компании. О реализации проекта рассказывает Дмитрий Шведов, заместитель руководителя департамента цифровизации компании «Уралхим» и номинант на премию Data Award.
— Когда и почему был начат проект «Платформа данных и глубокой аналитики»?
«Уралхим» — большая производственная структура, где специалисты из множества подразделений постоянно занимаются расчетами и анализом информации. Каждый день коллегам поступают просьбы предоставить текущие данные по произведенной продукции, маржинальности, издержкам, подготовить финансовые сводки по проектам, ключевым финансовым показателям и пр. Именно поэтому было принято решение внедрить платформу данных и глубокой аналитики — чтобы снизить участие человека в процессе, сократить время коммуникации, необходимое для процесса «вопрос — обработка — ответ», и предоставить необходимую информацию в нужное время.
— Какие цели преследовало создание платформы? Какие проблемы были самыми острыми?
В первую очередь проект позволяет обеспечить получение данных из информационных систем благодаря их накоплению в корпоративном хранилище. Создание единой платформы снижает стоимость владения данными за счет того, что теперь их могут «переиспользовать» потребители из разных бизнес-направлений. С помощью компонентов платформы мы решаем задачу учета данных в компании, обеспечиваем их безопасность и защиту. Кроме того, решаем острые проблемы в части управления качеством данных, улучшаем их сопоставимость на базе НСИ, предоставляем корпоративную (интегрируемую) информацию за счет мастер-данных; обеспечиваем качественными корпоративными данными процессы интеграции между информационными системами. Также мы формируем витрины данных для сотрудников компании (для проведения аналитики) и предоставляем наборы данных для создания и обучения цифровых моделей.
— Как вы выбирали подходы? Каким принципам пытались следовать?
Для реализации проекта «Платформа данных и глубокой аналитики» был выбран подход на основе гибридного размещения компонентов платформы данных. Для каждой из подсистем сервисы могут размещаться как в облачной, так и в локальной инфраструктуре, что обеспечивает гибкость при распределении нагрузки и предоставлении сервисов по обработке и хранению данных. При создании платформы мы руководствовались несколькими ключевыми принципами. Например: принцип единого управления данными — реализация сквозного процесса в рамках всех операционных процессов компании; принцип вовлеченности — разработка и внедрение соглашений о качестве данных совместно с владельцами данных. Не менее важен принцип непрерывности: управление данными — это непрерывный процесс, нельзя допускать деградации моделей и структуры данных.
— Какие составляющие включает в себя платформа?
Платформа данных включает в себя подсистему сбора данных на основе экосистемы Apache, подсистему управления и описания данных на основе решений Informatica Axon и Atlassian, подсистему хранения на основе продуктов Microsoft, PostgreSQL и облачных сервисов Sbercloud, а также лабораторию ИИ — Jupyter и Sbercloud ML Space. При выборе решений в первую очередь учитывалась универсальность самих инструментов (возможность использовать их для различных типов и объемов данных) и, конечно, стоимость владения и поддержки инструментов и компонентов платформы. Важно, что компоненты платформы позволили обеспечить самостоятельную работу «гражданских» аналитиков из бизнес-функций. После прохождения обучения в школе аналитики данных они самостоятельно могут подготавливать данные с помощью пользовательских ETL-инструментов и разрабатывать аналитические приложения без участия ИТ-специалистов. А для «продвинутых» бизнес-аналитиков платформа дает возможность обучить простые прогнозные модели на основе накопленных наборов данных.
— Платформа сочетает «традиционную» и облачную части. В чем роль каждой из них, как они взаимодействуют?
Действительно, платформа данных строится на основе тесного взаимодействия облачных сервисов и локальной инфраструктуры. Локальные компоненты отвечают за сбор данных из внутренних информационных систем компании, обеспечивают хранение наиболее чувствительных данных и участвуют в интеграционных процессах компании. Облачные же компоненты позволяют гибко регулировать потребление вычислительных мощностей и использовать сервисы для сложных расчетов больших объемов данных, а также для разработки и обучения цифровых моделей. Кроме того, в облачной инфраструктуре оптимально размещать «холодное» хранилище и исторические данные компании.
— В чем роль этого проекта для компании?
Важно, что в ходе проекта не только создается инфраструктурная часть, но и формируются data-продукты — цифровые модели, такие как прогноз валютного риска, дебиторской и кредиторской задолженностей, роста цен на основании внешних факторов, объема запаса ТМЦ на складах, а также выполняется предиктивная аналитика по валковому прессу и производится автоматическое распределение заявок пользователей на первой линии поддержки. Отдельно можно выделить возможность построения цифровых двойников оборудования на основе исторических данных, что позволит заблаговременно обнаруживать проблемы в работе и оповещать о вероятности поломок оборудования.
— Насколько близко удалось подойти к созданию цифровых двойников? Каковы успехи в этом направлении?
В 2021 году мы подготовили и протестировали девять цифровых моделей, и некоторые из них уже в начале 2022 года были переведены в промышленную эксплуатацию. В 2022 году мы планируем реализовать более 20 пилотов по ключевым бизнес-направлениям «Уралхима».
— Приведите несколько показательных примеров, когда, благодаря построенной платформе данных, был достигнут заметный бизнес-эффект.
Например, благодаря качественным данным из платформы, бизнес-эксперты выявили некорректные данные, поступающие через интеграционную шину информационных систем. Теперь бизнес-функции полностью доверяют данным, накопленным в платформе, и используют ее как независимого «эксперта». При подготовке аналитических записок руководству бизнес-эксперты отмечают быстроту получения необходимой информации из платформы, что ускорило подготовку документов в разы.
— В каком направлении будет развиваться платформа?
В 2022 году мы продолжим работу над аналитическими показателями и постараемся вовлечь в нее еще больше коллег. Кроме того, сосредоточимся на развитии процессов проверки качества данных в корпоративном хранилище данных, а также на разработке прогнозных моделей по нашим ключевым показателям.
