Статьи

HiFi-стриминг Звук решил задачу по автоматическому извлечению и анализу текстов песен. Это важно как с точки зрения фильтрации контента, так и для выдачи рекомендаций пользователям. В чем уникальность проекта, как идет его реализация и каковы первые достигнутые результаты, – рассказывает Дмитрий Берестнев, Chief Data Scientist HiFi-стриминга «Звук» и номинант на премию Data Award.

– Что побудило вас к разработке решения для автоматического извлечения и анализа текстов песен?

Многие пользователи «Звука» любят подпевать любимым трекам, а кто-то даже учит с их помощью иностранные языки, поэтому тексты песен важны. Как и необходимы тексты самому музыкальному стримингу для качественной работы с аудиоконтентом.

С помощью текстов автоматизируются процессы классификации музыки по тематикам и смыслу, происходит фильтрация детского контента и поиск «взрослого» контента. Кроме того, данные, получаемые из текстов, активно используются в рекомендациях. Однако у большей части музыкальных треков нет текстов песен – по статистике, это 60-70%. Причина проста: лейблы и музыканты просто не загружают лирику в стриминги. Поэтому команда «Звука» решила разработать собственное ML-решение для автоматизации извлечения и анализа текстов.

– В чем его уникальность?

На текущий момент на рынке нет готовых открытых решений категории speech2text для распознавания текста из песен. Все, что есть, относительно неплохо работает только с обычной речью. В рамках нашего ML-пайплайна были адаптированы и модернизированы существующие open source решения для работы с музыкой.

– В чем проблемы? Каковы сложности?

Прежде всего, для полноценного ML-обучения недостаточно просто текстов песен (лирики). Требуются точные таймкоды слов – то есть нужна качественная разметка данных. Чаще всего с этим возникает проблема. Кроме того, мы столкнулись с тем, что в открытом доступе нет больших качественных наборов данных (датасетов), на основании которых можно было бы обучить ML-модель. Наконец, нет готовых ML-моделей для распознавания вокала. Причина банальна – нет запроса на такую задачу и, как следствие, низка заинтересованность сообщества, занимающегося вопросами распознавания речи.

– Какой подход вы выбрали для решения задачи?

Мы ориентировались на open source решения OpenAl (разные версии Whisper, построенные на базе архитектуры нейросетей типа Transformer) и Nvidia (NeMo на основе архитектуры Conformer). Они тестировались в рамках серии экспериментов, в которых подбирались гиперпараметры для достижения наилучшего качества транскрибации, измеренного с помощью прокси-метрики WER (Word Error Rate – процент неправильно распознанных слов) на размеченном датасете. В итоге, мы выбрали Whisper V3 c установленным набором гиперпараметров. Также дополнительно исследовалось использование предварительной обработки исходных аудиоданных через детекторы активности голоса (Voice Activity Detectors, VAD) и модели выделения голоса (DEMUGS). Это было необходимо для того, чтобы адаптированный очищенный аудиофайл подавался на вход модели транскрибации для улучшения ее качества работы. После получения результатов в виде распознанного текста тестировалось применение «опечаточников» на основании моделей (типа Т5) и регулярных выражений.

– Какие требования предъявлялись к создаваемому решению?

Нам требовался пайплайн последовательной обработки большого числа аудиофайлов (пакетный режим) с последующим сохранением во внутренние хранилища данных. При этом решение должно хорошо работать и с русским, и с английским языком.

Что касается точности модели, то целевой метрикой являлась экспертная оценка MOS (Mean Opinion Score). Качества получаемой разметки должно быть достаточно для понимания смысла песни.

Кроме того, для оценки качества работы системы мы использовали метрику WER, которая не должна была превышать 30%. Идеальным показателем в распознавании речи на русском языке считается 7,1, но это сильно зависит от датасета. В последнем соревновании по автоматическому распознаванию текста лучшие результаты WER на английском языке составляли от 11,5 до 24,3 для различных датасетов. Исходя из этого, нами был выбран порог успеха в 30%.

Целевая скорость работы модели должна составлять не более 8 секунд на трек.

– Какие данные и платформы были использованы?

Инструментами разработки выступили Python/Pytorch, Airflow, CUDA, ML-flow и Triton Inference Server.

В базе Звука более 70 млн музыкальных треков, из них около половины с вокалом. Порядка 30% уже размечены, однако каждую неделю в базу добавляются еще примерно 150 тыс. треков. Таким образом, обработке подлежат не менее 22 млн треков.

– Что собой представляет созданное решение?

Готовый пайплайн — это полноценный ML-сервис, развернутый в нашем внутреннем кластере Kubernetes. Он в режиме batch-обработки поданного на вход музыкального файла извлекает из него текст и выгружает во внутреннее хранилище данных.

– Какие результаты достигнуты и ожидаются?

На основе экспериментов с 5 тыс. песен в разных жанрах (это 2 тыс. часов песен), мы уже знаем, что лучше всего распознаются слова песен в жанрах Folk, World, Country, Non-music и Jazz. Сложнее – в Metal и Classical.

При этом достигнуты важные показатели: точность распознавания характеризуется метриками WER = 24,5, MOS = 3,665, а скорость работы составляет 3,8 секунды на трек.

– Реально ли оценить финансовый эффект от реализации проекта – например, влияние более качественных рекомендаций?

В ближайшей перспективе мы сможем проверить порядка 22 млн треков на наличие explicit-контента, что повысит разнообразие наших рекомендаций для разных категорий пользователей. Мы рассчитываем на то, что более разнообразный контент положительно скажется на росте клиентской базы и общего времени использования нашего музыкального сервиса (zvuk.com).

– Какую роль играет созданное решение для бизнеса компании?

Проект позволит решить проблему отсутствия текстов песен и их качественной разметки для последующей модерации и фильтрации контента, а это важно для рекомендаций. Кроме того, понимая текст, можно уберечь детей от «взрослого» аудиоконтента.

– В каких направлениях будет развиваться проект?

Мы планируем оптимизировать процесс в части увеличения скорости работы, а также повысить качество распознавания лирики для наиболее сложных категорий музыкального контента – например, музыки в категории Metal. Кроме того, благодаря дополнительно собранным текстам мы будем уточнять и перестраивать наши рекомендательные алгоритмы для повышения их качества. В «Звуке» более 20 различных музыкальных сервисов персональных рекомендаций. Это рекомендации плейлистов дня, новинок, артистов, бесконечные последовательные рекомендации в режиме реального времени, реагирующие на пользовательскую активность и обратную связь для выбора наиболее релевантного музыкального трека («Сила Звука»), бесконечные проигрывания по треку и артисту и многие другие. Дополнительно извлеченная лирика поможет вывести перечисленные сервисы на новый уровень.

«СберФакторинг» собственными силами построил систему управления данными SBF DM. За счет этого компании удалось обеспечить «Единое окно» по работе с данными, упорядочив процессы и повысив их качество. О реализации проекта рассказывает Михаил Пекер, директор по управлению данными «СберФакторинг» и номинант на премию Data Award.

- Что привело к реализации проекта по управлению данными в «СберФакторинг»? В чем заключались проблемы, какова была головная боль бизнеса?

У нас долгое время не было функции по управлению данными. Не было четкого описания, категоризации и разметки данных, понимания, кто ими владеет. В результате появлялись расхождения в терминах, их определениях, в бизнес-сущностях, их составе и связях, возникали ошибки в отчетах. Основные знания и понимание работы систем на уровне базы данных были лишь у определенных экспертов, и они не были централизованы. Следствием этого становились дополнительные трудозатраты сотрудников на поиск необходимой информации, проработку новых задач, а также анализ и устранение проблем. Повышались риски потери экспертизы, а также риски кибербезопасности. А это может быть критично для финансовой компании.

Кроме того, у руководства компании было желание получать дополнительную пользу от уже существующих данных. Эти предпосылки послужили катализатором для построения и развития функции по управлению данными в компании.

В начале 2023 года нам удалось сделать важный шаг для построения в компании функции по управлению данными – создать и внедрить собственную автоматизированную систему Sberfactoring data management (SBF DM). Конечно, это был лишь первый шаг, который требовал развития и реализации целого комплекса организационных и технических мероприятий. На это и была ориентирована наша команда в 2023 году.

- Какой был выбран подход для решения этих проблем?

Определив методологию, на базе которой мы выстраиваем функцию по управлению данными в компании и стратегию развития, мы находились в контакте с заинтересованными сторонами – представителями ИТ- и бизнес-подразделений. Нам было важно учесть специфику бизнеса, существующие процессы и пожелания наших коллег. Поэтому в начале каждого нового этапа развития обсуждали, что планируется сделать, как будет работать новый функционал или процесс, от кого какое участие потребуется, ну и конечно, как это поможет им в решении рабочих задач и какую пользу принесет компании.

- Какие задачи стояли перед проектом?

В рамках проекта предстояло создать набор инструментов и процессов, который был бы удобен сотрудникам компании и позволял решить несколько ключевых задач. Было важно определить категории и разметить данные, разграничить доступ к данным, создать и автоматизировать процесс доступа к данным. Требовалось создать корпоративную модель данных – концептуальную, логическую и физическую модели. Наконец, стремились сократить время поиска и согласования использования необходимых данных, а также снизить риски качества данных, сократить количество инцидентов качества данных.

- Какие требования предъявлялись к будущему решению?

Нам было необходимо не просто охватывать основные области знаний и процессы управления данными, но реально сделать их доступными, понятными и удобными для всех сотрудников компании. Для этого требовалось учитывать специфику деятельности "СберФакторинга", бизнес-процессы компании, а также рекомендации со стороны «Сбера». И конечно, решение должно было укладываться в рамки выделенного бюджета.

- На каких технологиях реализован проект?

Изначально для реализации проекта мы рассматривали несколько очевидных вариантов: покупку существующего на рынке продукта, установку и развитие открытого ПО и разработку решения внутренними ресурсами компании. Проанализировав плюсы и минусы, существующие риски и ограничения по каждому из этих вариантов, было принято решение строить SBF DM внутренними ресурсами компании. Кстати, уже в процессе разработки собственного решения в 2023 году мы дополнительно рассмотрели еще несколько вариантов вендорских решений и открытого ПО, но все равно приходили к выводу, что выбрали верный для себя курс.

Основа системы написана на Python. Это извлечение данных, преобразование и загрузка, а также механизмы взаимодействия с другими автоматизированными системами и базами данных. Для оркестрации, визуализации и поиска необходимой информации мы адаптировали некоторые open source решения – в частности, Airflow и Superset. В конце 2023 года мы добавили еще один компонент – DocHub. Используя его и язык JSONata, нам удалось добиться той наглядности и интерактивности логической модели данных, которую мы с коллегами хотели видеть.

- Каких ресурсов потребовала реализация проекта?

Масштаб проекта оценивается около 9 тыс. человеко-часов. В реализацию были вовлечены представители различных подразделений. Основные ресурсы были выделены со стороны команды ИТ, офиса CDO. Но и представители бизнес-подразделений, а также методологи активно принимали участие на различных этапах. Это позволило добиться наибольшей эффективности при реализации проекта.

- Каких результатов удалось достичь? Чем можно похвастаться?

В течение 2023 года мы активно развивали наш продукт. Проработали и внедрили модели данных, которые помогают избежать расхождений в трактовке и определении бизнес-сущностей. Это, в совокупности с наглядной визуализацией, делает адаптацию новых сотрудников быстрее и проще. Помимо этого, можно выделить несколько количественных показателей. Мы в среднем на 20-25% сократили время поиска данных, которое обычно требуется коллегам при развитии продуктов и процессов. Удалось на 33% снизить количество инцидентов качества данных. Финансовый эффект от автоматизированной разметки и применения ML-модели поиска чувствительных данных составил более 20 млн руб. Кроме того, мы смягчили риски негативного влияния новых релизов на смежные продукты и процессы компании, а также разграничили доступ к данным и автоматизировали процессы согласования и предоставления доступа.

- Что представляет собой решение, какие компоненты оно включает?

SBF DM является комплексным решением, которое позволяет автоматизировать ряд процессов по управлению данными согласно DAMA-DMBoK. Решение включает в себя пять ключевых компонентов.

Во-первых, это бизнес-глоссарий, который позволяет получить информацию об основных для компании терминах, их определениях, статусе, датам ввода в эксплуатацию и изменению, а также владельце. Дополнительно в глоссарий включены наиболее распространенные аббревиатуры, встречающиеся в компании.

Второй компонент – логическая модель данных. Она отображает информацию о бизнес-сущностях компании: основные объекты бизнес-процессов, их взаимосвязи и атрибутный состав, принадлежность к тому или иному бизнес-продукту и автоматизированной системе. Кроме того, она содержит информацию о связи логической модели данных с физической на уровне бизнес-сущность – таблица в базе данных, атрибут – поле в таблице базы данных. Функционал данного модуля системы доступен как в табличном, так и в схематичном виде.

Третья составляющая – реестр (каталог) данных, позволяющий найти информацию о таблицах в базах данных компании и узнать, к каким системам и продуктам они относятся. Также в реестре данных содержится описание этих таблиц и признак их критичности для компании или наличия персональных данных. Реестр позволяет осуществить и более глубокий поиск необходимой информации – на уровне полей таблиц, как по названию полей, так и по описанию.

Еще один важный элемент – реестр отчетов. Он отображает информацию об отчетах компании, их статусах и владельцах, позволяет посмотреть общую статистику в различных разрезах. Также с его помощью можно получить детальную информацию по использованию любого из отчетов по подразделениям и пользователям, работающим с этим отчетом и статистике количества запусков за интересующий период.

Наконец, модель поиска чувствительных данных. Она позволяет получить актуальную информацию о наличии персональных данных (ПДн) физических лиц в таблицах баз данных. Модель анализирует записи в таблицах баз данных и сообщает в случае нахождения, возвращая названия таблиц и сообщая о признаке, по которому она разметила таблицу как содержащую ПДн. Результат работы модели и статистика в различных разрезах выводятся на разработанных для этого дашбордах.

- Как появление SBF DM отразилось на процессах работы с данными?

Появление данного инструмента не только сделало удобнее работу по ряду процессов, таких как управление архитектурой, безопасностью, качеством данных, метаданными, НСИ, но и обеспечило необходимою доступность и централизацию информации в рамках развития функции по управлению данными в «СберФакторинг».

- Как вы намерены бороться за качество данных? Как будете его измерять?

Качество данных – это одно из важнейших направлений, которому уделяется большое внимание в компании. Для его развития мы проводим как технические, так и организационные мероприятия. В рамках технических мероприятий производится разработка самих проверок качества данных, постановка их на мониторинг, подключения каналов информирования ответственных специалистов об отклонениях, и исправления выявленных отклонений. С организационной точки зрения мы формируем требования к качеству данных, договариваемся с владельцами данных о сроках реагирования и устранения отклонений.

В 2023 году мы начали измерять несколько показателей. К примеру, нам удалось сократить количество инцидентов качества данных на 33%, а доступность или «свежесть» данных – от момента их внесения в систему-источник до отображения в отчете – смогли повысить примерно в 2,5 раза. Кроме того, мы добавили автоматические напоминания разработчикам о необходимости описания таблиц там, где оно отсутствует, чтобы четко понимать точки для улучшения. Также мы будем измерять охват и глубину реализации проверок качества данных как на стороне корпоративного хранилища данных, так и на стороне систем-источников данных.

- Каковы планы по развитию платформы управления данными?

Безусловно, мы планируем развивать нашу систему, так как сейчас она является единым окном, через которое сотрудники компании могут получить необходимую информацию о данных, владельцах, терминах, определениях. Мы будем делать ее еще более удобной для пользователей и расширять ее функционал. Среди ближайших шагов, которые мы планируем, – добавить связь физической и логической моделей данных на уровне сервисов взаимодействия автоматизированных систем с бизнес-сущностями и процессами, а также реализовать модуль качества данных, чтобы перевести существующие процессы по данному направлению в нашу систему.

Помимо внутренних пользователей, наш опыт и инструменты оказались интересны и коллегам из других компаний. Учитывая этот интерес, наша команда совместно с командой Центра технологического консалтинга «Сбера» организовала демонстрационный стенд, на котором развернули SBF DM и наполнили синтетическими данными. Доступ к демостенду предоставляется по запросу. Таким образом, коллеги могут не только посмотреть демо в рамках видеоконференции или на очной встрече, но и самостоятельно познакомиться поближе с функционалом и возможностями нашей системы в любое удобное для себя время.

Выявление новых рынков, перспективных технологий и методов их использования в условиях переизбытка информации тоже требуют подхода на основе данных. Принятие стратегических решений является критически важным процессом, где стоимость ошибки крайне высока. Автоматизировать работу аналитиков для решения части этих задач позволяет платформа TeqViser. О ее создании рассказывает Тимур Меджидов, руководитель департамента управления проектами «Айкумен ИБС» (ДЗО ПАО «Ростелеком») и номинант на премию Data Award.

- Какова история создания проекта TeqViser?

Изначально проект создавался в 2016 году как инструмент помощи аналитикам внутренних институтов «Ростелекома». Мы хотели перейти на data-driven подход для принятия стратегических решений, которые были бы в будущем основаны на данных. Для этого нам нужна была некая база знаний про все технологии. Мы выбрали источники, которые считали качественными и полезными – это научные статьи, патенты, данные по инвестициям, публикации отраслевых СМИ. При помощи сильного лингвистического аппарата, развитых механизмов обработки данных и других технологий мы объединили данные, которые казались нам интересными, и создали инструмент для их анализа при помощи алгоритмов обработки естественного языка и технологий искусственного интеллекта. Этот инструмент позволил нам начать принимать те или иные стратегические решения на качественно новом уровне. Так появился TeqViser.

- Какие задачи он призван решать?

Очень важна задача приоритизации технологий для инвестирования, создания новых продуктов, услуг, сервисов. Даже такая большая компания, как Ростелеком, не может заниматься всем – необходимо расставлять приоритеты. С помощью платформы TeqViser мы анализируем более 120 различных технологий и выбираем наиболее приоритетные для нас направления. Определив, например, Топ-10 наиболее перспективных технологий в какой-то сфере, компания может считать их стратегическими и работать над их внедрением.

Результаты анализа TeqViser могут применяться в венчурных фондах, продуктовых офисах, R&D-центрах и так далее. Это первый класс задач, когда компания пытается определить, на каких направлениях стоит сфокусироваться. Второе направление – разного рода бенчмаркинги, когда компания сравнивает себя с конкурентами, ведет конкурентную разведку, в том числе в отношении международных компаний.

Также с помощью платформы мы ищем так называемые «слабые сигналы». Слабые технологические сигналы – это те технологии, которые только зарождаются. И чем раньше удастся найти перспективную технологию, инвестировать в нее на ранней стадии, тем больше выгоды компания получит в будущем. Многие компании пытаются найти эти слабые сигналы, используя различные инструменты. Мы делаем это в том числе с использованием платформы TeqViser, которую создали специально для этих задач, основываясь на широкой накопленной экспертизе.

Наконец, можно исследовать кейсы применения технологий. С помощью платформы мы можем понимать, что происходит в науке, что выделяется из общего ряда, какой стартап «выстрелил». Мы собираем эту информацию и анализируем с помощью аналитиков. Это позволяет найти стартапы для инвестирования, открыть R&D-центр под какую-то технологию для более глубокого исследования и т.д.

- Почему это важно?

Задача технологического прогнозирования в целом не решена человечеством, но наша платформа существенно приближает его к этой цели. Таких систем в мире мало – можно на пальцах пересчитать. В России инструменты для качественного анализа технологий предоставляет только TeqViser. Хороший анализ, мы надеемся, приводит к хорошим решениям, а дальше – и к прибыли для компаний.

- Какие принципы заложены в платформу?

Мы собрали все данные, которые считаем качественными. У нас больше 100 млн разных материалов. Мы разработали поисковый движок, благодаря которому можем осуществлять поиск во всем этом массиве. Мы можем делать разные виды графики, дашборды, грамотно визуализировать данные, что облегчает аналитику и помогает лицам, принимающим решения. Также у нас есть инструменты машинного обучения, которые помогают делать сложные вещи – например, кластеризацию, перевод. И сейчас мы добавляем чат, который еще больше упростит жизнь наших пользователей.

- Какой математический аппарат используется?

В платформе широко используются различные математические модели, в том числе с применением нейросетевых алгоритмов. Например, это комбинация лингвистических и статистических методов обработки текстовой информации для выявления трендов, методы машинной очистки и нормализации текстовой информации для работы с именованными сущностями, методы многомерной кластеризации текстовых документов, построение семантических векторов документов. Конечно, применяются алгоритмы OLAP и машинного перевода документов с иностранных языков.

- Что собой представляет платформа TeqViser? Как она работает?

Это система, которая позволяет находить и исследовать технологии. С помощью роботов она собирает данные из открытых информационных источников, а посредством предоставляемого API собирает данные из закрытых баз данных. Данные могут представлять собой научные публикации, новости о технологиях, патенты и инвестиции. Они проходят семантический анализ, после чего становятся доступными для поиска, прочтения и работы с ними – например, построения различных аналитических виджетов.

- Каков портрет типичного клиента? Кто заинтересован в подобных решениях?

Это крупные компании, которые хотят проводить собственные исследования и делать прогнозы на данных. Пока только они озадачиваются необходимостью использовать такого рода инструменты. Внутри компаний пользователи – это инновационные центры, директора по инновациям, инвестиционные аналитики. По отраслям ограничений нет.

- Что является результатом использования платформы для заказчика?

Результатом являются приоритетные для развития технологии, кейсы применения технологий, анализ конкурентов, их технологического стека, на основании которых принимаются стратегически важные решения для компании.

- Какие результаты могут достигаться?

Если глобально, то это создание новых направлений бизнеса, принятие решений об инвестировании в технологически новые направления. Например, для Ростелекома это может исчисляться миллиардами и десятками миллиардов рублей, как и для любой большой компании. Также есть побочный эффект – экономия бюджета аналитической команды, поскольку использование TeqViser заменяет работу аналитиков начального уровня и оптимизирует работу экспертов.

- Приведите примеры.

Например, в Ростелекоме были созданы офисы индустриального интернета и запуск направления квантовых технологий. Еще помогали заказчикам наполнять воронку кейсов применения, которые они дальше пилотировали, совершали покупку стартапов, внедряли в свою деятельность новые бизнес-процессы, находили новые сферы применения в существующих технологиях.

- Реально ли в этом случае оценить экономический эффект?

Здесь оценить эффект от технологий можно несколькими способами: это либо экономия, либо получение дохода, либо наращивание капитализации. Понятно, что эффект этот косвенный, и стоит еще учитывать упущенную выгоду.

Условно говоря, мы начали заниматься квантовыми технологиями. Сейчас это не монетизируется, но на горизонте пяти лет можно ожидать появление рынка в несколько десятков миллиардов рублей, и мы займем на нем какую-то долю. Тогда эффект может исчисляться миллиардами и десятками миллиардов рублей. Компания, которую «Ростелеком» в прошлом купил, основываясь на анализе в TeqViser, сейчас приносит около 20 млрд руб. выручки.

- Какие аргументы могут убедить руководителя компании инвестировать в подобные решения?

Многие, наверное, слышали про компанию Theranos, которая пыталась определять все болезни на свете по капле крови, но это ни к чему не привело. В итоге основательницу компании посадили, а Netflix снял про это фильм. Это был хайповый проект, в который много кто проинвестировал, но за этим не стояло научной составляющей. И если проанализировать науку и патенты, то, скорее всего, будет видно, что по капле крови просто невозможно определить все болезни, и риски инвестиций огромны.

Примерно то же самое мы доказываем про технологии NFT. На наших данных видно, что это спекулятивная технология, что за ней не стоит ни наука, ни патенты, она подвержена спекулятивным механизмам. То есть в нее мы не рекомендуем инвестировать, потому что завтра этот пузырь может лопнуть. Собственно, так и происходит.

То есть, обычно мы показываем на каких-то примерах, которые релевантны заказчику, что он может получить с использованием результатов TeqViser и без них.

- В каком направлении будет развиваться платформа?

Мы будем развивать систему, подключать еще большее количество данных, учиться работать с новыми языками. Второе направление – это все, что связано с алгоритмами: нейросетями и искусственным интеллектом. Продолжим совершенствовать алгоритмы и делать всю нашу аналитику эффективнее и проще для пользователя. Наша задача – снизить порог входа в систему, чтобы пользователи могли достигать тех результатов, которые они хотят, не обладая обширной экспертизой.

«Северсталь» разработала комплекс моделей машинного обучения для линии окомкования окатышей. Система, внедренная на «Карельском окатыше», автоматически управляет скоростью вращения оборудования и выдает рекомендации по дозировке железорудного концентрата, что позволяет повысить производительность агрегата с сохранением качества продукции. При создании решения для повышения устойчивости и качества использовались некоторые элементы физически информированного машинного обучения (Physics Informed ML). Решение стало уникальным для комбината симбиозом физического моделирования, алгоритмов машинного обучения и компьютерного зрения. О реализации проекта рассказывает Андрей Голов, руководитель Центра искусственного интеллекта «Северстали» и номинант на премию Data Award.

- В чем заключалась решаемая задача?

Речь идет об оптимизации важного технологического процесса. Окомкование пылеобразного железорудного концентрата в окатыши нужно для его более удобной транспортировки и последующего эффективного использования в доменной печи для производства чугуна. Для оптимального протекания процесса выплавки требуются окатыши размера 10-12,5 мм: именно в этом случае обеспечивается оптимальная пористость и газопроницаемость слоя при термообработке, что приводит к улучшению качества готовой продукции. Производство окатышей осуществляется в условиях постоянно изменяющихся характеристик концентрата, что влияет на распределение окатышей по классам крупности на выходе из окомкователя. Это яркий пример процесса, где было высоко влияние человеческого фактора, от которого требовалось уходить.

- Почему это важно для компании?

Мы уже несколько лет последовательно внедряем data-driven подход к принятию решений на производстве. В направлении переработки продукции – в прокатном производстве – у нас уже было достаточно много успешных проектов, а теперь мы оцифровываем и ресурсные предприятия, где происходит добыча железной руды.

- Как задача решалась ранее?

Ранее оператор управлял процессом окомкования вручную на основании экспертизы и лабораторных проб, которые производятся раз в несколько часов, а по некоторым параметрам – раз в сутки. И, конечно, у операторов не было индикатора, который мог бы точно определить долю гранул нужного размера.

Оперативный контроль гранулометрического состава окатышей производился визуально с высоты нескольких метров. В таких условиях невозможно осуществлять постоянный и точный контроль целевого класса крупности окатышей и своевременно реагировать на изменившиеся характеристики сырья. Одним из важных параметров на этапе обжига является влажность сырых окатышей. Оператор измерял влажность окатыша тактильно «наощупь», что давало крайне субъективную оценку низкой точности.

- Какой был выбран подход?

Мы решили совместить технологии компьютерного зрения с классическими моделями машинного обучения, опираясь на физическое моделирование процесса.

- Что представляет собой созданное решение?

На основе анализа изображений с камер с высоким разрешением модель компьютерного зрения определяет влажность и гранулометрический состав сырых окатышей. Нейронная сеть точно определяет контур и размеры окатышей, в том числе те, которые частично скрыты под первым слоем окатышей. Система компьютерного зрения осуществляет непрерывный мониторинг и обеспечивает поток информации в систему управления линией окомкования, что позволяет автоматически управлять и оперативно реагировать на изменение параметров процесса.

Модели машинного обучения для управления процессом окомкования автоматически управляют скоростью вращения окомкователя и дозировкой бентонита, выдают рекомендации по дозировке железорудного концентрата, что позволяет повысить производительность агрегата с сохранением качества продукции, либо увеличить процент класса 10-12,5 мм при сохранении производительности.

Помимо периодического переобучения модели под долгосрочные тренды, модель в онлайн-режиме подстраивается под различные возмущающие факторы и учитывает их для более точных предсказаний в режиме реального времени.

- Какие инструменты использованы?

Система построена на платформе нашего озера данных. Сбор потоковых технологических данных с агрегатов окомкования с интерфейсом OPC осуществляется с помощью Nifi и собственных сервисов на Java, для оперативного хранения используется шина данных Kafka, для долгосрочного – Hadoop.

Само решение написано на языке Python и обернуто в Docker-контейнер, оркестрация организована в Kubernetes. В части компьютерного зрения использовались собственные разработки по сбору и обработке видеопотока.

- В чем уникальность проекта?

При создании решения для повышения устойчивости и качества нами использовались некоторые элементы физически информированного машинного обучения (Physics Informed ML).

В работе над проектом мы столкнулись с двумя проблемами. Одна из них заключалась в том, что данные по процессу были достаточно шумные, и не все важные свойства руды можно было измерять в онлайне. Вторая проблема – отсутствие достаточного количества разнообразных режимов работы агрегата и, как следствие, не разнообразный датасет. Все попытки обучить модель на том, что есть, приводили к тому, что она описывала поведение агрегата в новых режимах работы не очень адекватно, а выдаваемые ею результаты не соответствовали физике процесса. И для этого мы добавили при обучении модели физические ограничения в виде уравнений и зависимостей, характеризующих технологический процесс, которые зашили в виде регуляризаторов. Это помогло повысить предсказательную силу модели в новых режимах работы и, как следствие, оптимально подстраивать в онлайне работу агрегата к изменяющимся свойствам сырья.

- Что способно дать физически информированное машинное обучение «Северстали»? Насколько перспективным считаете это направление, в том числе для отрасли в целом? Где и как оно может быть использовано?

Physics Informed ML – это перспективное направление, особенно в промышленности, где мы часто имеем дело с шумными измерениями и маленькими выборками данных. Оно объединяет преимущества физического моделирования на основе дифференциальных уравнений и классического машинного обучения. Уравнения, присущие физическому моделированию, решаются с помощью численных схем довольно точно, но долго. Машинное обучение может быстро выявлять сложные зависимости из данных, но сильно зависит от качества самих данных, а в некоторых случаях результаты могут противоречить законам физики. Объединение этих подходов позволяет взять лучшее из каждого из них: в итоге дифференциальные уравнения, отвечающие за соответствие физическим законам, решаются на порядок быстрее, а неточности физических моделей и неучтенные ими процессы компенсируются реальными данными от модели машинного обучения.

- Какие результаты достигнуты и ожидаются? Насколько получаемый результат серьезен для компании?

Мы подтвердили возможность за счет использования модели повысить производительность на 11% относительно других линий с сохранением качества продукции, либо увеличить процент окатышей класса 10-12,5 мм на 2,3% при сохранении производительности.

- В чем роль этого проекта для бизнеса компании?

Во-первых, управление процессом окомкования в автоматическом режиме ограничило влияние человеческого фактора и снизило нагрузку на операторов. Кроме того, начинающему рабочему стало гораздо проще влиться в работу, так как ему не приходится опираться на собственный опыт, которого пока немного, или на опыт старших коллег.

Во-вторых, решение дает возможность не только контролировать процесс окомкования и управлять им, но и стандартизировать работу обжиговой машины. Оно успешно пропилотировано на одной из шести линий окомкования и будет тиражировано на другие линии.

В-третьих, реализованный проект стал уникальным для нашего комбината симбиозом физического моделирования, алгоритмов машинного обучения и компьютерного зрения.

- В каком направлении будет развиваться проект?

Сейчас мы уже ведем работы по тиражированию решения на другие технологические линии. В будущем планируем усложнить это решение за счет функции управления в специфичных режимах работы окомкователей.

Благодаря диспетчеризации открытых и подземных горных работ компания АЛРОСА повысила эффективность и безопасность добычи на своих объектах. Внедренное решение АСУ ГТК «Карьер» сделало прозрачными производственные процессы на подземном руднике «Удачный» и на Мирнинско-Нюрбинском ГОКе. О реализации проекта рассказывает Иван Бобряшов, руководитель программы проектов АЛРОСА ИТ и номинант на премию Data Award.

— Что привело АЛРОСА к реализации проекта? Каковы были бизнес-боли, чем не устраивала ситуация?

Мы видели необходимость в повышении операционной эффективности компании. Этого мы могли достичь за счет гибкого управления процессами на горизонте смены и улучшения дисциплины исполнения плана производства. Нам требовалась автоматизация сбора данных по рудопотоку и позабойный контроль выпуска руды. Кроме того, стояла задача автоматизировать отслеживание ключевых показателей эффективности горной техники и создать базу данных для аналитики. И цифровизация стала способом, чтобы решить наши «боли». Она дала нам новое качество управления производством.

— Какие поставили цели перед проектом?

Была поставлена задача перейти на оперативное управление производством на базе системы диспетчеризации: наладить сбор данных с горнодобывающей техники и стационарного оборудования для принятия управленческих решений на базе показателей эффективности.

— Сейчас АЛРОСА ведет несколько проектов по диспетчеризации своих карьеров и рудников. А с чего все началось?

Возможность оперативного контроля за добычей, а также возможность выявления и анализа неэффективности в процессе откатки, дали хорошие эффекты на открытых горных работах, в карьере. Поэтому было решено пробовать аналогичный подход в руднике.

— Как вы выбирали решение?

Решений по работе в подземке было на рынке в тот момент было несколько, но мы решили остановиться на коллегах, у которых уже был успешный опыт реализации подобного проекта в аналогичных сверхжестких условиях эксплуатации. И действительно, их опыт оказался крайне полезен, хотя, конечно, пришлось работать со спецификой нашего рудника и отвечать на новые вызовы всей командой.

— На каком решении вы в итоге остановились?

Мы использовали решение АСУ ГТК «Карьер» компании «Цифра». Оно в автоматическом режиме собирает информацию о работе горнотранспортного комплекса и дает объективную картину текущего состояния процесса добычи и грузоперевозок. Диспетчер на центральном пульте может отслеживать передвижение как всей техники, так и отдельных единиц на мониторе компьютера — в реальном времени и за произвольные предыдущие периоды. Там же отображается текущий статус эксплуатации оборудования, факты отклонения его работы от плана и маршрута, снижение скорости. Контроль и анализ функционирования горнотранспортного парка позволяет повысить уровень дисциплины операторов горной техники и коэффициент использования горного оборудования.

— Что было сделано в рамках проекта?

Мы начали с рудника «Удачный». Оснастили связью Wi-Fi все основные добычные горизонты, гараж, ремонтные участки, места пересменок, подключили около полусотни единиц горной техники, реализовали интеграции со стационарным оборудованием, с системой координатного позиционирования, с MES-системой. Отладили автоматическую и ручную классификацию статусов подвижного и стационарного оборудования, сделали чат для связи «машинист-диспетчер», наладили сбор данных с самоходного горно-шахтного оборудования и мониторинг рудопотока в реальном времени. Была внедрена целевая модель оперативного управления производством на базе системы диспетчеризации и мгновенное отслеживание показателей эффективности техники.

— Что собой представляет созданное решение?

Решение помогает повысить производительность, уменьшить издержки на эксплуатацию горнотранспортного комплекса, а также обеспечить безопасность ведения работ на карьерах и рудниках. На технику устанавливаются датчики и бортовые средства диагностики состояния и передачи данных, настраивается беспроводная сеть на карьере или в подземном руднике. Далее устанавливается программный мониторинг на централизованном пульте, где диспетчер видит отклонения от плана в каждом звене и может оперативно вмешаться и повлиять на ход работ.

— Каких результатов удалось достичь, как это соотносится с ожиданиями?

Весь рабочий процесс добычи алмазов отображается в режиме реального времени на информационных панелях, позволяющих контролировать статусы техники, процесс добычи руды и показатели эффективности в целом и каждой единицы техники по отдельности. Полученные данные заложены в основу мероприятий по повышению операционной эффективности горного транспорта и горно-шахтного оборудования для повышения производительности компании.

Цифровизация подземного горного рудника «Удачный» увеличила показатели эффективности работы техники на 12%. Всего было подключено 48 единиц техники, включая шахтные самосвалы, буровые установки, погрузочно-доставочные машины, вспомогательную технику, а также 15 единиц стационарного оборудования.

Внедрение АСУ ГТК «Карьер» на Мирнинско-Нюрбинском ГОКе привело к повышению эффективности работы большегрузных самосвалов на 16% за счет более эффективного управления транспортными потоками и минимизации простоев. Там к системе подключены 57 единиц техники, включая автосамосвалы, погрузчики, бульдозеры.

— Были ли в результате анализа данных об оборудовании сделаны какие-то неожиданные открытия?

Практически сразу стало понятно, что можно и нужно оптимизировать процесс мойки, очереди на заправку, точки дозаправки, места пересменок, очереди на погрузку.

— Что было самым сложным в ходе проекта?

Наладить аналитику, техобслуживание и ремонт по новому оборудованию, настроить под определенные требования автоматическую установку статусов, простоев и карту рабочего времени. Проект был непростой с точки зрения большого количества подключаемого оборудования, чужих систем для интеграций, человеческого фактора. А если мы говорим об «Удачном» — это все было еще под землей.

— Каково значение проекта для бизнеса компании?

Благодаря проектам цифровизации, а именно диспетчеризации открытых и подземных горных работ, мы повышаем эффективность и безопасность добычи на своих объектах. Нам удалось сделать прозрачными производственные процессы на подземном руднике «Удачный» и на Мирнинско-Нюрбинском ГОКе. Получая данные с горнотранспортного комплекса, компания выявляет узкие места в производстве и отслеживает целый набор важнейших технико-эксплуатационных показателей. Кроме того, внедренная система упростила работу диспетчеров — теперь они могут с большей оперативностью реагировать на технические неисправности и любые другие отклонения от нормальной работы горнотранспортного комплекса. На данных, получаемых из системы диспетчеризации, также строится мотивация персонала.

Реализация данного проекта с использованием самых современных цифровых инструментов позволила перейти на совершенно новый уровень работы с данными. Была создана прозрачная среда работы оборудования, когда все происходящие события являются доступными для просмотра, анализа, контроля и управления.

— Каковы ближайшие планы? В каком направлении будет развиваться система?

На руднике «Удачный» планируем увеличить зоны покрытия связью, включить в проект буровые установки. Сейчас мы завершаем еще один проект — на подземном руднике «Айхал», и начнем еще одно внедрение системы подземной диспетчеризации на «Интернациональном».

За последние годы «Юниверс Дата» реализовала целую серию активностей, направленных на подготовку специалистов по управлению данными. Всесторонняя подготовка таких специалистов позволит предоставить отрасли профессиональные кадры, которые внесут серьезных вклад в развитие экономики России. Особое место в цепочке реализованных проектов занимает издание книги «Ценность Ваших Данных», ставшее знаковым событием для рынка. О проведенной работе рассказывает Александр Константинов, коммерческий директор «Юниверс Дата» и номинант на премию Data Award.

— Какие направления охватывает работа «Юниверс Дата» по подготовке специалистов по управлению данными?

Мы всегда уделяли огромное внимание подготовке специалистов по управлению данными. Мы прекрасно осознаем, что, к большому сожалению, ни один российский вуз не выпускает готовых специалистов в области управления данными. Это – штучный товар, который нужно по крупинкам выращивать. А раз так, то это наша святая обязанность – всецело участвовать в этом процессе, оказывая помощь вузам и ведя образовательную деятельность самостоятельно, открывая талантливым ребятам «путь к данным», рассказывая о самом важном и интересном.

Да, мы коммерческая компания, которая зарабатывает деньги, но финансы никогда не были нашим единственным мерилом успеха. Мы всегда хотели рассказывать, образовывать, делиться, если угодно, «нести светоч», именно потому, что нам всегда было что сказать. Огромный практический опыт, основанный на десятках и сотнях успешно реализованных проектов, помноженный на серьезные теоретические знания – на наш взгляд, достойный фундамент, на котором зиждется образовательный процесс. Если же говорить о направлениях, то их очень много – лекции в вузах, вебинары, открытые лекции для чиновников и всех желающих, публикации, переводы иностранных работ, и, наконец, собственная 600-страничная книга, которая получила номинацию на самую престижную научную премию России «Знание».

— Какие форматы используются? Что себя наиболее удачно зарекомендовало?

Реалии сегодняшнего дня и события недавнего прошлого внесли серьезные коррективы именно в формат подготовки специалистов. Если до начала эпопеи, связанной с коронавирусной инфекцией, мы отдавали предпочтение классическим форматам – очным курсам в вузах, выездным лекциям, включению наших образовательных программ в учебный процесс, то эпидемия скорректировала планы. Думаю, что все мы прекрасно помним те события: учебные заведения были закрыты, обучение замерло, а потом продолжилось в дистанционном формате. Да что там говорить – казалось, замерла и сама жизнь, когда люди были заточены в четырех стенах. Учитывая все это, мы очень быстро переформатировали учебный процесс и стали запускать вебинары. У нас это получилось очень быстро, потому что мы задолго до этих событий внимательно изучили и технические средства, и наши возможности в этом направлении. Так что, как только «грянул гром», уже через неделю мы провели свой первый вебинар. Так что в течение длительного времени именно вебинары хорошо себя зарекомендовали. Когда пандемия наконец отступила, мы стали возвращаться к более привычным путям взаимодействия с аудиторией.

— Какие из проведенных проектов вы можете выделить?

Первое, что я хотел бы выделить – вебинары. Более 100 образовательных вебинаров по данным: для широкой аудитории и для компаний, для вузов и уже работающих в этой сфере специалистов – вот далеко не полный перечень того, что мы попробовали и постарались максимально емко и интересно представить аудитории. В том числе, работали с множеством непрофильных вузов – например, с таким экзотическим для нас учебным заведением, как Государственный нефтяной технический университет имени академика М. Д. Миллионщикова в Грозном.

Особняком стоят вебинары на английском языке, о которых я хотел бы рассказать чуть подробнее. В какой-то момент как раз в разрезе образовательных проектов, мы создали Сообщество специалистов по управлению данными. Причем сообщество международное. Более того, это была не просто «площадка для обучения и общения»: комьюнити подтвердило эту активность изданием нашего программного продукта в области управления мастер-данными. Иными словами, мы включили в образовательный процесс собственный сложный продукт, который сделали триггером и, я бы даже сказал, катализатором всех направлений, связанных с образованием. Более того – наш продукт «Юниверс MDM» широко используется в ведущих вузах страны. В частности, успешно реализованы исследовательско-практические проекты совместно с НИУ ВШЭ, Инновационным центром «Сколково», СПбГУ.

Конечно, стоит сказать о целой серии образовательных проектов, направленных на всестороннюю подготовку кадров в области управления данных, проведенных совместно с матмехом СПбГУ. Речь идет о курировании курсовых и дипломных работ, участии в учебном процессе, выполнении научно-исследовательских работ и обмене опытом. Нам удалось не только привнести искомую новизну в учебный процесс и внести свою лепту в развитие науки, но и стать прикладной площадкой для воспитания талантливой молодежи, которая проходила у нас практику. Многие талантливые студенты остались у нас работать.

Очень интересным проектом стали открытые лекции для российских чиновников. Совместно с РАНХиГС мы провели 6-часовую образовательную лекцию на тему ценности данных для чиновников российских министерств и ведомств. Я был одним из лекторов. Совсем недавно мы с коллегами провели большую открытую лекцию для сотрудников Федерального казначейства по управлению данными.

В плане образования мы развиваем и наш канал на Habr, где регулярно рассказываем о самом интересном в области данных. Названия этих больших публикаций на «Хабре» говорят сами за себя: «Глубокое погружение в данные», «Что учесть при разработке интеграций информационных систем», «Распознавание фейков с помощью технологий управления данными», «5 трендов баз данных», «Развиваем нечеткий поиск на примере МТР», «Применение машинного обучения для определения содержимого колонки в таблице».

Создана и успешно работает наша научно-исследовательская «Юниверс Лаборатория» – структурное подразделение, которое отвечает за публикации, фундаментальные исследования, разработки, образовательные проекты и связи с академической средой. Под ее эгидой вышли большие научные публикации в сборниках крупнейших конференций – MEDI, FRUCT, DAMDID.

Очень интересным опытом стало наше выступление на международной арене. Мы приняли участие в крупнейшем в мире мероприятии в области управления данными – Gartner Data&Analytic Summit во Франкфурте. Мы выступили с образовательной лекцией по данным, рассказав представителям мирового сообщества о нашем видении основных тенденций и технологий в этой области. Кстати, в том числе благодаря нашим образовательным и научно-исследовательским инициативам, мы были включены в престижнейший «Магический квадрант» Gartner в течение трех лет подряд. Первыми и единственными из России.

Ну и, наконец, как венец всего вышесказанного, я бы выделил нашу издательскую деятельность. Сначала мы перевели для российской аудитории легендарную DAMA-DMBOK, предложив специалистам по управлению данными в нашей стране принципиально новый понятийный аппарат и систему терминов. И совсем недавно мы написали собственную книгу, которая называется «Ценность Ваших Данных» (издательство «Альпина Бизнес»). Мне посчастливилось стать одним из ее авторов. Это серьезное, 600-страничное исследование, всесторонне охватывающее все области управления данными. Книга уже отлично зарекомендовала себя. Мы получили номинацию на самую престижную премию в нашей стране «Знание», что лишний раз подчеркнуло ее востребованность и значимость. Более того, мы уже работаем над ее продолжением.

— Какие цели ставили при разработке книги?

Сначала несколько слов о причинах написания книги. За несколько лет до начала работы над «Ценностью Ваших данных» мы перевели и издали в России легендарную книгу DAMA-DMBOK – руководство Международной ассоциации управления данными (DAMA) к своду знаний по управлению данными. Уже тогда, продираясь через сложность терминологии, выверяя до миллиметра формулировки, облачая сухой текст в «одежду» российских языковых эквивалентов, мы стали задумываться о том, чтобы написать свою книгу. Еще бы: DMBOK умопомрачительно хороша, но далека от идеала. Во-первых, многих отпугивает объем и обилие терминов. Во-вторых, при всех своих размерах, она не охватывает все области, связанные с управлением данных. В-третьих, отсутствует российская специфика. Все это, да и многое другое, и сформировало желание пойти дальше.

Соответственно, сформировались и основные цели при создании нашей книги: рассказать широкой аудитории о данных – структурировано, хлестко, интересно. А главное – с учетом именно российской специфики. Особенностью книги стало то, что мы говорим не просто о данных, а подробно описываем то, как извлечь из них ценность. Многие цитируют известное изречение «Данные – это новая нефть», забывая о том, что без обработки данных, без управления ими информация становится «болотом», тянущим на дно все и вся.

— Что, по вашему мнению, удалось лучше всего?

На мой взгляд, лучше всего нам удалось проследить всю цепочку – от возникновения данных до их получения, обработки и превращения в актив компании. Кстати, именно цепочки данных в итоге и были отображены на обложке. Второй момент – книга основана на российских реалиях, отечественном опыте, законодательстве, особенностях. Третий момент, который я бы выделил: как это ни удивительно для научной, а не художественной книги, у нее есть главный герой – абстрактная компания «Телеком Дубль», на примере которой мы и рассматривали то, как применение технологий в области управления данными позволяет ей развиваться, захватывать рынок и процветать. Так что «герой» у нас рождается, развивается, мужает и достигает своего расцвета. Не обошли стороной мы и историю – оказывается термин «информация» был введен еще в XIV веке и впервые встречается в трудах священника.

— Собираете ли обратную связь? Что говорят читатели, и на что их отзывы влияют в вашей работе?

Да, конечно, отзывы читателей помогают нам, во-первых, критически относиться к собственной работе и улучшать ее – мы уже работаем над вторым дополненным изданием книги. Во-вторых, мы получаем обратную связь от профессионалов в области данных и понимаем, в каком направлении развивать свою дальнейшую научную мысль при создании других книг и научных работ.

Например, Александр Чариков, заместитель генерального директора «РусГидро», выделяет книгу как источник инструментов для вывода своего бизнеса в лидеры рынка. Владислав Онищенко, президент Центра стратегических разработок, подчеркивает, что книга содержит как общеметодологические основы работы с данными, так и конкретные практические аспекты. Борис Макевнин, директор по цифровизации и ИТ Группы «Т Плюс», полагает, что опыт одного из лидеров рынка будет полезен как профессиональным внедренцам, так и функциональным руководителям, интересующимся данной тематикой. Владислав Шишмарев, заместитель руководителя ДИТ Москвы, отмечает о огромный труд, посвященный не только систематизации различных областей, связанных с данными, но и подробному рассказу о том, что это такое и как они появляются. И еще более важно, что все они рекомендуют книгу к прочтению как тем, для кого тема управления данными является новой, так и тем, кто хочет расширить свои знания в этой области.

— Что из обучающих проектов «Юниверс Дата» пользуется наибольшим успехом?

Во-первых, это, конечно, книга «Ценность Ваших Данных», которая стала весьма востребованным инструментом изучения «науки о данных». Во-вторых, вебинары, которые позволили приобщиться к управлению данными тысячам людей. В-третьих, это образовательные проекты в вузах.

— Поставлены ли какие-то цели по проектам и вообще по образовательной работе?

Наша цель на ощутимую перспективу – продолжать поступательное движение. Мы продолжаем все наши проекты, и, более того, расширяем наше присутствие в образовательно-исследовательском кластере. Двигаем науку вместе с «Центром им. В.А. Алмазова» Минздрава России. Мы заключили с ними научно-исследовательское соглашение для совместной деятельности в разработке и внедрении автоматизированных информационных систем для научных исследований и медицинской практики. Наши технологии помогают бороться с сердечными нарушениями. Речь идет о создании общероссийской базы данных по пациентам, создаваемой с наших технологий. Стоит отметить, что регистром пользуется 37 медицинских центров в одной только России. Помимо этого, он задействован в Белоруссии, Казахстане и в шести европейских странах.

— Как вы сами их оцениваете достигнутые результаты? Какие из них считаете главными?

Главным результатом я считаю книгу «Ценность Ваших данных» и вебинары. Книга про данные такого калибра, такой детализации, такого масштаба по данным никогда не выходила в России. Ее создание заняло два с половиной года упорного труда. Результат превзошел ожидания – специалисты по данным наконец получили то, чего заслуживали все эти годы. Это всеобъемлющий труд, который способен ответить практически на все вопросы, касающиеся управления данными. А вебинары позволили тысячам людей получить подробную информацию о данных, влюбиться в них, прийти в профессию и делать жизнь современного общества лучше.

— Сейчас больший акцент делается на работу с вузами или компаниями? Как этот баланс может измениться в обозримом будущем?

Стараемся в равной степени поддерживать и то, и другое. Впрочем, как я уже рассказал, одними лишь вузами и компаниями все не ограничивается, у нас несравненно более широкий спектр. Инициатив десятки, и все они разноплановые и разносторонние.

— В каком направлении будут развиваться образовательные инициативы?

Наши образовательные инициативы будут приобретать все более практическую направленность. Считаем, что фундаментальный базис мы рынку уже дали. Будем концентрироваться на практических лекциях, участии в учебном процессе крупнейших российских вузов, помощи таким мощным организациям, как Центр Алмазова.

Для повышения точности кредитного скоринга банкам важно учитывать данные из самых различных источников, в том числе юридических. Для Альфа-Банка данные, предоставленные PravoTech, стали важным элементом при создании кредитного конвейера. О реализации этого проекта рассказывает Ксения Левина, руководитель по развитию API Big Data PravoTech и номинант на премию Data Award.

- Расскажите про API Big Data. Какие задачи он решает?

Это готовый сервис, предоставляющий доступ к нормализованным, очищенным, обогащенным данным более чем из 35 источников. Обширный атрибутивный состав позволяет использовать данные в ML-моделях клиента без дополнительной обработки. Сервис предоставляет как качественно разобранные сырые данные, так и готовые производные факторы риска. Доступна информация как по юридическим лицам и ИП, так и по физическим лицам.

Данные могут использоваться клиентами на всех уровнях работы с рисками: в кредитном конвейере, при мониторинге действующего портфеля клиентов, при работе с проблемными активами и взысканиями, при оценке регуляторных, рыночных и операционных рисков, а также в задачах службы безопасности и при борьбе с фродом.

- Какие данные он охватывает?

Мы поставляем данные из более чем 35 источников данных. В их числе ЕФРСБ, суды общей юрисдикции, ЦБ РФ, «Вестник государственной регистрации», «Картотека арбитражных дел», «Федресурс», госконтракты, «Мультистат» (Росстат), ФНС, Федеральная нотариальная палата, госзакупки, прокуратура, Реестр недобросовестных поставщиков, запрещенные сайты, Министерство цифрового развития, 2ГИС, Росаккредитация, Росфинмониторинг, ФАС, ЕГРЮЛ/ЕГРИП, ФССП, РКН, лица с повышенным риском.

- В чем его фишка?

В числе ключевых преимуществ API Big Data — самая полная обновляемая база арбитражных дел и дел судов общей юрисдикции, полная база о делах контрагентов, автоматически формируемый реестр кредиторов и оперативные данные по делам физических лиц. Мы передаем клиентам самый полный и качественно разобранный атрибутивный состав данных. За счет этого можно строить более точные прогностические модели и регулировать уровень их консервативности.

Кроме того, в API Big Data используется искусственный интеллект для оценки вероятности исхода дела и исковой нагрузки на основе массива судебных решений, анализа отрасли и региона компании и практики вынесения решений конкретным судьей. Его точность по арбитражным судам первой инстанции составляет 82%. На основе этих данных создаются готовые факторы риска, позволяющие обогатить модели клиентов и повысить качество их работы.

- Каковы были предпосылки реализации проекта в Альфа-Банке?

Центр продвинутой аналитики Альфа-Банка (ЦПА) существует на протяжении трех лет, в его структуре сейчас работает 140 человек. До создания ЦПА в банке использовалась простая модель скоринга, построенная на данных БКИ и государственных реестров. Модель решала простую задачу: отсеивать самых неблагонадежных заемщиков. Затем, после обращения заемщика через сайт банка, заполнения им анкеты и предоставления необходимых документов, система передавала его запрос кредитному менеджеру. Кредитный менеджер проводил оценку в соответствии со своими инструкциями.

Этот подход нельзя было назвать современным: он не позволял масштабировать бизнес. Такую модель сложно кастомизировать под разные группы клиентов, поэтому для всей клиентской базы юридических лиц использовались универсальные методы оценки риска дефолта. Кроме того, было недостаточно данных для скоринга потенциальных клиентов.

- Какой подход был выбран?

В Альфа-Банке поставили перед собой цель: перейти от моделей скоринга, основанных на правилах, к моделям, основанным на современных методах машинного обучения, учитывающих большое количество факторов и поведенческие модели. В ходе работы перед проектной командой стояла задача запустить автоматизированную оценку заемщиков и мониторинг рисков клиентов для управления портфелем клиентов и формирования предодобренных предложений для потенциальных клиентов банка.

- Какие требования предъявлялись к создаваемому решению?

Было необходимо разработать модели для определения вероятности дефолта юридических лиц и индивидуальных предпринимателей для принятия решения по кредитной заявке. Модели продвинутой аналитики должны были обеспечивать работу кредитного конвейера и предоставлять банковский сервис клиентам Альфа-Банка в режиме онлайн, время принятия решения по заявке — не более двух минут. Наконец, модели должны работать как для действующего портфеля клиентов, так и для потенциальных клиентов банка.

- На какие результаты рассчитывали?

От перехода на новые скоринговые модели ожидали повышения доходности кредитного бизнеса. Это должно было произойти за счет поддержки поточной технологии кредитования (кредитного конвейера), расчета скоринга как для настоящих, так и для будущих клиентов банка, расширения предложения продуктов за счет «умной» оценки риска, а также мониторинга рисков по всему портфелю клиентов и более эффективного управления рисками.

- Что собой представляет созданное решение? На каких данных оно работает?

В рамках проекта была запущена автоматизированная оценка заемщиков и мониторинг рисков клиентов для управления портфелем клиентов и формирования предодобренных предложений для потенциальных клиентов.

Благодаря новой модели скоринга оценка и формирование предложения для клиента происходят в три этапа. Во-первых, осуществляется оценка риска дефолта. Модель оценки риска дефолта имеет модульную структуру и состоит из восьми модулей. Результаты ее работы становятся основой для прескоринга широкого круга юридических лиц с использованием данных государственных реестров, БКИ, ФНС, ФССП, арбитражных дел, а также внутренних данных банка. Один из основных источников на этом этапе – API Big Data от PravoTech.

Во-вторых, проводится оценка склонностей клиента. На этом этапе учитываются предпочтения клиента и оценивается потенциальный доход банка на горизонте в два года. Здесь используются данные финансовой отчетности, внутренних систем банка, БКИ и ОФД, а также геоданные.

Третий этап — формирование индивидуального предложения. В его ходе определяются оптимальные параметры для каждого клиента, используя инструмент индивидуального ценообразования по формированию привлекательного предложения и максимизации дохода банка.

- Какие результаты получены?

Качество модели существенно выросло. Последняя адаптация модели для оценки риска дефолта дала увеличение коэффициента Джини на 3,15 процентных пункта по отношению к общей модели. В ее основе лежат два ключевых модуля: модуль кредитных историй и модуль арбитражных дел.

Что касается бизнес-эффекта, то 97% сделок с клиентами из сегмента малого и микробизнеса (ММБ) проходит автоматически, без участия кредитного менеджера, при этом время принятия решения по заявке сократилось до двух минут. За счет качества модели клиентский портфель ежегодно увеличивается вдвое.

На основе наработок в секторе ММБ разрабатываются модели для скоринга для клиентов из сегмента среднего бизнеса, часть моделей уже запущена. В этом году планируется расширение работ по этому направлению. Кроме того, планируется внедрение гибкого подхода к мониторингу клиентов и переоценки будущих клиентов. Результаты оценки клиентов будут использоваться для улучшения качества обслуживания, повышения лояльности и удержания клиентов, а также повышения их ценности. Наконец, идет активное расширение клиентской базы за счет предложения лучших условий для новых клиентов.

- Каковы перспективы развития продукта API Big Data?

Мы активно работаем над углублением атрибутивного состава, чтобы c помощью API Big Data можно было создавать более точные и менее консервативные модели, повышая доходность своих продуктов с помощью более точной оценки сути судебной и экономической деятельности клиентов. Кроме того, работа ведется и по добавлению новых источников данных для получения максимального количества информации с помощью одной интеграции.

В настоящий момент наша команда проводит интервьюирование клиентов, чтобы внедрять те обновления, которые в первую очередь требуются банкам, лизинговым и факторинговым компаниям на каждом этапе взаимодействия с данными: для кредитного конвейера, мониторинга действующего портфеля клиентов, работы с проблемными активами и взысканиями, оценки регуляторных и рыночных рисков, задач службы безопасности, операционных рисков и борьбы с фродом.

Интеллектуальная система цифрового контроля, созданная специалистами Softlogic на базе нейросетей, помогает городским коммунальным службам проводить ежедневный контроль улиц, дворов, множества объектов дорожного и коммунального хозяйства в масштабах всего города. Нейросеть полностью исключает временные затраты на сбор и первичный анализ зафиксированных состояний объектов. При классическом подходе с участием сотрудников это время измеряется часами. Решение предназначено для ведомств, ответственных за состояние дорожной инфраструктуры и содержание городских территорий. О реализации этого проекта рассказывает Александр Колесников, технический директор Softlogic и номинант на премию Data Award.

- Какова история проекта? На решение каких проблем он направлен?

К нам пришел запрос от одного из заказчиков: камеры существуют в городе везде, а что, если поместить камеру в автомобиль? Какой будет результат? Может ли ИИ выявлять ямы, выбоины, стертую дорожную разметку, повреждение бордюра и т. д.? С этого началась разработка продукта, исследования и тестирование.

Мобильный комплекс помогает контролировать благоустройство территорий, а также повысить качество жизни граждан.

- Почему это важно?

При обследовании инспектором в любом случае присутствует человеческий фактор. С помощью ИИ идет автоматическая оценка состояния объектов городской инфраструктуры. При этом автоматизируется работа городских служб, ускоряются и оптимизируются бизнес-процессы в работе госслужащих. С ИИ есть возможность собирать больше данных о нарушениях в содержании территорий в десятки раз. Это помогает быстрее и оперативнее реагировать и устранять нарушения. Мобильный комплекс – это эффективный инструмент, который поможет администрациям городов создавать комфортный город для жителей.

- Какие требования предъявлялись к создаваемому продукту, какие принципы пытались соблюсти?

От продукта требовали мобильность, автономность, надежность и точность. Мы придерживались принципа уникальности продукта, его масштабируемости и отказоустойчивости.

- Что представляет собой созданное решение?

В состав решения входят высокопроизводительный блок автономных вычислений, три камеры, три антенны и облачная платформа для вывода данных. Комплекс устанавливается в транспортное средство, внутри него расположены модули ИИ на базе искусственных нейронных сетей.

Графические процессоры, входящие в комплекс, получают видеоизображения с камер, далее нейросеть проводит оценку состояния попавших на них объектов. Затем с помощью GPS/ГЛОНАСС к кадрам с нарушениями добавляются данные о местонахождении нарушений и времени их фиксации. После этого данные передаются в облачную платформу sl.vision – нашу собственную разработку, позволяющую пользователям без дополнительного обучения использовать ИИ-аналитику в управленческих целях.

- В какие сроки, какими силами реализована система?

В 2018 году началась разработка продукта. В 2019 появилась первая версия мобильного комплекса, в 2021 постепенно началась эксплуатация комплекса в регионах.

- Где уже применяется решение, каких результатов удалось достичь?

Важно отметить операционную эффективность автономного мобильного комплекса нейросетевого наблюдения, в том числе ускоренное решение возникающих проблем и исключение подлогов при проверках. Процесс сбора данных становится фоновым, силы сотрудников перенаправляют на более сложные задачи, достигается полная объективность оценки.

По данным Главного управления содержания территорий Московской области, автомобили, оснащенные комплексами ИИ, в 18 раз чаще выявляют дефекты по сравнению с инспектором и сокращают время реагирования и устранения проблем в содержании городских территорий. Уменьшение человеческого фактора в вопросе отслеживания нарушений позволяет улучшить качество городской среды. В Подмосковье за полгода использования комплекса удалось на 40% снизить количество жалоб со стороны горожан и на 25% снизить количество выявляемых замечаний, так как качество городской среды улучшилось.

- А с финансовой точки зрения?

Возможен рост доходов за счет собираемых штрафов. Средний финансовый поток от штрафов за обнаруженные системой нарушения – 5 млн руб. ежемесячно. К примеру, штраф за нарушение содержания территорий составляет до 100 тыс. руб. для юридических лиц и до 40 тыс. руб. для должностных лиц.

- В чем роль проекта для государства и общества?

Мы уверены, что системы видеонаблюдения и безопасности должны приносить максимальную пользу бизнесу и государству. Поэтому мы создаем программно-аппаратные комплексы нейросетевого наблюдения, которые обеспечивают комфортную и безопасную городскую среду для граждан и успешное функционирование бизнеса разных отраслей.

- Каковы дальнейшие направления развития проекта?

Мы постоянно совершенствуем и дорабатываем программно-аппаратные комплексы нейросетевого наблюдения. В планах охватить ими другие социально-значимые проблемы: обучить нейронную сеть определять сосульки и борщевик, доработать функционал неправильной парковки, а также расширить функционал комплекса для дорожных служб.

Персонализация финансовых продуктов становится серьезным конкурентным преимуществом для банков. В розничном сегменте эту задачу невозможно решить без алгоритмов машинного обучения и анализа больших данных. О работе по персонализации предложений розничным клиентам и достигаемых результатах рассказывает Игорь Дойников, руководитель продвинутой аналитики розничного бизнеса Альфа-Банка и номинант на премию Data Award.

- Как Альфа-Банк пришел к персонализации продуктов в розничном сегменте? Какова история и основные вехи этого пути?

Создание моделей машинного обучения или в общем смысле искусственного интеллекта уже давно не ограничивается классическим задачами банковского скоринга, моделями склонности к продуктам и моделями оттока. В банке мы с помощью инструментов машинного обучения стараемся улучшить все этапы взаимодействия с клиентами – привлечения, развития и удержания клиентов. Решаем задачи персонализированного ценообразования для кредитных продуктов, персонализации для программы лояльности, задачи геоаналитики, персонализации партнерских предложений и многое другое.

Благодаря современной промышленной инфраструктуре и большим данным мы можем внедрять модели, которые действительно дают новые возможности для бизнеса.

- Расскажите о наиболее показательных направлениях работы.

Первым из значимых кейсов, приносящих банку ощутимый результат, является персонализация в категорийном кэшбеке. Это неудивительно: у многих банков категорийный кэшбек является одним из ключевых проектов по привлечению и удержанию клиентов. Персонализированная программа лояльности, реализуемая нами, нацелена на увеличение доли клиентов, для которых «Альфа» станет основным банком для совершения транзакций. Кроме того, она влияет на снижение оттока, повышение лояльности клиентов и увеличения их ценности.

Эта программа была реализована и запущена в 2023 году, «под капотом» – комплекс из нескольких моделей машинного обучения. Система моделей работает на действительно больших данных, и ее суть состоит в персональном подборе категорий для клиента таким образом, чтобы с одной стороны категории удовлетворяли потребности клиента, а с другой стороны – вписывались в бюджет банка. Модели переобучаются каждый месяц на новых данных. Так, для подбора категорий кэшбека каждому клиенту ежемесячно перебирается более 100 тыс. комбинаций категорий кэшбека, при этом используется 1,5 Тбайт памяти и 350 ядер процессора.

- Вероятно, второе направление связано с кредитами…

Да, другая важная задача по персонализации кредитных предложений опирается на модель прогноза дохода клиента, ценность которой в том числе понимает регулятор – ЦБ РФ.

Задача расчета прогнозного дохода клиента имеет особенное значение. Эта информация помогает точнее и более релевантно подбирать продукты и условия их приобретения, что в свою очередь вносит существенный вклад в прибыль банка. Помимо ценности для банка, оценка дохода является регуляторным требованием ЦБ в части расчета предельно допустимой кредитной нагрузки (ПДН) для клиента.

Для подобного расчета полезна любая информация, хотя бы косвенно отражающая уровень дохода. Для разработки модели использовались внутренние и внешние данные. В «лонг-листе» находится около 4 тыс. признаков: транзакционная активность, социально-демографические признаки, активности в мобильном приложении и т.д., а также внешние источники данных – оценка дохода, проведенная билайном, данные из бюро кредитных историй по кредитной нагрузке, просрочке, лимитам.

В новой версии модели добавились признаки из цифрового профиля клиента, в которых содержится детализированная информация из госcтруктур: о начислениях в пенсионный фонд, данные по уплате налогов, электронная трудовая, сведения о транспортных средствах и т.д. В кратчайшие сроки проделана большая и слаженная работа по формированию признаков, тестированию моделей и выводу в промышленный контур. В финальную модель вошло 134 признака, и модель существенно улучшилась по качеству прогнозирования.

Модельный подход по оценке дохода официально утвержден ЦБ в 2023 году. Альфа-Банк стал одним их трех банков (помимо «Сбера» и ВТБ), кому регулятор первым одобрил применение модельного подхода при расчете ПДН.

- Какой именно математический аппарат используется при построении моделей?

Мы применяем самый современный стек технологий (так называемый state of the art), в основном состоящий из решений категории Open Source.

Для моделей используем модели градиентного бустинга, в основном библиотеку в реализации «Яндекса» (catboost) для табличных данных. Также используем нейросети. Нейросети позволяют усиливать бустинговые модели, когда есть больщой набор сырых последовательных данных – например, транзакции клиентов. Здесь используем библиотеку Pytorch.

- Как появление новых подходов повлияло на процессы банка? Приведите несколько примеров.

Расскажу пример из другого кейса – оплата чеков в ресторанах аэропортов для клиентов Премиум Alfa Only. Здесь используются модели геолокации. Клиент может воспользоваться любым рестораном на территории аэропорта, банк это увидит и через мобильное приложение предложит клиенту вернуть деньги. Без моделей ранее такой автоматический сервис в принципе был бы невозможен.

- Какие бизнес-результаты были получены?

Если говорить о персонализации кэшбека, то POS-оборот (сумма всех платежей, совершенных с использованием банковской карты в точках продаж) каждого клиента, выбирающего категории, увеличивается до 40% на горизонте полугода. Масштабирование категорийного кешбэка принесло банку около 400 млрд POS-оборота в 2023 году. Количество целевых клиентов (триггером считается выбор категорий) увеличилось с 800 тыс. до 3,6 млн человек в течение года.

Эффект от внедрения новой модели дохода клиентов заключается в росте количества новых офферов, а также увеличении суммы выдачи по кредитам наличными. Точный эффект не готов озвучить, но речь идет о дополнительных десятках тысяч выдач кредитных карт и миллиардах дополнительных выдач кредитов наличными в месяц.

- В чем роль таких проектов для банка?

Это взаимовыгодная история для всех участников рынка. Клиенты получают кредиты с более привлекательными лимитами и суммами. Банк может предлагать клиенту персонализированные банковские продукты, одобрять больше кредитов добросовестным заемщикам и просчитывать риски невозврата. Банк России, в свою очередь, активно следит за закредитованностью населения, и модели машинного обучения помогут меньше одобрять кредиты для заемщиков, которым сложно их оплачивать. В итоге снизится уровень показателя долговой нагрузки населения.

- Каково будущее персонализации банковских сервисов? В каком направлении вы будет двигаться?

Как уже говорил, на любом из этапов взаимодействия с клиентов – привлечение, развитие, удержание – мы будем стараться персонализировать наши предложения, персонализировать параметры продуктов, контент под каждого клиента, чтобы сделать продукты банка наиболее привлекательными. Одна из будущих фундаментальных концепций при принятии решений – это концепция ценности клиента на всем этапе взаимодействия с ним (customer lifetime value, CLTV). Для того, чтобы повышать CLTV, банк должен угадывать потребности клиента, своевременно предлагать ему продукты, предлагать безупречный сервис, персонализированную программу лояльности и при этом не докучать лишними коммуникациями. Сам по себе расчет CLTV для каждого клиента невозможен без алгоритмов машинного обучения и больших данных – потому что в первую очередь это оценка будущего взаимодействия с клиентом. Но это уже другая история.

Сеть «Магнит» создала платформу управления данными. Среди целей проекта – оптимизация работы дата-сервисов и повышение прозрачности информационных активов, чтобы обеспечить доверие пользователей к предоставляемой аналитике. О масштабах проекта, его реализации и роли для развития компании рассказывают Павел Шорохов, директор департамента по работе с данными «Магнит», и Олег Молчанов, руководитель направления по метаданным и качеству данных, — номинанты премии Data Award.

- Что привело компанию к реализации проекта платформы управления данными?

Павел Шорохов: В компании около 10 тыс. пользователей данных. Они используют многоуровневую платформу, содержащую более 1 Пбайт данных (5 Пбайт с учетом кластеров Data Science). Более 2 тыс. пользователей обращаются напрямую к центральному элементу платформы – корпоративному хранилищу данных, – которое развивается уже 12 лет и содержит 420 Тбайт данных.

За это время система стала сверхсложной: в нее интегрировано чуть больше 200 систем-источников данных, а пользователи обращаются к 5 тыс. витрин данных. Такое количество разработанного функционала требует продвинутых возможностей для поиска нужной информации. А так как бизнес самостоятельно работает в пользовательских областях (так называемых «песочницах»), которых сейчас около 80, то потребовалось также повысить переиспользуемость объектов данных (информационных активов).

В середине 2022 года мы приняли решение об одновременном внедрении полного стека инструментов Data Governance & Data Quality и методологии работы с ними. Начав в ноябре, мы за полгода разработали, внедрили и опубликовали для целевой аудитории такие инструменты, как бизнес-глоссарий, каталог данных, автоматизированную систему контроля качества данных и виртуального дата-помощника.

- Какие задачи требовалось решить?

П.Ш.: Самое главное – требовалось оптимизировать работу дата-сервисов. Во-первых, ускорить поиск данных. Регулярно проводя опросы наших сотрудников, мы видели частые ситуации, когда пользователь не мог самостоятельно найти необходимые данные, которые есть в компании. Ему необходимо было пользоваться разрозненными сервисами, которые предоставляли отдельные подразделения. В итоге слишком много времени уходило на такие рутинные задачи, как отправка запроса на поиск данных, ожидание начала работы над таким запросом, собственно работа над запросом и другие дополнительные коммуникации. Большинство из этих задач можно и нужно было автоматизировать.

Во-вторых, было важно сократить время на разбор происхождения данных и анализ влияния изменений в данных, ускорить внедрение изменений. Дело в том, что системные аналитики, чей фокус в основном на развитии хранилища, в зависимости от задачи могли тратить на «ручной» разбор зависимостей от 2 до 16 часов, что имело негативное влияние на поставку изменений. Учитывая, что вся нужная информация уже существовала где-то в метаданных, мы понимали, что наша задача только организовать их удобное хранение и анализ.

Требовалось и уменьшить время запроса на доступ к данным. В среднем у наших сотрудников уходило около получаса на один такой запрос, что с учетом количества наших пользователей мы считали недопустимым. Необходимо было разработать более эффективный процесс и автоматизировать его.

Кроме того, было важно снизить расходы на поддержку существующих аналитических данных за счет выстраивания правильного пользовательского пути: сначала – self-service для поиска и понимания данных, а уже в случае возникновения вопросов — обращение к эксперту по данным в бизнесе или ответственным за реализацию. Также планировали снизить расходы через создание условий для переиспользования существующих наработок и сдерживания расширения «теневого ИТ».

Наконец, требовалось повысить качество данных за счет внедрения ответственности за данные и запуска операционной модели управления качеством данных. Но как повысить качество, если мы его даже не измеряли на тот момент? Поэтому сначала необходимо было обеспечить прозрачность информационных активов и знаний о них.

Таким образом, мы в целом планировали повысить доверие к существующей аналитике и оптимизировать способы ее получения, что является фундаментом развития data-driven культуры в компании.

- Какой подход был выбран?

Олег Молчанов: В процессе реализации инициативы применялись смешанные подходы как проектного управления, так и внедрения самого продукта со всеми релизными историями, приоритизацией бэклога и т.п. Но здесь хотелось бы выделить две ключевые организационные особенности, которые, на наш взгляд, имели эффект.

Внедрение методологии управления данными, включающее проектирование операционной модели (какие роли и за что отвечают) и регламентацию низкоуровневых процессов управления метаданными и качеством данных (как эти роли взаимодействуют), проходило нога в ногу с внедрением самих инструментов. По опыту внедрения таких решений ранее мы были уверены, что без методологической базы и четкого понимания пользователей, как и зачем им работать в предложенных инструментах, система не будет востребована пользователями, а значит в полном объеме заявленных эффектов не получить.

При внедрении крупных изменений очень важно создать коалицию: найти группу людей среди внутренних заказчиков, которые будут вести за собой остальных. Мы так и сделали, заручившись поддержкой одного из ключевых бизнес-блоков. Совместно с ним проходило обсуждение разрабатываемых процессов и обкатка всех первых наработок во внедряемых инструментах: процесс ведения бизнес-глоссария, выбор систем для каталогизации метаданных, валидация полноты и достоверности результатов сканирования метаданных, реализация первых проверок качества данных. Это помогло нам сделать коллег неформальным заказчиком проекта, заручиться их поддержкой и «живым примером» для дальнейшего тиражирования. Главный вывод – не внедряйте инструменты и процессы Data Governance & Data Quality в отрыве от реальности.

- Какие инструменты использовались?

О.М.: Мы использовали решения, продвигаемые DIS Group: бизнес-глоссарий, каталог данных, система управления качеством данных. Виртуальный помощник реализован с помощью собственной разработки. И в соответствии с нашей стратегией cloud first мы использовали инфраструктуру «Яндекс.Облако».

Созданная в результате платформа управления данными охватывает все промышленные данные компании, использующиеся в корпоративном хранилище данных и корпоративной отчетности.

- Что представляет собой созданное решение?

П.Ш.: Созданное решение — это единый портал пользователя данных, который можно условно разделить на несколько частей.

Во-первых, это портал для поиска данных и запроса доступов к ним. Одним словом – все, что нужно пользователю, когда он знает, зачем пришел. В этом случае ему нужно только помочь понять, где это находится, и получить доступ.

Далее, в портал встроен бизнес-глоссарий – своего рода «Википедия» про данные, где можно лучше понять значение найденных данных: изучить описание информационных активов, их место в корпоративной архитектуре данных, узнать, кто владеет данными и тому подобное. Теперь, когда пользователь обладает доступом к нужным ему данным, он хочет понять, насколько они соответствуют его ожиданиям – для этого существует модуль качества данных, который содержит дашборды и отчеты по качеству информационных активов.

Наконец, так как нашим порталом пользуются тысячи пользователей с самым разным уровнем подготовки, мы встроили в него обучающие материалы и дополнительно проводим семинары и публикуем вспомогательные материалы по работе с внедренными инструментами.

- Что такое виртуальный дата-помощник, какова его роль?

О.М.: Это чат-бот, «прикрученный» ко всем страницам платформы управления данными. Мы его с некоторых пор «забрендировали» и стали называть Data Assistant. В прошлом году о первых версиях и «внутрянке» продукта мы рассказывали в статье: Как устроен виртуальный помощник для дата-сервисов в «Магните».

Сейчас через Ассистента можно решить полный перечень вопросов, связанных в данными. Он поможет сориентироваться в том, что вообще доступно: какие есть порталы и инструменты работы с данными (например, наш собственный BI-инструмент – «Магрепорт»), найти основные статьи из базы знаний, найти своего дата-партнера, вступить в дата-комьюнити и многое другое. С его помощью можно сформировать из чата запросы на информацию, сообщить об инциденте, запросить доступ к данным или инициировать изменения ролевой модели. Еще одна функция – найти данные и связанные информационные активы по ключевым словам. Бот, в основе которого лежит простенькая ML-модель, сам подберет соответствующие вашему запросу витрины данных, аналитические отчеты, показатели и аналитики из глоссария, бизнес-процессы и информационные системы.

Важно, что этот помощник всегда под рукой: в платформе и в корпоративном мессенджере. В частности, он является связующим звеном для всех описанных ранее компонентов платформы Magnit Data. Через него же можно сообщить о проблемах с платформой, задать вопрос или предложить доработку.

- Что в ходе проекта было самым сложным? Какие уроки для себя вы извлекли?

O.М.: Самое сложное, как и всегда, – это люди. Точнее, изменение и дополнение существующих устоявшихся бизнес-процессов, по которым они привыкли работать. На первых этапах очень важно было суметь показать пользу от внедренных изменений и доказать, что потраченные усилия позволят сократить трудозатраты на рутинные задачи по работе с данными.

Главный урок – в таком проекте следует как можно раньше начинать обсуждать методологическую составляющую и договариваться об изменениях и зонах ответственности. Важно как можно больше рассказывать сотрудникам на всех уровнях про то, как меняются процессы, и почему это важно. Доносить, какую проблему решаем, и показывать, как повлияют изменения на производственный процесс. Конечно, все это нужно делать с использованием детально продуманных и визуально понятных материалов, а не только через объемный бизнес-процесс, описанный по стандартам компании.

- Что удалось лучше всего, а над чем еще предстоит поработать?

О.М.: Я считаю, что у нас хорошо получилось позиционировать новую платформу как экосистему по управлению данными для каждого, кто работает с данными и аналитикой. Для этого, помимо самого внедрения инструментов и связанных процессов, был исполнен огромный коммуникационный план: демонстрации в разных форматах для разной целевой аудитории, регулярные письма в корпоративной почте, мессенджере и других внутренних площадках о новом контенте, новой функциональности системы или новых бизнес-процессах.

Отдельный блок работ был посвящен омниканальности, где ссылки на нашу платформу появлялись во всех логичных для этого местах, чтобы создать продолжение пользовательского пути и дать определенную рекламу ресурса. Это ярлыки на рабочих столах у целевой аудитории, наличие ресурса на популярных сайтах в корпоративном браузере, автоподписи сотрудников нашего департамента, ссылки из корпоративной системы техподдержки, ссылки из архитектурного репозитория, когда речь идет о бизнес-сущностях и многое другое. Нам удалось научить смежные подразделения говорить словосочетание Magnit Data чаще, чем мы его произносим внутри команды.

Если говорить о том, чем еще предстоит заняться, то, безусловно, мы продолжим наполнять контентом бизнес-глоссарий и контролировать полноту и качество этого контента. Говоря простым языком, будем делать описание показателей, аналитик, сущностей по всей группе компаний и всем предметным областям. Это очень объемный труд, в который мы вовлекаем бизнес. Этот фронт работ мы планируем добить в 2024 году.

- Какие результаты достигнуты и ожидаются?

П.Ш.: План проекта на 2023 год был выполнен полностью. Все системы, а именно четыре компонента платформы – бизнес-глоссарий, каталог данных, автоматизированная система контроля качества данных и виртуальный дата-помощник – с полной функциональностью были поставлены бизнесу даже быстрее запланированного. Я считаю, что это получилось сделать во многом благодаря хорошо проработанному коммуникационному плану и вовлечению бизнеса, за что коллегам огромное спасибо. Для нас важно, что внутренняя команда «Магнита» приступила к самостоятельному развитию функциональности и наполнению контента сразу же после выхода системы в промышленный контур.

Инструменты уже востребованы: мы получили ежемесячную базу пользователей новых инструментов в размере 1 тыс. сотрудников, которые ежемесячно создают более 5 тыс. запросов на поиск данных. Мы ожидаем, что общая база наших пользователей составит примерно 3 тыс. сотрудников, и мы будем стремиться к тому, что со временем 80% из них будут посещать портал минимум раз в месяц.

Если говорить о контенте, то мы отсканировали и каталогизировали справочники MDM, витрины основного хранилища данных и двух дополнительных хранилищ. К каталогу данных для автоматического забора метаданных по расписанию подключено 12 систем. По ним теперь можно анализировать происхождение данных и проводить анализ зависимостей. Дополнительно пользователи получили более 7 тыс. описанных информационных активов.

На начало февраля 2024 года в системе автоматизировано более 110 проверок качества данных, которые вовлекли в процессы управления данными более 70 сотрудников на стороне бизнеса – владельцев данных, экспертов по данным, поставщиков данных. Инструмент вместе с внедренной операционной моделью и опубликованными бизнес-процессами систематизировал работу с данными в компании.

Система продолжает развиваться, растет количество пользователей и сценариев использования, подключаются новые системы-источники метаданных.

- Какое влияние это оказало на ежедневную работу сотрудников?

П.Ш.: Приведу несколько примеров изменений, произошедших после публикации портала.

Например, в 10 раз снизилось время, которое тратит сотрудник на запрос доступа к данным. Сейчас пользователь тратит менее минуты за счет выстроенного пользовательского пути в виртуальном помощнике и прозрачности ролевой модели в связке с описанными данными.

На 15% снизилось количество запросов на информацию, поступающих к централизованной команде развития корпоративного хранилища. Это достигнуто за счет доступного описания данных и сценариев самообслуживания в Magnit Data. Соответственно, мы оптимизировали трудозатраты на анализ и консультации дорогостоящих специалистов – системных аналитиков.

В среднем на 15% выросло количество активных пользователей корпоративного хранилища и нашей BI-системы «Магрепорт» за счет популяризации использования данных, снижения порога вхождения в инструмент и увеличения доверия к данным через визуализацию их «здоровья». Это косвенно говорит о росте data-driven культуры в компании.

Наконец, вдвое снижено время поиска данных за счет создания центрального интерфейса из нескольких компонентов: бизнес-глоссария, площадки данных и каталога данных. Этот расчет сделан на основании точечных замеров кейсов и опроса пользователей.

- А если говорить про работу дата-команды?

О.М.: Время реагирования на снижение качества данных уменьшено до одного часа, это очень серьезный результат. Ранее выявление проблем происходило по факту работы пользователей с данными, затем о проблеме сообщалось через внутренние системы к централизованной команде, а далее на поступившие инциденты реагировали в течение четырех рабочих часов на первой линии, плюс время на работы других участников процесса. Теперь же об отклонениях известно сразу всем участникам процесса одновременно: аналитикам КХД, экспертам по данным, поставщикам данных. Еще до начала рабочего дня они получают оповещения за счет автоматизированной системы контроля качества данных. Выстроены и регламентированы процессы реагирования на инциденты.

На 15% снижены трудозатраты аналитиков, занимающихся развитием и сопровождением КХД, на проведения анализа происхождения данных и анализа зависимостей при проектировании изменений в объектах данных.

- Пытались ли оценить эти эффекты в деньгах?

П.Ш.: Да, и если эффект, связанный с сокращением трудозатрат, легко считается (у нас есть стоимость человеко-часа и понимание того, насколько мы оптимизировали работу более 1 тыс. сотрудников), то интересней влияние на скорость и верность принятия решений. Менеджер теперь получает свой управленческий отчет раньше, а благодаря повышению качества данных повышается и качество управленческих решений, основанных на данных. Этот эффект посчитать сложнее, но очевидно, что в масштабах организации с более чем 360 тыс. сотрудников важность доверия к аналитическим данным сложно переоценить.

- Какую роль играет этот проект в развитии компании?

П.Ш.: Реализованный проект является фундаментом для другой стратегической ИТ-инициативы компании по импортозамещению технологий, на которых построена корпоративная платформа данных. При миграции на новую платформу важно понимать зависимости в исторически сложившемся хранилище, требования бизнеса к качеству данных, используемость данных. Создание новой платформы должно сопровождаться инструментами, обеспечивающими прозрачность новых информационных активов, и контроль качества данных на всех этапах жизненного цикла данных.

Также платформа управления данными Magnit Data является движущей силой внедрения операционной модели и процессов управления качеством данных компании.

- Каковы планы по развитию проекта?

О.М.: Фокус в первом квартале 2024 года – на стабилизации работы решения, отработке критичных для наших пользователей багов, автоматизации мониторинга работоспособности всех компонентов системы, выстраивании внутренних процессов реагирования на них. После «взрывного» внедрения и гонки во всех направлениях под конец прошлого года мы решили позволить себе такую паузу. Количество пользователей системы значительно выросло, а значит выросли и ожидания публики, и наша ответственность.

В целом на 2024 год планируется работа по нескольким направлениям. Это наполнение качественным контентом бизнес-глоссария в сопровождении связки концептуального, логического и физических уровней, а также контроль бизнес-процесса ведения бизнес-глоссария. Это разработка новых проверок качества данных для критических элементов данных по требованиям бизнеса – потребителей данных и владельцев данных. Будем проводить каталогизацию метаданных по строящейся у нас Корпоративной платформе 2.0 на новых технологиях. Планируется детальное изучение сценариев работы целевой аудитории, работа с продуктовыми метриками и обратной связью пользователей. Наконец, планируем разработку центрального упрощенного интерфейса для поиска информационных активов, рассчитанного на максимально широкий круг пользователей.