Статьи

«Северсталь» разработала комплекс моделей машинного обучения для линии окомкования окатышей. Система, внедренная на «Карельском окатыше», автоматически управляет скоростью вращения оборудования и выдает рекомендации по дозировке железорудного концентрата, что позволяет повысить производительность агрегата с сохранением качества продукции. При создании решения для повышения устойчивости и качества использовались некоторые элементы физически информированного машинного обучения (Physics Informed ML). Решение стало уникальным для комбината симбиозом физического моделирования, алгоритмов машинного обучения и компьютерного зрения. О реализации проекта рассказывает Андрей Голов, руководитель Центра искусственного интеллекта «Северстали» и номинант на премию Data Award.

- В чем заключалась решаемая задача?

Речь идет об оптимизации важного технологического процесса. Окомкование пылеобразного железорудного концентрата в окатыши нужно для его более удобной транспортировки и последующего эффективного использования в доменной печи для производства чугуна. Для оптимального протекания процесса выплавки требуются окатыши размера 10-12,5 мм: именно в этом случае обеспечивается оптимальная пористость и газопроницаемость слоя при термообработке, что приводит к улучшению качества готовой продукции. Производство окатышей осуществляется в условиях постоянно изменяющихся характеристик концентрата, что влияет на распределение окатышей по классам крупности на выходе из окомкователя. Это яркий пример процесса, где было высоко влияние человеческого фактора, от которого требовалось уходить.

- Почему это важно для компании?

Мы уже несколько лет последовательно внедряем data-driven подход к принятию решений на производстве. В направлении переработки продукции – в прокатном производстве – у нас уже было достаточно много успешных проектов, а теперь мы оцифровываем и ресурсные предприятия, где происходит добыча железной руды.

- Как задача решалась ранее?

Ранее оператор управлял процессом окомкования вручную на основании экспертизы и лабораторных проб, которые производятся раз в несколько часов, а по некоторым параметрам – раз в сутки. И, конечно, у операторов не было индикатора, который мог бы точно определить долю гранул нужного размера.

Оперативный контроль гранулометрического состава окатышей производился визуально с высоты нескольких метров. В таких условиях невозможно осуществлять постоянный и точный контроль целевого класса крупности окатышей и своевременно реагировать на изменившиеся характеристики сырья. Одним из важных параметров на этапе обжига является влажность сырых окатышей. Оператор измерял влажность окатыша тактильно «наощупь», что давало крайне субъективную оценку низкой точности.

- Какой был выбран подход?

Мы решили совместить технологии компьютерного зрения с классическими моделями машинного обучения, опираясь на физическое моделирование процесса.

- Что представляет собой созданное решение?

На основе анализа изображений с камер с высоким разрешением модель компьютерного зрения определяет влажность и гранулометрический состав сырых окатышей. Нейронная сеть точно определяет контур и размеры окатышей, в том числе те, которые частично скрыты под первым слоем окатышей. Система компьютерного зрения осуществляет непрерывный мониторинг и обеспечивает поток информации в систему управления линией окомкования, что позволяет автоматически управлять и оперативно реагировать на изменение параметров процесса.

Модели машинного обучения для управления процессом окомкования автоматически управляют скоростью вращения окомкователя и дозировкой бентонита, выдают рекомендации по дозировке железорудного концентрата, что позволяет повысить производительность агрегата с сохранением качества продукции, либо увеличить процент класса 10-12,5 мм при сохранении производительности.

Помимо периодического переобучения модели под долгосрочные тренды, модель в онлайн-режиме подстраивается под различные возмущающие факторы и учитывает их для более точных предсказаний в режиме реального времени.

- Какие инструменты использованы?

Система построена на платформе нашего озера данных. Сбор потоковых технологических данных с агрегатов окомкования с интерфейсом OPC осуществляется с помощью Nifi и собственных сервисов на Java, для оперативного хранения используется шина данных Kafka, для долгосрочного – Hadoop.

Само решение написано на языке Python и обернуто в Docker-контейнер, оркестрация организована в Kubernetes. В части компьютерного зрения использовались собственные разработки по сбору и обработке видеопотока.

- В чем уникальность проекта?

При создании решения для повышения устойчивости и качества нами использовались некоторые элементы физически информированного машинного обучения (Physics Informed ML).

В работе над проектом мы столкнулись с двумя проблемами. Одна из них заключалась в том, что данные по процессу были достаточно шумные, и не все важные свойства руды можно было измерять в онлайне. Вторая проблема – отсутствие достаточного количества разнообразных режимов работы агрегата и, как следствие, не разнообразный датасет. Все попытки обучить модель на том, что есть, приводили к тому, что она описывала поведение агрегата в новых режимах работы не очень адекватно, а выдаваемые ею результаты не соответствовали физике процесса. И для этого мы добавили при обучении модели физические ограничения в виде уравнений и зависимостей, характеризующих технологический процесс, которые зашили в виде регуляризаторов. Это помогло повысить предсказательную силу модели в новых режимах работы и, как следствие, оптимально подстраивать в онлайне работу агрегата к изменяющимся свойствам сырья.

- Что способно дать физически информированное машинное обучение «Северстали»? Насколько перспективным считаете это направление, в том числе для отрасли в целом? Где и как оно может быть использовано?

Physics Informed ML – это перспективное направление, особенно в промышленности, где мы часто имеем дело с шумными измерениями и маленькими выборками данных. Оно объединяет преимущества физического моделирования на основе дифференциальных уравнений и классического машинного обучения. Уравнения, присущие физическому моделированию, решаются с помощью численных схем довольно точно, но долго. Машинное обучение может быстро выявлять сложные зависимости из данных, но сильно зависит от качества самих данных, а в некоторых случаях результаты могут противоречить законам физики. Объединение этих подходов позволяет взять лучшее из каждого из них: в итоге дифференциальные уравнения, отвечающие за соответствие физическим законам, решаются на порядок быстрее, а неточности физических моделей и неучтенные ими процессы компенсируются реальными данными от модели машинного обучения.

- Какие результаты достигнуты и ожидаются? Насколько получаемый результат серьезен для компании?

Мы подтвердили возможность за счет использования модели повысить производительность на 11% относительно других линий с сохранением качества продукции, либо увеличить процент окатышей класса 10-12,5 мм на 2,3% при сохранении производительности.

- В чем роль этого проекта для бизнеса компании?

Во-первых, управление процессом окомкования в автоматическом режиме ограничило влияние человеческого фактора и снизило нагрузку на операторов. Кроме того, начинающему рабочему стало гораздо проще влиться в работу, так как ему не приходится опираться на собственный опыт, которого пока немного, или на опыт старших коллег.

Во-вторых, решение дает возможность не только контролировать процесс окомкования и управлять им, но и стандартизировать работу обжиговой машины. Оно успешно пропилотировано на одной из шести линий окомкования и будет тиражировано на другие линии.

В-третьих, реализованный проект стал уникальным для нашего комбината симбиозом физического моделирования, алгоритмов машинного обучения и компьютерного зрения.

- В каком направлении будет развиваться проект?

Сейчас мы уже ведем работы по тиражированию решения на другие технологические линии. В будущем планируем усложнить это решение за счет функции управления в специфичных режимах работы окомкователей.

Благодаря диспетчеризации открытых и подземных горных работ компания АЛРОСА повысила эффективность и безопасность добычи на своих объектах. Внедренное решение АСУ ГТК «Карьер» сделало прозрачными производственные процессы на подземном руднике «Удачный» и на Мирнинско-Нюрбинском ГОКе. О реализации проекта рассказывает Иван Бобряшов, руководитель программы проектов АЛРОСА ИТ и номинант на премию Data Award.

— Что привело АЛРОСА к реализации проекта? Каковы были бизнес-боли, чем не устраивала ситуация?

Мы видели необходимость в повышении операционной эффективности компании. Этого мы могли достичь за счет гибкого управления процессами на горизонте смены и улучшения дисциплины исполнения плана производства. Нам требовалась автоматизация сбора данных по рудопотоку и позабойный контроль выпуска руды. Кроме того, стояла задача автоматизировать отслеживание ключевых показателей эффективности горной техники и создать базу данных для аналитики. И цифровизация стала способом, чтобы решить наши «боли». Она дала нам новое качество управления производством.

— Какие поставили цели перед проектом?

Была поставлена задача перейти на оперативное управление производством на базе системы диспетчеризации: наладить сбор данных с горнодобывающей техники и стационарного оборудования для принятия управленческих решений на базе показателей эффективности.

— Сейчас АЛРОСА ведет несколько проектов по диспетчеризации своих карьеров и рудников. А с чего все началось?

Возможность оперативного контроля за добычей, а также возможность выявления и анализа неэффективности в процессе откатки, дали хорошие эффекты на открытых горных работах, в карьере. Поэтому было решено пробовать аналогичный подход в руднике.

— Как вы выбирали решение?

Решений по работе в подземке было на рынке в тот момент было несколько, но мы решили остановиться на коллегах, у которых уже был успешный опыт реализации подобного проекта в аналогичных сверхжестких условиях эксплуатации. И действительно, их опыт оказался крайне полезен, хотя, конечно, пришлось работать со спецификой нашего рудника и отвечать на новые вызовы всей командой.

— На каком решении вы в итоге остановились?

Мы использовали решение АСУ ГТК «Карьер» компании «Цифра». Оно в автоматическом режиме собирает информацию о работе горнотранспортного комплекса и дает объективную картину текущего состояния процесса добычи и грузоперевозок. Диспетчер на центральном пульте может отслеживать передвижение как всей техники, так и отдельных единиц на мониторе компьютера — в реальном времени и за произвольные предыдущие периоды. Там же отображается текущий статус эксплуатации оборудования, факты отклонения его работы от плана и маршрута, снижение скорости. Контроль и анализ функционирования горнотранспортного парка позволяет повысить уровень дисциплины операторов горной техники и коэффициент использования горного оборудования.

— Что было сделано в рамках проекта?

Мы начали с рудника «Удачный». Оснастили связью Wi-Fi все основные добычные горизонты, гараж, ремонтные участки, места пересменок, подключили около полусотни единиц горной техники, реализовали интеграции со стационарным оборудованием, с системой координатного позиционирования, с MES-системой. Отладили автоматическую и ручную классификацию статусов подвижного и стационарного оборудования, сделали чат для связи «машинист-диспетчер», наладили сбор данных с самоходного горно-шахтного оборудования и мониторинг рудопотока в реальном времени. Была внедрена целевая модель оперативного управления производством на базе системы диспетчеризации и мгновенное отслеживание показателей эффективности техники.

— Что собой представляет созданное решение?

Решение помогает повысить производительность, уменьшить издержки на эксплуатацию горнотранспортного комплекса, а также обеспечить безопасность ведения работ на карьерах и рудниках. На технику устанавливаются датчики и бортовые средства диагностики состояния и передачи данных, настраивается беспроводная сеть на карьере или в подземном руднике. Далее устанавливается программный мониторинг на централизованном пульте, где диспетчер видит отклонения от плана в каждом звене и может оперативно вмешаться и повлиять на ход работ.

— Каких результатов удалось достичь, как это соотносится с ожиданиями?

Весь рабочий процесс добычи алмазов отображается в режиме реального времени на информационных панелях, позволяющих контролировать статусы техники, процесс добычи руды и показатели эффективности в целом и каждой единицы техники по отдельности. Полученные данные заложены в основу мероприятий по повышению операционной эффективности горного транспорта и горно-шахтного оборудования для повышения производительности компании.

Цифровизация подземного горного рудника «Удачный» увеличила показатели эффективности работы техники на 12%. Всего было подключено 48 единиц техники, включая шахтные самосвалы, буровые установки, погрузочно-доставочные машины, вспомогательную технику, а также 15 единиц стационарного оборудования.

Внедрение АСУ ГТК «Карьер» на Мирнинско-Нюрбинском ГОКе привело к повышению эффективности работы большегрузных самосвалов на 16% за счет более эффективного управления транспортными потоками и минимизации простоев. Там к системе подключены 57 единиц техники, включая автосамосвалы, погрузчики, бульдозеры.

— Были ли в результате анализа данных об оборудовании сделаны какие-то неожиданные открытия?

Практически сразу стало понятно, что можно и нужно оптимизировать процесс мойки, очереди на заправку, точки дозаправки, места пересменок, очереди на погрузку.

— Что было самым сложным в ходе проекта?

Наладить аналитику, техобслуживание и ремонт по новому оборудованию, настроить под определенные требования автоматическую установку статусов, простоев и карту рабочего времени. Проект был непростой с точки зрения большого количества подключаемого оборудования, чужих систем для интеграций, человеческого фактора. А если мы говорим об «Удачном» — это все было еще под землей.

— Каково значение проекта для бизнеса компании?

Благодаря проектам цифровизации, а именно диспетчеризации открытых и подземных горных работ, мы повышаем эффективность и безопасность добычи на своих объектах. Нам удалось сделать прозрачными производственные процессы на подземном руднике «Удачный» и на Мирнинско-Нюрбинском ГОКе. Получая данные с горнотранспортного комплекса, компания выявляет узкие места в производстве и отслеживает целый набор важнейших технико-эксплуатационных показателей. Кроме того, внедренная система упростила работу диспетчеров — теперь они могут с большей оперативностью реагировать на технические неисправности и любые другие отклонения от нормальной работы горнотранспортного комплекса. На данных, получаемых из системы диспетчеризации, также строится мотивация персонала.

Реализация данного проекта с использованием самых современных цифровых инструментов позволила перейти на совершенно новый уровень работы с данными. Была создана прозрачная среда работы оборудования, когда все происходящие события являются доступными для просмотра, анализа, контроля и управления.

— Каковы ближайшие планы? В каком направлении будет развиваться система?

На руднике «Удачный» планируем увеличить зоны покрытия связью, включить в проект буровые установки. Сейчас мы завершаем еще один проект — на подземном руднике «Айхал», и начнем еще одно внедрение системы подземной диспетчеризации на «Интернациональном».

За последние годы «Юниверс Дата» реализовала целую серию активностей, направленных на подготовку специалистов по управлению данными. Всесторонняя подготовка таких специалистов позволит предоставить отрасли профессиональные кадры, которые внесут серьезных вклад в развитие экономики России. Особое место в цепочке реализованных проектов занимает издание книги «Ценность Ваших Данных», ставшее знаковым событием для рынка. О проведенной работе рассказывает Александр Константинов, коммерческий директор «Юниверс Дата» и номинант на премию Data Award.

— Какие направления охватывает работа «Юниверс Дата» по подготовке специалистов по управлению данными?

Мы всегда уделяли огромное внимание подготовке специалистов по управлению данными. Мы прекрасно осознаем, что, к большому сожалению, ни один российский вуз не выпускает готовых специалистов в области управления данными. Это – штучный товар, который нужно по крупинкам выращивать. А раз так, то это наша святая обязанность – всецело участвовать в этом процессе, оказывая помощь вузам и ведя образовательную деятельность самостоятельно, открывая талантливым ребятам «путь к данным», рассказывая о самом важном и интересном.

Да, мы коммерческая компания, которая зарабатывает деньги, но финансы никогда не были нашим единственным мерилом успеха. Мы всегда хотели рассказывать, образовывать, делиться, если угодно, «нести светоч», именно потому, что нам всегда было что сказать. Огромный практический опыт, основанный на десятках и сотнях успешно реализованных проектов, помноженный на серьезные теоретические знания – на наш взгляд, достойный фундамент, на котором зиждется образовательный процесс. Если же говорить о направлениях, то их очень много – лекции в вузах, вебинары, открытые лекции для чиновников и всех желающих, публикации, переводы иностранных работ, и, наконец, собственная 600-страничная книга, которая получила номинацию на самую престижную научную премию России «Знание».

— Какие форматы используются? Что себя наиболее удачно зарекомендовало?

Реалии сегодняшнего дня и события недавнего прошлого внесли серьезные коррективы именно в формат подготовки специалистов. Если до начала эпопеи, связанной с коронавирусной инфекцией, мы отдавали предпочтение классическим форматам – очным курсам в вузах, выездным лекциям, включению наших образовательных программ в учебный процесс, то эпидемия скорректировала планы. Думаю, что все мы прекрасно помним те события: учебные заведения были закрыты, обучение замерло, а потом продолжилось в дистанционном формате. Да что там говорить – казалось, замерла и сама жизнь, когда люди были заточены в четырех стенах. Учитывая все это, мы очень быстро переформатировали учебный процесс и стали запускать вебинары. У нас это получилось очень быстро, потому что мы задолго до этих событий внимательно изучили и технические средства, и наши возможности в этом направлении. Так что, как только «грянул гром», уже через неделю мы провели свой первый вебинар. Так что в течение длительного времени именно вебинары хорошо себя зарекомендовали. Когда пандемия наконец отступила, мы стали возвращаться к более привычным путям взаимодействия с аудиторией.

— Какие из проведенных проектов вы можете выделить?

Первое, что я хотел бы выделить – вебинары. Более 100 образовательных вебинаров по данным: для широкой аудитории и для компаний, для вузов и уже работающих в этой сфере специалистов – вот далеко не полный перечень того, что мы попробовали и постарались максимально емко и интересно представить аудитории. В том числе, работали с множеством непрофильных вузов – например, с таким экзотическим для нас учебным заведением, как Государственный нефтяной технический университет имени академика М. Д. Миллионщикова в Грозном.

Особняком стоят вебинары на английском языке, о которых я хотел бы рассказать чуть подробнее. В какой-то момент как раз в разрезе образовательных проектов, мы создали Сообщество специалистов по управлению данными. Причем сообщество международное. Более того, это была не просто «площадка для обучения и общения»: комьюнити подтвердило эту активность изданием нашего программного продукта в области управления мастер-данными. Иными словами, мы включили в образовательный процесс собственный сложный продукт, который сделали триггером и, я бы даже сказал, катализатором всех направлений, связанных с образованием. Более того – наш продукт «Юниверс MDM» широко используется в ведущих вузах страны. В частности, успешно реализованы исследовательско-практические проекты совместно с НИУ ВШЭ, Инновационным центром «Сколково», СПбГУ.

Конечно, стоит сказать о целой серии образовательных проектов, направленных на всестороннюю подготовку кадров в области управления данных, проведенных совместно с матмехом СПбГУ. Речь идет о курировании курсовых и дипломных работ, участии в учебном процессе, выполнении научно-исследовательских работ и обмене опытом. Нам удалось не только привнести искомую новизну в учебный процесс и внести свою лепту в развитие науки, но и стать прикладной площадкой для воспитания талантливой молодежи, которая проходила у нас практику. Многие талантливые студенты остались у нас работать.

Очень интересным проектом стали открытые лекции для российских чиновников. Совместно с РАНХиГС мы провели 6-часовую образовательную лекцию на тему ценности данных для чиновников российских министерств и ведомств. Я был одним из лекторов. Совсем недавно мы с коллегами провели большую открытую лекцию для сотрудников Федерального казначейства по управлению данными.

В плане образования мы развиваем и наш канал на Habr, где регулярно рассказываем о самом интересном в области данных. Названия этих больших публикаций на «Хабре» говорят сами за себя: «Глубокое погружение в данные», «Что учесть при разработке интеграций информационных систем», «Распознавание фейков с помощью технологий управления данными», «5 трендов баз данных», «Развиваем нечеткий поиск на примере МТР», «Применение машинного обучения для определения содержимого колонки в таблице».

Создана и успешно работает наша научно-исследовательская «Юниверс Лаборатория» – структурное подразделение, которое отвечает за публикации, фундаментальные исследования, разработки, образовательные проекты и связи с академической средой. Под ее эгидой вышли большие научные публикации в сборниках крупнейших конференций – MEDI, FRUCT, DAMDID.

Очень интересным опытом стало наше выступление на международной арене. Мы приняли участие в крупнейшем в мире мероприятии в области управления данными – Gartner Data&Analytic Summit во Франкфурте. Мы выступили с образовательной лекцией по данным, рассказав представителям мирового сообщества о нашем видении основных тенденций и технологий в этой области. Кстати, в том числе благодаря нашим образовательным и научно-исследовательским инициативам, мы были включены в престижнейший «Магический квадрант» Gartner в течение трех лет подряд. Первыми и единственными из России.

Ну и, наконец, как венец всего вышесказанного, я бы выделил нашу издательскую деятельность. Сначала мы перевели для российской аудитории легендарную DAMA-DMBOK, предложив специалистам по управлению данными в нашей стране принципиально новый понятийный аппарат и систему терминов. И совсем недавно мы написали собственную книгу, которая называется «Ценность Ваших Данных» (издательство «Альпина Бизнес»). Мне посчастливилось стать одним из ее авторов. Это серьезное, 600-страничное исследование, всесторонне охватывающее все области управления данными. Книга уже отлично зарекомендовала себя. Мы получили номинацию на самую престижную премию в нашей стране «Знание», что лишний раз подчеркнуло ее востребованность и значимость. Более того, мы уже работаем над ее продолжением.

— Какие цели ставили при разработке книги?

Сначала несколько слов о причинах написания книги. За несколько лет до начала работы над «Ценностью Ваших данных» мы перевели и издали в России легендарную книгу DAMA-DMBOK – руководство Международной ассоциации управления данными (DAMA) к своду знаний по управлению данными. Уже тогда, продираясь через сложность терминологии, выверяя до миллиметра формулировки, облачая сухой текст в «одежду» российских языковых эквивалентов, мы стали задумываться о том, чтобы написать свою книгу. Еще бы: DMBOK умопомрачительно хороша, но далека от идеала. Во-первых, многих отпугивает объем и обилие терминов. Во-вторых, при всех своих размерах, она не охватывает все области, связанные с управлением данных. В-третьих, отсутствует российская специфика. Все это, да и многое другое, и сформировало желание пойти дальше.

Соответственно, сформировались и основные цели при создании нашей книги: рассказать широкой аудитории о данных – структурировано, хлестко, интересно. А главное – с учетом именно российской специфики. Особенностью книги стало то, что мы говорим не просто о данных, а подробно описываем то, как извлечь из них ценность. Многие цитируют известное изречение «Данные – это новая нефть», забывая о том, что без обработки данных, без управления ими информация становится «болотом», тянущим на дно все и вся.

— Что, по вашему мнению, удалось лучше всего?

На мой взгляд, лучше всего нам удалось проследить всю цепочку – от возникновения данных до их получения, обработки и превращения в актив компании. Кстати, именно цепочки данных в итоге и были отображены на обложке. Второй момент – книга основана на российских реалиях, отечественном опыте, законодательстве, особенностях. Третий момент, который я бы выделил: как это ни удивительно для научной, а не художественной книги, у нее есть главный герой – абстрактная компания «Телеком Дубль», на примере которой мы и рассматривали то, как применение технологий в области управления данными позволяет ей развиваться, захватывать рынок и процветать. Так что «герой» у нас рождается, развивается, мужает и достигает своего расцвета. Не обошли стороной мы и историю – оказывается термин «информация» был введен еще в XIV веке и впервые встречается в трудах священника.

— Собираете ли обратную связь? Что говорят читатели, и на что их отзывы влияют в вашей работе?

Да, конечно, отзывы читателей помогают нам, во-первых, критически относиться к собственной работе и улучшать ее – мы уже работаем над вторым дополненным изданием книги. Во-вторых, мы получаем обратную связь от профессионалов в области данных и понимаем, в каком направлении развивать свою дальнейшую научную мысль при создании других книг и научных работ.

Например, Александр Чариков, заместитель генерального директора «РусГидро», выделяет книгу как источник инструментов для вывода своего бизнеса в лидеры рынка. Владислав Онищенко, президент Центра стратегических разработок, подчеркивает, что книга содержит как общеметодологические основы работы с данными, так и конкретные практические аспекты. Борис Макевнин, директор по цифровизации и ИТ Группы «Т Плюс», полагает, что опыт одного из лидеров рынка будет полезен как профессиональным внедренцам, так и функциональным руководителям, интересующимся данной тематикой. Владислав Шишмарев, заместитель руководителя ДИТ Москвы, отмечает о огромный труд, посвященный не только систематизации различных областей, связанных с данными, но и подробному рассказу о том, что это такое и как они появляются. И еще более важно, что все они рекомендуют книгу к прочтению как тем, для кого тема управления данными является новой, так и тем, кто хочет расширить свои знания в этой области.

— Что из обучающих проектов «Юниверс Дата» пользуется наибольшим успехом?

Во-первых, это, конечно, книга «Ценность Ваших Данных», которая стала весьма востребованным инструментом изучения «науки о данных». Во-вторых, вебинары, которые позволили приобщиться к управлению данными тысячам людей. В-третьих, это образовательные проекты в вузах.

— Поставлены ли какие-то цели по проектам и вообще по образовательной работе?

Наша цель на ощутимую перспективу – продолжать поступательное движение. Мы продолжаем все наши проекты, и, более того, расширяем наше присутствие в образовательно-исследовательском кластере. Двигаем науку вместе с «Центром им. В.А. Алмазова» Минздрава России. Мы заключили с ними научно-исследовательское соглашение для совместной деятельности в разработке и внедрении автоматизированных информационных систем для научных исследований и медицинской практики. Наши технологии помогают бороться с сердечными нарушениями. Речь идет о создании общероссийской базы данных по пациентам, создаваемой с наших технологий. Стоит отметить, что регистром пользуется 37 медицинских центров в одной только России. Помимо этого, он задействован в Белоруссии, Казахстане и в шести европейских странах.

— Как вы сами их оцениваете достигнутые результаты? Какие из них считаете главными?

Главным результатом я считаю книгу «Ценность Ваших данных» и вебинары. Книга про данные такого калибра, такой детализации, такого масштаба по данным никогда не выходила в России. Ее создание заняло два с половиной года упорного труда. Результат превзошел ожидания – специалисты по данным наконец получили то, чего заслуживали все эти годы. Это всеобъемлющий труд, который способен ответить практически на все вопросы, касающиеся управления данными. А вебинары позволили тысячам людей получить подробную информацию о данных, влюбиться в них, прийти в профессию и делать жизнь современного общества лучше.

— Сейчас больший акцент делается на работу с вузами или компаниями? Как этот баланс может измениться в обозримом будущем?

Стараемся в равной степени поддерживать и то, и другое. Впрочем, как я уже рассказал, одними лишь вузами и компаниями все не ограничивается, у нас несравненно более широкий спектр. Инициатив десятки, и все они разноплановые и разносторонние.

— В каком направлении будут развиваться образовательные инициативы?

Наши образовательные инициативы будут приобретать все более практическую направленность. Считаем, что фундаментальный базис мы рынку уже дали. Будем концентрироваться на практических лекциях, участии в учебном процессе крупнейших российских вузов, помощи таким мощным организациям, как Центр Алмазова.

Для повышения точности кредитного скоринга банкам важно учитывать данные из самых различных источников, в том числе юридических. Для Альфа-Банка данные, предоставленные PravoTech, стали важным элементом при создании кредитного конвейера. О реализации этого проекта рассказывает Ксения Левина, руководитель по развитию API Big Data PravoTech и номинант на премию Data Award.

- Расскажите про API Big Data. Какие задачи он решает?

Это готовый сервис, предоставляющий доступ к нормализованным, очищенным, обогащенным данным более чем из 35 источников. Обширный атрибутивный состав позволяет использовать данные в ML-моделях клиента без дополнительной обработки. Сервис предоставляет как качественно разобранные сырые данные, так и готовые производные факторы риска. Доступна информация как по юридическим лицам и ИП, так и по физическим лицам.

Данные могут использоваться клиентами на всех уровнях работы с рисками: в кредитном конвейере, при мониторинге действующего портфеля клиентов, при работе с проблемными активами и взысканиями, при оценке регуляторных, рыночных и операционных рисков, а также в задачах службы безопасности и при борьбе с фродом.

- Какие данные он охватывает?

Мы поставляем данные из более чем 35 источников данных. В их числе ЕФРСБ, суды общей юрисдикции, ЦБ РФ, «Вестник государственной регистрации», «Картотека арбитражных дел», «Федресурс», госконтракты, «Мультистат» (Росстат), ФНС, Федеральная нотариальная палата, госзакупки, прокуратура, Реестр недобросовестных поставщиков, запрещенные сайты, Министерство цифрового развития, 2ГИС, Росаккредитация, Росфинмониторинг, ФАС, ЕГРЮЛ/ЕГРИП, ФССП, РКН, лица с повышенным риском.

- В чем его фишка?

В числе ключевых преимуществ API Big Data — самая полная обновляемая база арбитражных дел и дел судов общей юрисдикции, полная база о делах контрагентов, автоматически формируемый реестр кредиторов и оперативные данные по делам физических лиц. Мы передаем клиентам самый полный и качественно разобранный атрибутивный состав данных. За счет этого можно строить более точные прогностические модели и регулировать уровень их консервативности.

Кроме того, в API Big Data используется искусственный интеллект для оценки вероятности исхода дела и исковой нагрузки на основе массива судебных решений, анализа отрасли и региона компании и практики вынесения решений конкретным судьей. Его точность по арбитражным судам первой инстанции составляет 82%. На основе этих данных создаются готовые факторы риска, позволяющие обогатить модели клиентов и повысить качество их работы.

- Каковы были предпосылки реализации проекта в Альфа-Банке?

Центр продвинутой аналитики Альфа-Банка (ЦПА) существует на протяжении трех лет, в его структуре сейчас работает 140 человек. До создания ЦПА в банке использовалась простая модель скоринга, построенная на данных БКИ и государственных реестров. Модель решала простую задачу: отсеивать самых неблагонадежных заемщиков. Затем, после обращения заемщика через сайт банка, заполнения им анкеты и предоставления необходимых документов, система передавала его запрос кредитному менеджеру. Кредитный менеджер проводил оценку в соответствии со своими инструкциями.

Этот подход нельзя было назвать современным: он не позволял масштабировать бизнес. Такую модель сложно кастомизировать под разные группы клиентов, поэтому для всей клиентской базы юридических лиц использовались универсальные методы оценки риска дефолта. Кроме того, было недостаточно данных для скоринга потенциальных клиентов.

- Какой подход был выбран?

В Альфа-Банке поставили перед собой цель: перейти от моделей скоринга, основанных на правилах, к моделям, основанным на современных методах машинного обучения, учитывающих большое количество факторов и поведенческие модели. В ходе работы перед проектной командой стояла задача запустить автоматизированную оценку заемщиков и мониторинг рисков клиентов для управления портфелем клиентов и формирования предодобренных предложений для потенциальных клиентов банка.

- Какие требования предъявлялись к создаваемому решению?

Было необходимо разработать модели для определения вероятности дефолта юридических лиц и индивидуальных предпринимателей для принятия решения по кредитной заявке. Модели продвинутой аналитики должны были обеспечивать работу кредитного конвейера и предоставлять банковский сервис клиентам Альфа-Банка в режиме онлайн, время принятия решения по заявке — не более двух минут. Наконец, модели должны работать как для действующего портфеля клиентов, так и для потенциальных клиентов банка.

- На какие результаты рассчитывали?

От перехода на новые скоринговые модели ожидали повышения доходности кредитного бизнеса. Это должно было произойти за счет поддержки поточной технологии кредитования (кредитного конвейера), расчета скоринга как для настоящих, так и для будущих клиентов банка, расширения предложения продуктов за счет «умной» оценки риска, а также мониторинга рисков по всему портфелю клиентов и более эффективного управления рисками.

- Что собой представляет созданное решение? На каких данных оно работает?

В рамках проекта была запущена автоматизированная оценка заемщиков и мониторинг рисков клиентов для управления портфелем клиентов и формирования предодобренных предложений для потенциальных клиентов.

Благодаря новой модели скоринга оценка и формирование предложения для клиента происходят в три этапа. Во-первых, осуществляется оценка риска дефолта. Модель оценки риска дефолта имеет модульную структуру и состоит из восьми модулей. Результаты ее работы становятся основой для прескоринга широкого круга юридических лиц с использованием данных государственных реестров, БКИ, ФНС, ФССП, арбитражных дел, а также внутренних данных банка. Один из основных источников на этом этапе – API Big Data от PravoTech.

Во-вторых, проводится оценка склонностей клиента. На этом этапе учитываются предпочтения клиента и оценивается потенциальный доход банка на горизонте в два года. Здесь используются данные финансовой отчетности, внутренних систем банка, БКИ и ОФД, а также геоданные.

Третий этап — формирование индивидуального предложения. В его ходе определяются оптимальные параметры для каждого клиента, используя инструмент индивидуального ценообразования по формированию привлекательного предложения и максимизации дохода банка.

- Какие результаты получены?

Качество модели существенно выросло. Последняя адаптация модели для оценки риска дефолта дала увеличение коэффициента Джини на 3,15 процентных пункта по отношению к общей модели. В ее основе лежат два ключевых модуля: модуль кредитных историй и модуль арбитражных дел.

Что касается бизнес-эффекта, то 97% сделок с клиентами из сегмента малого и микробизнеса (ММБ) проходит автоматически, без участия кредитного менеджера, при этом время принятия решения по заявке сократилось до двух минут. За счет качества модели клиентский портфель ежегодно увеличивается вдвое.

На основе наработок в секторе ММБ разрабатываются модели для скоринга для клиентов из сегмента среднего бизнеса, часть моделей уже запущена. В этом году планируется расширение работ по этому направлению. Кроме того, планируется внедрение гибкого подхода к мониторингу клиентов и переоценки будущих клиентов. Результаты оценки клиентов будут использоваться для улучшения качества обслуживания, повышения лояльности и удержания клиентов, а также повышения их ценности. Наконец, идет активное расширение клиентской базы за счет предложения лучших условий для новых клиентов.

- Каковы перспективы развития продукта API Big Data?

Мы активно работаем над углублением атрибутивного состава, чтобы c помощью API Big Data можно было создавать более точные и менее консервативные модели, повышая доходность своих продуктов с помощью более точной оценки сути судебной и экономической деятельности клиентов. Кроме того, работа ведется и по добавлению новых источников данных для получения максимального количества информации с помощью одной интеграции.

В настоящий момент наша команда проводит интервьюирование клиентов, чтобы внедрять те обновления, которые в первую очередь требуются банкам, лизинговым и факторинговым компаниям на каждом этапе взаимодействия с данными: для кредитного конвейера, мониторинга действующего портфеля клиентов, работы с проблемными активами и взысканиями, оценки регуляторных и рыночных рисков, задач службы безопасности, операционных рисков и борьбы с фродом.

Интеллектуальная система цифрового контроля, созданная специалистами Softlogic на базе нейросетей, помогает городским коммунальным службам проводить ежедневный контроль улиц, дворов, множества объектов дорожного и коммунального хозяйства в масштабах всего города. Нейросеть полностью исключает временные затраты на сбор и первичный анализ зафиксированных состояний объектов. При классическом подходе с участием сотрудников это время измеряется часами. Решение предназначено для ведомств, ответственных за состояние дорожной инфраструктуры и содержание городских территорий. О реализации этого проекта рассказывает Александр Колесников, технический директор Softlogic и номинант на премию Data Award.

- Какова история проекта? На решение каких проблем он направлен?

К нам пришел запрос от одного из заказчиков: камеры существуют в городе везде, а что, если поместить камеру в автомобиль? Какой будет результат? Может ли ИИ выявлять ямы, выбоины, стертую дорожную разметку, повреждение бордюра и т. д.? С этого началась разработка продукта, исследования и тестирование.

Мобильный комплекс помогает контролировать благоустройство территорий, а также повысить качество жизни граждан.

- Почему это важно?

При обследовании инспектором в любом случае присутствует человеческий фактор. С помощью ИИ идет автоматическая оценка состояния объектов городской инфраструктуры. При этом автоматизируется работа городских служб, ускоряются и оптимизируются бизнес-процессы в работе госслужащих. С ИИ есть возможность собирать больше данных о нарушениях в содержании территорий в десятки раз. Это помогает быстрее и оперативнее реагировать и устранять нарушения. Мобильный комплекс – это эффективный инструмент, который поможет администрациям городов создавать комфортный город для жителей.

- Какие требования предъявлялись к создаваемому продукту, какие принципы пытались соблюсти?

От продукта требовали мобильность, автономность, надежность и точность. Мы придерживались принципа уникальности продукта, его масштабируемости и отказоустойчивости.

- Что представляет собой созданное решение?

В состав решения входят высокопроизводительный блок автономных вычислений, три камеры, три антенны и облачная платформа для вывода данных. Комплекс устанавливается в транспортное средство, внутри него расположены модули ИИ на базе искусственных нейронных сетей.

Графические процессоры, входящие в комплекс, получают видеоизображения с камер, далее нейросеть проводит оценку состояния попавших на них объектов. Затем с помощью GPS/ГЛОНАСС к кадрам с нарушениями добавляются данные о местонахождении нарушений и времени их фиксации. После этого данные передаются в облачную платформу sl.vision – нашу собственную разработку, позволяющую пользователям без дополнительного обучения использовать ИИ-аналитику в управленческих целях.

- В какие сроки, какими силами реализована система?

В 2018 году началась разработка продукта. В 2019 появилась первая версия мобильного комплекса, в 2021 постепенно началась эксплуатация комплекса в регионах.

- Где уже применяется решение, каких результатов удалось достичь?

Важно отметить операционную эффективность автономного мобильного комплекса нейросетевого наблюдения, в том числе ускоренное решение возникающих проблем и исключение подлогов при проверках. Процесс сбора данных становится фоновым, силы сотрудников перенаправляют на более сложные задачи, достигается полная объективность оценки.

По данным Главного управления содержания территорий Московской области, автомобили, оснащенные комплексами ИИ, в 18 раз чаще выявляют дефекты по сравнению с инспектором и сокращают время реагирования и устранения проблем в содержании городских территорий. Уменьшение человеческого фактора в вопросе отслеживания нарушений позволяет улучшить качество городской среды. В Подмосковье за полгода использования комплекса удалось на 40% снизить количество жалоб со стороны горожан и на 25% снизить количество выявляемых замечаний, так как качество городской среды улучшилось.

- А с финансовой точки зрения?

Возможен рост доходов за счет собираемых штрафов. Средний финансовый поток от штрафов за обнаруженные системой нарушения – 5 млн руб. ежемесячно. К примеру, штраф за нарушение содержания территорий составляет до 100 тыс. руб. для юридических лиц и до 40 тыс. руб. для должностных лиц.

- В чем роль проекта для государства и общества?

Мы уверены, что системы видеонаблюдения и безопасности должны приносить максимальную пользу бизнесу и государству. Поэтому мы создаем программно-аппаратные комплексы нейросетевого наблюдения, которые обеспечивают комфортную и безопасную городскую среду для граждан и успешное функционирование бизнеса разных отраслей.

- Каковы дальнейшие направления развития проекта?

Мы постоянно совершенствуем и дорабатываем программно-аппаратные комплексы нейросетевого наблюдения. В планах охватить ими другие социально-значимые проблемы: обучить нейронную сеть определять сосульки и борщевик, доработать функционал неправильной парковки, а также расширить функционал комплекса для дорожных служб.

Персонализация финансовых продуктов становится серьезным конкурентным преимуществом для банков. В розничном сегменте эту задачу невозможно решить без алгоритмов машинного обучения и анализа больших данных. О работе по персонализации предложений розничным клиентам и достигаемых результатах рассказывает Игорь Дойников, руководитель продвинутой аналитики розничного бизнеса Альфа-Банка и номинант на премию Data Award.

- Как Альфа-Банк пришел к персонализации продуктов в розничном сегменте? Какова история и основные вехи этого пути?

Создание моделей машинного обучения или в общем смысле искусственного интеллекта уже давно не ограничивается классическим задачами банковского скоринга, моделями склонности к продуктам и моделями оттока. В банке мы с помощью инструментов машинного обучения стараемся улучшить все этапы взаимодействия с клиентами – привлечения, развития и удержания клиентов. Решаем задачи персонализированного ценообразования для кредитных продуктов, персонализации для программы лояльности, задачи геоаналитики, персонализации партнерских предложений и многое другое.

Благодаря современной промышленной инфраструктуре и большим данным мы можем внедрять модели, которые действительно дают новые возможности для бизнеса.

- Расскажите о наиболее показательных направлениях работы.

Первым из значимых кейсов, приносящих банку ощутимый результат, является персонализация в категорийном кэшбеке. Это неудивительно: у многих банков категорийный кэшбек является одним из ключевых проектов по привлечению и удержанию клиентов. Персонализированная программа лояльности, реализуемая нами, нацелена на увеличение доли клиентов, для которых «Альфа» станет основным банком для совершения транзакций. Кроме того, она влияет на снижение оттока, повышение лояльности клиентов и увеличения их ценности.

Эта программа была реализована и запущена в 2023 году, «под капотом» – комплекс из нескольких моделей машинного обучения. Система моделей работает на действительно больших данных, и ее суть состоит в персональном подборе категорий для клиента таким образом, чтобы с одной стороны категории удовлетворяли потребности клиента, а с другой стороны – вписывались в бюджет банка. Модели переобучаются каждый месяц на новых данных. Так, для подбора категорий кэшбека каждому клиенту ежемесячно перебирается более 100 тыс. комбинаций категорий кэшбека, при этом используется 1,5 Тбайт памяти и 350 ядер процессора.

- Вероятно, второе направление связано с кредитами…

Да, другая важная задача по персонализации кредитных предложений опирается на модель прогноза дохода клиента, ценность которой в том числе понимает регулятор – ЦБ РФ.

Задача расчета прогнозного дохода клиента имеет особенное значение. Эта информация помогает точнее и более релевантно подбирать продукты и условия их приобретения, что в свою очередь вносит существенный вклад в прибыль банка. Помимо ценности для банка, оценка дохода является регуляторным требованием ЦБ в части расчета предельно допустимой кредитной нагрузки (ПДН) для клиента.

Для подобного расчета полезна любая информация, хотя бы косвенно отражающая уровень дохода. Для разработки модели использовались внутренние и внешние данные. В «лонг-листе» находится около 4 тыс. признаков: транзакционная активность, социально-демографические признаки, активности в мобильном приложении и т.д., а также внешние источники данных – оценка дохода, проведенная билайном, данные из бюро кредитных историй по кредитной нагрузке, просрочке, лимитам.

В новой версии модели добавились признаки из цифрового профиля клиента, в которых содержится детализированная информация из госcтруктур: о начислениях в пенсионный фонд, данные по уплате налогов, электронная трудовая, сведения о транспортных средствах и т.д. В кратчайшие сроки проделана большая и слаженная работа по формированию признаков, тестированию моделей и выводу в промышленный контур. В финальную модель вошло 134 признака, и модель существенно улучшилась по качеству прогнозирования.

Модельный подход по оценке дохода официально утвержден ЦБ в 2023 году. Альфа-Банк стал одним их трех банков (помимо «Сбера» и ВТБ), кому регулятор первым одобрил применение модельного подхода при расчете ПДН.

- Какой именно математический аппарат используется при построении моделей?

Мы применяем самый современный стек технологий (так называемый state of the art), в основном состоящий из решений категории Open Source.

Для моделей используем модели градиентного бустинга, в основном библиотеку в реализации «Яндекса» (catboost) для табличных данных. Также используем нейросети. Нейросети позволяют усиливать бустинговые модели, когда есть больщой набор сырых последовательных данных – например, транзакции клиентов. Здесь используем библиотеку Pytorch.

- Как появление новых подходов повлияло на процессы банка? Приведите несколько примеров.

Расскажу пример из другого кейса – оплата чеков в ресторанах аэропортов для клиентов Премиум Alfa Only. Здесь используются модели геолокации. Клиент может воспользоваться любым рестораном на территории аэропорта, банк это увидит и через мобильное приложение предложит клиенту вернуть деньги. Без моделей ранее такой автоматический сервис в принципе был бы невозможен.

- Какие бизнес-результаты были получены?

Если говорить о персонализации кэшбека, то POS-оборот (сумма всех платежей, совершенных с использованием банковской карты в точках продаж) каждого клиента, выбирающего категории, увеличивается до 40% на горизонте полугода. Масштабирование категорийного кешбэка принесло банку около 400 млрд POS-оборота в 2023 году. Количество целевых клиентов (триггером считается выбор категорий) увеличилось с 800 тыс. до 3,6 млн человек в течение года.

Эффект от внедрения новой модели дохода клиентов заключается в росте количества новых офферов, а также увеличении суммы выдачи по кредитам наличными. Точный эффект не готов озвучить, но речь идет о дополнительных десятках тысяч выдач кредитных карт и миллиардах дополнительных выдач кредитов наличными в месяц.

- В чем роль таких проектов для банка?

Это взаимовыгодная история для всех участников рынка. Клиенты получают кредиты с более привлекательными лимитами и суммами. Банк может предлагать клиенту персонализированные банковские продукты, одобрять больше кредитов добросовестным заемщикам и просчитывать риски невозврата. Банк России, в свою очередь, активно следит за закредитованностью населения, и модели машинного обучения помогут меньше одобрять кредиты для заемщиков, которым сложно их оплачивать. В итоге снизится уровень показателя долговой нагрузки населения.

- Каково будущее персонализации банковских сервисов? В каком направлении вы будет двигаться?

Как уже говорил, на любом из этапов взаимодействия с клиентов – привлечение, развитие, удержание – мы будем стараться персонализировать наши предложения, персонализировать параметры продуктов, контент под каждого клиента, чтобы сделать продукты банка наиболее привлекательными. Одна из будущих фундаментальных концепций при принятии решений – это концепция ценности клиента на всем этапе взаимодействия с ним (customer lifetime value, CLTV). Для того, чтобы повышать CLTV, банк должен угадывать потребности клиента, своевременно предлагать ему продукты, предлагать безупречный сервис, персонализированную программу лояльности и при этом не докучать лишними коммуникациями. Сам по себе расчет CLTV для каждого клиента невозможен без алгоритмов машинного обучения и больших данных – потому что в первую очередь это оценка будущего взаимодействия с клиентом. Но это уже другая история.

Сеть «Магнит» создала платформу управления данными. Среди целей проекта – оптимизация работы дата-сервисов и повышение прозрачности информационных активов, чтобы обеспечить доверие пользователей к предоставляемой аналитике. О масштабах проекта, его реализации и роли для развития компании рассказывают Павел Шорохов, директор департамента по работе с данными «Магнит», и Олег Молчанов, руководитель направления по метаданным и качеству данных, — номинанты премии Data Award.

- Что привело компанию к реализации проекта платформы управления данными?

Павел Шорохов: В компании около 10 тыс. пользователей данных. Они используют многоуровневую платформу, содержащую более 1 Пбайт данных (5 Пбайт с учетом кластеров Data Science). Более 2 тыс. пользователей обращаются напрямую к центральному элементу платформы – корпоративному хранилищу данных, – которое развивается уже 12 лет и содержит 420 Тбайт данных.

За это время система стала сверхсложной: в нее интегрировано чуть больше 200 систем-источников данных, а пользователи обращаются к 5 тыс. витрин данных. Такое количество разработанного функционала требует продвинутых возможностей для поиска нужной информации. А так как бизнес самостоятельно работает в пользовательских областях (так называемых «песочницах»), которых сейчас около 80, то потребовалось также повысить переиспользуемость объектов данных (информационных активов).

В середине 2022 года мы приняли решение об одновременном внедрении полного стека инструментов Data Governance & Data Quality и методологии работы с ними. Начав в ноябре, мы за полгода разработали, внедрили и опубликовали для целевой аудитории такие инструменты, как бизнес-глоссарий, каталог данных, автоматизированную систему контроля качества данных и виртуального дата-помощника.

- Какие задачи требовалось решить?

П.Ш.: Самое главное – требовалось оптимизировать работу дата-сервисов. Во-первых, ускорить поиск данных. Регулярно проводя опросы наших сотрудников, мы видели частые ситуации, когда пользователь не мог самостоятельно найти необходимые данные, которые есть в компании. Ему необходимо было пользоваться разрозненными сервисами, которые предоставляли отдельные подразделения. В итоге слишком много времени уходило на такие рутинные задачи, как отправка запроса на поиск данных, ожидание начала работы над таким запросом, собственно работа над запросом и другие дополнительные коммуникации. Большинство из этих задач можно и нужно было автоматизировать.

Во-вторых, было важно сократить время на разбор происхождения данных и анализ влияния изменений в данных, ускорить внедрение изменений. Дело в том, что системные аналитики, чей фокус в основном на развитии хранилища, в зависимости от задачи могли тратить на «ручной» разбор зависимостей от 2 до 16 часов, что имело негативное влияние на поставку изменений. Учитывая, что вся нужная информация уже существовала где-то в метаданных, мы понимали, что наша задача только организовать их удобное хранение и анализ.

Требовалось и уменьшить время запроса на доступ к данным. В среднем у наших сотрудников уходило около получаса на один такой запрос, что с учетом количества наших пользователей мы считали недопустимым. Необходимо было разработать более эффективный процесс и автоматизировать его.

Кроме того, было важно снизить расходы на поддержку существующих аналитических данных за счет выстраивания правильного пользовательского пути: сначала – self-service для поиска и понимания данных, а уже в случае возникновения вопросов — обращение к эксперту по данным в бизнесе или ответственным за реализацию. Также планировали снизить расходы через создание условий для переиспользования существующих наработок и сдерживания расширения «теневого ИТ».

Наконец, требовалось повысить качество данных за счет внедрения ответственности за данные и запуска операционной модели управления качеством данных. Но как повысить качество, если мы его даже не измеряли на тот момент? Поэтому сначала необходимо было обеспечить прозрачность информационных активов и знаний о них.

Таким образом, мы в целом планировали повысить доверие к существующей аналитике и оптимизировать способы ее получения, что является фундаментом развития data-driven культуры в компании.

- Какой подход был выбран?

Олег Молчанов: В процессе реализации инициативы применялись смешанные подходы как проектного управления, так и внедрения самого продукта со всеми релизными историями, приоритизацией бэклога и т.п. Но здесь хотелось бы выделить две ключевые организационные особенности, которые, на наш взгляд, имели эффект.

Внедрение методологии управления данными, включающее проектирование операционной модели (какие роли и за что отвечают) и регламентацию низкоуровневых процессов управления метаданными и качеством данных (как эти роли взаимодействуют), проходило нога в ногу с внедрением самих инструментов. По опыту внедрения таких решений ранее мы были уверены, что без методологической базы и четкого понимания пользователей, как и зачем им работать в предложенных инструментах, система не будет востребована пользователями, а значит в полном объеме заявленных эффектов не получить.

При внедрении крупных изменений очень важно создать коалицию: найти группу людей среди внутренних заказчиков, которые будут вести за собой остальных. Мы так и сделали, заручившись поддержкой одного из ключевых бизнес-блоков. Совместно с ним проходило обсуждение разрабатываемых процессов и обкатка всех первых наработок во внедряемых инструментах: процесс ведения бизнес-глоссария, выбор систем для каталогизации метаданных, валидация полноты и достоверности результатов сканирования метаданных, реализация первых проверок качества данных. Это помогло нам сделать коллег неформальным заказчиком проекта, заручиться их поддержкой и «живым примером» для дальнейшего тиражирования. Главный вывод – не внедряйте инструменты и процессы Data Governance & Data Quality в отрыве от реальности.

- Какие инструменты использовались?

О.М.: Мы использовали решения, продвигаемые DIS Group: бизнес-глоссарий, каталог данных, система управления качеством данных. Виртуальный помощник реализован с помощью собственной разработки. И в соответствии с нашей стратегией cloud first мы использовали инфраструктуру «Яндекс.Облако».

Созданная в результате платформа управления данными охватывает все промышленные данные компании, использующиеся в корпоративном хранилище данных и корпоративной отчетности.

- Что представляет собой созданное решение?

П.Ш.: Созданное решение — это единый портал пользователя данных, который можно условно разделить на несколько частей.

Во-первых, это портал для поиска данных и запроса доступов к ним. Одним словом – все, что нужно пользователю, когда он знает, зачем пришел. В этом случае ему нужно только помочь понять, где это находится, и получить доступ.

Далее, в портал встроен бизнес-глоссарий – своего рода «Википедия» про данные, где можно лучше понять значение найденных данных: изучить описание информационных активов, их место в корпоративной архитектуре данных, узнать, кто владеет данными и тому подобное. Теперь, когда пользователь обладает доступом к нужным ему данным, он хочет понять, насколько они соответствуют его ожиданиям – для этого существует модуль качества данных, который содержит дашборды и отчеты по качеству информационных активов.

Наконец, так как нашим порталом пользуются тысячи пользователей с самым разным уровнем подготовки, мы встроили в него обучающие материалы и дополнительно проводим семинары и публикуем вспомогательные материалы по работе с внедренными инструментами.

- Что такое виртуальный дата-помощник, какова его роль?

О.М.: Это чат-бот, «прикрученный» ко всем страницам платформы управления данными. Мы его с некоторых пор «забрендировали» и стали называть Data Assistant. В прошлом году о первых версиях и «внутрянке» продукта мы рассказывали в статье: Как устроен виртуальный помощник для дата-сервисов в «Магните».

Сейчас через Ассистента можно решить полный перечень вопросов, связанных в данными. Он поможет сориентироваться в том, что вообще доступно: какие есть порталы и инструменты работы с данными (например, наш собственный BI-инструмент – «Магрепорт»), найти основные статьи из базы знаний, найти своего дата-партнера, вступить в дата-комьюнити и многое другое. С его помощью можно сформировать из чата запросы на информацию, сообщить об инциденте, запросить доступ к данным или инициировать изменения ролевой модели. Еще одна функция – найти данные и связанные информационные активы по ключевым словам. Бот, в основе которого лежит простенькая ML-модель, сам подберет соответствующие вашему запросу витрины данных, аналитические отчеты, показатели и аналитики из глоссария, бизнес-процессы и информационные системы.

Важно, что этот помощник всегда под рукой: в платформе и в корпоративном мессенджере. В частности, он является связующим звеном для всех описанных ранее компонентов платформы Magnit Data. Через него же можно сообщить о проблемах с платформой, задать вопрос или предложить доработку.

- Что в ходе проекта было самым сложным? Какие уроки для себя вы извлекли?

O.М.: Самое сложное, как и всегда, – это люди. Точнее, изменение и дополнение существующих устоявшихся бизнес-процессов, по которым они привыкли работать. На первых этапах очень важно было суметь показать пользу от внедренных изменений и доказать, что потраченные усилия позволят сократить трудозатраты на рутинные задачи по работе с данными.

Главный урок – в таком проекте следует как можно раньше начинать обсуждать методологическую составляющую и договариваться об изменениях и зонах ответственности. Важно как можно больше рассказывать сотрудникам на всех уровнях про то, как меняются процессы, и почему это важно. Доносить, какую проблему решаем, и показывать, как повлияют изменения на производственный процесс. Конечно, все это нужно делать с использованием детально продуманных и визуально понятных материалов, а не только через объемный бизнес-процесс, описанный по стандартам компании.

- Что удалось лучше всего, а над чем еще предстоит поработать?

О.М.: Я считаю, что у нас хорошо получилось позиционировать новую платформу как экосистему по управлению данными для каждого, кто работает с данными и аналитикой. Для этого, помимо самого внедрения инструментов и связанных процессов, был исполнен огромный коммуникационный план: демонстрации в разных форматах для разной целевой аудитории, регулярные письма в корпоративной почте, мессенджере и других внутренних площадках о новом контенте, новой функциональности системы или новых бизнес-процессах.

Отдельный блок работ был посвящен омниканальности, где ссылки на нашу платформу появлялись во всех логичных для этого местах, чтобы создать продолжение пользовательского пути и дать определенную рекламу ресурса. Это ярлыки на рабочих столах у целевой аудитории, наличие ресурса на популярных сайтах в корпоративном браузере, автоподписи сотрудников нашего департамента, ссылки из корпоративной системы техподдержки, ссылки из архитектурного репозитория, когда речь идет о бизнес-сущностях и многое другое. Нам удалось научить смежные подразделения говорить словосочетание Magnit Data чаще, чем мы его произносим внутри команды.

Если говорить о том, чем еще предстоит заняться, то, безусловно, мы продолжим наполнять контентом бизнес-глоссарий и контролировать полноту и качество этого контента. Говоря простым языком, будем делать описание показателей, аналитик, сущностей по всей группе компаний и всем предметным областям. Это очень объемный труд, в который мы вовлекаем бизнес. Этот фронт работ мы планируем добить в 2024 году.

- Какие результаты достигнуты и ожидаются?

П.Ш.: План проекта на 2023 год был выполнен полностью. Все системы, а именно четыре компонента платформы – бизнес-глоссарий, каталог данных, автоматизированная система контроля качества данных и виртуальный дата-помощник – с полной функциональностью были поставлены бизнесу даже быстрее запланированного. Я считаю, что это получилось сделать во многом благодаря хорошо проработанному коммуникационному плану и вовлечению бизнеса, за что коллегам огромное спасибо. Для нас важно, что внутренняя команда «Магнита» приступила к самостоятельному развитию функциональности и наполнению контента сразу же после выхода системы в промышленный контур.

Инструменты уже востребованы: мы получили ежемесячную базу пользователей новых инструментов в размере 1 тыс. сотрудников, которые ежемесячно создают более 5 тыс. запросов на поиск данных. Мы ожидаем, что общая база наших пользователей составит примерно 3 тыс. сотрудников, и мы будем стремиться к тому, что со временем 80% из них будут посещать портал минимум раз в месяц.

Если говорить о контенте, то мы отсканировали и каталогизировали справочники MDM, витрины основного хранилища данных и двух дополнительных хранилищ. К каталогу данных для автоматического забора метаданных по расписанию подключено 12 систем. По ним теперь можно анализировать происхождение данных и проводить анализ зависимостей. Дополнительно пользователи получили более 7 тыс. описанных информационных активов.

На начало февраля 2024 года в системе автоматизировано более 110 проверок качества данных, которые вовлекли в процессы управления данными более 70 сотрудников на стороне бизнеса – владельцев данных, экспертов по данным, поставщиков данных. Инструмент вместе с внедренной операционной моделью и опубликованными бизнес-процессами систематизировал работу с данными в компании.

Система продолжает развиваться, растет количество пользователей и сценариев использования, подключаются новые системы-источники метаданных.

- Какое влияние это оказало на ежедневную работу сотрудников?

П.Ш.: Приведу несколько примеров изменений, произошедших после публикации портала.

Например, в 10 раз снизилось время, которое тратит сотрудник на запрос доступа к данным. Сейчас пользователь тратит менее минуты за счет выстроенного пользовательского пути в виртуальном помощнике и прозрачности ролевой модели в связке с описанными данными.

На 15% снизилось количество запросов на информацию, поступающих к централизованной команде развития корпоративного хранилища. Это достигнуто за счет доступного описания данных и сценариев самообслуживания в Magnit Data. Соответственно, мы оптимизировали трудозатраты на анализ и консультации дорогостоящих специалистов – системных аналитиков.

В среднем на 15% выросло количество активных пользователей корпоративного хранилища и нашей BI-системы «Магрепорт» за счет популяризации использования данных, снижения порога вхождения в инструмент и увеличения доверия к данным через визуализацию их «здоровья». Это косвенно говорит о росте data-driven культуры в компании.

Наконец, вдвое снижено время поиска данных за счет создания центрального интерфейса из нескольких компонентов: бизнес-глоссария, площадки данных и каталога данных. Этот расчет сделан на основании точечных замеров кейсов и опроса пользователей.

- А если говорить про работу дата-команды?

О.М.: Время реагирования на снижение качества данных уменьшено до одного часа, это очень серьезный результат. Ранее выявление проблем происходило по факту работы пользователей с данными, затем о проблеме сообщалось через внутренние системы к централизованной команде, а далее на поступившие инциденты реагировали в течение четырех рабочих часов на первой линии, плюс время на работы других участников процесса. Теперь же об отклонениях известно сразу всем участникам процесса одновременно: аналитикам КХД, экспертам по данным, поставщикам данных. Еще до начала рабочего дня они получают оповещения за счет автоматизированной системы контроля качества данных. Выстроены и регламентированы процессы реагирования на инциденты.

На 15% снижены трудозатраты аналитиков, занимающихся развитием и сопровождением КХД, на проведения анализа происхождения данных и анализа зависимостей при проектировании изменений в объектах данных.

- Пытались ли оценить эти эффекты в деньгах?

П.Ш.: Да, и если эффект, связанный с сокращением трудозатрат, легко считается (у нас есть стоимость человеко-часа и понимание того, насколько мы оптимизировали работу более 1 тыс. сотрудников), то интересней влияние на скорость и верность принятия решений. Менеджер теперь получает свой управленческий отчет раньше, а благодаря повышению качества данных повышается и качество управленческих решений, основанных на данных. Этот эффект посчитать сложнее, но очевидно, что в масштабах организации с более чем 360 тыс. сотрудников важность доверия к аналитическим данным сложно переоценить.

- Какую роль играет этот проект в развитии компании?

П.Ш.: Реализованный проект является фундаментом для другой стратегической ИТ-инициативы компании по импортозамещению технологий, на которых построена корпоративная платформа данных. При миграции на новую платформу важно понимать зависимости в исторически сложившемся хранилище, требования бизнеса к качеству данных, используемость данных. Создание новой платформы должно сопровождаться инструментами, обеспечивающими прозрачность новых информационных активов, и контроль качества данных на всех этапах жизненного цикла данных.

Также платформа управления данными Magnit Data является движущей силой внедрения операционной модели и процессов управления качеством данных компании.

- Каковы планы по развитию проекта?

О.М.: Фокус в первом квартале 2024 года – на стабилизации работы решения, отработке критичных для наших пользователей багов, автоматизации мониторинга работоспособности всех компонентов системы, выстраивании внутренних процессов реагирования на них. После «взрывного» внедрения и гонки во всех направлениях под конец прошлого года мы решили позволить себе такую паузу. Количество пользователей системы значительно выросло, а значит выросли и ожидания публики, и наша ответственность.

В целом на 2024 год планируется работа по нескольким направлениям. Это наполнение качественным контентом бизнес-глоссария в сопровождении связки концептуального, логического и физических уровней, а также контроль бизнес-процесса ведения бизнес-глоссария. Это разработка новых проверок качества данных для критических элементов данных по требованиям бизнеса – потребителей данных и владельцев данных. Будем проводить каталогизацию метаданных по строящейся у нас Корпоративной платформе 2.0 на новых технологиях. Планируется детальное изучение сценариев работы целевой аудитории, работа с продуктовыми метриками и обратной связью пользователей. Наконец, планируем разработку центрального упрощенного интерфейса для поиска информационных активов, рассчитанного на максимально широкий круг пользователей.

В «Северстали» использовали передовые практики управления данными для области технологических данных. В рамках проекта решена задача сбора технологических данных с датчиков и обогащения их метаданными: технические места, единицы измерения, связи с проектами, владельцами данных. Наличие полной информации о них помогает сэкономить время на коммуникации и поиски в ходе дата-проектов. О роли достоверных и прозрачных технологических данных для компании рассказывает Евгений Курильщиков, владелец продукта «Управление данными» «Северстали» и номинант на премию Data Award.

- Почему управление технологическими данными было выделено в отдельное направление, которое требует дополнительных усилий?

Безусловно, технологические данные – это тоже данные. В классическом подходе мы оперируем метаданными, а сами данные рассматриваем только в контексте их качества. Нас интересует тип данных, в каких базах данных и таблицах они лежат, их происхождение и связь с терминами бизнес-глоссария. Здесь же объектом является физическая величина, которую мы получаем с датчика, и нам важны атрибуты этого сигнала, а не информация, в какой таблице мы его храним. Из непрерывного потока информации с датчиков мы извлекаем метаинформацию о сигналах, и сохраняем ее в каталоге, обогащая необходимыми атрибутами.

- В чем заключается особенность решаемой задачи?

Она заключается в огромном массиве данных. Нам нужно было не только организовать сбор метаданных в онлайн-режиме, но и провести большую работу с историческими данными, чтобы понять, что мы собирали раньше и что перестали, какие изменения произошли. То есть мы начали не с чистого листа, у нас уже был большой объем информации, в котором нужно было навести порядок.

- Почему это важно для «Северстали»?

Здесь нам поможет Льюис Кэролл: «Ну а здесь, знаешь ли, приходится бежать со всех ног, чтобы только остаться на том же месте. Если же хочешь попасть в другое место, тогда нужно бежать по меньшей мере вдвое быстрее!». Чтобы быть конкурентоспособными, нужно быстро принимать решения о том, как улучшить производительность, повысить качество, сократить незапланированные простои. Мы уже реализовали много проектов, используя технологические данные, и понимаем, что при реализации проекта уходит много времени на поиск тех самых 10-20 параметров работы оборудования, которые необходимы для реализации ML-модели. Имея хорошо описанные данные, мы сокращаем время разработки дата-продукта.

- С определением владельца других данных бывают проблемы, вплоть до назначения в приказном порядке. С технологическими данными все еще сложнее?

Да, я бы сказал, что здесь все еще сложнее. Ведь владельцем технологических данных является производственный персонал, так как операторы обеспечивают появление этих данных, знают все о конкретном датчике: где он установлен, как откалиброван, в каких единицах измерения снимает показания и т.д. Безусловно, инженеры являются специалистами высокого уровня, но их не обучали тем навыкам, которых мы сейчас от них требуем. А мы хотим, чтобы помимо сбора измерений они еще и описывали эти сигналы в нашей системе. Поэтому приходится дополнительно объяснять, зачем это нужно и каким образом нужно проводить это описание.

- Кто может быть владельцем технологических данных?

Как показывает практика, это технологический персонал: инженеры АСУТП, КИПиА, специалисты по ремонту и техническому обслуживанию – то есть сотрудники, которые занимаются обслуживанием оборудования, установкой и настройкой сбора данных в технологической сети.

- Как определяется политика сбора и хранения данных?

Изначально мы собирали все данные, с запасом на будущее – вдруг пригодятся. Но начав работы по описанию и каталогизации сигналов, которые собирали долгие годы, пришло понимание, что не все сигналы несут полезную нагрузку. Например, нет смысла хранить данные по оборудованию, которое уже списано или модернизировано. Мы определили для себя, что такое полезный сигнал, и на этапе считывания данных с контроллеров технологического оборудования начали их фильтровать.

- Что было сделано в рамках проекта?

В инструменте управления данными была реализована карточка объекта «тег» и «техническое место». Настроены процессы сбора метаданных и разработан регламент описания, определены обязательные и необязательные атрибуты, которые нам необходимы. По мере работы с огромным массивом информации мы начали выявлять отклонения от ожидаемого процесса. Скажем, в исторических данных могло быть пропущено один-два месяца, и сегодня уже никто не знает почему. Или, например, мы выявили случаи, когда на уровне оборудования сигнал изменял физическую сущность. Это могло произойти, если датчик меняли и на контроллере в порт подключали измерение с датчика напряжения вместо датчика тока. Подобные открытия подвели нас к проверке качества данных, которые мы собираем.

- Как боретесь за качество данных?

Для себя мы определили критерии качества, которые предъявляем к сигналам, и настроили ряд проверок. В настоящее время дата-стюарды отслеживают параметры качества, связанные сигналами, и в случае обнаружения аномалий предпринимают корректирующие действия. Наша задача – предоставить дата-инженерам качественное описание данных и быть уверенными, что описание соответствует фактически измеряемой величине, что сигналы привязаны к правильному узлу оборудования. Также на текущий момент мы отслеживаем изменения метаданных сигналов, которые используются в различных моделях машинного обучения или других инструментах. Ведь изменение сигнала, на котором строятся те или иные технологические процессы, может привести к некорректному поведению модели.

- Каковы результаты?

Нашей задачей была, в первую очередь, минимизация времени поиска необходимых сигналов, сократив время разработки моделей и увеличив производительность дата-команд, а также обеспечение доступа к этим данным большему кругу пользователей.

Нам удалось выстроить процесс сбора метаданных, решить вопрос с определением и назначением владельцев данных, создать команду дата-стюардов, которые помогают владельцам данных в описании и обогащении данных. Также, проанализировав накопленные данные, мы поняли, что есть ресурс для оптимизации хранилища, так как иногда собираются избыточные данные. Поэтому мы определили четкие критерии, определяющие, какие данные нужно собирать, а какие нет.

Также в процессе работы мы определили критерии качества к собираемым сигналам и приступили к разработке инструмента проверки качества промышленных данных, особенно тех, которые используются в моделях или технологических процессах.

Несколько проектных команд используют наш каталог как единственный источник данных об оборудовании и датчиках, которые на нем установлены. В настоящее время описано более 10% из более чем 500 тыс. активных сигналов.

- Какова роль проекта для компании?

Основная цель проекта для бизнеса – сформировать новую культуру работы с данными и сделать еще один шаг к принятию решений на основе данных. Мы пытаемся вовлечь в процессы управления данными как можно больше подразделений и сотрудников, сформировать привычку нести ответственность за данные, которые мы создаем и используем в ежедневной работе. Также данный проект даст целостную картину о параметрах работы всего оборудования и позволит реализовать проект цифрового двойника предприятия.

- Каковы дальнейшие направления развития?

Основная задача – распространить практику описания сигналов на все цеха и агрегаты. Это и даст возможность перейти к созданию цифровой копии комбината.

- Как проект отразится на дальнейших дата-проектах «Северстали»?

Я считаю, что по мере описания сигналов, дата-проектов станет больше, а их реализация будет занимать меньше времени. Дата-инженеры будут избавлены от необходимости проводить изыскательские работы по поиску сигналов, которые собираются с оборудования, и проверять, насколько этим сигналам можно доверять.

Платформа речевой аналитики является важным инструментом контроля качества коммуникаций с клиентами. Компании ЭНКО – крупнейшему девелоперу Тюменской области – за счет внедрения платформы Voice AI в процессы взаимодействия с клиентами удалось достичь лучшего понимания их потребностей и повысить эффективность продаж. О реализации этого проекта рассказывает Максим Иванов, директор по искусственному интеллекту OOO «Сбер Бизнес Софт» и номинант на премию Data Award.

— Как компания ЭНКО пришла к необходимости реализации этого проекта?

ЭНКО не только возводит новостройки, но и занимается их дальнейшим обслуживанием. Сотрудники восьми отделов общаются по телефону с клиентами – потенциальными покупателями недвижимости и с теми, кто уже приобрел свое жилье. Они помогают выбрать квартиру, обеспечивают выполнение гарантийных обязательств, контролируют качество услуг управляющей компании и решают другие вопросы.

Чтобы понять, насколько эти коммуникации эффективны, девелопер долгое время проводил оценку звонков вручную. Однако специалисты по контролю качества успевали обработать не более 12% всех диалогов. При этом проверки обходились компании довольно дорого, а их результаты часто были субъективными.

— Какие задачи требовалось решить?

С помощью платформы речевой аналитики в ЭНКО рассчитывали решить сразу несколько бизнес-задач. Во-первых, требовалось улучшить качество коммуникаций с клиентами и жителями. Кроме того, хотели оценивать все звонки без исключения, а не 12%, при этом снизив расходы на их обработку. Наконец, было важно повысить эффективность продаж недвижимости и дополнительных сервисов.

В целом, застройщик хотел достичь главной цели – лучше понимать потребности и ожидания клиентов в настоящий момент, получая эту информацию автоматически, без дополнительных усилий.

— Какое решение было выбрано?

Один из продуктов «Сбер Бизнес Софт» – платформа речевой аналитики Voice AI. Это решение аккумулирует, обрабатывает и глубоко анализирует устные и письменные диалоги, поступившие из любых каналов, – будь то чаты, звонки или аудиобейджи. Благодаря использованию решения бизнес может качественно контролировать уровень коммуникации с клиентами. Платформа давно используется внутри «Сбера» и доказала свою способность стабильно работать под высокой нагрузкой и обрабатывать сотни тысяч коммуникаций ежедневно.

При разработке решения приоритет был отдан тщательной работе с данными: критически важно, чтобы они не терялись и не дублировались, а также чтобы система умела повторно обрабатывать ошибочные загрузки. Платформа сводит большой объем данных в различных форматах из разных источников в единое место и проводит к общему виду. Чтобы бизнес не нес лишних затрат на хранение данных, в решении реализован функционал настройки времени хранения аудиофайлов и текстов.

— Что собой представляет решение?

Voice AI использует технологию обработки естественного языка (Natural Language Processing, NLP) и понимает речь так же, как и люди. Чтобы научить платформу находить нужные сообщения, были созданы специальные словари – в частности, словарь выражений, которые оператор контакт-центра использует для выявления потребностей клиента.

Чтобы позволить девелоперу точечно оценивать влияние тех или иных изменений на бизнес-показатели, для Voice AI разработали собственный конструктор отчетов, позволяющий агрегировать данные по интересующим метрикам. Статистика отображается внутри платформы речевой аналитики в виде таблиц и в формате интерактивных отчетов.

Обучение искусственного интеллекта – непрерывный процесс, поэтому Voice AI продолжает дорабатываться и получать новые данные. Ключевые сотрудники отдела продаж и контакт-центра ЭНКО вносят обратную связь о работе платформы, чтобы улучшить результаты ее работы.

— В чем заключались главные проблемы, как их решали?

Внедрение системы осуществлялось поэтапно, и в ходе проекта ЭНКО перешла на новую систему телефонии, при том, что уже была выполнена интеграция с предыдущей. Это повлекло за собой необходимость срочно настраивать интеграцию платформы с другим источником данных. Также в ходе детальных обсуждений проекта с ИТ-отделом компании выяснилось, что взаимодействие с облачной версией нейросети для распознавания голоса для части решения не подходит. Чтобы реализовать проект, потребовалась установка отдельного сервиса автоматического распознавания речи (Automatic Speech Recognition, ASR) в контур компании, что повлекло дополнительные работы с точки зрения инфраструктуры.

— Как новое решение было воспринято сотрудниками (в том числе теми, чьи разговоры контролируются) и руководством компании?

Руководством компании были созданы все условия, чтобы сотрудники позитивно восприняли нововведения. Очевидно, что полученная в результате обработки всех диалогов обратная связь может помочь выявить точки роста. Это, в свою очередь, ведет к повышению уровня профессионализма операторов и сказывается на эффективности их работы. Руководство же получило современную и удобную платформу речевой аналитики, благодаря которой можно контролировать процесс всех коммуникаций с клиентами, лучше понимать их ожидания и повышать качество клиентского сервиса.

— Какие результаты достигнуты в результате проекта?

Использование системы речевой аналитики помогло ЭНКО довести показатель оценки звонков до 100%. При этом удалось сократить расходы на контроль качества коммуникаций и получить полезные данные, которые компания применяет для увеличения лояльности клиентов, а также для повышения эффективности бизнеса.

Так, например, по результатам аналитики компания приняла решение о коррекции цен на вторую очередь одного из строящихся жилых комплексов: до официального старта продаж компания получила почти 900 звонков, в которых потенциальные клиенты интересовались условиями. Voice AI не только собрала вместе все эти диалоги, но и позволила команде выделить из них ценовые ожидания потенциальных покупателей.

— В чем роль проекта для компании?

Более глубокое понимание потребностей клиента позволяет компании предоставлять персонализированные предложения и повышать лояльность покупателей и жителей уже построенных домов, корректировать бизнес-процессы и увеличивать их эффективность. Также использование платформы для оценки коммуникаций помогает не привлекать большое количество сотрудников для выполнения рутинных операций, тем самым сокращая расходы компании при масштабировании бизнеса.

— Каковы перспективы развития проекта речевой аналитики в ЭНКО?

В ЭНКО планируют расширить использование речевой аналитики и внедрить ее в офисах продаж. Voice AI будет получать записи с аудиобейджей – небольших диктофонов, которые сотрудники носят в течение рабочего дня, переводить разговоры в текст, проверять их на соответствие правилам, анализировать и находить закономерности.

В Альфа-Банке запущена универсальная экосистема для разработки и внедрения моделей машинного обучения. С ее помощью удалось за короткие сроки радикально ускорить процессы создания и запуска моделей, что повысило показатели банка. О реализации проекта рассказывает Павел Николаев, начальник управления технологий машинного обучения Альфа-Банка и номинант на премию Data Award.

- Что привело к необходимости перевести работу с ML-моделями на промышленные рельсы?

Наличие ручных процессов и разнообразие подходов не позволяли создать универсальное решение. Технологии моделирования постоянно усложняются и требуется одновременное применение разных моделей и быстрое их внедрение в бизнес-процесс.

- Почему это важно для Альфа-банка?

Чем быстрее происходит внедрение моделей в бизнес-процесс, тем быстрее банк начинает получать прибыль.

- Какой подход был выбран?

Мы создали централизованные общебанковские платформы разработки моделей (MDP) и исполнения моделей (СИМ). Доставка моделей между ними автоматизирована, с несколькими стадиями проверок на тестовых средах, идентичных промышленной. Кроме того, мы разработали систему быстрой доставки данных для этих моделей – Feature Store. Важно отметить, что системы дорабатывались параллельно и при этом активно эксплуатировались.

- Что представляют собой созданные решения?

Среда исполнения моделей (СИМ) – универсальная гибкая система, позволяющая внедрять модели любой сложности в промышленном режиме и с высочайшей отказоустойчивостью. Система позволяет внедрять нестандартные и сложные модели, работающие как в онлайн-режиме, так и в потоковом режиме (stream-модели). Отдельно можно выделить появившуюся возможность пакетного (одновременного) вывода моделей, с помощью которой было выведено более 140 моделей, посвященных ценности клиента и доходу. При этом СИМ не только быстрая, но и сверхнадежная система: ее стабильность для наиболее критичных моделей составила 99,98% в 2023 году.

Среда разработки моделей – это единая платформа для разработки и обучения моделей, в которой разрабатываются все модели Центра продвинутой аналитики (ЦПА). В MDP регулярно работают более 100 специалистов, из них 20% не дата-сайентисты.

Платформа объединяет в себе все современные, привычные для специалиста data science инструменты в единой среде. Разработанные модели развертываются в online, batch, stream и каскадных режимах, что позволяет полностью протестировать все аспекты модели до перехода ее на интеграционное и нагрузочное тестирование.

Наконец, Feature Store — это система для непрерывной доставки данных для разработки моделей. Доставка факторов для моделей превращается в удобный и быстрый онлайн-супермаркет, а сами данные могут переиспользоваться разными командами. В результате снижается время и стоимость разработки моделей, а также риски, связанные с работой с некачественными данными.

- На каких ИТ-платформах (крупными мазками) базируются эти решения?

Использована аналитическая система Hadoop Datalake, а также Kubernetes, Kafka и т.д.

- Как изменилась жизнь специалистов, занимающихся разработкой моделей?

Процесс внедрения моделей стал понятным и удобным, сократилось время, затрачиваемое на внедрение моделей

- Какие результаты достигнуты?

Благодаря масштабированию и развитию наших систем в прошлом году мы сократили время внедрения моделей более чем вдвое. Теперь онлайн-модели внедряются в среднем за 2,5 недели. Параллельно выстроили промышленные процессы поддержки моделей и реагирования на инциденты – например, итоговая доступность онлайн-моделей в 2023 году составила 99,98%.

Благодаря промышленным процессам разработки удалось внедрить в эксплуатацию в 15 раз больше моделей, чем в прошлом году, доведя долю внедрений моделей в целевую инфраструктуру до 80%.

В среде разработки моделей количество пользователей увеличилось в 2,5 раза. За счет нашей передовой инфраструктурной доработки Spawner JupyterHub мы экономим значимую часть вычислительных ресурсов в среде разработки моделей (без этого потребовалось бы в 2,5-3 раза больше вычислительных ресурсов). При этом пользователи получают гарантированные выделенные ресурсы: CPU, RAM, диски, GPU. Высокие стандарты поддержки разрабатываются – что нетипично – и на среду разработки, среднее время реакции на инцидент в среде разработки моделей составляет менее одного часа.

Количество факторов для моделей в Feature store за год увеличилось более чем в два раза, теперь Feature Store включает в себя данные всех основных бизнес-линий, использующих модели машинного обучения. Реализован полноценный CI/CD процесс по разработке и доставке алгоритмов формирования факторов моделей из среды разработки в среду применения. Факторы бесшовно внедряются для пакетных моделей и онлайн моделей, использующих внутренние данные посредством интеграции с горячим онлайн хранилищем.

- А с точки зрения финансового эффекта?

В результате снижается время и стоимость разработки моделей, а также риски, связанные с работой с некачественными данными.

- В чем роль проекта для развития банка?

Система СИМ уже востребована среди подразделений банка и интегрирована со всеми системами принятия решения по розничному, малому и среднему бизнесу. В скором времени она охватит и крупный бизнес. Она помогает внедрять модели машинного обучения, которые призваны автоматизировать процесс выдачи кредитов, оптимизировать бизнес-аналитику в подразделениях банка и уменьшить количество времени, затрачиваемое на тот или иной бизнес-процесс.

Среда MDP ускоряет время разработки моделей, что позволяет быстрее запускать их, повышает качество моделей, централизует и стандартизует подходы, экономит вычислительные ресурсы.

Feature Store организует централизованную работу с фичами, чтобы гарантировать повторяемую логику их сбора для обучения разных моделей разными командами, для работы с выверенными данными высокого качества в разных департаментах. Дата-сайентисты могут просматривать все имеющиеся признаки «в одном окне» и подбирать нужные, а не создавать повторно дубли.

- Каковы направления развития проекта?

В этом году у нас амбициозная цель: реализация онлайн Feature Store. Хотим сделать внедрение всех факторов для онлайн-моделей – в том числе для данных, приходящих непосредственно в момент запроса модели бизнес-приложением, – бесшовным, что значительно сократит время на внедрение онлайн-моделей.