Большие данные

Выявление новых рынков, перспективных технологий и методов их использования в условиях переизбытка информации тоже требуют подхода на основе данных. Принятие стратегических решений является критически важным процессом, где стоимость ошибки крайне высока. Автоматизировать работу аналитиков для решения части этих задач позволяет платформа TeqViser. О ее создании рассказывает Тимур Меджидов, руководитель департамента управления проектами «Айкумен ИБС» (ДЗО ПАО «Ростелеком») и номинант на премию Data Award.

- Какова история создания проекта TeqViser?

Изначально проект создавался в 2016 году как инструмент помощи аналитикам внутренних институтов «Ростелекома». Мы хотели перейти на data-driven подход для принятия стратегических решений, которые были бы в будущем основаны на данных. Для этого нам нужна была некая база знаний про все технологии. Мы выбрали источники, которые считали качественными и полезными – это научные статьи, патенты, данные по инвестициям, публикации отраслевых СМИ. При помощи сильного лингвистического аппарата, развитых механизмов обработки данных и других технологий мы объединили данные, которые казались нам интересными, и создали инструмент для их анализа при помощи алгоритмов обработки естественного языка и технологий искусственного интеллекта. Этот инструмент позволил нам начать принимать те или иные стратегические решения на качественно новом уровне. Так появился TeqViser.

- Какие задачи он призван решать?

Очень важна задача приоритизации технологий для инвестирования, создания новых продуктов, услуг, сервисов. Даже такая большая компания, как Ростелеком, не может заниматься всем – необходимо расставлять приоритеты. С помощью платформы TeqViser мы анализируем более 120 различных технологий и выбираем наиболее приоритетные для нас направления. Определив, например, Топ-10 наиболее перспективных технологий в какой-то сфере, компания может считать их стратегическими и работать над их внедрением.

Результаты анализа TeqViser могут применяться в венчурных фондах, продуктовых офисах, R&D-центрах и так далее. Это первый класс задач, когда компания пытается определить, на каких направлениях стоит сфокусироваться. Второе направление – разного рода бенчмаркинги, когда компания сравнивает себя с конкурентами, ведет конкурентную разведку, в том числе в отношении международных компаний.

Также с помощью платформы мы ищем так называемые «слабые сигналы». Слабые технологические сигналы – это те технологии, которые только зарождаются. И чем раньше удастся найти перспективную технологию, инвестировать в нее на ранней стадии, тем больше выгоды компания получит в будущем. Многие компании пытаются найти эти слабые сигналы, используя различные инструменты. Мы делаем это в том числе с использованием платформы TeqViser, которую создали специально для этих задач, основываясь на широкой накопленной экспертизе.

Наконец, можно исследовать кейсы применения технологий. С помощью платформы мы можем понимать, что происходит в науке, что выделяется из общего ряда, какой стартап «выстрелил». Мы собираем эту информацию и анализируем с помощью аналитиков. Это позволяет найти стартапы для инвестирования, открыть R&D-центр под какую-то технологию для более глубокого исследования и т.д.

- Почему это важно?

Задача технологического прогнозирования в целом не решена человечеством, но наша платформа существенно приближает его к этой цели. Таких систем в мире мало – можно на пальцах пересчитать. В России инструменты для качественного анализа технологий предоставляет только TeqViser. Хороший анализ, мы надеемся, приводит к хорошим решениям, а дальше – и к прибыли для компаний.

- Какие принципы заложены в платформу?

Мы собрали все данные, которые считаем качественными. У нас больше 100 млн разных материалов. Мы разработали поисковый движок, благодаря которому можем осуществлять поиск во всем этом массиве. Мы можем делать разные виды графики, дашборды, грамотно визуализировать данные, что облегчает аналитику и помогает лицам, принимающим решения. Также у нас есть инструменты машинного обучения, которые помогают делать сложные вещи – например, кластеризацию, перевод. И сейчас мы добавляем чат, который еще больше упростит жизнь наших пользователей.

- Какой математический аппарат используется?

В платформе широко используются различные математические модели, в том числе с применением нейросетевых алгоритмов. Например, это комбинация лингвистических и статистических методов обработки текстовой информации для выявления трендов, методы машинной очистки и нормализации текстовой информации для работы с именованными сущностями, методы многомерной кластеризации текстовых документов, построение семантических векторов документов. Конечно, применяются алгоритмы OLAP и машинного перевода документов с иностранных языков.

- Что собой представляет платформа TeqViser? Как она работает?

Это система, которая позволяет находить и исследовать технологии. С помощью роботов она собирает данные из открытых информационных источников, а посредством предоставляемого API собирает данные из закрытых баз данных. Данные могут представлять собой научные публикации, новости о технологиях, патенты и инвестиции. Они проходят семантический анализ, после чего становятся доступными для поиска, прочтения и работы с ними – например, построения различных аналитических виджетов.

- Каков портрет типичного клиента? Кто заинтересован в подобных решениях?

Это крупные компании, которые хотят проводить собственные исследования и делать прогнозы на данных. Пока только они озадачиваются необходимостью использовать такого рода инструменты. Внутри компаний пользователи – это инновационные центры, директора по инновациям, инвестиционные аналитики. По отраслям ограничений нет.

- Что является результатом использования платформы для заказчика?

Результатом являются приоритетные для развития технологии, кейсы применения технологий, анализ конкурентов, их технологического стека, на основании которых принимаются стратегически важные решения для компании.

- Какие результаты могут достигаться?

Если глобально, то это создание новых направлений бизнеса, принятие решений об инвестировании в технологически новые направления. Например, для Ростелекома это может исчисляться миллиардами и десятками миллиардов рублей, как и для любой большой компании. Также есть побочный эффект – экономия бюджета аналитической команды, поскольку использование TeqViser заменяет работу аналитиков начального уровня и оптимизирует работу экспертов.

- Приведите примеры.

Например, в Ростелекоме были созданы офисы индустриального интернета и запуск направления квантовых технологий. Еще помогали заказчикам наполнять воронку кейсов применения, которые они дальше пилотировали, совершали покупку стартапов, внедряли в свою деятельность новые бизнес-процессы, находили новые сферы применения в существующих технологиях.

- Реально ли в этом случае оценить экономический эффект?

Здесь оценить эффект от технологий можно несколькими способами: это либо экономия, либо получение дохода, либо наращивание капитализации. Понятно, что эффект этот косвенный, и стоит еще учитывать упущенную выгоду.

Условно говоря, мы начали заниматься квантовыми технологиями. Сейчас это не монетизируется, но на горизонте пяти лет можно ожидать появление рынка в несколько десятков миллиардов рублей, и мы займем на нем какую-то долю. Тогда эффект может исчисляться миллиардами и десятками миллиардов рублей. Компания, которую «Ростелеком» в прошлом купил, основываясь на анализе в TeqViser, сейчас приносит около 20 млрд руб. выручки.

- Какие аргументы могут убедить руководителя компании инвестировать в подобные решения?

Многие, наверное, слышали про компанию Theranos, которая пыталась определять все болезни на свете по капле крови, но это ни к чему не привело. В итоге основательницу компании посадили, а Netflix снял про это фильм. Это был хайповый проект, в который много кто проинвестировал, но за этим не стояло научной составляющей. И если проанализировать науку и патенты, то, скорее всего, будет видно, что по капле крови просто невозможно определить все болезни, и риски инвестиций огромны.

Примерно то же самое мы доказываем про технологии NFT. На наших данных видно, что это спекулятивная технология, что за ней не стоит ни наука, ни патенты, она подвержена спекулятивным механизмам. То есть в нее мы не рекомендуем инвестировать, потому что завтра этот пузырь может лопнуть. Собственно, так и происходит.

То есть, обычно мы показываем на каких-то примерах, которые релевантны заказчику, что он может получить с использованием результатов TeqViser и без них.

- В каком направлении будет развиваться платформа?

Мы будем развивать систему, подключать еще большее количество данных, учиться работать с новыми языками. Второе направление – это все, что связано с алгоритмами: нейросетями и искусственным интеллектом. Продолжим совершенствовать алгоритмы и делать всю нашу аналитику эффективнее и проще для пользователя. Наша задача – снизить порог входа в систему, чтобы пользователи могли достигать тех результатов, которые они хотят, не обладая обширной экспертизой.

Для повышения точности кредитного скоринга банкам важно учитывать данные из самых различных источников, в том числе юридических. Для Альфа-Банка данные, предоставленные PravoTech, стали важным элементом при создании кредитного конвейера. О реализации этого проекта рассказывает Ксения Левина, руководитель по развитию API Big Data PravoTech и номинант на премию Data Award.

- Расскажите про API Big Data. Какие задачи он решает?

Это готовый сервис, предоставляющий доступ к нормализованным, очищенным, обогащенным данным более чем из 35 источников. Обширный атрибутивный состав позволяет использовать данные в ML-моделях клиента без дополнительной обработки. Сервис предоставляет как качественно разобранные сырые данные, так и готовые производные факторы риска. Доступна информация как по юридическим лицам и ИП, так и по физическим лицам.

Данные могут использоваться клиентами на всех уровнях работы с рисками: в кредитном конвейере, при мониторинге действующего портфеля клиентов, при работе с проблемными активами и взысканиями, при оценке регуляторных, рыночных и операционных рисков, а также в задачах службы безопасности и при борьбе с фродом.

- Какие данные он охватывает?

Мы поставляем данные из более чем 35 источников данных. В их числе ЕФРСБ, суды общей юрисдикции, ЦБ РФ, «Вестник государственной регистрации», «Картотека арбитражных дел», «Федресурс», госконтракты, «Мультистат» (Росстат), ФНС, Федеральная нотариальная палата, госзакупки, прокуратура, Реестр недобросовестных поставщиков, запрещенные сайты, Министерство цифрового развития, 2ГИС, Росаккредитация, Росфинмониторинг, ФАС, ЕГРЮЛ/ЕГРИП, ФССП, РКН, лица с повышенным риском.

- В чем его фишка?

В числе ключевых преимуществ API Big Data — самая полная обновляемая база арбитражных дел и дел судов общей юрисдикции, полная база о делах контрагентов, автоматически формируемый реестр кредиторов и оперативные данные по делам физических лиц. Мы передаем клиентам самый полный и качественно разобранный атрибутивный состав данных. За счет этого можно строить более точные прогностические модели и регулировать уровень их консервативности.

Кроме того, в API Big Data используется искусственный интеллект для оценки вероятности исхода дела и исковой нагрузки на основе массива судебных решений, анализа отрасли и региона компании и практики вынесения решений конкретным судьей. Его точность по арбитражным судам первой инстанции составляет 82%. На основе этих данных создаются готовые факторы риска, позволяющие обогатить модели клиентов и повысить качество их работы.

- Каковы были предпосылки реализации проекта в Альфа-Банке?

Центр продвинутой аналитики Альфа-Банка (ЦПА) существует на протяжении трех лет, в его структуре сейчас работает 140 человек. До создания ЦПА в банке использовалась простая модель скоринга, построенная на данных БКИ и государственных реестров. Модель решала простую задачу: отсеивать самых неблагонадежных заемщиков. Затем, после обращения заемщика через сайт банка, заполнения им анкеты и предоставления необходимых документов, система передавала его запрос кредитному менеджеру. Кредитный менеджер проводил оценку в соответствии со своими инструкциями.

Этот подход нельзя было назвать современным: он не позволял масштабировать бизнес. Такую модель сложно кастомизировать под разные группы клиентов, поэтому для всей клиентской базы юридических лиц использовались универсальные методы оценки риска дефолта. Кроме того, было недостаточно данных для скоринга потенциальных клиентов.

- Какой подход был выбран?

В Альфа-Банке поставили перед собой цель: перейти от моделей скоринга, основанных на правилах, к моделям, основанным на современных методах машинного обучения, учитывающих большое количество факторов и поведенческие модели. В ходе работы перед проектной командой стояла задача запустить автоматизированную оценку заемщиков и мониторинг рисков клиентов для управления портфелем клиентов и формирования предодобренных предложений для потенциальных клиентов банка.

- Какие требования предъявлялись к создаваемому решению?

Было необходимо разработать модели для определения вероятности дефолта юридических лиц и индивидуальных предпринимателей для принятия решения по кредитной заявке. Модели продвинутой аналитики должны были обеспечивать работу кредитного конвейера и предоставлять банковский сервис клиентам Альфа-Банка в режиме онлайн, время принятия решения по заявке — не более двух минут. Наконец, модели должны работать как для действующего портфеля клиентов, так и для потенциальных клиентов банка.

- На какие результаты рассчитывали?

От перехода на новые скоринговые модели ожидали повышения доходности кредитного бизнеса. Это должно было произойти за счет поддержки поточной технологии кредитования (кредитного конвейера), расчета скоринга как для настоящих, так и для будущих клиентов банка, расширения предложения продуктов за счет «умной» оценки риска, а также мониторинга рисков по всему портфелю клиентов и более эффективного управления рисками.

- Что собой представляет созданное решение? На каких данных оно работает?

В рамках проекта была запущена автоматизированная оценка заемщиков и мониторинг рисков клиентов для управления портфелем клиентов и формирования предодобренных предложений для потенциальных клиентов.

Благодаря новой модели скоринга оценка и формирование предложения для клиента происходят в три этапа. Во-первых, осуществляется оценка риска дефолта. Модель оценки риска дефолта имеет модульную структуру и состоит из восьми модулей. Результаты ее работы становятся основой для прескоринга широкого круга юридических лиц с использованием данных государственных реестров, БКИ, ФНС, ФССП, арбитражных дел, а также внутренних данных банка. Один из основных источников на этом этапе – API Big Data от PravoTech.

Во-вторых, проводится оценка склонностей клиента. На этом этапе учитываются предпочтения клиента и оценивается потенциальный доход банка на горизонте в два года. Здесь используются данные финансовой отчетности, внутренних систем банка, БКИ и ОФД, а также геоданные.

Третий этап — формирование индивидуального предложения. В его ходе определяются оптимальные параметры для каждого клиента, используя инструмент индивидуального ценообразования по формированию привлекательного предложения и максимизации дохода банка.

- Какие результаты получены?

Качество модели существенно выросло. Последняя адаптация модели для оценки риска дефолта дала увеличение коэффициента Джини на 3,15 процентных пункта по отношению к общей модели. В ее основе лежат два ключевых модуля: модуль кредитных историй и модуль арбитражных дел.

Что касается бизнес-эффекта, то 97% сделок с клиентами из сегмента малого и микробизнеса (ММБ) проходит автоматически, без участия кредитного менеджера, при этом время принятия решения по заявке сократилось до двух минут. За счет качества модели клиентский портфель ежегодно увеличивается вдвое.

На основе наработок в секторе ММБ разрабатываются модели для скоринга для клиентов из сегмента среднего бизнеса, часть моделей уже запущена. В этом году планируется расширение работ по этому направлению. Кроме того, планируется внедрение гибкого подхода к мониторингу клиентов и переоценки будущих клиентов. Результаты оценки клиентов будут использоваться для улучшения качества обслуживания, повышения лояльности и удержания клиентов, а также повышения их ценности. Наконец, идет активное расширение клиентской базы за счет предложения лучших условий для новых клиентов.

- Каковы перспективы развития продукта API Big Data?

Мы активно работаем над углублением атрибутивного состава, чтобы c помощью API Big Data можно было создавать более точные и менее консервативные модели, повышая доходность своих продуктов с помощью более точной оценки сути судебной и экономической деятельности клиентов. Кроме того, работа ведется и по добавлению новых источников данных для получения максимального количества информации с помощью одной интеграции.

В настоящий момент наша команда проводит интервьюирование клиентов, чтобы внедрять те обновления, которые в первую очередь требуются банкам, лизинговым и факторинговым компаниям на каждом этапе взаимодействия с данными: для кредитного конвейера, мониторинга действующего портфеля клиентов, работы с проблемными активами и взысканиями, оценки регуляторных и рыночных рисков, задач службы безопасности, операционных рисков и борьбы с фродом.

Оптимизация работы с клиентскими отзывами крайне важна для современного банка. Но еще важнее превратить информацию, полученную из них, в реальные действия, способные реально повлиять и на лояльность клиентов, и на имидж банка. В Альфа-Банке реализация такого проекта вылилась в создание платформы Alert VOC, автоматизирующей процесс работы с сервисными отклонениями и позволяющей контролировать «работу над ошибками». О ходе проекта и его значении для банка рассказывает Анна Кабанец, директор по CX стратегии Альфа-Банка и номинант на премию Data Award.

— В прошлом году вы участвовали в Data Award, рассказав об оптимизации работы с негативными отзывами и построении полного цикла работ по управлению клиентским опытом.

Да, в Альфа-Банке выстроен автоматизированный процесс сбора обратной связи клиентов в режиме реального времени с помощью собственной ИТ-разработки – платформы Voice of Customer (VOC). Для того, чтобы повышать отклик на опросы и поддерживать лояльность клиентов, нам особенно важно реагировать на кейсы, когда клиенты столкнулись с проблемой и поставили низкую оценку. Для нас каждая низкая оценка важна так же, как претензия или жалоба. Мы берем в проработку все отработанные низкие оценки и на их основе ищем способы улучшить опыт клиентов.

Низкие оценки VOC отрабатывают эксперты Управления по исследованиям и улучшениям клиентского опыта (УИУКО, ранее ОСЛК). Эксперты совершают обратный звонок клиентам, которые поставили низкую оценку и дали согласие на звонок, уточняют причины, фиксируют обратную связь и помогают в решении вопроса, если это актуально.

По итогу звонка эксперты фиксируют результаты интервью на VOC-платформе по специальному шаблону – экспертиза VOC. Именно экспертизы VOC являются объектом работы моделей, о которых мы рассказывали в прошлом году. И это лишь часть процесса, которая позволяет нам понять, где нужны улучшения клиентского опыта. В этом году мы хотим рассказать, как выстроен процесс целиком. И помимо моделей, которые анализируют экспертизы и подсвечивают нам ключевые тематики негатива клиентов, сейчас мы внедряем модели, которые оценивают критичность кейса и необходимость дополнительных мер по нему. Но об этом расскажем позже

— Почему это важно для бизнеса?

В работе с обратной связью мы следуем концепции Total Experience и замеряем обратную связь от клиентов – VOC (Voice Of Customer), сотрудников – VOE (Voice Of Employee), а также об эффективности процессов – VOP (Voice Of Process). При этом выстроен полный цикл работ с обратной связью: онлайн-замеры удовлетворенности, получение обратной связи от клиента и экспертиза по низким оценкам, накопление больших данных по уровню удовлетворенности клиентов, система автоматизированной CX-отчетности. Очевидно, что особенно важен процесс работы с низкими оценками и сервисными отклонениями, когда клиент столкнулся с проблемой или недоволен продуктом, сервисом или обслуживанием.

— В чем была суть решаемой проблемы?

Мы столкнулись с тем, что эксперты по исследованию опыта клиентов, общаясь с клиентом, стали подмечать ошибки в действиях или знаниях сотрудников. Ранее эксперты просто фиксировали эту информацию на платформе. С ней можно было ознакомиться в отчетности. Но в таких случаях необходима незамедлительная реакция и оперативные действия по устранению отклонений. Для этого мы выстроили автоматизированный процесс работы с сервисными отклонениями по всем каналам и продуктам банка – Alert VOC. Это автоматизированное, оперативное оповещение заинтересованных лиц о критичных клиентских кейсах, которые направляются с VOC-платформы по итогу интервью с клиентом в режиме реального времени.

Теперь эксперт по исследованию опыта клиентов уведомляет о сервисных отклонениях руководителя сотрудника, который совершил ошибку, или владельца продукта, у которого наблюдаются сбои в процессах. Это позволяет оперативно устранять сервисные отклонения во всех каналах банка и по всем продуктам, не дожидаясь очередной CX-церемонии или статусной встречи.

— Как была поставлена задача?

Перед нами стояла задача создать сквозной, автоматизированный процесс по работе с сервисными отклонениями, так как при объеме собираемых оценок от клиентов в 80 тыс. в день ручной, точечный процесс не эффективен. Данный процесс разбили на пять блоков: выявление сервисных отклонений, оповещение ответственных лиц, оперативное принятие мер, внедрение системы отчетности, а также инструментов контроля.

— Что представляет собой созданное решение?

Для внедрения реальных улучшений процесс работы с отклонениями должен охватывать все точки контакта клиента с банком. Поэтому мы интегрировали его в процесс замеров VOC, который охватывает все каналы, процессы и продукты. Обратную связь клиентов замеряем по 20 каналам обслуживания физлиц и восьми продуктам для физлиц на четырех этапах их клиентского пути, а также 19 каналам обслуживания юрлиц и 19 продуктам для юрлиц на четырех этапах их клиентского пути.

Для оповещения ответственных лиц выстроена автоматизированная система работы с сервисными отклонениями на базе платформы VOC. Для повышения эффективности работы УИУКО мы внедрили автоматизированное рабочее место эксперта. Оно учитывает специфику работы и включает весь необходимый функционал – от просмотра информации по клиенту до перехода по одной кнопке в нужное ПО для решения вопроса клиента.

Сигнал о возникновении сервисного отклонения эксперт по исследованию опыта клиентов направляет в автоматизированном режиме c платформы в виде Alert VOС, и это не просто письмо с уведомлением или оповещение, а задача к исполнению. Задача имеет свой срок, напоминание о необходимости ее исполнить, и срок, после которого происходит эскалация на руководителя в случае невыполнения. Для оперативного информирования настроены маршруты ответственным лицам по отработке. Например, если ошибка была допущена сотрудником, то уведомление получит его руководитель, а если отклонение касается продукта или процесса – то ответственный сотрудник. Всего за 2023 год в бизнес передали более 50 тыс. сервисных отклонений.

Не менее важна возможность для оперативного принятия мер. Alert VOC направляется в режиме реального времени, сразу после получения обратной связи клиента, а с целью обеспечения оперативного принятия мер предусмотрена система эскалации. Получатель должен в течении 24 часов отработать задачу на платформе, указав, какие меры были приняты, чтобы ситуация не повторилась, иначе оповещение получит функциональный руководитель получателя.

Для отслеживания результатов и динамики внедрили автоматизированный отчет на Power BI. Он позволяет отслеживать распределение Alert VOC в разрезе категорий и получателей, отслеживать динамику количественных показателей и ключевые срезы. Инструмент пользуется спросом: за 2023 год было около 18 тыс. посещений CX-отчетности.

Наконец, инструмент контроля – процесс работы с Alert VOC внедрен в ежеквартальную оценку уровня клиентоцентричности каналов и продуктовых команд, как отдельный параметр оценки клиентоцентричности. В 2023 году зафиксировано максимальное значение параметра по каналам и продуктовым командам.

— Какие технологические подходы были использованы?

Так как мы внедряем наши практики в масштабах всего банка, то всегда думаем, как это сделать эффективно, и стараемся использовать новые технологии. Во-первых, мы автоматизируем все, что можно автоматизировать. Alert VOC – полностью автоматизированный процесс, внедренный во всех бизнес-линиях банка. Все этапы работы с сервисными отклонениями происходят в рамках одной высокотехнологичной платформы.

Во-вторых, внедряем инструменты продвинутой аналитики там, где они могут помочь в поиске инсайтов. Аналитическая модель контролирует процесс отправки Alert VOC. Она проверяет по кейсам, нужно ли было отправлять Alert VOC. Если нужно, то проверяет, был ли он отправлен. Если он не был отправлен, то данные направляются на дополнительный контроль. Так сводится к нулю возможность пропустить важный кейс.

Кроме того, аналитическая модель проверяет качество отработки Alert VOC. На старте проекта сфокусировались на контроле доли уведомлений, отработанных в срок, и к концу 2023 года достигли показателя 93%. Сейчас переходим к контролю качества их отработки – внедрили аналитическую модель, которая вычитывает отчеты ответственных за отработку сотрудников на предмет корректности принятых мер.

Наконец, мы считаем все, что можно посчитать. На опыте мы усвоили правило: «С бизнесом нужно говорить на языке цифр». Как только подсвечиваешь проблему, сразу возникает вопрос про охват и масштаб. Эксперты по исследованию опыта клиентов – сотрудники, которые в живом диалоге на огромном потоке обратной связи чувствуют, когда сервисное отклонение становится масштабным и его необходимо взять на контроль. Для того, чтобы «посчитать» количество кейсов с той или иной тематикой (чаще всего, это новая тематика, которая еще не внесена в классификатор), внедрили функционал «хэштег» на платформе VOC. Эксперт выбирает хэштэг в случае, если встречает негатив по этой тематике в интервью с клиентом.

— О каких объемах данных идет речь?

В 2023 году в рамках VOC-опросов мы направили клиентам более 100 млн запросов оценок. Внедренная технология сбора обратной связи позволяет поддерживать стабильный отклик на опросы на уровне около 11%. В итоге только за 2023 год накопилось более 11 млн оценок VOC.

Это огромный массив данных, который дает практически всю необходимую информацию об опыте клиентов и необходимых улучшениях. Но для того, чтобы улучшения были эффективны, нужно четко понимать, в каких процессах, сервисах, каналах их необходимо внедрять.

— Как решается эта задача по выявлению направлений для улучшений?

За счет исследования тематик Alert VOC мы четко понимаем причины сервисных отклонений. Ежеквартально отправляем в бизнес около 15 тыс. уведомлений по каналам и продуктам физлиц и юрлиц. По части тематик внедряются оперативные улучшения в точке контакта. Например, одна из таких тематик – «Знания сотрудника». Если сотрудник допустил ошибку в процессе обслуживания клиента, уведомление направляется руководителю, который сможет ознакомиться с ситуацией и принять меры – назначить обучающие курсы или подробнее разобрать процесс, по которому была допущена ошибка. Если тематика Alert VOC касается продукта или процесса, где нет возможности внедрить улучшения «здесь и сейчас», то инициатива включается в реестр корневых проблем для дальнейшей проработки владельцем продукта.

Другим важным инструментом является продвинутая аналитика, дающая возможность понять причины всех негативных оценок VOC и их материальность. Специальная аналитическая модель вычитывает весь объем экспертиз УИУКО в рамках конкретного канала обслуживания клиентов, объединяет проблематики по группам. Для трансляции результатов руководителям внедрен автоматизированный дэшборд по основным причинам негативных оценок VOC. Он показывает тематики негативных оценок с указанием веса каждой из них во всем объеме негативных оценок в необходимых разрезах

— Приведите пример, того, как отрабатываются проблемные места.

Рассмотрим канал отделений для физлиц. В первом квартале 2023 года было зафиксировано несколько наиболее распространенных тематик Alert VOC в этом канале: знания сотрудника, комфорт в офисе, некорректное ведение переговоров. На эти тематики на старте квартала приходилось 70% уведомлений. Данные проблематики направлялись бизнесу в целевом процессе отработки Alert VOC.

Однако во втором квартале 2023 года продолжился рост количества Alert VOC с данными тематиками – ситуация не улучшилась. Работы по устранению были взяты на дополнительный контроль, включая обсуждение на CX-церемониях, статусных встречах и демо команд. Кроме того, для снижения количества негативных оценок по данной тематике запустили ряд активностей. Во-первых, это так называемые «CX Планерки» – мероприятия по вовлечению команды отделения в CХ, разбор реальных кейсов и показателей, построение стратегии улучшений. Данные мероприятия проводятся в очном формате с участием всех сотрудников отделения. Такие планерки уже проведены в 20 офисах. Кроме того, сотрудникам с максимальным количеством Alert VOC по тематике «Знания сотрудника» назначается дополнительное обучение, результаты которого контролируются.

В III квартале количество Alert VOC с данными тематиками уже вышло на плато, а в четвертом квартале начало снижение. При этом важно отметить, что общее количество направленных Alert VOC по всем каналам в четвертом квартале увеличилось по сравнению с предыдущим на 22%, то есть снижение по проблемным тематикам достигнуто на фоне общей активизации работы контролеров.

— Как проведенная работа отражается на бизнесе?

Главным итогом является благодарность и лояльность клиентов. Эксперты по исследованию опыта клиентов по итогу проработки кейса с клиентом задают дополнительный вопрос о готовности рекомендовать банк знакомым. Важно отметить, что это те самые клиенты, которые поставили нам негативные оценки. После взаимодействия с экспертами около 60% клиентов готовы рекомендовать наш банк.

— Каковы планы и перспективы развития решения?

Мы следуем концепции Total Experience – голос клиента и голос сотрудника. И если Alert VOC – это «голос клиента» по определенному кейсу, то нам важно услышать и «голос сотрудника» и его мнение по ситуации. Для этого мы внедрили дополнительный функционал на платформе — добавили возможность сотруднику делиться идеей по улучшению процесса или сервиса, по которому была поставлена негативная оценка. Так после ознакомления и проработки кейса сотрудник может поделиться идеей по улучшению процесса, которую мы возьмем в проработку и передадим в ответственное подразделение для внедрения. Мы только внедрили этот функционал и пока еще получили не так много идей. Но так как этот функционал был добавлен именно по запросу сотрудников, мы ожидаем, что они будут активно делиться полезными идеями по улучшениям.

Оператор сотовой связи в Казахстане Tele2/Altel запустил проект оптимизации размещения базовых станций 5G с помощью машинного обучения и многокритериального анализа принятия решений (MCDA). Это должно позволить компании снизить капитальные затраты, повысить энергоэффективность, улучшить качество услуг и в целом усилить устойчивость сетей связи. Проект направлен на обеспечение баланса между потребностями текущих абонентов 4G и ожиданиями новых пользователей 5G, а также на поддержку устойчивого развития в соответствии с Целями устойчивого развития ООН. О его реализации рассказывает Станислав Стрельцов, CDO Tele2/Altel и номинант на премию Data Award 2024.

- В чем заключалась бизнес-проблема, которую решали?

Наша основная задача заключалась в оптимизации размещения базовых станций 5G, учитывая потребности текущих абонентов 4G и ожидания новых пользователей 5G. Баланс между потребностями существующих абонентов и развитием сети 5G критически важен: мы работаем в условиях ограниченного CAPEX/OPEX. Компании необходимо эффективно управлять ресурсами и размещением базовых станций для обеспечения плавного перехода от 4G к 5G и обеспечения высокого качества обслуживания для всех пользователей.

- Какие требования предъявлялись к создаваемому решению?

Решение должно было снизить капитальные затраты, повысить энергоэффективность, улучшить качество услуг и обеспечить устойчивость сетей связи.

- Какие данные и платформы используются?

Для анализа и принятия решений мы собираем статистику трафика 4G станций, данные о подключениях абонентов, метрики подключений устройств 5G, время активности пользователей, а также трафик, генерируемый устройствами 5G. Эти данные собраны с использованием существующих телекоммуникационных инфраструктур и инструментов мониторинга сети. Кроме того, обращаемся к внешним источникам, таким как карты и информация о застройке.

Используемые платформы для работы с данными включают реляционные и не реляционные СУБД (Oracle, ClickHouse, PostgreSQL), а также специализированные системы анализа данных и машинного обучения собственной внутренней разработки, использующие решения open source. Для визуализации результатов и поддержки бизнеса используется платформа Tableau.

- Что представляет собой созданное решение, какие технологии использованы?

Решение представляет собой систему оптимизации размещения базовых станций 5G с использованием машинного обучения, инструментов Big Data и многокритериального анализа.

- Какими силами реализовывалась система?

Над проектом работала команда аналитиков данных, дата-сайентистов и инженеров данных, ее размер составлял примерно 14 человек. На реализацию потребовалось 12 месяцев.

- Что в ходе проекта было самым сложным?

Сложность заключалась в балансировке требований текущих абонентов – было важно держать качество связи на определенном уровне, – и ожиданий новых пользователей. Кроме того, речь шла обработке и анализе больших объемов данных: прогнозы на уровне базовой станции охватывают данные более 20 тыс. временных рядов.

- Каких результатов уже достигли, а какие ожидаются в будущем?

На несколько процентов увеличился ROI. По мере продвижения проекта ожидается, что данные результаты будут пересматриваться и адаптироваться в соответствии с динамикой рынка и потребностями пользователей.

Кроме того, ожидаемые результаты включают снижение на 20% капитальных затрат (CAPEX) за счет оптимизированного размещения и снижение жалоб клиентов относительно проблем с сетью на 25%. Снижение потребляемой энергии должно дать рост энергоэффективности на 15%.

Эти показатели будут служить критическими факторами успеха и повлияют не только на экономическую выгоду для компании, но и на общую устойчивость, способствуя достижению Целей устойчивого развития ООН (Sustainable Development Goals, SDG).

- Какой результат стал главным, что именно дало наибольшую отдачу?

На данный момент оптимальное распределение CAPEX оказалось ключевым результатом, обеспечивающим наилучшую отдачу.

- Цели устойчивого развития – насколько это важно, и в чем их влияние?

Оптимизация потребления энергии и уменьшение воздействия на окружающую среду играет для нас важную роль. В частности, речь идет про SDG 7 (Доступная и чистая энергия), SDG 11 (Устойчивые города и общины) и SDG 13 (Действия по изменению климата). Мы уделяем особое внимание энергопотреблению, необходимому для питания базовых станций, минимизируя количество строек.

- Каков экономический эффект?

Даже находясь в пилотной версии, реализация проекта снизила капитальные затраты и повысила нашу эффективность, что привело к увеличению ROI.

- Каковы планы развития проекта?

Мы планируем дальнейшее совершенствование системы, учет изменений в технологическом пространстве и потребностей пользователей. Планируем добавить функционал на базе геопространственной аналитики, а также реализовать инструмент в виде продукта для монетизации его вовне.

Переход платформы персонализации «Сбера» с Teradata на связку Hadoop и GreenPlum планировался еще до санкционного кризиса, но весной прошлого года приобрел особую актуальность. Помимо устранения технологических рисков, у группы появились новые возможности для оперативного выявления потребностей клиентов. Про реализацию проекта рассказали Игорь Зарубинский, директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента и Алексей Смирнов, управляющий директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента – номинанты на премию Data Award.

— Какова предыстория проекта? Что привело к его реализации?

Игорь Зарубинский: «Сбер» работает над созданием полностью интегрированной системы удобных онлайн-сервисов в самых разных сферах для любых жизненных ситуаций: от покупки продуктов на маркетплейсе до оформления ипотечного кредита. С помощью новой стратегии мы переходим от прогнозирования покупки продукта к созданию предложения, адаптированного под жизненную ситуацию и потребность клиента в конкретный момент времени. Точно предугадывая потребность клиента, «Сбер» обеспечивает долгосрочное взаимовыгодное сотрудничество с ним. Основная цель – выявить релевантную в данный момент времени потребность клиента и подобрать наиболее удобный продукт или сервис для удовлетворения этой потребности.

Для решения этой задачи мы стали создавать платформу данных, которая содержит информацию о клиенте и его действиях в контуре «Сбера». При этом для выявления текущих потребностей клиента требуется оперативная и гибкая работа как с онлайн-, так и с офлайн-потоками данных о действиях клиента.

— В чем заключалась проблема?

Алексей Смирнов: Изначально в качестве основной платформы для работы с данными использовалась Teradata. В связи с ростом количества источников и объема данных появилась проблема доставки этих данных до хранилища с актуальностью не хуже, чем на вчерашний день (Т–1 день). Вместе с этим обнаружилась проблема с хранением большого массива данных: данные в «сыром» слое, с которыми мы работаем, занимают десятки петабайт. Весь этот объем информации необходимо оперативно обрабатывать: от момента попадания данных в «сырой» слой до обновления витрины должно проходить не более нескольких часов, так как данные нужны максимально быстро для использования в бизнес-процессах.

Кроме того, для оперативного выявления потребностей клиентов было реализовано большое количество стриминговых потоков с триггерами о действиях клиентов в контуре группы «Сбера». Возник вопрос об эффективной обработке и создании витрин данных, которые обновляются в реальном времени и используют как информацию из онлайн-потоков, так и из витрин, которые обновляются пакетом.

На платформе Teradata реализация подобной задачи становилась крайне дорогой или невозможной, поэтому «Сбер» принял решение изменить технологическую платформу и перейти на использование связки платформ Hadoop и GreenPlum. Задача миграции стала особенно актуальна в 2022 году, так как Teradata приняла решение уйти с российского рынка. Из-за прекращения поддержки возник риск прекращения работы всех бизнес-процессов, что могло привести к потерям в сотни миллиардов рублей.

— То есть миграция планировалась заранее? Насколько сильно планы откорректировались в связи с санкционным кризисом?

А.С.: Да, миграция планировалась заранее и была инициирована недостатком функциональности предыдущей платформы и дороговизной ее масштабирования. Планы реализации проекта поменялись незначительно, так как к моменту появления санкционных рисков большая часть проекта уже была реализована. Когда ушли иностранные вендоры, мы уже имели на 70% импортозамещенный продукт, и нам пришлось действовать еще быстрее, чтобы компенсировать оставшиеся 30% решений до конца 2022 года.

— Что стало самым сложным в процессе миграции? Как решали эти проблемы?

А.С.: Самым сложным в реализации проекта было изменить модель мышления пользователей платформы: перейти на другой технологический стек и новую модель данных, переосмыслить процессы, которые были сделаны на базе технологии Teradata и реализовать новые, по сути, процессы на новом стеке технологий. Также большим вызовом для нас было доказать преимущества новой платформы для работы дата-инженеров, дата-аналитиков, дата-сайентистов: ее работоспособность, надежность, масштабируемость, скорость работы вычислений для больших объемов данных.

— Сколько времени и ресурсов потребовалось на реализацию проекта?

А.С.: Проект был инициирован в конце 2020 года и завершен в конце 2022 года. За это время мы мигрировали более 300 бизнес-процессов с Teradata на новую платформу.

— Какие данные используются для построения персональных предложений?

А.С.: Мы используем информацию из всех банковских систем, а также данные из систем компаний-партнеров, что позволяет сформировать полный профиль клиента: его финансовые и социально-демографические характеристики, данные об интересах, его предпочтениях в кино, еде, музыке. Разумеется, при этом в обязательном порядке учитывается согласие клиентов на сбор, обработку и использование данных.

Витрины данных являются основой для ключевых задач формирования персональных предложений клиентам. С их помощью создаются модели искусственного интеллекта для работы с данными, аналитика и отчетность, формируются персональные предложения с индивидуальными условиями для клиентов. При этом мы создаем не только витрины «холодного вектора», которые обновляются ежедневно с актуальностью Т–1 день, но и витрины «горячего вектора», которые основаны на потоковой обработке данных.

Новые технологические платформы позволяют нам хранить петабайты данных, быстро обрабатывать десятки терабайт данных в инкременте, а также работать с данными в режиме реального времени.

— Какие изменения в бизнес-процессах породили новые возможности?

И.З.: Новые возможности стали базой для построения SberNBA – платформы персональных рекомендаций. SberNBA обеспечивает расчет персональных предложений, коммуникацию в релевантный момент времени на каждом этапе жизненного пути клиента и максимизирует долгосрочную ценность сотрудничества «Сбера» с клиентом. В основу архитектуры платформы заложены алгоритмы машинного обучения, которые позволяют анализировать события в жизни каждого клиента и реагировать на них в режиме реального времени.

— Какие результаты достигнуты и ожидаются?

А.С.: На текущий момент решение содержит более 300 витрин, которые, в свою очередь, содержат более 15 тыс. атрибутов общим объемом более 9 Пбайт. Самая крупная витрина занимает 1 Пбайт с ежедневным инкрементом в 5 Тбайт. Самая большая витрина содержит более 1 тыс. атрибутов.

Витрины данных имеют актуальность Т–1 день уже к началу следующего рабочего дня. Таким образом, решение позволяет обрабатывать десятки терабайт данных инкремента и за 4,5 часа ежедневно формировать более 300 витрин, существенная часть из которых — это сложные витрины типа SCD2 (медленно меняющиеся измерения, Slowly Changing Dimensions).

Вместе с тем, реализованы десятки онлайн-потоков, которые умеют «на лету» определять потребность, исходя из комбинации совершенных действий клиента. Плотность потока стриминговых данных составляет более 10 тыс. транзакций в секунду. Для определения потребности клиентов при работе с потоками мы не только пользуемся готовыми потоками из систем «Сбера», но и донасыщаем их дополнительной информацией из параллельных стриминговых потоков и витрин, которые обновляются в пакетном режиме. В ряде случаев требуется создание онлайн агрегатов для выявления аналитических триггеров в потоковом режиме.

Также решения, построенные на онлайн-потоках, позволяют предсказывать вопросы и проблемы, которые могут возникнуть у клиента при взаимодействии со «Сбером». Благодаря этому появилась возможность заранее сформировать соответствующую коммуникацию или настроить персональный ролик в канале телемаркетинга по актуальной проблеме и быстро решить вопрос клиента, не привлекая к этой задаче оператора горячей линии контакт-центра.

После перехода на новую платформу обработки данных более 500 наших D-people –дата-инженеров, дата-аналитиков, дата-сайентистов – ежедневно стоят свои решения как на базе платформенных решений, так и на базе реализованных потоков данных. Что немаловажно, во все процессы встроены инструменты контроля качества данных, в том числе с использованием моделей искусственного интеллекта, которые позволяют проверять сложные зависимости в данных для предоставления наилучшего результата.

— В чем роль проекта для «Сбера»?

А.С.: Переход на новую платформу, состоящую из Hadoop и GreenPlum, позволил выполнить ряд крупных задач для B2C-бизнеса «Сбера». Нам удалось добиться непрерывности работы бизнеса за счет отказа от зарубежного вендорского решения. Появилась возможность хранить огромные массивы данных в десятки петабайт, необходимые для реализации предиктивной аналитики и отчетности. Специалисты смогли настроить процесс ежедневного быстрого применения инкремента в 10 Тбайт и реализовать системы потоковой обработки данных.

И.З.: Все это позволило уменьшить временной лаг между совершаемым клиентом действием и реакцией бизнеса на это действие. Благодаря переходу на новую платформу для работы с данными «Сбер» намного раньше узнает о текущих потребностях клиента. Это позволяет формировать наиболее актуальный пул персональных предложений, что было невозможно при использовании предыдущей платформы для работы с данными.

Точно предугадывая потребность клиента, мы обеспечиваем долгосрочное взаимовыгодное сотрудничество с ним. Это подтверждают бизнес-результаты. Например, количество жалоб на коммуникации уменьшилось на 12%. Чистая приведенная стоимость по некоторым коммуникационным кампаниям увеличилась на 20% по сравнению с месяцем, когда в процессе участвовали данные с актуальностью Т–1 день.

«Сбер» запустил графовую платформу, позволяющую объединить возможности методов графовой аналитики и технологий больших данных. Ее использование позволило на порядок ускорить разработку моделей и снизить количество затрачиваемых ресурсов при их промышленном запуске. О значении созданного решения для бизнеса и его перспективах рассказывает Алексей Булавин, исполнительный директор управления развития технологий искусственного интеллекта и машинного обучения департамента управления данными Сбербанка и номинант на премию Data Award.

— Какие задачи решает платформа?

В бизнес-практике все чаще встречаются комплексные задачи, для решения которых невозможно использовать традиционные методы и инструменты аналитики, поскольку они требуют обработки информации, которая характеризуется неоднородной структурой и глубокой связанностью.

Если необходимо проанализировать не только объекты и их свойства, но также их связи с другими объектами различных уровней и характеристик, необходимо использовать методы графовой аналитики. Она применяется для получения дополнительных знаний об объекте за счет извлечения знаний о его окружении, выявления наиболее значимой информации, центров влияния, групп связанных объектов, цепочек и многого другого. К задачам графовой аналитики можно отнести как нахождение новых молекулярных соединений, так и более привычные для бизнеса задачи – построение портрета клиента «360 градусов», оптимизацию логистических цепочек или таргетирование.

— Почему это важно?

Сейчас мы наблюдаем взрывной рост объема данных из различных источников во всех сферах деятельности человека. Связанность данных между собой также быстро растет. Это означает, что все больше и больше задач решаются уже не просто на данных, а на больших данных. На российском рынке сегодня нет технологических решений – а тем более платформ – для работы с графами, представляющими большие данные, которые смогли бы объединить эффект от использования Graph Analytics и big data для бизнеса.

— Каков ваш подход?

«Сбер» разработал собственные технологии хранения и обработки данных, представленных в виде больших графов, и за счет инновационных подходов и архитектурных решений добился их высокой производительности на внутреннем аналитическом хранилище, где собрано более 17 Пбайт плотно связанной между собой неоднородной информации.

Для того чтобы возможности наших технологий можно было применить для бизнес-задач различной природы (разработка и внедрение витрин, моделей, нейросетей, создание онлайн-сервисов, BI-инструментов и др.), мы объединили их в технологическую платформу, состоящую из семи сервисов.

Сервис лаборатории графов – интерактивный инструмент для исследования графов, разработки новых графовых моделей (ML). Сервис графовых расчетов – механизм выполнения массовых регулярных расчетов на больших графах для исполнения графовых моделей. Сервис единого графа клиентских связей (ЕГКС) – актуальные витрины данных о полной связанности между собой всех клиентов банка. Сервис онлайн-доступа к графу – средство доступа к графам класса big data через API в режиме вопрос-ответ в режиме реального времени. Сервис визуализации графов – интерактивный BI-интерфейс для решения прикладных задач на графах в реальном времени. Сервис встраиваемой графовой базы данных – производительная встраиваемая графовая база данных для нестандартных решений. Наконец, сервис графовых нейронных сетей (GNN) – готовый пошаговый механизм обучения нейросети для конкретной бизнес-цели на базе графа. Эти сервисы платформы унифицированы для взаимодействия между собой и позволяют как конструктор собрать любую конфигурацию в зависимости от решаемой бизнес-задачи.

— Что представляет собой решение, запущенное в «Сбере»?

Созданный нами Единый граф клиентских связей – это сервис графовой платформы «Сбера», который создает из 15 источников данных различных видов: txt, csv, parquet и ежедневно обновляет витрину данных, содержащую граф класса big data. Он содержит 17 млрд связей, 390 млн узлов, 187 типов связей и 374 типа атрибутов узлов. Это один из самых крупных графов в России.

Сервис горизонтально масштабируется, поэтому количество источников и данных в графе растет.

— На каких технологиях построена платформа?

Наша графовая платформа не использует в своей основе другие платформы. Она имеет в своем ядре собственную высокоэффективную графовую базу данных FastGraph, написанную с нуля, а также open source технологии стека Hadoop: HDFS, Spark, Solr, Hbase. Таким образом, это 100% российская разработка.

— Как принципиально новые возможности отразились на бизнес-процессах?

У специалистов, разрабатывающих собственные витрины, модели, нейросети и сервисы на больших графах, появилась возможность делать это эффективнее, причем на порядок. Например, в 10 раз ускорилась разработка графовых моделей за счет использования сервисов лаборатории графов и графовых нейронных сетей. Также в 10 раз уменьшилось время работы, либо количество затрачиваемых ресурсов кластера при промышленном запуске графовых моделей за счет использования сервиса графовых расчетов. Примерно в 20 раз уменьшились затраты на внедрение в промышленную эксплуатацию разработанных графовых моделей.

— Пытались ли оценить экономический эффект?

На старте внедрения данной технологии команда оценивала показатели экономической эффективности от использования графовой платформы и графовых данных на пилотных проектах. Результаты исследования показали, что выросла эффективность управления бизнес-процессами и скорость выдачи кредитов. Экономический эффект от внедрения платформы, безусловно, очень значим, поскольку изменения затронули портфель потребительских кредитов.

— Какую роль этот проект играет для банка?

Для банковского бизнеса крайне важно эффективное управление рисками, в том числе кредитным портфелем. Своевременное выявление инсайтов об изменениях в потребительской и деловой активности клиентов позволяет осуществить прогноз дефолта по кредиту на ранней стадии и зачастую предотвратить его. Также понимание потребностей и особенностей деятельности клиентов позволяет правильно настроить кредитный процесс и сделать клиенту наилучшее для него предложение при сохранении требуемого уровня управления рисками.

Наша графовая платформа уже встроена в бизнес-процессы корпоративного и розничного кредитования, что позволяет быстро, взвешенно и с оптимальными затратами принимать решения о выдаче кредитов и их параметров. Сервисы платформы уже используются в десятках автоматизированных бизнес-процессов «Сбербанка». BI-инструментами и данными платформы пользуются порядка 6,5 тыс. специалистов, и их число продолжает активно расти.

— А может ли созданная платформа иметь влияние на рынок в целом?

Думаю, да, поскольку данная платформа вполне может использоваться и в качестве технологической основы других компаний, открыть для них новые возможности по обработке больших данных.

На Череповецком металлургическом комбинате запущено решение на базе машинного обучения для оптимизации работы Агрегата непрерывного горячего цинкования №4 (АНГЦ-4). Решение, получившее название «Ангелина», позволило уйти от человеческого фактора и за время эксплуатации уже принесло экономический эффект более 100 млн руб. О построении решения рассказывает Светлана Потапова, директор ООО «Северсталь Диджитал» и номинант на премию Data Award.

— В прошлом году «Северсталь» стала лауреатом Data Award за оптимизацию работы листопрокатного стана 5000. Каковы итоги того проекта? Насколько были достигнуты планы?

Решение продолжает работать на стане 5000 в полном объеме. В прошлом году загрузка агрегата была в целом стабильной, и наше решение отработало в соответствии с ожиданиями – производительность выросла до 6,5% относительно года внедрения. Мы ведем дальнейшую работу по цифровизации линии стана 5000 в направлении технологии, а также по автоматическому вызову слябов из печей от моделей для сокращения пауз между прокатными группами.

— Как выбираются цели для построения очередных моделей?

Ранее для нас приоритетными были решения, которые приносят значительный экономический эффект, оцифровывают работу на конкретном важном участке производства и окупают затраты на их разработку. Сейчас они составляют не менее 50% портфеля проектов. Остальные 50% – проекты в области улучшения качества технологического процесса, а также в области повышения уровня безопасности, где денежный фактор отходит на второй план, так как безопасное производство – наша базовая ценность.

— Исходя из чего был выбран АНГЦ-4?

Агрегат непрерывного горячего цинкования №4 расположен в производстве плоского проката, которое является одним из флагманов цифровизации на ЧерМК. Там скоростью непрерывно-травильного агрегата №3 уже успешно управляет наше решение на основе искусственного интеллекта, на двух других агрегатах цинкования модели способствуют улучшению качества нанесения цинкового покрытия и экономии цинка. Поэтому этот проект – логичное продолжение начатого ранее перехода на цифровое управление ключевыми агрегатами. Они достаточно автоматизированы, что позволяет нам собирать нужный объем данных для анализа и осуществлять прямое управление от моделей. Также при принятии решения о старте разработки мы преследовали актуальную на тот момент бизнес-цель по увеличению производительности агрегата.

— В чем принципиальное отличие этого проекта, например, от прокатного стана 5000? В чем его сложность?

Прежде всего отличие состоит в самом технологическом процессе и применении концепции Data Fusion для решения задачи. Сам по себе агрегат является непрерывным, что означает необходимость оценки большого количества параметров в реальном времени, сопоставления разнородной информации и учета ограничений для принятия решения системой об оптимальном управлении агрегатом в текущий момент времени.

— Судя по всему, каждое из создаваемых решений является уникальным. Их каждый раз приходится создавать с нуля или есть какие-то общие наработки, позволяющие ускорить создание моделей?

Уникальность решений и максимизация эффектов, действительно, зависят от возможности кастомизации, учета особенностей агрегата и технологического процесса. Однако при проектировании архитектуры решения и в разработке мы активно используем типовые для нас компоненты и накопленные наработки. К примеру, в быстром запуске цифровых решений нам помогает библиотека собственной разработки Typed Blocks, которую мы выложили в открытый доступ на GitHub. В основе библиотеки лежит event-driven подход, благодаря чему решения удобно дополнять и масштабировать в зависимости от целей проекта и можно собрать приложение, как конструктор.

— В чем заключались проблемы АНГЦ-4, какие задачи требовалось решить?

Агрегат непрерывного горячего цинкования предназначен для непрерывной термохимической обработки стальной полосы для защиты от коррозии. Ранее оператор вручную управлял скоростью полосы и параметрами печи термохимического отжига. При этом для верного определения скорости оператору было необходимо контролировать несколько десятков параметров. Более того, ему приходилось прогнозировать их состояния в будущем, что довольно сложно, учитывая значительную инерционность некоторых параметров. Для повышения эффективности процесса был необходим переход от ручного к автоматическому режиму управления скоростью агрегата в технологической части и к автоматическому управлению нагревом полосы в печи термохимического отжига.

— Какие технологии использовали?

Решение построено на нашем озере данных. Сбор данных с источников осуществляется с помощью NiFi и сервисов собственной разработки на Java. В качестве шины данных используется Kafka, для долгосрочного хранения данных – Hadoop. Решение написано на языке Рython и обернуто в docker-контейнер, оркестрация организована в Kubernetes.

— Что собой представляет созданное решение, каковы его возможности?

Решение, получившее название «Ангелина», сочетает в себе модели на основе правил технологии, физического моделирования, машинного обучения, а также модели регулирования с обратной связью.

Подход к управлению скоростью основан на представлении технологического процесса как системы ограничений, которые проверяет модель перед выработкой команды управления скоростью средней части агрегата (СЧА). Посредством анализа данных было выделено более 50 параметров технологического процесса, которые учитываются в работе модели. Среди них – текущая скорость СЧА, толщина и ширина металла, марка стали, толщина цинкового покрытия, температуры атмосферы и футеровки в зонах печи, загрузка печи, содержание различных газов в атмосфере печи, температура полосы в нескольких точках агрегата, точка росы и другие показатели.

Если все показатели находятся в допустимых значениях, модель отдает команду на увеличение скорости СЧА. Шаг увеличения скорости зависит от оценки общего потенциала ускорения. Также проработаны защитные механизмы, когда модель снижает скорость полосы с целью недопущения производства несоответствующей продукции по причине выхода температуры полосы ниже минимальных значений.

— Какие сложности возникали?

При переходе на автоматическое управление скоростью мы выявили ряд недостатков в существующей системе управления нагревом, приводящих к потерям производительности. Поэтому приняли решение дополнительно разработать модель управления нагревом для поддержания заданной температуры полосы и стабильности процесса. Для этого была реализована модель управления нагревом в камере безокислительного нагрева печи термохимического обжига. Управление мощностью камеры реализовано на основе физической модели тепловых процессов, подхода Model Predictive Control (MPC) для расчета управления и подхода Moving Horizon Estimation (MHE) для идентификации параметров физической модели.

Отдельной сложной задачей была автоматизация переходов между различными сортаментами металла с разными физическими свойствами и технологическими ограничениями, а также с учетом большой инерционности печи термохимического отжига. Модель планирует оптимальные переходы и управляет переходами в соответствии с планом и учетом текущего состояния агрегата. Для планирования переходов также использовалась физическая модель тепловых процессов и модель машинного обучения на основе градиентного бустинга.

— Насколько хорошо решение воспринял персонал?

В цифровых решениях одним из важнейших шагов после внедрения является обеспечение их приживаемости. В этом процессе ключевой является обратная связь от всех операторов, использующих решение – она ускоряет адаптацию и дает возможность оперативно скорректировать нюансы, возникающие при работе с моделью. Также для диагностики работы моделей управления скоростью, нагревом и переходами используется инструмент визуализации данных Grafana. Инструмент позволил настроить дашборды под разные потребности: спидометры для отслеживания времени работы агрегата в автоматическом режиме, контроля поступления данных, визуализировать технические и бизнес-метрики, а также другие значимые параметры.

— Часто компании очеловечивают искусственный интеллект, чтобы было проще воспринимать его рекомендации, и дают решениям человеческие имена. Систему назвали «Ангелина» из-за этого?

Эта традиция пошла от «Евы» – нашей первой нейросети для классификации дефектов металлопроката, названной так с отсылкой к библейскому персонажу. Некоторые последующие модели тоже получили свои имена. Например, модель «Аделина», которая задает скорость управления НТА-3, названа так в честь математика Ады Лавлейс, известной тем, что создала описание вычислительной машины и составила первую в мире программу для этой машины. «Ангелина» так названа из-за созвучия с аббревиатурой агрегата АНГЦ-4. Количество решений неизменно растет, дать имена всем будет непросто, но некоторые приживаются и используются.

— Какие результаты достигнуты и ожидаются?

Производительность АНГЦ-4 за три месяца увеличилась на 3,4%. Ввиду сложных экономических условий в первой половине 2022 года загрузка агрегата несколько снижалась, но это не сказалось на качестве работы модели и частоте ее использования операторами. Даже с учетом сниженной загрузки экономический эффект за время эксплуатации решения составил более 100 млн руб. Автоматизированная система не только существенно ускоряет производительность агрегата, но и повышает комфорт работы операторов, передавая часть рутинных операций цифровым инструментам.

— В чем роль этого проекта для бизнеса?

Реализация подобной комплексной системы отражает передовой опыт «Северстали» в переходе от классических систем управления производством к более усовершенствованным (Advanced Process Control) с использованием инструментов искусственного интеллекта. Повышение производительности агрегата без привлечения капитальных инвестиций позволяет гибко реагировать на запросы клиентов и удовлетворить их потребности в объеме металлопроката. Нам удалось перейти на качественно новый способ управления агрегатом, гарантирующий полное соблюдение технологии производства, и в то же время избежать влияния человеческого фактора.

— А что дальше? Каковы ближайшие планы?

Мы делаем акцент на разработке комплексных цифровых систем для стабилизации технологических процессов и улучшения производственных показателей. В частности, это создание цифровых двойников, также нас интересует обучение моделей компьютерного зрения на малом объеме данных и синтетически сгенерированных данных для решения более широкого спектра задач.

Визуализация – основа быстрого принятия решений на основе даже самых сложных данных. В компании Luxms разработали универсальную переносимую систему BI-аналитики для визуализации больших данных на любых пользовательских устройствах. О ее построении рассказывает Дмитрий Дорофеев, главный конструктор ГК Luxms и номинант на премию Data Award.

— Какова история проекта?

Корнями история проекта уходит в университетские исследования ПО с открытым кодом середины 1990-х годов, а сам проект создания аналитической платформы зародился в 2015 году с исследования производительности высоконагруженных систем обработки больших данных.

— Какие задачи призвана решать созданная платформа?

Прежде всего, на основе анализа больших объемов данных из различных источников платформа позволяет в визуальной форме контролировать процессы, анализировать показатели эффективности и принимать обоснованные информированные решения. Она дает возможность самостоятельно настраивать доступ к данным, изучать их, анализировать и находить новые взаимосвязи. И, наконец, она позволяет формировать отчеты сотрудникам, не обладающим навыками программирования

— Почему это важно?

Большие объемы разнородных данных невозможно понять, осмыслить без инструментов предварительной обработки, подготовки, анализа, в том числе, используя механизмы агрегации, детализации, фильтрации, сортировки и поиска, и что самое важное – визуализации на различных устройствах: на персональных компьютерах, на планшетах, на телефонах.

— На каких технологиях основана платформа? Какие принципы пытались соблюсти при ее создании?

В основе решения лежит использование ПО с открытым программным кодом, используются технологии реляционных и колоночных баз данных, потоковой и масс-параллельной обработки данных, современные интернет-протоколы, сервиc-ориентированная архитектура. Мы старались следовать таким принципам: отказ от «изобретения велосипедов», скорость работы системы – превыше всего, а также подбор технологий, исходя из поставленных задач.

— В чем инновационность решения?

Инновационность – в масштабируемой датацентричной архитектуре серверной части платформы, объединяющей систему хранения метаданных с бизнес-логикой сервера приложений, и использовании при необходимости «горячего слоя» данных в качестве внешнего источника данных. Это позволило кратно увеличить производительность при решении аналитических задач на больших объемах данных и в разы сократить время отклика системы на запросы пользователей.

На сегодняшний день Luxms BI – единственная российская датацентричная BI-платформа, которая обеспечивает высочайшее быстродействие, в том числе за счет возможности вертикального и горизонтального масштабирования.

Основные идеи и подход описаны в нашей научной статье в журнале Transactions of the ACM.

— Сколько времени и какими силами создавалась платформа?

Этапы исследований, прототипирования и создания промышленного решения в общей сложности продлились три года. Костяк команды состоял из пяти одержимых идеей инженеров.

— Что вы считаете главным достижением, чем гордитесь?

Главное достижение и гордость в том, что решение помогает людям, компаниям видеть большие данные, помогает ежедневно принимать обоснованные, информированные решения, помогает нам всем делать жизнь лучше.

— Каков портрет типичного заказчика? Кто может быть наиболее заинтересован в использовании решения?

Нашу платформу используют крупные компании нефтегаза, энергетики, здравоохранения, а также телекоммуникационные, логистические, транспортные и финансовые организации. Лучше всего мы работаем в крупных компаниях с большим количеством данных – там, где требуется высокая производительность и предполагается большое количество пользователей и данных.

Наши пользователи – это лица, принимающие решения, топ-менеджеры, линейные руководители. Мы настраиваем максимально простой интерфейс для нетехнических пользователей, передаем данные в удобном для восприятия формате и обеспечиваем управленческий функционал с современной визуализацией.

— Где уже нашло применение решение? Насколько оно востребовано?

Наша платформа позволяет компаниям контролировать процессы, оптимизировать затраты и повысить эффективность бизнеса. Мы уже успешно реализовали проекты в таких компаниях, как ОАО «РЖД», ПАО «Газпромнефть», НМИЦ им. В.А. Алмазова, а также в двух крупных коммерческих банках и в федеральных операторах сотовой и фиксированной связи. Клиентская база продолжает расти: только за прошлый год нами был выигран ряд крупных тендеров и заключены контракты с ведущими компаниями страны. Банк ПАО «ВТБ», АО «Почта России», АО «Открытие Брокер», ПАО «Россети Северо-Запад» приобрели лицензии Luxms BI в 2022 году.

— Каких результатов удалось достичь?

Пожалуй, самый большой результат – это то, что платформа успешно работает, эксплуатируется в крупнейших российских компаниях.

— В чем роль решения для российского рынка?

Российский рынок, и прежде всего крупные компании, получили современное технологичное решение анализа больших данных. Это решение, которое по основным параметрам – надежность, производительность, быстродействие, открытость, доступность – не уступает или превосходит аналогичные решения ведущих мировых производителей.

— В каком направлении будет развиваться платформа?

Главное направление развития – это наращивание функционала для конечных пользователей. Например, можно говорить об аналоге ассоциативной модели QlikView и аналоге языка MDX. Параллельно с этим мы повышаем удобство эксплуатации системы, это включает в себя варианты развертывания в российских облаках, поддержку российских дистрибутивов Linux, поддержку миграции BI-приложений между средами, утилиты администрирования и мониторинга.

Опытом преодоления кризиса поделились представители ряда компаний: «М.Видео-Эльдорадо», «Лента», «Интер РАО-Онлайн», «Тинькофф» и «К-Скай». (Еще одной актуальной теме — самообслуживанию — посвящен отдельный материал, см. статью «'Управление данными — 2022': На прямой связи с данными»).

Перестройка трансформации

Кризис застал «М.Видео-Эльдорадо» в разгар погружения в цифровую трансформацию. В компании шел процесс ликвидации границ между бизнесом и ИТ. Все бизнес-подразделения имели собственные бюджеты на разработку. Директора по продуктам и технические директора решали задачи в каждом бизнес-домене, а разработчики создавали инструменты, чтобы автоматизировать именно бизнес-процессы подразделения. Дата-офис поддерживал своими компетенциями разработку продуктов бизнесом и развивал платформу данных, методологию Data Governance и инструментарий машинного обучения. При этом cтруктура дата-офиса была очень прозрачной с точки зрения бюджетирования — было легко оценить стоимость каждого продукта, рассказал Данила Наумов, директор офиса больших данных «М.Видео-Эльдорадо».

Данила Наумов: «Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции»

Новая реальность привела к резкому сокращению бюджетов, и недостатки дорогой матричной структуры продакт-менеджмента стали критичными. Стало не хватать специалистов для создания полноценного конвейера данных по каждому продукту в каждом домене: было трудно полностью закрыть весь список задач.

Поэтому уже летом десять бизнес-доменов свернули в три, что позволило выстроить внутри каждого из них отдельные конвейеры данных. Помимо них, существовал и централизованный — он мог принимать задачи подразделений, не имеющих собственного конвейера.

Были предприняты и другие важные стратегические шаги.

«Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции так, чтобы у команд были средства на решение задач как сервисов», — рассказал Наумов. Распределенный бюджет стали использовать по сервисной модели: кто угодно может попросить решить его задачу, но сделано это будет в рамках общих приоритетов. Установление очередности происходит в соответствии со стратегией бизнес-домена, что очень понравилось бизнесу. От момента введения задачи в систему до внедрения результата сейчас проходит 15 рабочих дней, и, по словам Наумова, это довольно хороший для отрасли показатель.

Таким образом реализуется урезанный вариант цифровой трансформации: в нынешних условиях она стала чересчур дорогой.

Благодаря и вопреки

В компании «Интер РАО-Онлайн» большинство проектов по управлению данными реализовано «благодаря и вопреки»: благодаря поддержке очень высокого уровня руководства и вопреки всей бюрократической машине. «Роль CDO, в которой я живу, — это роль лифта в космос, — объяснил Владимир Анисимов, директор по данным «Интер РАО-Онлайн». — Одни читают DAMA DMBOK2, другие стоят «у сохи», и надо подружить эти две половины мира, чтобы что-то двигалось вперед». Для этой цели в компании создали службу заказчика, построенную по методологии Agile и стоящую особняком от ИТ- и бизнес-отделов.

Владимир Анисимов: «Роль CDO, в которой я живу, — это роль лифта в космос»

Еще один лайфхак энергетической компании — не бояться использовать обходные приемы решения ИТ-проблем. ««Костылизация» — часть нашей жизни, такой подход позволяет бежать быстрее, — констатировал Анисимов. — Большинство наших пилотных проектов, а затем и продуктов стоят на «костылях», которые мы вытаскиваем на протяжении 3–5 лет, и эти «костыли» достойно себя ведут».

Любимый «костыль» Анисимова — программные роботы. «Я предпочитаю ставить роботов там, где нет и не будет в ближайшее время интеграции по API, — отметил он. — Такой 'костыль' отлично выполняет свою задачу, на нем можно шагать долго и уверенно».

Гордость Анисимова — система автоматизированного взыскания дебиторской задолженности, интегрированная с набором внутренних сервисов компании и содержащая алгоритмы машинного обучения. Она строилась на зарубежных продуктах и сейчас мигрирует на отечественные решения — в частности, на low-code-платформу Loginom. Хранилище данных уже «съехало» с Oracle. Теперь и аналитику, которую до сих пор развивали на Oracle Analytic Server, переведут на open source и отечественные продукты. «Переход идет тяжело, — признался Анисимов, — так как ни одного BI-решения с полноценным самообслуживанием на внутреннем рынке пока не нашли».

Работа на результат

Что делать, чтобы работа дата-команд приносила пользу организации? Руководитель Data Science компании «Лента» Ирина Голощапова заострила внимание на бизнес-аспектах вывода моделей в продуктивную эксплуатацию. Это целая история по управлению изменениями, считает она. Недостаточно построить модель, способную повысить эффективность бизнеса. Нужно сделать так, чтобы люди эту модель использовали, включив ее в бизнес-процесс. «А для этого важно думать об интерпретируемости решения для конечного пользователя, — подчеркнула Голощапова. — Чтобы доверять результатам работы модели, он должен понимать, как она к нему пришла, как может меняться ее поведение в реальных условиях, как полученный результат можно использовать и почему». Для внедрения продвинутой аналитики в «Ленте» реализуют фреймворк Reliable ML, который позволяет учитывать как технические особенности машинного обучения, так и процессы работы дата-офиса и его взаимодействия с бизнесом для достижения максимального финансового эффекта.

По мнению Анисимова, оценить эффект удачного внедрения дата-проектов невозможно: все понимают, что «штука классная», но никто не может посчитать результат в рублях. Как только появляется первый прототип, рабочие процессы меняются настолько сильно, что сравнивать текущий и прошлогодний периоды просто бессмысленно. «Когда в момент внедрения менялись бизнес-процессы, мы, как служба квалифицированного заказчика, подменяли собой бизнес-подразделения: они слишком заняты операционной деятельностью, и объяснить им, что не надо таскать круглое и катать квадратное, невозможно. Старайтесь договариваться о качественной оценке эффектов», — посоветовал Анисимов.

Детективная история

Как в колоссальных объемах доступной для анализа информации найти именно то, что нужно для ответа на текущий вопрос? Огромное количество рабочих пространств, содержащих небольшие разрозненные кусочки контекста, бесконтрольно ведущаяся документация, качество которой остается на совести ее составителя, — вот проблемы, которые знакомы многим крупным организациям. Проведенные пару лет назад опросы сотрудников «Тинькофф» показали, что хранилище в текущем виде «непознаваемо для пользователей», а поиск метаданных — «искусство, которому нельзя научить».

«У вас могут быть отличные метаданные, но если у пользователя нет инструмента для доступа к ним, то, к сожалению, они бесполезны», — заметил Дмитрий Пичугин, руководитель группы управления данными «Тинькофф».

По примеру таких авторитетов, как Google, Linkedin и Uber, в «Тинькофф» решили бороться с неполнотой документации и разрозненностью информации с помощью каталога данных, который должен стать «единой точкой правды» для всей экосистемы данных и удобным инструментом поиска нужных сведений, но главное — средством анализа зависимостей при движении данных от источника к точкам их применения и обработки, что крайне необходимо для отслеживания происхождения ошибок.

Экосистема ИТ-решений «Тинькофф», по большей части самописных, — очень сложная, поэтому к гибкости модели метаданных предъявляются довольно высокие требования и обязательной опцией при выборе каталога должен быть Data Lineage. «У нас бывает анализ зависимостей на тысячу нод, а иногда и больше, — поделился Пичугин. — Если не дать аналитикам удобный инструмент, то, скорее всего, через некоторое время они уволятся, не выдержав этой пытки». Так как ни одно из представленных на рынке решений всем критериям компании не удовлетворяло, пришлось строить каталог самим. В его основу положили идею комфорта пользователей: искать данные не должно быть сложнее, чем товары в интернет-магазине.

Так появился Data Detective — каталог для неквалифицированных пользователей, способный, как утверждают его создатели, вписаться в любой ИТ-ландшафт. Несмотря на то, что ранее запущенные решения никуда не делись, 85% пользователей сегодня предпочитают новый каталог, и более половины из них — бизнес-пользователи. В дальнейшем в «Тинькофф» намерены распространять Data Detective за пределами компании. Помимо «полировки» интерфейса, в ближайшие планы разработчиков входит внедрение инструментов для удобного отображения бизнес-глоссария любой структуры.

Медицинские данные, заслуживающие доверия

Использование электронных медицинских карт (ЭМК) в качестве источника данных для анализа сопряжено с такими объективными сложностями, как отсутствие единых форматов хранения записей и использование неструктурированного текста. Но и это еще не все. Половина ЭМК (51%) вообще не содержат медицинских данных — это просто записи в базе с ФИО и датами рождения пациентов. А оставшиеся 49% зачастую содержат фрагментарные сведения, ценность которых для анализа сомнительна. Кроме того, длительность наблюдения пациентов в большинстве ЭМК не превышает трех лет, то есть вероятность наличия в них ценных для прогностического искусственного интеллекта находок очень низка.

Александр Гусев: «Мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать»

Кроме того, есть и важный субъективный фактор, который серьезно тормозит развитие интеллектуальных продуктов в медицине, — отсутствие доверия к сделанным искусственным интеллектом выводам, обусловленное недоверием к качеству данных, на основе которых делаются эти выводы. «90% времени наших исследований связано с данными. Именно работа с данными определяет провал или успех», — считает Александр Гусев, сооснователь компании «К-Скай», которая занимается предиктивной медицинской аналитикой на основе технологий искусственного интеллекта. Чтобы сломать лед недоверия к выводам на основе анализа данных медкарт, в «К-Скай» разложили все накопленные данные по типам, видам и источникам и оценили с точки зрения рисков возникновения ошибок. Выяснилось, что есть существенный сегмент данных, где риск недостоверности составляет менее 1%, — это протоколы инструментальной и лабораторной диагностики, рецепты. Более половины всех данных ЭМК, включая заполненные по шаблону протоколы врачебного осмотра и автоматически сгенерированные выписные эпикризы, попали в зону умеренного риска с вероятностью возникновения ошибки 1–5%. И лишь 5% данных — заключительные диагнозы, карты выбывших из стационара, талоны амбулаторного приема — находятся в зоне высокого риска с вероятностью ошибки более 5%. Таким образом, руководители, принимающие решения об использовании врачами систем-помощников, стали четко понимать, каким данным можно доверять, а какие ставить под сомнение.

Затем в «К-Скай» стали изучать причины возникновения аномалий в сырых данных, паттерны поведения врачей и даже оценивать влияние качества интерфейса ЭМК на полноту данных. «В итоге мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать», — сообщил Гусев.

Несмотря на солидные объемы данных, накапливаемые в течение многих лет в разнообразных информационных системах, одним из главных препятствий для управления на основе данных в здравоохранении специалисты медицинских информационно-аналитических центров (МИАЦ) называют… нехватку данных. Конечно, речь не о данных как таковых, а именно о данных, пригодных для принятия управленческих решений.

Дефицит объясняется тем, что интересы потребителей данных и генераторов данных драматически не совпадают. Врачи обычно воспринимают наполнение данными информационных систем как неизбежное зло — нудную обязанность, навязанную начальством. Особенно если эти данные предназначены для органов управления здравоохранением. Положительной обратной связи между передачей данных в информационные системы более высокого уровня и изменением к лучшему существующей реальности не наблюдается. А значит, нет смысла стараться сделать эти данные качественными — все равно они уходят «наверх» как в «черную дыру», не давая возможности создателю данных понять их роль в процессе оказания медицинской помощи или оценить свой вклад в общий результат. С другой стороны, управленцам затруднительно принимать эффективные решения на основе данных, которые собираются исключительно ради формального выполнения требований руководства.

Пусть такая картина упрощена и утрирована, но счастливые исключения чаще всего подтверждают общее правило. Как посреди океана можно умереть от жажды, не имея пресной воды, так и руководителю зачастую невозможно найти ответы на свои вопросы в многочисленных источниках больших медицинских данных.

Проблема далеко не нова, профессионалы давно пытаются разорвать этот замкнутый круг. Но если в крупных клиниках удается снизить остроту проблемы, то про более высокие уровни управления этого не скажешь. Тем не менее, на региональном уровне здравоохранения делаются первые шаги к управлению на основе первичных данных.

Дата-хакатон

Управление на основе данных стало темой конференции «Практическая польза региональных информационных систем в сфере здравоохранения 2022», которую компания «Нетрика Медицина» и Санкт-Петербургский МИАЦ провели в рамках конгресса «ИТМ Петербург». Главная цель мероприятия – обмен опытом между регионами, поэтому основной акцент в программе был сделан на совместную практическую работу участников, дополненную выступлениями экспертов. В дата-хакатоне приняли участие более ста человек из 40 регионов России и стран СНГ: руководители МИАЦ, ИТ-специалисты в области медицины и другие ответственные за цифровизацию здравоохранения. Под руководством дата-инженеров и аналитиков из «Нетрика Медицина» команды азартно искали аномалии данных в отчетах, осваивали принятие решений в условиях нехватки данных и проектировали идеальный дашборд для руководителя органа управления здравоохранением.

Под руководством дата-инженеров и аналитиков команды азартно искали аномалии данных в отчетах, осваивали принятие решений в условиях нехватки данных и проектировали идеальный дашборд для руководителя.

Конференция проводится уже в пятый раз и отражает существенную трансформацию задач региональных специалистов, которые изначально фокусировались на создании медицинских информационных систем, затем — на автоматизации процессов, а сегодня перешли на совершенно другой уровень — изменения процессов. На этом этапе им особенно нужны качественные данные. «Сегодня подход к управлению на основе данных в практике российского здравоохранения только зарождается, — отметил Денис Чумаков, генеральный директор «Нетрика Медицина». — Однако отдельные кейсы мы как интеграторы видим уже во многих регионах».

Северная столица: на подступах к data-driven здравоохранению

Как сообщил руководитель Центра электронного здравоохранения Санкт-Петербургского МИАЦ Алексей Архипов, в конце 2021 года в северной столице завершился проект по электронному здравоохранению, в рамках которого было создано 40 сервисов для пациентов, врачей и руководителей здравоохранения. Сейчас Центр переходит к стадии активного анализа собираемых данных – сведений из электронных медкарт и обратной связи от пациентов.

Геннадий Орлов, заместитель генерального директора по цифровому развитию Северо-западного окружного научно-клинического центра им. Л. Г. Соколова ФМБА России, привел примеры из практики Координационного центра Минздрава РФ, которые свидетельствуют о переходе от отдельных выводов из полученных данных к системе управления на основе данных. Он также отметил усложнение алгоритмов обработки накопленных данных. В 2021 году на федеральном уровне стали чаще применять алгоритмы машинного анализа текстов на естественном языке, анализа медицинских изображений, а также визуализацию данных. Например, визуализация структурированности записей в электронных медкартах государственных клиник существенно ускоряет принятие решений в ситуационном центре губернатора Ленобласти. Пока не все понимают необходимость применения специальных аналитических инструментов для управления данными, но постепенно это понимание приходит, и руководители вскоре будут оперировать не отчетами, а данными, отметил Орлов. Инициаторами перевода здравоохранения на рельсы управления на основе данных, и соответствующего обучения аналитиков и управленцев, по его мнению, должны стать именно МИАЦ, это их важнейшая задача на ближайшую перспективу.

Момент истины для ВИМИС

Управленцам действительно нужны данные достаточные, чтобы понять эффективность собственных решений, особенно финансовых. Однако в настоящее время управления на основе данных еще не происходит, получается информатизация отдельно, а лечение пациентов — отдельно, считает Евгений Коган, главный специалист Санкт-Петербургского МИАЦ. «Данными никто не пользуется, потому что они низкого качества, и они низкого качества, потому что ими никто не пользуется», — констатировал он.

Будет ли в России управление на основе данных? Само по себе — не будет, если ограничиваться задачей сбора данных и гнаться за их количеством, забывая про практическое использование в интересах пациентов. Поэтому в питерском МИАЦ начали пользоваться данными, несмотря на известную неполноту и неточность, стараясь постепенно выделить и показать городу полезные аспекты уже собираемых данных.

«За последний год, к нашей огромной радости, в Санкт-Петербурге произошел сдвиг — нашлись заинтересованные главные внештатные специалисты, которые начали использовать данные в своей работе, нас это воодушевляет, — сообщил Коган. — Оказывается, есть много тем, где организатору здравоохранения даже по неполным данным ясно, что делать».

Денис Чумаков: «Сегодня подход к управлению на основе данных в практике российского здравоохранения только зарождается»

Например, обнаружилась высокая годичная летальность пациентов, перенесших легкий инсульт, в сравнении с их госпитальной летальностью. Из этого следует, что амбулаторная служба упускает таких пациентов. Еще выяснилось, что продвинутую квадритерапию при хронической сердечной недостаточности назначают только отдельные врачи. Остальные, возможно, о ней не знают. «Получив эти данные, главный внештатный невролог и главный внештатный терапевт пошли заниматься организацией медицинской помощи, и когда они изменят реальную ситуацию, мы с ними увидим это в цифрах», — подчеркнул Коган.

На его взгляд, для профильных вертикально-интегрированных медицинских информационных систем (ВИМИС) настал момент истины. Надо показать их практическое использование: что какому-то пациенту стало лучше, или была выявлена ранее неизвестная проблема организации здравоохранения, и приняты полезные решения. Например, обнаружена повышенная нагрузка на врачей таких-то медицинских организаций, и выделены деньги на новую поликлинику. Или обнаружено, что в таком-то районе при тотальном скрининге на рак молочной железы доля его выявления на ранних стадиях все равно остается низкой, поэтому рентгенологов отправили учиться, и выявляемость повысилась. «ВИМИСы без практического использования  – только головная боль для всей страны», — уверен Коган.

Многострадальная структуризация

За десять с лишним лет Единая государственная информационная система здравоохранения (ЕГИСЗ), а потом и ее новая ипостась — Единый цифровой контур здравоохранения (ЕЦКЗ) — обросли новыми сущностями, которые никому не упрощают жизнь, скорее наоборот. ВИМИС — отдельная сущность, живущая сама по себе, по своим правилам и со своими форматами. Практически одну и ту же первичную информацию региональные МИАЦ передают в федеральную подсистему интегрированных электронных медкарт (ИЭМК) в виде структурированных электронных медицинских документов (СЭМД), в реестр электронных медицинских документов (РЭМД), да еще и в ВИМИСы по трем нозологиям («Сердечно-сосудистые заболевания», «Онкология», «Акушерство и неонатология»), к которым скоро добавится четвертая.

Между тем, проблема структуры информации никуда не делась. В ЕГИСЗ используются одни справочники, а в системах территориальных Фондов обязательного медицинского страхования (ТФОМС) — другие. В результате подсистемы ЕГИСЗ не слишком удачно взаимодействуют друг с другом, в том числе потому, что структура данных, на которых они построены, — разная.

Чтобы данные стали более пригодными для аналитической обработки, необходимо принять общий российский стандарт структуры медицинских данных, базируясь на HL7 FHIR. Тем более, что рабочая группа, «приземляющая» HL7 FHIR на российскую почву, уже создана и функционирует.

Стандарт HL7 FHIR хорош для информатизации процессов, а федеральный уровень задает HL7 CDA — стандарт для документов, уточнил Андрей Дюков, руководитель отдела продаж и развития «Нетрика Медицина». Оба стандарта уже начинают применять в регионах при информатизации процессов. «Чтобы данные в документах были качественные, нужны потребители этих данных — и пациенты, и врачи, — отметил Дюков. — С процессами проще: в них «зашита» обратная связь и непосредственно задействован потребитель данных».

Сбор десятков миллионов медицинских документов в федеральные информационные системы — необходимое, но не достаточное условие для управления на основе данных. Минздраву РФ следует показывать, каким образом полученные данные применяются для совершенствования системы для оказания медицинской помощи. Возможно, тогда у региональных МИАЦ появится мотивация поставлять качественные данные для анализа, а не файлы в формате PDF. Сейчас, по грубой экспертной оценке, в структурированном виде в ЕГИСЗ предоставляется не более 5-10% медицинских документов.