Машинное обучение

Команда кластера «Кампании продаж» Сбербанка внедрила в работу модель Look-Alike – подбор предложений продуктов клиентам, исходя из их схожести с клиентами, уже использующими тот или иной продукт. В результате конверсия в продажи в среднем выросла в 1,6 раза, а финансовый эффект за 2023 год составил более 21 млрд руб. О роли этого проекта и подходах к его реализации рассказывает Сергей Щукин, исполнительный директор Сбербанка и номинант на премию Data Award.

— В чем заключалась проблема, которую пытались решить?

Если коротко, то мы решали проблему индивидуализации набора потенциальных продуктов под каждого клиента. В России порядка 7,5 млн юридических лиц и индивидуальных предпринимателей, и каждый из них обладает уникальным набором потребностей. А теперь добавьте к этому все многообразие продуктов и сервисов, которые предлагает группа Сбербанк для своих клиентов. В таких условиях мы поняли, что нам нужно решать эту задачу системно с применением моделей машинного обучения.

— Почему это важно для бизнеса?

Во-первых, и самое главное, выгоду получает сам клиент, так как ему предлагаются те продукты, которые действительно ему нужны и помогают развивать его бизнес, на опыте миллионов предпринимателей страны. Во-вторых, это способствует ускоренному тиражу пилотных продуктов на рынок. Мы стали быстрее понимать фактическую целевую аудиторию и тиражировать продукты на всю страну. В-третьих, это экономит время нашим сотрудникам, так как мы не предлагаем продукты, если понимаем, что они не подходят для конкретного юридического лица или ИП.

— Какой подход выбрали?

В основе подхода лежит систематизация знаний о клиентах, которые уже накоплены Сбером, и поиск схожих черт, кластеризация похожих по определенным признакам клиентов. Такой анализ не под силу даже нескольким десяткам аналитиков, потому нами была разработана модель машинного обучения.

— Какие данные используются?

Прежде всего это, конечно, обезличенные данные о клиентах. Причем не только базовые факты о них – типа отрасли, местонахождения, количества торговых точек и т.д., – но и данные об их поведении, предпочтениях, расчетах с контрагентами, сравнительный анализ использования банковских продуктов разными клиентами.

Акцентирую внимание на том, что при разработке мы не видим идентификаторов конкретного юридического лица или ИП, то есть мы строим наши модели на основе статистических данных. Это вносит небольшие трудности с точки зрения проверки результата в моменте, но зато дает гарантии безопасности данных.

— Что «под капотом»? С помощью какого математического аппарата реализовано решение?

В качестве базового алгоритма выбран бэггинг трех моделей бустинга (LightGBM). Отбор фичей производился методом PermutationImportance. Подбор гиперпараметров модели проводился с помощью библиотеки hyperopt.

— Какой технологический стек использован?

Нами были опробованы разные комбинации применения самых популярных алгоритмов бустинга (Catboost, XGBoost, LightGBM) и AutoML LAMA для сравнения. В целом мы постоянно улучшаем модель и проводим новые эксперименты, в том числе есть идеи по применению GigaChat для анализа транзакционной деятельности.

— Что собой представляет созданное решение, как оно работает?

Модель работает в три этапа. В начале по всем активным клиентам банка собирается более 900 признаков. Затем модель учится находить зависимости между данными о портрете целевого клиента и фактом покупки продукта. Наконец, технология присваивает каждому юридическому лицу и ИП скоринговый балл, который определяет степень склонности клиента к покупке конкретного продукта. По организациям с самыми высокими рейтингами формируется кампания продаж, и наши предложения направляются нашим клиентским менеджерам и клиентам.

Сейчас модель Look-Alike умеет автоматически собирать признаки и присваивать скоринговые баллы по более 100 продуктам банка и экосистемы Сбера. Она расширяет круг поиска клиентов и позволяет работать с аудиторией, похожей на действующую по целевому продукту. Расчет модели обновляется еженедельно.

Запуск решения на платформе Apache Spark 3.1.2 позволил сократить срок расчетов в 8 раз – до 2,5 дней вместо 20 на старте проекта.

— Как решение встроено в процессы банка? Кто является пользователями, как изменилась их жизнь?

В результате работы модели получаются продуктовые предложения для клиентов банка, на основании данных предложений мы запускаем кампании продаж, которые через автоматизированные «Фабрики потенциала» поступают на клиентских менеджеров или через цифровые каналы (электронная почта, СМС, «СберБизнес») – напрямую клиенту. Внутри «Фабрик потенциала» также есть множество моделей машинного обучения, но это другая история, требующая отдельного рассказа.

Таким образом, у решения есть как внутренние пользователи – клиентские менеджеры, которым теперь легче ориентироваться в списке возможных предложений, так и внешние – клиенты, которые получают от банка предложение того, что действительно будет им полезно.

— Каких результатов удалось достичь?

По итогам проведенных A/B-тестов за 2023 год финансовый эффект от внедрения инициативы составил более 21 млрд руб.

Кроме того, отмечен рост качества потенциала в каналах продаж банка. Конверсия в продажи с использованием данных модели Look-Alike, в среднем в 1,6 раза выше, чем в кампаниях на эмпирическом (BI) потенциале.

Заметно расширился охват юридических лиц и ИП потенциальными предложениями. Сейчас кампании продаж с использованием Look-Alike потенциала поставляют в каналы банка 12,6 млн лидов еженедельно, причем 8,7 млн из них – уникальные.

— Как эти результаты соотносятся с ожиданиями?

Можно сказать, что результаты превзошли наши ожидания. Мы видим рост конвертации продаж, а это значит, что мы лучше предсказываем потребности клиента, а это для нас – самое главное. Также мы видим подтвержденный финансовый эффект в рамках A/B-тестирования который прошел проверку независимым подразделением в банке.

Есть неожиданные для нас результаты и в части самого применения модели. В прошлом году к нам обратился руководитель одного из подразделений банка с необычной просьбой: ему требовалась помощь с привлечением клиентов для социально значимого мероприятия, но портрет участника мероприятия они не могли сформировать, так как по опыту прошлого года участие принимал совершенно разный бизнес. Благодаря использованию модели мы смогли оперативно помочь коллегам запустить соответствующие коммуникации.

— Какую роль играет проект для банка?

Проект позволил существенно упростить подбор предложений продуктов клиентам банка – предлагаем то, в чем клиент действительно нуждается. Также он стал значимой частью ИИ-трансформации банка. Он наилучшим образом отражает курс «Сбера» на внедрение ИИ-решений во все возможные сферы банковской деятельности.

— Каковы перспективы развития проекта?

Проект продолжает совершенствоваться. Мы постоянно проводим исследования и эксперименты по добавлению в модель новых фичей (знаний о клиентах), измеряем метрики. Если видим пользу, внедряем фичи в промышленные расчеты.

В сети «Магнит» создана платформа управления ценностью клиентов (Customer Value Management, CVM), ставшая инструментом, позволяющим провести оптимизацию взаимоотношений с клиентами и сфокусироваться на повышении их лояльности, вовлеченности и, как следствия, максимизации эффектов, которые каждый клиент приносит компании. Платформа позволяет провести анализ и персонализацию взаимодействия с клиентами, улучшить каждый этап их жизненного цикла, а также помогает в формировании стратегии удержания и увеличения ценности клиентов. Главная цель платформы CVM — создание долгосрочных и взаимовыгодных отношений, повышения уровня лояльности и удовлетворенности клиента, что в совокупности способствует устойчивому росту и успеху компании. О реализации проекта рассказывает Максим Горынцев, руководитель управления развития ценностью клиентов сети «Магнит» и номинант на премию Data Award.

- Как исторически решалась задача работы с клиентами (повышения их ценности, маркетинговых коммуникаций) до создания платформы CVM?

До появления платформы CVM компания решала задачи работы с клиентами и повышения их ценности с использованием ограниченного набора бизнес-правил. На начальном этапе отсутствовала централизованная система управления клиентами, и взаимодействие с ними осуществлялось простым набором действий. Например, в рамках программы лояльности внедрение правил, таких как начисление баллов новым участникам, основывалось на стимулировании поведения клиентов и создании мотивации для участия в программе. Использовались персонализированные бонусы – эти действия включали начисление баллов на день рождения клиента, что было направлено на улучшение взаимоотношений и создание персонализированного опыта. Наконец, были рекомендации – довольно однобокие бизнес-правила для оценки потребления клиентов в разрезе товарных категорий, а также стимулирование клиентов покупать те или иные товары на основе отклонений в потреблении от среднего диапазона.

- Чем не устраивала ситуация? Какие задачи требовалось решить?

Реализация платформы CVM была введена с целью улучшения и трансформации построенных процессов взаимодействия, создания более гибкой и централизованной системы управления клиентами, а также более сложных стратегий по взаимодействию и удержанию клиентов на основе анализа данных. Важно понимать, что платформа CVM была разработана на основе убеждения команды в уникальности каждого клиента и необходимости ежедневного анализа его поведения.

- В чем суть созданной системы?

Работа с платформой предоставляет команде несколько важных возможностей. Во-первых, это возможность предугадывать вероятность оттока. Путем систематического анализа данных о клиенте платформа старается выявить сигналы, предвещающие его уход. Это позволяет компании предпринимать меры по удержанию, предлагать персонализированные бонусы или предложения для улучшения клиентского опыта.

Вторая важная задача – понимать желания и ожидания. Платформа активно анализирует данные о потребительском поведении, чтобы понимать индивидуальные предпочтения. Это позволяет предоставлять персонализированные предложения, отвечающие уникальным потребностям клиента.

Третья функция – предоставлять возможность для нового опыта. CVM ставит своей задачей предоставление клиентам возможности попробовать что-то новое. Это может включать в себя предложения по новым продуктам, уникальным акциям или индивидуальным бонусам, направленным на стимулирование интереса клиента и повышение его лояльности.

Наконец, непосредственно повышение уровня лояльности. Это подразумевает создание долгосрочных и устойчивых отношений с клиентами, опираясь на постоянный анализ данных, персонализированные стратегии и предложения, направленные на удовлетворение потребностей каждого из них.

Такой подход позволяет нашей команде эффективно и оперативно адаптировать платформу CVM к изменениям в поведении клиентов, формировать индивидуальные стратегии взаимодействия и, таким образом, повышать общую лояльность клиентской базы.

- На каких технологиях построено решение?

Для обеспечения функциональности и удовлетворения текущих потребностей, мы внедрили передовой стек технологий, который включает в себя множество инструментов и фреймворков. Помимо таких распространенных техно-стеков для работы с большими данными, как MPP GreenPlum, Apache Hadoop, Apache Hive, Object Storage (S3) и Apache Airflow, мы используем широкий набор библиотек и фреймворков для разработки и реализации алгоритмов машинного обучения, анализа данных и создания эффективных вычислительных моделей: Python, PySpark, PyTorch, TensorFlow. Кроме того, используется MlFlow – инструмент для управления жизненным циклом машинного обучения, который обеспечивает отслеживание, воспроизводимость и управление моделями. Использование инструментов контейнеризации Docker и оркестрации Kubernetes обеспечивает гибкость и удобство в развертывании, масштабировании и управлении приложениями нашей платформы. Настроенные CI/CD процессы в разработке (GitLab CI/CD), интегрированные со всей платформой (включая Kubernetes и Airflow) позволяют бесшовно и с минимальными задержками развертывать нужные сервисы, модели и приложения в автоматическом режиме.

Этот стек технологий обеспечивает не только высокую производительность и эффективность обработки данных, но также позволяет использовать передовые методы машинного обучения и анализа данных.

- Что «под капотом»? С помощью каких математических методов обрабатываются клиентские данные? Приведите пару примеров.

Нужно отметить, что команде приходится решать как задачи обучения с учителем, так и без учителя. Поэтому у нас имеется широкий набор алгоритмов. Например, для задач классификации и приводимых к ним – от логистической регресссии до градиентных бустингов, а для рекомендательных систем – от ассоциативных правил до продвинутого uplift-моделирования и рекомендательных систем на нейронных сетях.

Платформа с легкостью позволяет проводить тесты новых механик и в случае успеха внедрять их.

- Поделитесь несколькими примерами реализованных на платформе задач.

Недавно мы внедрили новые стратегии взаимодействия с клиентами: «Напоминание» и «Увеличение трат». В рамках первой из них триггерные события напоминают клиентам о том, что тот или иной товар у них скоро закончится. Очевидной целью в этом случае является стимулирование клиентов приобретать товары с выгодой, не дожидаясь того, как их запасы иссякнут и, как дополнение, купить что-то еще. При реализации второй стратегии проводится расчет среднемесячных трат клиента и устанавливается порог, при превышении которого предоставляются экстра-бонусы. Так мы мотивируем клиентов увеличивать свои траты, обеспечивая им дополнительную выгоду.

- Каких результатов удалось достичь? Как это соотносится с ожиданиями?

О востребованности и успешности платформы говорят показатели прошедшего года: более 350 млн направленных предложений клиентам, более 200 млн коммуникаций через различные каналы связи, более 31 млн уникальных участников, получивших предложения платформы. Нашим специалистам доступно более 500 возможных вариантов предложений на участников программы лояльности, было запущено более 300 персонализированных кампаний.

К сожалению, у нас нет возможности предоставить конкретные экономические показатели, однако мы можем констатировать заметные положительные изменения в ключевых метриках. Так, пенетрация карт лояльности у клиентов, с которыми реализуется взаимодействие через платформу CVM, выше более чем на 5% пунктов. Участники коммуникаций платформы CVM демонстрируют более высокий средний чек по сравнению с контрольной группой. Меняется и частота посещения магазинов: клиенты, участвующие в активностях CVM, посещают магазины чаще по сравнению с теми, с кем взаимодействие не осуществляется.

- А есть ли оценки, касающиеся изменения реальной лояльности клиентов?

Положительные изменения в ключевых показателях свидетельствуют о том, что платформа CVM действительно позитивно влияет на поведение клиентов. Реализуемые с ее помощью активности стимулируют вовлеченность клиентов, увеличивая средний чек и частоту посещений магазинов. Также важно заметить, что показатель открываемости (open rate) коммуникаций CVM более чем вдвое превышает показатели любой другой активности в нашем мобильном приложении. В конечном итоге все это приводит к росту финансовых показателей сети и улучшению ключевых показателей программы лояльности.

- Что дальше? В каких направлениях будет развиваться CVM-платформа?

Планы развития платформы CVM включают в себя внедрение новой функциональности и новых стратегий для более эффективного взаимодействия с клиентами. Например, будут реализованы триггерные события на основе поведения клиента и его покупок как в магазине, так и в мобильном приложении. Это обеспечит точное и контекстное взаимодействие с клиентами в режиме реального времени или хотя бы близко к нему.

Кроме того, получит развитие гиперперсонализация: максимальная персонализация рекомендаций для клиента с учетом его предпочтений, канала связи, товарных групп и размера вознаграждения. Это позволит создавать более точные и релевантные предложения, способствующие увеличению удовлетворенности клиентов и их лояльности.

Подобные новые возможности позволят платформе CVM еще более эффективно адаптироваться к уникальным потребностям каждого клиента, обеспечивая более персонализированный и релевантный опыт взаимодействия.

- В чем роль этого проекта для компании?

Платформа CVM играет критическую роль в достижении бизнес-целей компании, предоставляя необходимые средства и стратегии для эффективного управления отношениями с клиентами и оптимизации их стоимости. Важные аспекты этой роли включают в себя настройку взаимодействия с клиентами в соответствии с их индивидуальными потребностями, улучшение каждого этапа жизненного цикла клиента, повышение прибыльности через эффективное взаимодействие и анализ данных для непрерывного улучшения стратегий. Платформа CVM также способствует созданию более удовлетворительного клиентского опыта, что в конечном итоге содействует укреплению лояльности клиентов и достижению успеха в бизнесе.

Эффективная работа с клиентами в крупных компаниях становится невозможной без инструментов машинного обучения. В Дом.ру с этой целью построили собственный инструмент, реализующий концепцию Next Best Action. О реализации этого проекта и достигнутых с его помощью результатах рассказывает Максим Чернышов, технический директор CVM «ЭР-Телеком Холдинг» (бренд Дом.ру) и номинант на премию Data Award.

- В чем заключалась суть решаемой задачи?

Основная цель проекта сводилась к тому, чтобы реализовать систему клиентоцентричных коммуникаций. Мы хотели научиться предлагать только релевантные для клиента и экономически выгодные для компании продукты, используя технологии машинного обучения и больших данных.

- Насколько это важно для бизнеса, какой результат ожидали получить?

Задача является стратегической. Когда список продуктовых предложений включает несколько продуктов, процесс взаимодействия с клиентами можно выстроить, оперируя бизнес-правилами. Но когда количество предложений исчисляется сотнями, и важно максимизировать финансовый эффект на всем сроке жизни клиентов, обеспечив при этом качественный клиентский опыт, – без применения автоматизированных решений уже не обойтись.

- Как до сих пор решались задачи маркетинговых взаимодействий с клиентами, каковы были головные боли?

На старте проекта система коммуникаций с клиентами была похожа на «ковровую рассылку» с максимальным охватом. Такой подход генерировал большие затраты, связанные со стоимостью коммуникаций, большую информационную нагрузку на клиентов и низкую конверсию в покупку. При этом в рамках продуктовых команд возникал ряд вопросов, на которые на тот момент не было ответов: каким клиентам предлагать тот или иной продукт, какой канал и время коммуникации выбрать, чтобы получить максимальный отклик в условиях ограниченной пропускной способности.

Интересовали и более сложные проблемы: возможно ли контролировать ROI, маржинальность и экономику предложений, учитывать эффект на сроке жизни клиента, а не в моменте, выбирать механику удержания от оттока.

- Какой подход был выбран?

Оценив основные потребности и проблемы, мы однозначно решили, что хотим оградить наших клиентов от нерелевантных коммуникаций, сократить затраты и научиться оценивать эффект на длительном горизонте.

Более того, мы понимали, что клиентская сложность на тот момент уже выходила за пределы когнитивных возможностей человека. Представим около 200 продуктовых предложений, семь каналов коммуникации, четыре недели в месяце и несколько миллионов клиентов. Это десятки миллиардов возможных комбинаций продуктовых предложений, каналов и времени. И при всем этом необходимо решить, какую комбинацию выбрать, чтобы получить максимальный эффект от рассылки на всем сроке жизни клиентов. Решать такую задачу эффективно без применения технологий машинного обучения и теории оптимизации крайне сложно. Для этих целей в департаменте управления ценностью клиентов (Customer Value Management, CVM) разработали движок, который позволяет дать ответы на подобные вопросы, и назвали его CVM NBA (Next Best Action).

- Что представляет собой созданное решение?

CVM NBA полностью реализован на базе open source решений и представляет собой модульную структуру. Каждый из модулей обеспечивает определенный функционал.

Так, единый клиентский профиль включает более 6 тыс. показателей на клиента. Мы консолидировали большое количество знаний о клиентах, в обязательном порядке учитывая согласие клиентов на сбор, обработку и использование данных. Используя основные данные, обогатили профиль производными показателями и агрегатами. Основная цель – дать возможность моделям машинного обучения выбирать из как можно большего объема признаков и помочь им с поиском неочевидных зависимостей.

Фабрика моделей машинного обучения – несколько десятков ML-моделей, предсказывающих различные показатели по клиентам. К ним относится вероятность отклика клиента на различные продуктовые предложения в разных каналах, ценовая эластичность, рекомендуемое время коммуникации (час), срок жизни клиента, вероятность оттока и релевантная механика удержания и т.д. Здесь мы используем как алгоритмы машинного обучения, лучше всего подходящие для решения конкретных задач, так и современные открытые AutoML-решения, включающие стекинг базовых алгоритмов.

Финансовый калькулятор позволяет посчитать всю экономику продуктового предложения и канала, оценить все затраты и прибыль на прогнозном сроке жизни клиента и использовать это в оптимизации. Модуль математической оптимизации, получая на вход предсказания моделей машинного обучения и финансовую составляющую, позволяет решать оптимизационную задачу с учетом ограничений на каналы и бюджеты. Это дает возможность выбирать из многомиллиардного набора комбинаций такую, которая принесет максимальный эффект на всей клиентской базе и на всем сроке жизни.

Мониторинг данных – инструмент, который позволяет своевременно обнаружить статистические сдвиги в показателях профиля клиента и обезопасить процесс обучения и скоринга моделей машинного обучения. Подбор персонального посыла коммуникации – этот модуль позволяет определить релевантный контекст и посыл коммуникации для клиента в зависимости от потребности, используя подход обучения без учителя.

Наконец, система отчетности – модуль для анализа сценариев оптимизации и оценки эффективности запущенных кампаний, представлен в формате BI дашбордов с ежедневным обновлением.

- Какие инструменты использовались?

Выделю несколько ключевых используемых технологий. За хранение и обработку данных отвечают Hadoop, ClickHouse, Spark и AirFlow. Машинное обучение и оптимизация построены на Python-пакетах, инструментах AutoML и Luigi. Визуализация и отчетность реализована на Mеtabase.

- Что в построенном инструменте удалось особенно удачно, чем можно гордиться?

На мой взгляд, одним из интересных решений является сам подход к математической оптимизации на базе целочисленного программирования. Во-первых, мы распараллелили оптимизацию на несколько процессов, что позволило значительно ускорить нахождение оптимального сценария. Во-вторых, пришлось поработать и с самими бизнес-ограничениями, которые идут на вход оптимизации. К сожалению, не все ограничения, которые хотят включить менеджеры, можно легко сформулировать в виде математической задачи. Как пример – учет перерывов в контактной политике внутри оптимизации. Но по итогу нам все же удалось учесть все пожелания, никого не оставили без внимания.

- Приведите пару примеров того, как изменилась работа специалистов благодаря новым инструментам.

Процесс работы департамента управления ценностью клиентов сильно изменился. Мы высвободили и перераспределили ресурс аналитиков данных и менеджеров, которые ранее тратили колоссальное количество времени на генерацию бизнес-сегментов. Сейчас эту задачу решает CVM NBA. Также изменился формат работы специалистов по тарифам. Нет необходимости ежемесячно рассчитывать экономику предложения, усредняя по сегментам. Финансовый калькулятор в движке справляется с этим гораздо точнее, причем на уровне каждого клиента.

Поменялся и сам процесс принятия решений по управлению коммуникациями. CVM NBA, получая на вход различные бизнес-ограничения, генерирует несколько вариантов оптимизации с прогнозными финансовыми показателями на разных горизонтах. Это дает возможность владельцам продуктов выбирать подходящий сценарий и принимать решения более взвешенно.

- Какие успехи достигнуты?

У нас получилось разработать единый инструмент для управления коммуникациями с клиентами, используя исключительно открытые технологии, без привлечения коммерческих решений. CVM NBA в полной мере реализовывает концепцию data-driven, автоматизируя процесс принятия решений на основе данных.

Каждая модель машинного обучения в рамках A/B-тестирования проходила сравнение с бизнес-сегментами и случайными рассылками. Доказано, что нам удалось увеличить конверсию в покупку в 2-3 раза, в зависимости от продукта. Кроме того, кратно выросла доля продаж в более дешевых и бесплатных каналах с помощью перераспределения из более дорогих.

- …А если в финансовом выражении?

Экономический эффект CVM NBA в комплексе составил 31% всего дохода от продаж CVM за год. Это чистый инкрементальный эффект в сравнении с работой без движка, используя только бизнес-сегментацию.

- В чем роль проекта для бизнеса компании?

Основная роль, конечно, заключается в повышении лояльности клиентов путем минимизации количества нерелевантных коммуникаций и более точных попаданий в потребность. Кроме того, важно сокращать затраты на коммуникации, а также обеспечить рост финансовых показателей на длительном горизонте.

- В каком направлении будет развиваться решение?

На текущий момент наши усилия направлены на масштабирование CVM NBA на все продукты и каналы компании, а также реализацию инструмента как решения категории Self Service. Наша цель – дать возможность любому менеджеру из продуктовой команды самостоятельно добавлять новые вариации продуктов и каналов, получать прогнозную аналитику и запускать эффективные кампании с клиентами в автоматическом режиме. Дополнительно прорабатываем возможность использования движка в «реверс-режиме» как инструмента для генерации новых модификаций продуктовых предложений для наших клиентов.

В X5 Group запускают AI-RUN Business Platform – платформу, позволяющую внутренним командам быстро внедрять решения на основе искусственного интеллекта. Она предоставляет доступ к широкому спектру ИИ-сервисов, и ее помощью можно создавать, тестировать и масштабировать ИИ-приложения, не тратя время и ресурсы на разработку с нуля. Также пользователи в рамках платформы получают поддержку экспертов в области искусственного интеллекта. О реализации и первых результатах проекта рассказывает Артем Ерохин, ведущий менеджер по работе с большими данными X5 Group и номинант на премию Data Award.

- Как пришла идея создания AI-RUN Business Platform?

Мы давно работаем с продуктами и сервисами, основанными на данных. В X5 Group уже большая экспертиза по различным ML-решениям, создано множество сервисов, построенных на данных. Однако пару лет назад мы стали наблюдать новый взрыв интереса к передовым технологиям, и, в частности, к большим языковым моделям (Large Language Model, LLM).

Сначала мы экспериментировали отдельными командами, но быстро поняли, что для того, чтобы централизованно накапливать экспертизу и помогать компании работать с наиболее современными достижениями в сфере анализа данных, нужна единая точка входа, одно общее решение. Так и родилась идея создания платформы, которая позволила бы работать с самыми актуальными алгоритмами и моделями.

- В чем заключаются основные проблемы, связанные с внедрением ИИ-решений?

Конечно, это зависит от области применения и типов алгоритмов. В компании уже пройден большой путь, и есть экспертиза внедрения решений на основе классического машинного обучения. Но для тех же LLM есть особенности. Например, для самых крупных открытых моделей подойдет не каждая машина. Плюс, есть особенности работы с этими моделями, отдельные «фишки», которые не всегда работают в классическом ML.

Если же брать в целом, то основные проблемы внедрения достаточно типичные. Первое – человека на месте нужно убедить, что ИИ-решение будет лучше, чем «ручной привод». Второе – внедрение новых подходов меняет процессы. Соответственно, появляются новые сущности, новые запросы и новые вызовы, которые нужно решать именно на процессном уровне. И третье – нужна реализация и отслеживание процесса разработки моделей от начала и до конца. В отличие от четко заложенной программистом бизнес-логики, у ИИ-решений все полагается на накопленный опыт и статистику. Оттого возможны предсказания, которые человеку покажутся как минимум необычными. Но модели пока не обладают здравым смыслом в человеческом понимании и не могут сами исправить возможные недочеты.

- Как платформа должна помочь их решать?

Работа ведется по нескольким фронтам. Во-первых, чем проще человеку что-то «пощупать», тем легче для него будет понять, что за инструмент ему предлагают и проще показать преимущества нового подхода. Кроме того, платформенное решение предполагает не только техническую сторону вопроса. Одновременно с разработкой создаются новые и меняются существующие процессы в компании. Люди могут понять, как работают наиболее современные технологии на своем опыте, предложить изменения процессов и подсказать, как именно ИИ будет полезен в их повседневной работе. Наконец, если мы делаем платформенное решение, то сразу охватываем весь процесс разом и, значит, можем его лучше контролировать. Ну, и иметь максимальную скорость реакции и адаптивность, конечно.

- Какой подход был выбран при создании платформы?

Мы решили пойти от частного к общему. Кажется, что именно так мы сможем получить более полную картинку, а не навязывать инструмент сверху. Провели несколько воркшопов, выделили целевые области, в которых можем принести как можно больше пользы компании. Тогда же начали проявляться повторяющиеся запросы. А это как раз одна из целей такого платформенного решения – удовлетворение повторяющихся запросов от совершенно различных бизнес-функций неким автоматизированным решением.

Как только появились первые идеи, мы начали их проработку в техническом плане. При этом, прорабатывали в двух плоскостях: как мы можем сделать это сейчас и как мы видим это в идеальном будущем. Так получилось заниматься и разработкой, и формулировать видение. И даже больше – проложить мостик между тем, что мы делаем сейчас, и куда мы придем в итоге.

- Что представляет собой платформа, в чем ее суть? Какие элементы она включает?

Сейчас это набор сервисов, процессов и экспертизы, которые позволяют создать конкретное решение для заказчика. Пока это только решения, которые требуют LLM, – например, вопрос-ответные системы или системы помощи в создании и редактуре тех или иных документов. Но мы активно работаем над добавлением составляющей, связанной с компьютерным зрением, так как это может дать сильный синергетический эффект.

Ключевыми элементами являются сервис-шина доступа, сервис с моделями, база данных и соединяющие их потоки данных.

- Какие ИТ-инструменты использовались при создании решения?

Сервисы мы реализуем на языке Python, который можно считать своеобразным lingua franca в мире машинного обучения и работы с ИИ. Кроме того, используем достаточно большое множество разнообразных библиотек из области работы с ML. Общаются сервисы между собой с помощью Kafka.

Если рассматривать именно работу с LLM, то для базы данных мы пока выбрали Quadrant, но, возможно, изучим и альтернативы. В качестве моделей используем открытые Llama и Mixtral, а также проприетарные модели от внешних компаний.

- Как фактически изменяются благодаря платформе процессы работы с новыми решениями на базе ИИ?

Если говорить коротко, то сокращается цепочка от автора до итогового решения и упрощается процесс взаимодействия с ИИ-решениями. Например, инициатору уже не нужно пытаться поднимать свою LLM на собственных мощностях, он пользуется готовым решением. Кроме того, единая точка входа позволяет не только создать некое техническое решение, но и получить достаточно редкую и ценную экспертизу специалистов в области ИИ. Ведь не всегда для решения бизнес-задачи требуется самое современное решение, а если и требуется, то вариантов использования такого решения может быть немало. Неспециалисту в этом, конечно, будет сложно разобраться.

- Какие категории сотрудников являются основными пользователями? Это все-таки айтишники или бизнес-заказчики?

Мы стремимся к тому, чтобы пользоваться решением могли не только айтишники, но и люди от бизнеса. Конечно, это скорее целевое состояние, и сейчас некая техническая экспертиза все же требуется. Но мы вкладываем много усилий в обучение бизнес-пользователей, просвещение и упрощение понимания современных инструментов, их особенностей работы и областей применения.

- С охвата каких ИИ-решений решили начать и почему?

LLM в какой-то момент «взорвали» информационное поле, более того, они реально могут быть полезными. При этом решения, которые создаются на базе LLM, для простого пользователя будут восприниматься как магия. Получается, мы решаем сразу несколько целей: не отстаем от рынка (и даже пытаемся идти среди первопроходцев), исследуем новую перспективную технологию и приобщаем пользователей к современным инструментам.

Но работа с данными не ограничивается только LLM. Очевидно, что если привнести и достижения в других доменах (обработка изображений, звука и т.д.), то можно получить синергетический эффект. Например, записанные от руки данные можно будет распознать, обработать и выдать ответ. Или делать гораздо более «живых» виртуальных операторов, которые будут общаться неотличимо от человека. А там, глядишь, и мультимодальные модели еще раз «взорвут» рынок.

- Каких результатов уже достигли? А что ожидается в перспективе?

Думаю, что хорошим результатом можно считать настроенный процесс получения идей от бизнеса и их приоритизации. Если говорить о технических аспектах, то, например, мы весьма неплохо ищем нужную информацию. Например, среди трех верхних найденных документов с вероятностью 95% окажется именно тот, который искал пользователь.

Тем не менее, нам все еще нужно улучшать работу наших моделей. Те же LLM имеют одну неприятную особенность: они очень хорошо пишут абсолютный бред. Соответственно, под это нужно дорабатывать методы детекции некорректных ответов и способы справляться с такими проблемами. Как вариант, запустить так называемый процесс Human-in-the-Loop, где люди участвуют как в обучении, так и в тестировании алгоритма. Его суть заключается в том, что в постоянном циклическом процессе человек корректирует работу моделей, привнося свет человеческого знания в те области, где модель блуждает в потемках.

На данный момент нами обрабатывается 150 входящих идей, из которых 20-30 получили первичную проработку со специалистами. Уже на этапе пилотов находятся 10 идей, которые запускались с конца лета до нынешних времен – то есть находятся в работе около четырех-шести месяцев. Запуск первой версии платформы намечен на конец 2024 года.

- Чем можно гордиться, а над чем еще предстоит поработать?

Думаю, что основные поводы для гордости – это наша команда X5 Tech, а также возникшие новые процессы и, конечно же, скорость получения первых результатов. Идеал недостижим, но, чтобы максимально к нему приблизиться, нам нужно будет улучшить визуальную составляющую платформы. И, конечно же, продолжать доносить до новых пользователей преимущества новейших достижений инженерной мысли.

- Какие первые ИИ-продукты уже родились благодаря новой платформе?

Сейчас мы работаем над вопрос-ответными системами по накопленным в X5 базам знаний, а также сервисами генерации документов и помощи в работе над документами. Мы называем это «умной редактурой».

Но развитие идет динамично. К нам каждый месяц поступает множество идей о применении ИИ в наших процессах. Так что, думаю, продуктов станет кратно больше.

- Каковы перспективы развития AI-RUN Business Platform?

Самые позитивные. Сейчас сфера ИИ развивается очень быстро. Чуть ли не каждую неделю выходят все более «умные» модели, появляются новые подходы, упрощается техническая реализация существующих подходов. И я думаю, что такое платформенное решение позволит как можно быстрее доносить эти достижения до обычных бизнес-пользователей. И, конечно же, чем больше разных доменных областей будет в платформе, тем лучше будет проявляться синергетический эффект от разных источников данных и их объединения для решения единой бизнес-задачи.

Умение слышать своих клиентов и приглядывать за их отношением к конкурентам – очень важный навык для любой компании. И в условиях нынешнего разнообразия и обилия информации из различных источников важно поставить работу с обратной связью «на поток», стандартизовав ее, как операции на заводе Генри Форда. О создании решения «Napoleon IT Отзывы» и его роли в выстраивании процессов работы с отзывами клиентов рассказывает Константин Прайс, коммерческий директор Napoleon IT и номинант на премию Data Award.

- В чем суть решаемой проблемы? Почему это важно?

Работа с обратной связью критически важна на современном рынке. Технология «Napoleon IT Отзывы», основанная на ИИ, помогает понять, какие сильные и слабые стороны есть у продукта, за что его ценят потребители, а что можно исправить или улучшить, чтобы его покупали еще больше. Анализ конкурентов осуществляется таким же путем, как и анализ собственного продукта – можно собрать источники на различных маркетплейсах, картах и т.д. и добавить их в систему. После этого мы начинаем трекинг отзывов и их аналитику, а на выходе компания получает точно такой же дашборд и отчеты.

Также можно провести исследования по конкретному сегменту рынка. Здесь проводится точно такая же работа, как и по отдельному продукту. Но на выходе компания может получить отчеты как по отдельным продуктам, так и срез по всему сегменту.

Для наших клиентов доступно агентское сопровождение. Наша команда аналитики готовит еженедельные резюме об изменениях и рекомендации, а также месячные статусы, в которых делятся анализом ситуации и динамики в области продажи товаров, услуг, работы приложений, магазинов, ресторанов и т.д.

- Какими методами обычно компании решают эту задачу?

Существует три варианта решения проблемы. В первом случае компании вовсе не работают со своими отзывами. Это очень часто встречается в сегментах малого и среднего бизнеса, потому что у таких компаний не хватает времени либо ресурсов. Для них «Napoleon IT Отзывы» – это легкий способ начать анализировать и оценивать обратную связь, обращаясь за рекомендациями и поддержкой к экспертной команде.

Второй вариант применяется в том случае, когда речь идет о больших компаниях и торговых сетях. В основном они работают с отзывами двумя способами. Первый способ – регулярный, и для этого нанимают штат людей напрямую или через агентство. Но наемные сотрудники обрабатывают лишь часть отзывов, так как человек способен качественно изучить не более одного-двух отзывов в минуту, или до 1 тыс. отзывов в день. При этом стоимость разметки одного отзыва для компании обходится в 10-15 руб., и за 2023 год эта сумма увеличилась в результате роста стоимости сотрудников и нехватки персонала. Для таких компаний мы предлагаем возможность мониторить одновременно множество источников и добавлять новые позиции буквально за 30 секунд, а анализ всех отзывов проводится в среднем за 20 минут.

Второй способ «серьезной» работы с отзывами – периодическое проведение количественных и качественных сравнительных исследований своих товаров с товарами конкурентов. В данном случае мы пользуемся аналогичной методикой и позволяем компаниям видеть не только дискретные отрезки, а ежедневные и еженедельные изменения, которые помогают быстрее отловить изменения и нивелировать различные отрицательные моменты: ошибки в логистике и систематические повреждения товаров, брак или нарушения режима доставки, в которых товар теряет основные характеристики, реакцию на рекламу и многое другое.

Третий вариант решения проблемы применим, когда часть компании использует оцифрованную количественную обратную связь для управления контрактами и мотивацией партнеров: дистрибьюторов и сетей, сотрудников и управляющих магазинов или ресторанов и многое другое. Здесь мы выступаем надежным партнером и независимой третьей стороной для предоставления непредвзятой машинной оценки обратной связи с минимальным влиянием субъективного фактора.

- В чем заключается предлагаемый вами подход?

Мы используем, с одной стороны, математический аппарат для количественных исследований и выявления статистически значимых изменений, с другой – нейролингвистический подход анализа данных. Кстати, ИИ в виде лингвистических данных мы начали использовать одними из первых в России. Это позволяет оцифровать и обработать большой объем текстовой информации в числах и предоставить важные данные. На их основе руководитель компании или индивидуальный предприниматель может принимать взвешенные решения и пользоваться всеми преимуществами, которые дает позитивная обратная связь на его товары или услуги и вовремя отслеживать негативную.

- Почему такой подход лучше?

Есть три основных преимущества, которые позволяют нам быть лучше текущей практики. Первая – это стабильность качества интерпретации информации. Здесь можно привести следующий пример. Когда мы делаем разметку обратной связи самостоятельно при помощи асессоров (людей), один и тот же отзыв разные люди могут отнести ко многим факторам, что искажает картину, снижает качество получаемой информации и принимаемых решений. Автоматизация операций и стандартизация, как на заводе Генри Форда, повышает качество и стабильность получаемого результата.

Второе преимущество заключается в том, что автоматизация снижает себестоимость обработки отзывов. Она позволяет небольшим компаниям и предпринимателям использовать все преимущества работы с обратной связью без необходимости больших инвестиций и успешно конкурировать на рынке за внимание клиента и удовлетворение его потребностей.

Третье преимущество состоит в том, чтобы «слышать своего клиента». Оно позволяет большим компаниями единым способом обрабатывать все источники обратной связи и оценивать эффекты из разных каналов: отзывы с карт, отзывы из магазинов мобильных приложений, собственная обратная связь, отзывы с маркетплейсов и других площадок. Автоматизация приводит к снижению временных и операционных затрат, что повышает прибыль компании.

- Что представляет собой созданное решение? Какие технологии применялись?

В «Napoleon IT Отзывы» применяются две технологии. Первая – технология проведения количественных исследований и оценки статистической значимости фактора для анализа. Вторая – прорывная технология, которая вмещает в себя механизмы машинного обучения и лингвистические модели в различной интерпретации для всесторонней обработки отзывов.

- Где именно и с какой целью в решении используется ИИ?

Искусственный интеллект используется для многослойной обработки лингвистической информации и ее классификации – там, где используется до пяти слоев и до трех различных моделей.

- Какие были сложности при создании продукта, и как вы их решали?

Сложностей было несколько. Во-первых, неточность модели. Ее мы решали с помощью ручной кросс-валидации и разметки данных, пользовательского тестирования и дообучения модели.

Вторая сложность была связана со взаимодействием с моделью. Изначально она работала по принципу автогенерации тем, о которых пишут пользователи. Но это во многих случаях не устраивало бизнес, так как компании уже имели внутренние шаблоны тем, по которым привыкли обрабатывать пользовательскую обратную связь в своих BI-системах. В результате было разработано три алгоритма разметки данных: автогенерация без заранее заданных тем, разметка данных по заданным темам и гибридный подход объединяющий первый и второй варианты.

- Что в решении удалось наиболее удачно, чем можно гордиться?

Во-первых, у нас высокое качество разметки данных: 92% точности в определении темы и тональности, 94% покрытия одного отзыва (процент выявления всех упомянутых тем внутри отзыва). Во-вторых, высокая скорость разметки данных. В-третьих, доступная итоговая цена за один обработанный отзыв.

- Каков портрет типичного клиента? Кто может быть заинтересован в решении?

Основное направление для использования «Napoleon IT Отзывы» – это ретейл и FMCG-компании. Также это решение подойдет частным предпринимателям на маркетплейсах и компаниям, проводящим маркетинговые исследования на рынке. Кроме того, продуктом могут пользоваться заведения общественного питания и блоггеры для отслеживания информации о себе и конкурентах, сравнения характеристик своих продуктов и продукции других компаний на основе обратной связи.

- Приведите примеры уже реализованных проектов. Каких результатов удалось достичь, какую пользу бизнесу они принесли?

Мы стараемся сохранять высокий уровень конфиденциальности клиентов, так как чаще всего лучший результат достигается именно в тех случаях, когда подсвечиваем «ошибки» в оказании услуг. Показательный пример – это рост конверсии у одной из компаний в три раза после выявления ключевой ошибки в оказании услуги или выявлении партии брака, где удалось избежать репутационных рисков.

Кроме того, есть публичный кейс с производителем натуральных лимонадов Lapochka. Компания с помощью нашего решения провела конкурентный анализ отзывов за 20 минут и выяснила, что 77% клиентов довольны вкусовым разнообразием и качеством продукции, а 65% положительно оценивают натуральный состав напитков. В то же время основными причинами негативных отзывов являлась упаковка и цена (около 15%), нарушения по срокам доставки (около 26%). Чтобы снизить количество отрицательных отзывов, компания Lapochka взяла в разработку применение более устойчивой к повреждению упаковки товара. Кроме того, на основе анализа отзывов бренд запустил новый вкус лимонада, о котором просили покупатели.

- А каких результатов вообще можно добиться?

С помощью интеллектуального анализа отзывов можно поднять рейтинг товара или услуги, что влияет в свою очередь на конверсию в покупку либо посещение ресторана, центра оказания услуг – салона красоты, парикмахерской и т. д., – и ее выручку. Также наше решение помогает моментально реагировать на качество оказания своих услуг или конкурентов, увеличивает LTV пользователей (lifetime value — «пожизненная ценность клиента»), выручку и прибыль.

- В каком направлении будет развиваться проект?

«Napoleon IT Отзывы» будет улучшать качество анализа отзывов и предоставлять услугу по лучшей цене на рынке. Кроме того, мы планируем сделать наше решение еще более доступным, чтобы даже небольшим предпринимателям в сфере продаж товаров и предоставления услуг можно было эффективно конкурировать на развивающемся рынке.

Голос человека может рассказать многое о своем владельце. Его изменение может служить симптомом некоторых заболеваний, в том числе связанных с дегенерацией нейронов головного мозга, к которым относится болезнь Паркинсона. Сервис BRAINPHONE призван выявлять людей даже на ранней стадии болезни на основе анализа их голоса, являясь массовым и доступным инструментом диагностики. О создании решения рассказывает Ильдар Хасанов, исполнительный директор BRAINPHONE и номинант на премию Data Award.

- В чем суть решаемой BRAINPHONE проблемы? Почему это важно?

По данным ВОЗ болезнь Паркинсона занимает первое место в мире по темпам инвалидизации среди всех неврологических заболеваний. На сегодняшний день в России и мире лишь треть пациентов с болезнью Паркинсона имеют корректный диагноз. При этом большинству из них он выставляется поздно – на продвинутых стадиях, когда гибнет до двух третей черной субстанции мозга, гибель нейронов которой ассоциирована с развитием болезни. Такая ситуация имеет место в первую очередь за счет отсутствия скрининговых инструментов для выявления признаков болезни Паркинсона.

- Какими методами обычно решается задача выявления болезни Паркинсона?

Сейчас ситуация такова, что диагностика болезни Паркинсона осуществляется только с непосредственным участием врача на основе, в первую очередь, неврологического осмотра пациента. Рутинные методы визуализации (МРТ, КТ и др.) и лабораторные методы используются лишь в качестве вспомогательных – в первую очередь, исключающих – при постановке диагноза. На сегодняшний день и в России, и в мире нет внедренных в рутинную клиническую практику скрининговых инструментов для выявления болезни Паркинсона.

- В чем заключается предлагаемый вами подход? Почему он лучше?

Наш сервис предназначен для скрининговой диагностики людей с факторами риска развития нейродегенераций. Ведущим из них, конечно же, является возраст. Так, люди старше 55 лет даже в отсутствие других факторов риска имеют повышенную вероятность развития болезни Паркинсона. Наш сервис позволяет большому количеству людей быстро, эффективно и недорого пройти скрининговое исследование на наличие признаков заболевания. Это, в свою очередь, позволяет людям раньше попасть к профильному врачу и начать соответствующее лечение.

- Как пришла идея создания решения, выявляющего болезнь Паркинсона по голосу?

Мы давно занимаемся этой проблемой и имеем большой опыт в поиске и изучении биомаркеров заболеваний мозга, в том числе болезни Паркинсона. Наше решение – это веяние нового времени в виде использования инновационных технологий для решения запросов, уже давно выдвигаемых международным медицинским сообществом. И подобные продукты меняют подход системы здравоохранения к диагностике и лечению пациентов. Так, Международным обществом по изучению болезни Паркинсона и других расстройств движений (International Parkinson and Movement Disorders Society) в прошлом году даже была создана отдельная рабочая группа Technology Study Group по изучению инновационных стратегий и способов применения диджитал-продуктов.

- Что «под капотом»? Какие технологии и методы ИИ применялись?

В основе нашей технологии лежит оптимизированная нейронная сеть, обученная на мел-спектрограммах голосов пациентов с болезнью Паркинсона и группы контроля.

- Какие данные использованы?

Для обучения нейросети используется уникальный собственный датасет аудиозаписей голосов пациентов с болезнью Паркинсона и группы контроля. Датасет сформирован из нескольких тысяч аудиозаписей голосов, записанных при выполнении различных заданий (методики заданий разработаны учеными, неврологами и логопедами). Датасет релевантный, размечается при участии опытных врачей-паркинсонологов, постоянно пополняется. Для сбора и хранения датасета разработаны собственный чат-бот и платформа.

- Что собой представляет созданное решение?

Сервис BRAINPHONE призван использоваться в качестве скринингового инструмента, который легко и недорого может охватить большое количество людей с факторами риска. Он реализуется в виде нейросетевой модели, интегрированной в «оболочку» – контакт-центр, чат-бот, приложение и др. – в зависимости от бизнес-потребности. Это массовый, доступный и легко осуществимый, без привязки пациента к местонахождению врача и специализированного оборудования, инструмент для диагностики и мониторинга болезни Паркинсона на любых, в том числе ранних, стадиях.

- Какие были сложности при реализации проекта, как их решали?

Трудной, но в то же время интересной задачей, как и в любом MedTech-проекте, было получение релевантного датасета для обучения искусственного интеллекта. При этом хорошо, когда есть возможность объективизировать диагноз – например, с помощью методов нейровизуализации, как это происходит при диагностике опухолей, инсультов и др. В случае с болезнью Паркинсона, к сожалению, такой возможности нет.

Так, когда дело касается анализа медицинских изображений, это изображение могут посмотреть 2-3 и более врачей для оценки и разметки. Этим можно повысить уверенность в используемой выборке. Когда речь идет о клиническом диагнозе, как при болезни Паркинсона, оценить правильность выставленного диагноза можно только при непосредственном контакте врача с пациентом. Поэтому большим вызовом был изначально правильный, даже академичный, подход к сбору данных, чего мы и смогли добиться благодаря нашим многолетним наработкам.

- Какие результаты достигнуты и ожидаются?

Сервис успешно прошел первый этап клинических испытаний и готовится к регистрации в качестве медицинского изделия. Чувствительность сервиса 80%, а специфичность – 92%. В сравнении с общепризнанными клиническими способами диагностики чувствительность сервиса сопоставима с ними, а специфичность даже превосходит их.

На сегодняшний день готовятся пилоты в нескольких регионах России. Кроме того, по результатам бизнес-миссии под эгидой Агентства стратегических инициатив в королевстве Марокко была достигнута предварительная договоренность с президентом Совета Национального объединения врачей о пилоте в одной из крупнейших клиник Касабланки.

- Речь идет только о работе с пациентами медицинских учреждений, или решение может встраиваться в любые крупные контакт-центры для выявления людей, даже не подозревающих о своей болезни?

Да, все верно. Решение может использоваться как в медицинских учреждениях, так и быть интегрированным в другие сервисы. Например, сейчас обсуждается внедрение продукта в колл-центр, объединяющий все медицинские учреждения региона.

- В чем роль и социальная значимость проекта?

Внедрение в рутинную клиническую практику сервиса BRAINPHONE приведет к нескольким важным эффектам. Первый из них – своевременное выявление болезни Паркинсона у пациентов вне зависимости от места жительства и удаленности от медицинских центров – например, центров экстрапирамидной патологии, или специализированного оборудования. То есть станет доступен массовый скрининг. Второй эффект – массовый мониторинг, то есть возможность осуществления адекватного мониторинга состояния пациентов с болезнью Паркинсона, в том числе оценка эффективности лечения. Своевременная постановка диагноза и качественный мониторинг позволят улучшить качество жизни пациентов и отсрочить их инвалидизацию, сохранить их работоспособность. По экспертным оценкам, ранняя установка диагноза позволит снизить прямые и непрямые расходы на пациентов со стороны семьи и государства более чем в 10 раз при лучшем качестве жизни.

Наконец, повышение выявляемости болезни Паркинсона потенциально увеличит объем рынка противопаркинсонических препаратов до трех раз и сместит фокус фармацевтических компаний в сторону поиска наиболее эффективных решений для ранних стадий.

- В каком направлении будет развиваться проект?

Мы не останавливаемся на достигнутом – работа кипит, проект растет, развивается. Мы нацелены как на повышение точности диагностики, так и на расширение списка диагностируемых заболеваний.

В Х5 Tech разработали и интегрировали систему по модельному риску, позволяющую эффективно отслеживать и управлять многочисленными ML-моделями, детектировать и реагировать на возможные риски, связанные с моделями. Это позволяет минимизировать потенциальные убытки и улучшать качество принимаемых на основе моделей решений. Модельный риск был встроен в процессы компании, и уже предотвращены реальные случаи, когда модель приносила значительные финансовые убытки. О реализации этого проекта рассказывает Святослав Орешин, руководитель команды модельного риска Х5 Tech и номинант на премию Data Award 2024.

- В чем суть проблемы? Почему управление рисками моделей машинного обучения стало важным для X5?

Чтобы лучше понять проблему, давайте начнем с аналогии. Допустим, вы запускаете стартап и работаете в небольшой компании друзей-коллег. Вы общаетесь каждый день и в курсе всех событий, которые у вас происходят в команде. Но с ростом команды вы нанимаете больше персонала, делаете больше проектов, и у вас возникает естественная потребность в HR-специалистах, менеджерах и системе управления персонала в целом.

Отсюда и возникает проблематика модельного риска – если у вас не так много моделей машинного обучения и на них не завязаны критичные для бизнеса решения, то за модельным риском можно следить и вручную. Однако в случае больших компаний обрабатываются терабайты данных ежедневно, а количество ML-моделей может исчисляться сотнями, и они участвуют практически во всех процессах. Если не поддерживать актуальность моделей и качество входных данных, не следить за динамикой их работы, то вы столкнетесь с финансовыми убытками и нецелевым расходованием бюджета. Контроль за модельным риском направлен на минимизацию возможных убытков и предотвращение нецелевого расходования бюджета.

- Каковы типичные риски, связанные с ML-моделями?

Основной риск – это то, что модель может работать неточно или непредсказуемо. Это может быть следствием некорректности входных данных, необходимости переобучить модель, изменением бизнес-логики или просто влиянием внешних факторов. Далее каждая из «крупных» категорий рисков раскладываются на более частные, которые отражают специфику той или иной модели. Есть ML-модели, которые делают предсказания каждую минуту, а есть те, которые делают предсказания раз в месяц. Соответственно, для каждой из них свойственны разные риски с разной критичностью, исходя из специфики данных, архитектуры и других вводных.

- Приведите примеры случаев, когда «отбившиеся от рук» модели приносили реальные убытки. О каких масштабах потерь идет речь?

Конкретные случаи я привести не могу из-за NDA, однако можем провести теоретическую оценку. Представим, что у нас есть модель Х, стоимость разработки и поддержки которой составляет примерно 10 млн руб. в год. Для простоты расчетов предположим, что все модели приносят компании одинаковое количество выручки и риски распределены нормально. Применим правило «одной сигмы» для распределения рисков и получим, что при оптимистичном сценарии мы несем в среднем около 20% убытков, а при пессимистичном – более 50% убытков. Получается, что если в компании есть 50 моделей со средней стоимостью 10 млн руб. в год на каждую, то компания терпит от 100 до 250 млн руб. убытков каждый год из-за реализации модельных рисков.

Мы рассматривали сценарий, при котором модельные риски приводят только к нецелевому расходованию бюджета, но в реальности компания терпит дополнительные убытки, так как часто предсказания моделей переиспользуются в разных процессах, и убытки могут суммироваться и приводить к дополнительной нагрузке на персонал.

- Что включает управление моделями и их рисками?

Если максимально упростить решение, то в модельном риске мы решаем три основные задачи. Во-первых, это централизация – появляется централизованный верхнеуровневый мониторинг над моделями: все модели регистрируются в единой системе. Во-вторых, актуализация – информирование продуктовых и проектных менеджеров, дата-сайентистов и ML-разработчиков, а также прочих заинтересованных лиц о состоянии и изменениях в работе моделей. Наконец, мониторинг – единое место, где все участники процессов, связанных с моделью, смогут отслеживать все доступные модели и их метрики.

- Что представляет собой созданное в X5 решение?

Решение состоит из разных компонент. Во-первых, это веб-сервис и интерфейс, в котором владельцы модели могут ее зарегистрировать и внести основную информацию о ней. Во-вторых, это ядро системы – ключевая логика для сбора и анализа различных данных, связанных с работой модели, оценкой входных данных, по итогу работы которой рассчитываются и оцениваются риски. И, наконец, это система мониторинга и уведомлений, которая позволяет получать актуальную информацию о работе и состоянии каждой модели и своевременно оповещать всех, кого следует, о возникающих рисках и предлагать возможные действия для их ликвидации.

- Как, по каким признакам, определяется, что модель работает не так, как должна?

Для начала надо четко понимать, на каких данных работает модель, какую задачу решает, как проводится ее валидация, какие у нее целевые значения прокси-метрик и на какие бизнес-метрики влияет работа модели. Далее, совместно с владельцем модели под нее настраиваются риски и оценивается их критичность. Например, для одной модели критично, если она не производила предсказания в течении одного часа, а для другой – в течении одной недели. Наш сервис получает логи работы моделей и протоколирует их, оценивает входные данные и рассчитывает релевантные для модели риски. Затем по совокупности всех выявленных рисков модели присваивается статус. Все это происходит в реальном времени с минимальными задержками.

- Как решение встроено в процессы, кто и на какой основе занимается управлением ML-рисками?

При интеграции подобной системы крайне важно не нагружать команды дата-сайентистов дополнительной работой. Поэтому в ходе разработки мы активно общались с владельцами и разработчиками моделей, а также бизнес-стейкхолдерами, и таким образом приоритезировали функционал, который действительно нужен командам. Оптимизируя нагрузку на команды, мы добились того, что процесс регистрации и подключения модели занимает в среднем не более, чем 15 минут.

Таким образом, мы не просто встраиваемся в процессы, но и решаем задачи команд, снимая с них дополнительную нагрузку, связанную с мониторингом моделей. Помимо этого, мы интегрировались в процесс передачи моделей на поддержку, и все ML-модели, которые передаются и находятся на поддержке подключены к нашему сервису.

Продуктом пользуются как разработчики и владельцы моделей, так и руководители подразделений, заказчики со стороны бизнеса, финансовый отдел и другие команды.

- Как измеряются результаты в случае управления модельными рисками?

Оценить вклад модельного риска в финансовые показатели – достаточно сложная задача. Модельный риск – это превентивное решение, поэтому основные показатели на текущий момент заключаются в уровне покрытия системой мониторинга всех моделей компании, а также количество срабатываний на одну модель. Очень важно оценивать и качественные показатели – получать обратную связь от пользователей системы, а также проводить «работу над ошибками» – анализировать случаи, когда модель работала неточно, и понимать, как сервис может предотвращать такие случаи в будущем.

- Что удалось лучше всего, чем больше всего довольны?

Основной наш результат – это то, что нам удалось найти соответствие созданного решения потребностям внутри компании. Продукт достаточно молодой, мы начали им заниматься только в мае 2023 года, и тогда переживали, что наше решение может стать еще одним «регулятором», создать дополнительную нагрузку на команды ML-разработчиков. Однако за этот год мы смогли найти путь, в котором мы не только разработали и внедрили систему мониторинга рисков, но и решили множество смежных задач.

- Что с финансовыми эффектами?

Модельный риск направлен на предотвращение убытков для уже имеющихся моделей, поэтому даже спустя какое-то время работы системы будет крайне сложно оценить финансовый вклад именно модельного риска.

Мы сейчас развиваем большое инфраструктурное направление по MLOps, и модельный риск – часть этого направления. Ведь модельный риск не только предотвращает убытки от работы самих моделей, но также оптимизирует работу ML-команд за счет предотвращения дублирования работы при решении схожих задач, выполняет задачи мониторинга и интегрируется с внутренней инфраструктурой. Поэтому более корректно будет оценивать общий эффект от совокупности всех решений MLOps.

- В каком направлении будет развиваться проект, на какие результаты рассчитываете?

Проект будет развиваться как «вширь» – будем расширять список возможных рисков и подключать новые модели, так и «вглубь» – сможем учитывать более специфичные риски и предлагать «точечное» реагирование на них. Кроме того, планируем подключать не только отдельные модели, но и полноценные процессы разработки, состоящие из разных шагов по обработке данных и работы разных моделей.

Также мы решаем задачу составления единого реестра всех моделей компании. Таким образом, разработчики смогут делиться опытом не только внутри своей команды, но и с другими командами.

Компания Lamoda создала персонального fashion-помощника, с помощью которого улучшает клиентский опыт и делает онлайн-покупки проще. Этот инструмент должен помочь в выполнении миссии компании – стать лидирующей fashion & lifestyle платформой в России и странах СНГ. О реализации проекта рассказывает Александра Пургина, руководитель отдела развития продуктов на основе данных Lamoda и номинант на премию Data Award.

- Какова история создания продукта fashion-помощник? Как к нему пришли?

Персональный помощник – это набор сервисов, улучшающий опыт клиента в покупке. Мы шли к нему не один год, сначала занимались развитием алгоритмов ранжирования каталога и поиска. Затем обратили внимание на одну из ключевых проблем при покупке в онлайне – выбор размера, и начали заниматься еще и ей. Сейчас это набор различных сервисов, которые в сумме дают пользователю хороший опыт покупки и незримо помогают человеку.

Персональный помощник включает в себя несколько сервисов: ML-ранжирование каталога, модель предсказания рекомендуемого размера для каждого пользователя, модель подбора образов к якорному товару, алгоритмы подбора похожих товаров, в том числе по визуальной схожести.

- В чем заключались проблемы, которые пытались решить?

Мы знаем, что покупка одежды, обуви, аксессуаров онлайн все еще вызывает ряд сложностей. Покупателям приходится ориентироваться в интерфейсах разных платформ, находить нужный товар среди тысяч предложений, выбирать подходящий размер у конкретного товара, так как разные размерные сетки и лекала приносят неопределенность. В результате далеко не все доходят до стадии оформления заказа, примерки и покупки вещи.

Набор сервисов персонального fashion-помощника позволяет экономить ресурс клиента, облегчая поиск нужных товаров внутри платформы. Это влияет как на создание лучшего опыта взаимодействия с Lamoda, так и на финансовые показатели компании. Чем точнее рекомендация, тем выше вероятность, что дальше она конвертируется в покупку. Также для компании это важное конкурентное преимущество перед другими маркетплейсами.

- Почему вы считаете, что «помощник» – это действительно важно и в эту работу имело смысл вкладываться? Может, покупателям Lamoda было бы более полезно что-то другое и силы можно было потратить с большей пользой?

Мы создаем продукты, полагаясь на запрос наших пользователей, цели бизнеса и ориентируемся на исследования рынка. Контекст наших покупателей таков: у человека возникают различные потребности в течение года – например, купить базовые вещи, обновить гардероб для летнего сезона, подготовиться к особому событию и т. д. Они сопровождаются запросом на эффективность и приятные эмоции. В одной ситуации у покупателя ограниченное время на покупку, ему хочется быстро сделать выбор без сложностей поиска среди большого количества альтернатив. В других ситуациях шопинг для наших покупателей – это способ расслабиться, приятно провести время и найти что-то новое для своего самовыражения. Именно эти задачи мы и решаем нашими сервисами, позволяя совершать и запланированные, и спонтанные покупки.

- Вы считаете, что для компании fashion-помощник – важное конкурентное преимущество. В чем его отличие от традиционных рекомендательных систем других компаний?

Отличие – в связке глубокого понимания запроса и ожиданий клиентов от fashion-платформы вместе с персонализацией предложения под этот запрос. Мы обеспечиваем более качественные и проработанные под нашу аудиторию решения, в отличие от стандартных рекомендательных систем. Благодаря этому аудитория Lamoda может получать уникальный опыт покупки, основанный на их действиях на сайте.

- Что «под капотом»? Какой математический аппарат используется?

Под капотом большие данные, алгоритмы машинного обучения и их эффективное применение в высоконагруженных сервисах. Мы используем доступные данные о действиях пользователей на сайте и в приложениях Lamoda: какие товары смотрели и добавляли в избранное, какие делали покупки. На основании данных ежедневно рассчитывается несколько сотен признаков, описывающих предпочтения наших пользователей: к брендам, стилям, ценовому диапазону, размерам и многим другим характеристикам.

По части алгоритмов машинного обучения мы применяем как подходы из классического машинного обучения (градиентный бустинг на деревьях), так и нейросетевые подходы для эффективной работы и использования сигнала из фотографий товаров. Используемый стек технологий: Big Data (Hadoop, PySpark, Hive), Python, Golang, Catboost, PyTorch, Airflow, Docker.

- Сколько ресурсов потрачено на проект?

В этом году над сервисами fashion-помощника работало 25 человек – это несколько команд, состоящих из дата-сайентистов, бэкенд- и мобильных разработчиков, QA-инженеров, продуктовых и проектных менеджеров, аналитиков и тимлидов.

- Что в ходе проекта было самым сложным?

Техническая сторона вопроса занимает много времени: подготовка технического стека, чтобы перейти в ранжировании каталога сначала на машинное обучение, а потом и на персонализированное ранжирование, подготовка инфраструктуры для дальнейших экспериментов.

Наиболее сложным был переход от ежедневного пакетного получения прогноза ML-модели для всех товаров и крупных сегментов пользователей к новой архитектуре с применением ML-модели в режиме реального времени в высоконагруженных сервисах, без которой эффективная и качественная персонализация под каждого клиента была бы невозможна.

- Что получилось особенно удачно? Чем вы гордитесь?

Особенно гордимся персональным ранжированием каталога и подборкой образов к товару. С помощью искусственного интеллекта мы научились предсказывать, какие товары будут интересны конкретному пользователю, и теперь показываем их вверху выдачи. Для такой персонализации анализируется и используется информация о том, какими брендами, цветами, в каком ценовом диапазоне и в каком размере клиент интересовался, что он покупал или искал.

В мобильных приложениях на странице товара запущен A/B-тест подборки образов «С чем носить». Учитывая то, с чем наши пользователи покупали якорный товар, ML-алгоритм предлагает несколько образов к каждому товару, то есть «учится стилю» напрямую у наших пользователей. А чтобы к летним балеткам не предлагались пуховики, стилисты Lamoda составили формулы образов, которые также используются в алгоритме. Получилось очень красиво — и с точки зрения дизайна, и по содержимому образов. Ожидаем, что наши рекомендации вдохновят людей собирать, заказывать модные образы и больше покупать на Lamoda.

- Какими численными результатами можете похвастаться?

В каждом A/B-тесте мы отслеживаем изменения конверсий по всей воронке продаж: стали ли люди больше добавлять товары в избранное, в корзину, стало ли людям проще совершать заказ, выросло ли число заказанных и купленных товаров. В рамках сервисов fashion-помощника все эти показатели также выросли. Например, если говорить о нашем последнем успешном запуске, то новый алгоритм ранжирования каталога увеличил метрики воронки: добавление в избранное выросло на 3%, добавление в корзину — на 3%, заказы — на 2%.

- В каком направлении будет развиваться fashion-помощник?

Миссия Lamoda – стать лидирующей fashion & lifestyle платформой в России и странах СНГ. Персональный fashion-помощник – один из инструментов, который способствует достижению этой задачи.

Наша разработка упрощает процесс онлайн-покупок и делает моду доступной для миллионов пользователей. Lamoda – это площадка не только для поиска нужного товара, но и для вдохновения. Сервисы fashion-помощника позволяют пользователям находить товары даже по самым необычным запросам (например, «сумка-банан»), определять подходящий размер и даже подбирать дополняющие товары к образу.

Мир постоянно меняется, появляются новые технологии и новые задачи для компаний. Вместе с этим меняется клиент и его потребности и ожидания от онлайн-сервисов. Мы хотим быть рядом, когда человек проходит через все эти изменения, и помогать адаптироваться в меняющемся мире, делать его жизнь чуточку проще.

Отслеживание и оценка клиентского опыта уже давно стали важной частью работы компаний на высококонкурентных рынках. Альфа-Банк с помощью машинного обучения оптимизировал работу с негативными отзывами, попутно реализовав полный цикл работ по управлению клиентским опытом. О предпосылках и роли этого проекта рассказывает Анна Кабанец, начальник управления клиентского опыта департамента стратегического развития и качества Альфа-Банка и номинант на премию Data Award.

— Что явилось причиной реализации проекта по работе с негативными отзывами?

Для улучшения опыта клиентов необходимы регулярные замеры обратной связи с последующим внедрением улучшений на их основе. Ведь мы запрашиваем обратную связь клиентов не ради самой оценки, а для того, чтобы понимать зоны роста.

Замеры удовлетворенности в Альфа-Банке осуществляются с помощью платформы Voice of Customer (VOC) – собственной разработки, позволяющей запрашивать оценки клиентов в режиме реального времени по итогу взаимодействия с сотрудником или процессом в любом канале. VOC – основная метрика опыта клиента (Customer Experience, CX), используемая в банке. Результаты опросов хранятся в системах банка и представляются руководителям каналов и продуктовых команд в формате автоматизированных дашбордов с разными уровнями детализации.

С начала 2022 года мы накопили более 9 млн оценок VOC – огромный массив структурированной информации, причем за каждой оценкой стоит своя история. Особенно важно разобраться с негативными оценками – ведь в этих случаях клиент остался недоволен, и важно понять, что его расстроило, чтобы исключить повторение ситуации в будущем. Целью проекта стало выделение в огромном массиве данных конкретных причин негатива клиентов.

— Какие требования выдвигались к создаваемому решению?

По итогу проведенного анализа мы должны были четко понимать, в какой точке контакта и какие изменения необходимы для улучшения впечатлений клиентов.

Ранее для классификации негатива использовались ручные вычитки: мы вычитывали отзывы клиентов и искали корневые проблемы. Но в ручном режиме нереально вычитать весь массив данных. Кроме того, при таком подходе есть доля субъективности, так как оценка производится конкретным экспертом.

— Какой подход выбрали?

По мере развития компетенции в области продвинутой аналитики появилась возможность использовать алгоритмы машинного обучения для создания нового, более точного классификатора негатива и отказа от ручных вычиток. Для этого мы разработали специальную тематическую модель. Она в автоматическом режиме вычитывает весь объем полученных данных, по смыслу группирует проблематики и затем суммаризует их, делая вычитку в разы короче. На основе получившейся суммаризации и создается новый классификатор негативных оценок клиентов.

— Какой математический аппарат использован для построения моделей?

Мы используем тематическое моделирование. Нам требовалось понять, какими темами можно описать датасет, состоящий из экспертиз, а также подобрать оптимальное число тематик, покрывающих всю коллекцию. Помимо этого, сформированные темы должны быть интерпретируемыми: посмотрев содержимое каждой из них, можно сходу понять, о чем она — о комиссии или кэшбэке.

С большинством подсвеченных требований помогает справиться тематическое моделирование. Тематическая модель коллекции текстовых документов определяет, к каким темам относится каждый документ, и какие слова образуют каждую тематику. Для этого каждая тема описывается дискретным распределением вероятностей слов, а каждый документ — дискретным распределением вероятностей тем.

В целом, тематическое моделирование похоже на кластеризацию документов. Отличие в том, что при кластеризации документ целиком относится к одному кластеру, тогда как тематическая модель осуществляет мягкую кластеризацию, разделяя документ между несколькими кластерами – темами.

— Какие данные используются для обучения?

У нас огромное количество оценок VOC, дополнительно мы запрашиваем категории негативных и положительных оценок. Они помогают нам верхнеуровнево отслеживать, в каких каналах и продуктах, какие тематики требуют улучшений. Для того, чтобы понимать причины негатива более конкретно, все негативные оценки обзваниваются экспертами отдела по сохранению лояльности (ОСЛК). По итогу звонка заполняется экспертиза – краткое экспертное заключение с описанием причин негатива по заданным параметрам. С начала 2022 года удалось накопить более 150 тыс. экспертиз.

— Какие результаты достигнуты?

Тематическая модель позволяет обработать весь объем экспертиз, в процессе формируя ряд тем и определяя, к каким темам относится каждая экспертиза и какие слова образуют каждую тему. Для этого каждая тема описывается дискретным распределением вероятностей слов, а каждый документ — дискретным распределением вероятностей тем. В итоге классификатор, сформированный с использованием инструментов продвинутой аналитики, внедрен для категоризации негатива во всех каналах взаимодействия с клиентами – физическими лицами.

Для трансляции результатов руководителям внедрен автоматизированный дашборд по основным причинам негативных оценок VOC. Он показывает тематики негативных оценок с указанием веса каждой из них во всем объеме негативных оценок в необходимых разрезах.

В результате внедрения инструментов продвинутой аналитики в процесс поиска CX-инсайтов удалось решить несколько важнейших задач. Во-первых, увеличилась собственно скорость поиска инсайтов – за счет применения машинного обучения вычитка экспертиз сотрудников ОСЛК ускорилась в пять раз. Во-вторых, сокращено количество ресурсов – в четыре раза уменьшилось количество сотрудников, участвующих в вычитке. Кроме того, мы заметно увеличили охват – сняли ограничения по количеству каналов и продуктов для поиска CX-инсайтов. Сейчас инструментами продвинутой аналитики обрабатываются экспертизы по более чем 20 каналам обслуживания клиентов и продуктам. Наконец, повысилось доверие к результату – применение машинного обучения придало вес выводам и рекомендациям.

— Как эти результаты отразились собственно на лояльности клиентов – том, ради чего все это затевалось?

Улучшение клиентского опыта — это непрерывный процесс, который оказывает влияние на лояльность клиентов в долгосрочной перспективе. Мы внедрили этот процесс, отслеживаем результаты и накапливаем данные. В целом увеличили скорость поиска инсайтов и оперативной передачи информации в бизнес-подразделения для внедрения конкретных улучшений. Сегодня мы можем диагностировать, что мы вернулись к «докризисному» уровню оценки VOC. На текущий момент клиенты чаще ставят более высокие оценки по результатам общения с человеком (персонализированные каналы коммуникаций) и более низкие оценки по роботизированным каналам коммуникаций (голосовой помощник, чат-бот). Средняя доля положительных оценок VOC составляет около 85%

— Какие любопытными или неожиданными инсайтами вы можете поделиться?

На данных мы обнаружили, что в 30% случаев клиенты при оценке качества обслуживания в канале либо оценки работы конкретного сотрудника на самом деле оценивают продукт. Например, так происходит при оценке визита в отделение или звонка в контакт-центр. При оценке продукта они, наоборот, могут оценивать конкретного сотрудника. Таким образом мы выявили кроссфункциональную зависимость канальных и продуктовых VOC.

— Пытались ли оценить финансовый результат проекта?

С точки зрения финансового эффекта мы пока в процессе анализа. На сегодняшний день можем сказать, что нам удалось сократить ресурсы на поиск инсайтов практически вдвое и повысить скорость их поиска. Кроме того, благодаря этому проекту мы внедрили VOC-переменные в модели принятия решений – например, склонность к покупке инвестиционных продуктов клиентами. В результате VOC-переменная показала хороший эффект в пилоте (+4 к коэффициенту Джини).

— Какие возможности открыл этот проект Альфа-Банку?

У нас реализован полный цикл работ по управлению клиентским опытом. Запущены автоматизированные замеры обратной связи клиентов в режиме реального времени во всех точках контакта клиентов физических и юридических лиц с банком. Причем замерами охвачены не только каналы, но и продукты банка. Технология, с помощью которой осуществляются замеры, уже отмечена наградой CX World Award.

Кроме того, внедрен процесс работы с негативными оценками: все негативные оценки прозваниваются в течении 24 часов выделенными экспертами отдела по сохранению лояльности. Реализован процесс работы с отклонениями в обслуживании и операционными ошибками – при возникновении данных ситуаций эксперты отдела по сохранению лояльности направляют ответственному сотруднику оповещение – Alert VOC. Работа с данными оповещениями также автоматизирована, а результаты выводятся на специальный дашборд.

На основе результатов замеров ведется реестр корневых проблем – перечень инициатив по улучшению клиентского опыта. В реестре описаны необходимые действия по улучшениям, сроки и ответственные сотрудники. Реализация инициатив из реестра – реальные примеры улучшений впечатлений клиентов.

— А может ли этот проект повлиять на рынок в целом?

Да, может. Сейчас рынок в целом стремится в сторону развития стратегии клиентоцентричности, когда в центр всех процессов компании ставится клиент. Сегодня это одно из самых явных преимуществ на высококонкурентном рынке. А такие проекты как раз и помогают компаниям в реализации клиентоцентричных стратегий с точки зрения непрерывного улучшения продуктов и сервисов компании.

На Череповецком металлургическом комбинате запущено решение на базе машинного обучения для оптимизации работы Агрегата непрерывного горячего цинкования №4 (АНГЦ-4). Решение, получившее название «Ангелина», позволило уйти от человеческого фактора и за время эксплуатации уже принесло экономический эффект более 100 млн руб. О построении решения рассказывает Светлана Потапова, директор ООО «Северсталь Диджитал» и номинант на премию Data Award.

— В прошлом году «Северсталь» стала лауреатом Data Award за оптимизацию работы листопрокатного стана 5000. Каковы итоги того проекта? Насколько были достигнуты планы?

Решение продолжает работать на стане 5000 в полном объеме. В прошлом году загрузка агрегата была в целом стабильной, и наше решение отработало в соответствии с ожиданиями – производительность выросла до 6,5% относительно года внедрения. Мы ведем дальнейшую работу по цифровизации линии стана 5000 в направлении технологии, а также по автоматическому вызову слябов из печей от моделей для сокращения пауз между прокатными группами.

— Как выбираются цели для построения очередных моделей?

Ранее для нас приоритетными были решения, которые приносят значительный экономический эффект, оцифровывают работу на конкретном важном участке производства и окупают затраты на их разработку. Сейчас они составляют не менее 50% портфеля проектов. Остальные 50% – проекты в области улучшения качества технологического процесса, а также в области повышения уровня безопасности, где денежный фактор отходит на второй план, так как безопасное производство – наша базовая ценность.

— Исходя из чего был выбран АНГЦ-4?

Агрегат непрерывного горячего цинкования №4 расположен в производстве плоского проката, которое является одним из флагманов цифровизации на ЧерМК. Там скоростью непрерывно-травильного агрегата №3 уже успешно управляет наше решение на основе искусственного интеллекта, на двух других агрегатах цинкования модели способствуют улучшению качества нанесения цинкового покрытия и экономии цинка. Поэтому этот проект – логичное продолжение начатого ранее перехода на цифровое управление ключевыми агрегатами. Они достаточно автоматизированы, что позволяет нам собирать нужный объем данных для анализа и осуществлять прямое управление от моделей. Также при принятии решения о старте разработки мы преследовали актуальную на тот момент бизнес-цель по увеличению производительности агрегата.

— В чем принципиальное отличие этого проекта, например, от прокатного стана 5000? В чем его сложность?

Прежде всего отличие состоит в самом технологическом процессе и применении концепции Data Fusion для решения задачи. Сам по себе агрегат является непрерывным, что означает необходимость оценки большого количества параметров в реальном времени, сопоставления разнородной информации и учета ограничений для принятия решения системой об оптимальном управлении агрегатом в текущий момент времени.

— Судя по всему, каждое из создаваемых решений является уникальным. Их каждый раз приходится создавать с нуля или есть какие-то общие наработки, позволяющие ускорить создание моделей?

Уникальность решений и максимизация эффектов, действительно, зависят от возможности кастомизации, учета особенностей агрегата и технологического процесса. Однако при проектировании архитектуры решения и в разработке мы активно используем типовые для нас компоненты и накопленные наработки. К примеру, в быстром запуске цифровых решений нам помогает библиотека собственной разработки Typed Blocks, которую мы выложили в открытый доступ на GitHub. В основе библиотеки лежит event-driven подход, благодаря чему решения удобно дополнять и масштабировать в зависимости от целей проекта и можно собрать приложение, как конструктор.

— В чем заключались проблемы АНГЦ-4, какие задачи требовалось решить?

Агрегат непрерывного горячего цинкования предназначен для непрерывной термохимической обработки стальной полосы для защиты от коррозии. Ранее оператор вручную управлял скоростью полосы и параметрами печи термохимического отжига. При этом для верного определения скорости оператору было необходимо контролировать несколько десятков параметров. Более того, ему приходилось прогнозировать их состояния в будущем, что довольно сложно, учитывая значительную инерционность некоторых параметров. Для повышения эффективности процесса был необходим переход от ручного к автоматическому режиму управления скоростью агрегата в технологической части и к автоматическому управлению нагревом полосы в печи термохимического отжига.

— Какие технологии использовали?

Решение построено на нашем озере данных. Сбор данных с источников осуществляется с помощью NiFi и сервисов собственной разработки на Java. В качестве шины данных используется Kafka, для долгосрочного хранения данных – Hadoop. Решение написано на языке Рython и обернуто в docker-контейнер, оркестрация организована в Kubernetes.

— Что собой представляет созданное решение, каковы его возможности?

Решение, получившее название «Ангелина», сочетает в себе модели на основе правил технологии, физического моделирования, машинного обучения, а также модели регулирования с обратной связью.

Подход к управлению скоростью основан на представлении технологического процесса как системы ограничений, которые проверяет модель перед выработкой команды управления скоростью средней части агрегата (СЧА). Посредством анализа данных было выделено более 50 параметров технологического процесса, которые учитываются в работе модели. Среди них – текущая скорость СЧА, толщина и ширина металла, марка стали, толщина цинкового покрытия, температуры атмосферы и футеровки в зонах печи, загрузка печи, содержание различных газов в атмосфере печи, температура полосы в нескольких точках агрегата, точка росы и другие показатели.

Если все показатели находятся в допустимых значениях, модель отдает команду на увеличение скорости СЧА. Шаг увеличения скорости зависит от оценки общего потенциала ускорения. Также проработаны защитные механизмы, когда модель снижает скорость полосы с целью недопущения производства несоответствующей продукции по причине выхода температуры полосы ниже минимальных значений.

— Какие сложности возникали?

При переходе на автоматическое управление скоростью мы выявили ряд недостатков в существующей системе управления нагревом, приводящих к потерям производительности. Поэтому приняли решение дополнительно разработать модель управления нагревом для поддержания заданной температуры полосы и стабильности процесса. Для этого была реализована модель управления нагревом в камере безокислительного нагрева печи термохимического обжига. Управление мощностью камеры реализовано на основе физической модели тепловых процессов, подхода Model Predictive Control (MPC) для расчета управления и подхода Moving Horizon Estimation (MHE) для идентификации параметров физической модели.

Отдельной сложной задачей была автоматизация переходов между различными сортаментами металла с разными физическими свойствами и технологическими ограничениями, а также с учетом большой инерционности печи термохимического отжига. Модель планирует оптимальные переходы и управляет переходами в соответствии с планом и учетом текущего состояния агрегата. Для планирования переходов также использовалась физическая модель тепловых процессов и модель машинного обучения на основе градиентного бустинга.

— Насколько хорошо решение воспринял персонал?

В цифровых решениях одним из важнейших шагов после внедрения является обеспечение их приживаемости. В этом процессе ключевой является обратная связь от всех операторов, использующих решение – она ускоряет адаптацию и дает возможность оперативно скорректировать нюансы, возникающие при работе с моделью. Также для диагностики работы моделей управления скоростью, нагревом и переходами используется инструмент визуализации данных Grafana. Инструмент позволил настроить дашборды под разные потребности: спидометры для отслеживания времени работы агрегата в автоматическом режиме, контроля поступления данных, визуализировать технические и бизнес-метрики, а также другие значимые параметры.

— Часто компании очеловечивают искусственный интеллект, чтобы было проще воспринимать его рекомендации, и дают решениям человеческие имена. Систему назвали «Ангелина» из-за этого?

Эта традиция пошла от «Евы» – нашей первой нейросети для классификации дефектов металлопроката, названной так с отсылкой к библейскому персонажу. Некоторые последующие модели тоже получили свои имена. Например, модель «Аделина», которая задает скорость управления НТА-3, названа так в честь математика Ады Лавлейс, известной тем, что создала описание вычислительной машины и составила первую в мире программу для этой машины. «Ангелина» так названа из-за созвучия с аббревиатурой агрегата АНГЦ-4. Количество решений неизменно растет, дать имена всем будет непросто, но некоторые приживаются и используются.

— Какие результаты достигнуты и ожидаются?

Производительность АНГЦ-4 за три месяца увеличилась на 3,4%. Ввиду сложных экономических условий в первой половине 2022 года загрузка агрегата несколько снижалась, но это не сказалось на качестве работы модели и частоте ее использования операторами. Даже с учетом сниженной загрузки экономический эффект за время эксплуатации решения составил более 100 млн руб. Автоматизированная система не только существенно ускоряет производительность агрегата, но и повышает комфорт работы операторов, передавая часть рутинных операций цифровым инструментам.

— В чем роль этого проекта для бизнеса?

Реализация подобной комплексной системы отражает передовой опыт «Северстали» в переходе от классических систем управления производством к более усовершенствованным (Advanced Process Control) с использованием инструментов искусственного интеллекта. Повышение производительности агрегата без привлечения капитальных инвестиций позволяет гибко реагировать на запросы клиентов и удовлетворить их потребности в объеме металлопроката. Нам удалось перейти на качественно новый способ управления агрегатом, гарантирующий полное соблюдение технологии производства, и в то же время избежать влияния человеческого фактора.

— А что дальше? Каковы ближайшие планы?

Мы делаем акцент на разработке комплексных цифровых систем для стабилизации технологических процессов и улучшения производственных показателей. В частности, это создание цифровых двойников, также нас интересует обучение моделей компьютерного зрения на малом объеме данных и синтетически сгенерированных данных для решения более широкого спектра задач.