Data Award

Решить проблему нехватки ИТ-кадров для развития цифровой экономики взялись создатели AI Talent Hub, запущенного ИТМО и Napoleon IT. Это онлайн-магистратура «Инженерия машинного обучения», с помощью которой планируется подготовить к 2025 году более 700 мидл-специалистов в сфере искусственного интеллекта. О предпринятых шагах и первых полученных результатах рассказывает Дмитрий Ботов, руководитель проекта AI Talent Hub, Data Science Partner компании Napoleon IT, номинант на премию Data Award.

— Как родился этот проект?

Я занимаюсь преподавательской деятельностью уже более 10 лет: создавал и факультативы для одногруппников, и курсы, и образовательные программы. В то же время за моими плечами выстраивание отделов Data Science с нуля в крупных телеком-компаниях. Своими глазами видел, насколько стандартное ИТ-образование отличается от того, что необходимо бизнесу, и как выпускникам вузов тяжело вникнуть в реальные ИТ-процессы после учебы. Поэтому моим основным мотивом пойти в преподавание стало осознание того, что текущая модель ИТ-образования работает совсем не так, как должна. В 2015 году я познакомился с сооснователем компании Napoleon IT Павлом Подкорытовым. Вместе мы сделали совместный курс для студентов бакалавриата по разработке мобильных приложений под Android. Уже позже, в 2021 году, Павел позвал меня в ИТМО — запускать совместную специализацию «Компьютерное зрение» для магистрантов. Именно тогда мы познакомились с первым проректором ИТМО Дарьей Козловой, и она предложила мне сделать «перевернутую» магистратуру.

— Что представляет собой AI Talent Hub?

Это онлайн-магистратура «Инженерия машинного обучения» (с 2023 года – «Искусственный интеллект») по подготовке специалистов по машинному обучению уровня среднего и выше среднего, созданная в партнерстве ИТМО и Napoleon IT. Кроме того, мы формируем сообщество, которое объединяет талантливых студентов, ведущие ИТ-компании, экспертов из индустрии, заинтересованных в развитии в области машинного обучения.

AI Talent Hub решает проблему нехватки ИТ-кадров отраслей цифровой экономики. За два года начинающие ИТ-специалисты могут стать специалистами по искусственному интеллекту мирового уровня, развиваясь благодаря работе на реальных проектах.

— Какие задачи вы ставите перед собой?

У нас амбициозная цель: подготовить к 2025 году более 700 мидл-специалистов в сфере искусственного интеллекта. В 2022 году были набраны первые 109 магистрантов со всей страны. В 2023 году планируется отобрать более 200 кандидатов на магистерскую программу. Сейчас мы стали одной из самых крупных магистерских программ по искусственному интеллекту в России как по числу бюджетных мест, так и по конкурсу на одно место. В 2022 году конкурс составил 4,2 человека на место – на отбор было подано более 430 заявок.

— В чем уникальность программы? Что нового вы можете предложить студентам?

Уникальность онлайн-магистратуры AI Talent Hub в том, что это не очередная образовательная программа по искусственному интеллекту с набором разрозненных дисциплин с упором на лекции и лабораторные работы от теоретиков. Это пример перевернутого образования: за два года студенты проходят все этапы создания сервисов машинного обучения, разбираются с «грязными» данными, неполной документацией и технологическим стеком для решения реальных бизнес-задач партнеров проекта. По итогам обучения каждый из студентов создаст свой MVP и защитит его перед представителями бизнеса и экспертами из индустрии. В учебном плане студенты могут выбрать дисциплины по технологическому предпринимательству и управлению ИИ-продуктами.

Обучение происходит полностью онлайн с применением дистанционных цифровых технологий – Zoom, Discord.

— Как выстроена программа? Кто участвует в ее разработке?

Онлайн-программа по подготовке специалистов в машинном обучении среднего уровня выстраивается с учетом их индивидуального плана развития, поэтому в процессе обучения студенты уже работают в проектных командах ИТ-компаний с экспертами и менторами из индустрии. Помимо обязательного проектного трека в ходе обучения, магистранты могут построить свою траекторию обучения, выбрав дисциплины из более чем 100 различных курсов для развития «мягких» и «жестких» навыков в сфере искусственного интеллекта. Подавляющее большинство курсов реализуется экспертами-практиками из ИТ-компаний и сообщества Open Data Science.

За первый год работы проекта для развития сообщества мы привлекли десятки партнеров из ведущих ИТ-компаний, которые занимаются разработкой и внедрением решений с искусственным интеллектом – МТС, VK, «Яндекс», «Сбер», «Газпромнефть-Цифровые решения», «Татнефть», Napoleon IT, Huawei и другие. Для образовательных программ российских вузов такое количество партнеров на одной программе подготовки является новаторством.

— Кто является вашей целевой аудиторией?

На программу поступают талантливые ИТ-специалисты и инженеры со всей России с разным бэкграундом и опытом, с сильной мотивацией расти профессионально и личностно. Это способствует созданию сильного кадрового резерва отраслей цифровой экономики и популяризации ИТ-профессий. Поступление на программу происходит по конкурсу: наша команда отбирает студентов по их мотивации к обучению, а также по профессиональным знаниям и навыкам – аналогично процедуре ассессмента специалистов начального уровня в ИТ-компаниях.

— Какие технологии и направления охвачены программой?

Применяются практически все актуальные для индустрии на сегодняшний момент стеки технологий работы с данными – в зависимости от образовательного курса или проекта от партнеров, в который вовлечены магистранты. От реляционных СУБД до Apache Spark, Hadoop и ClickHouse. Используются инструменты MLOps: ClearML, MLFlow, DVC. Применяются open source библиотеки на Python, а также PyTorch как основной фреймворк для глубокого обучения.

Коммерческих платформ для работы с данными в рамках учебных треков на текущий момент не используем. Однако мы ищем технологических партнеров – например, изучаем облачные решения «Сбера», «Яндекса» и МТС.

Направления (треки) подготовки на программе: инженер по компьютерному зрению, инженер по обработке естественного языка, инженер по рекомендательным системам, MLOps-инженер, инженер по данным (Data Engineer), руководитель продуктовых команд в Data Science (AI Product Manager), инженер в области Data Driven Biotechnology.

— Какие результаты достигнуты?

Магистранты AI Talent Hub вовлечены в более 50 проектов, которые реализуются по реальным задачам компаний-партнеров, либо по инициативным проектам самих студентов (формат «диплом как стартап»). Один из показательных примеров — проведение для компании «Татнефть» обучающего семинара Big Data Workshop «От идеи к продукту» вместе с Передовой инженерной школой ИТМО и компанией Napoleon IT. В его рамках руководители компании вместе со студентами сгенерировали более 150 гипотез по решению задач нефтегазовой отрасли с помощью искусственного интеллекта, 10% из них взяты в работу.

Не менее важным достижением стало развитие комьюнити. Онлайн-сообщество AI Talent Hub насчитывает более 700 специалистов в Data Science различного уровня (от начального уровня до руководителей компаний), заинтересованных в развитии талантливых ребят в области искусственного интеллекта со всей страны. У него есть телеграм-канал, в котором регулярно проводятся прямые эфиры с экспертами в машинном обучении и искусственном интеллекте. Еще один проект – клуб ML Future, созданный студентами онлайн-магистратуры. Каждую неделю в нем выступают приглашенные спикеры и отвечают на вопросы студентов о машинном обучении, карьере и других аспектах их профессиональной деятельности.

Результатом общения партнеров и заказчиков стала «Школа менторов» – онлайн-площадка для обмена опытом и обсуждения вопросов по развитию талантов в сфере Data Science.

– Как проходит обучение на программе?

Обучение началось с неклассического формата – студенты приняли участие в ITMO.BootCamp. Это десятидневное мероприятие с участием 27 менторов и 13 экспертов из компаний, которое включало в себя также хакатон по созданию продуктов на данных.

Для студентов доступны более чем 100 курсов по машинному обучению и нейронным сетям, программированию на C++, Python, Java, Scala, Kotlin, технологиям компьютерного зрения и обработке естественного языка, разработке рекомендательных систем, сбору и анализу данных, проектированию интеллектуальных систем, проектированию хранилищ данных и работы с технологиями Big Data (Hadoop, Spark), управлению проектами и продуктами в Data Science, методологии и процессам реализации data driven решений, применению машинного обучения в геномике, химии и биотехнологиях.

Создатели курсов – образовательные партнеры программы: Институт прикладных компьютерных наук ИТМО, Передовая инженерная школа ИТМО, другие программы по искусственному интеллекту, Факультет технологического менеджмента и инноваций и Soft Skills ИТМО, а также ведущие ИТ-компании. В разработке программы участвуют эксперты из компаний-партнеров.

— Какими успехами студентов вы уже гордитесь?

На первом хакатоне по разработке продукта на данных ребята показали отличные результаты: создавали продукты и применяли технологии компьютерного зрения, генеративного искусственного интеллекта, машинного обучения в биотехе и геномике. В результате участники создали более 20 стартапов по разным тематикам. В жюри хакатона присутствовали представители от Комитета по развитию туризма, Комитета по молодежной политике и взаимодействию с общественными организациями, городского-туристического информационного бюро Санкт-Петербурга и высоко оценили разработки участников. Магистранты уже сформировали такие стартапы, как Energy.ai – сервис по увеличению рентабельности электростанций, и Deeploid meta – сервис для анализа метагеномных данных.

Кстати, недавняя победа наших магистранток на хакатоне в Казахстане помогла им решиться на развитие своего социально-значимого стартапа SafeGesture – алгоритма распознавания сигнала о помощи по камерам слежения посредством обучения нейросети. Сейчас девушки в поиске на инвесторов для развития идеи.

— В каком направлении будет развиваться проект?

У нас амбициозные планы. К 2024 году планируем, что более 700 талантливых абитуриентов поступят на программы AI Talent Hub на бюджетной или коммерческой основе. Хотим создать более 10 образовательных программ разного уровня: онлайн-магистратуры, дополнительное профессиональное обучение (онлайн-курсы) или микростепени.

По нашим подсчетам, доля выпускников программы, которые работают на позициях, соответствующих уровню мидл или выше по профилю искусственного интеллекта, в том числе в компаниях-лидерах рынка искусственного интеллекта, к 2024 году достигнет 60%. А доля выпускников с нулевым временем адаптации к рабочему месту должна составить 50%.

Все, что мы делаем, направлено на то, чтобы осуществить глобальное изменение в подходе к образованию. Причем не только в России, но и по всему миру.

Время руководителя – наиболее ценный ресурс любой компании. Возможность избавить его от рутинных и трудоемких действий по планированию работы сотрудников способна стать серьезным фактором, влияющим на развитие бизнеса. О создании системы автоматизированного планирования «Планер», выполняющей именно эти задачи, рассказывает Александр Кузнецов, руководитель процессного офиса компании White Box Process Management (WBPM), и номинант на премию Data Award.

- Что представляет собой созданное решение, в чем его суть?

Мы разработали систему автоматизированного планирования «Планер» для вынесения и получения судебных приказов. Продукт функционирует на базе юридической фирмы «Паритет» в отделе судебного производства, занимающегося массовым взысканием, и замещает руководителя в процессе организации работы сотрудников.

Сервис в автоматическом непрерывном режиме определяет задачи и операции, а после классифицирует их по приоритетности. Согласно эталонной модели, «Планер» рассчитывает временные и человеческие ресурсы, требуемые для получения исполнительных документов в поставленный заказчиком срок. Как итог, для руководителя формируется рекомендация в виде планов операций на месяц, неделю и день, в которой прописаны необходимые задачи для оптимальной проработки судебных дел.

- Какие были проблемы? Почему это важно?

Деятельность компании, для которой создавалось решение, – юридической фирмы «Паритет» – сосредоточена на массовом судебном взыскании по всей территории России. Несмотря на установленные гражданско-процессуальным кодексом РФ нормы, судебные участки зачастую не успевают вынести и отправить судебные приказы в определенный законом срок. Причины бывают разными: высокая загруженность, отсутствие средств на отправку, запрос новых документов, утеря заявлений и т.д. В каждом конкретном случае перед юристом встает задача устранить существующую проблему. Этот процесс затруднен не только множеством вариантов развития событий, но и географическим фактором: суды находятся в разных регионах, а значит, и в разных часовых поясах, связаться с ними можно только в их рабочее время.

Когда мы начали сотрудничать с «Паритетом», процесс планирования в отделе осуществлялся в ручном режиме. Данные, хранящиеся в учетной системе, выгружались в Excel, где руководитель устанавливал фильтры по разным параметрам, отслеживал этапы работы, изучал комментарии по каждому делу, направлял обратную связь и прописывал в системе задачи на неделю.

Ввиду стабильно лучших показателей среди конкурентов, компании доверили проработку еще большего объема дел. Увеличение и послужило основным триггером для изменений, потребность в которых неизбежно назрела. Определить задачи с разной приоритетностью и назначить на них исполнителей – несложно, если речь идет о ведении 100 дел. Но когда объем достигает нескольких десятков тысяч одновременно, это не представляется возможным, особенно с сохранением стабильно высокого результата и лидерских позиций.

Готовых решений, помогающих масштабировать компанию с узкой экспертизой без потери эффективности, на рынке найти не удалось. Вследствие этого перед нашей командой встала задача – разработать автоматизированную систему принятия решений для компании со специфичной нишей.

- Какой подход был выбран?

Первоначально мы погрузились в процесс судопроизводства, узнали об особенностях работы судов и судебных участков, изучили важные нюансы. Затем с помощью технологии Process Mining определили действия руководителей в процессе планирования, проанализировали их вариативную логику и описали в нотации BPMN 2.0. В ходе исследования соотнесли данные о каждой операции с теми, что хранятся в CRM. Обнаружив их нехватку, изменили структуру базы данных, внеся нужные атрибуты и сущности. Не обошлось и без нормализации данных, а также создания правил их внесения. Иначе было невозможно «пересобрать» верную последовательность этапов: внушительная часть информации не логировалась в системе, а то, что имелось, было сильно «зашумлено».

Проанализировав имеющийся опыт, мы выявили лучшие практики получения судебных приказов, а также заметрировали все действия и операции, которые выполняют сотрудники, с учетом коэффициента утилитарности. То есть учли реальное рабочее время сотрудников, а не нормативный 8-часовой рабочий день.

На этой базе мы создали эталон процесса и перенесли описанную логику вместе с метриками в сервис.

- Можете поделиться примерами инсайтов, появившихся в результате использования Process Mining?

Их было достаточно, поделюсь самыми запоминающимися.

Мы заметили, что в процессе было немало действий, которые не оказывали никакого позитивного эффекта на результат, но при этом «на всякий случай» выполнялись. С чем это связано? Люди привыкают работать по одному алгоритму действий. Когда меняются обстоятельства, казалось бы, и алгоритм должен видоизменяться, но все же зачастую он остается прежним. Здесь мы имеем дело с уже сложившимся порядком, установленным другими исполнителями. Следование устойчивой последовательности действий оказывается неким «ритуалом».

И еще одно наблюдение. Делегирование задач от руководителей к сотрудникам, несмотря на профессионализм, основывается порой не столько на объективных данных, сколько на личном мнении об экспертности того или иного коллеги. Да, иногда это бывает оправданно, но встречаются примеры, когда подобный подход не лучшим образом влиял на конечный результат.

- Что в ходе проекта было самым сложным?

Хотя и возникали сложности со сбором, очисткой, структурированием данных и процессов, самым сложным было определить причинно-следственные связи и факторы влияния на конечный результат. Почему, например, в одном судебном участке выносят решение быстро и без проблем, а в другом – постоянные задержки? Почему в одном случае коммуникация сотрудников по скрипту дает результат, а в другом нет? Основной вызов был в том, чтобы определить возможные способы влияния заказчика на выявленные факторы, а после учесть их в архитектуре «Планера».

- Какие принципы соблюдались при создании решения?

Ключевой принцип – это погружение в процессы заказчика с выявлением причинно-следственных связей. Взяв для анализа как лучшие, так и худшие сценарии, мы смогли понять, что повлияло на них. Это позволило сократить лишние действия и построить эталон.

И главное – принцип нормализации данных. Во-первых, приведение к целевому состоянию базы данных. Во-вторых, запрет на уровне системы на ввод ненормализованных данных, что исключает любые отклонения в работе «Планера». Без строгости в этом вопросе вся остальная реализация проекта была бы бессмысленна.

- Какие платформы для работы с данными используются?

Используем свою учетную систему и полностью написанный нами сервис. Использование сторонних приложений не требует необходимости.

- На чем именно написана система? Какие платформы использованы?

Сервис написан на технологии .Net 7 на языке C#. Взаимодействие с системой происходит через кроссплатформенное WebAPI (Rest).

В процессе запуска «Планера» набор правил, хранящихся в базе данных сервиса в формате XML, конвертируется в SQL-запросы, а после отправляется в базу данных CRM. На выходе мы видим состояние каждого отдельного дела и операции, которые нужно выполнить. Эта информация снова возвращается в базу данных «Планера» и извлекается руководителем для распределения задач.

- Сколько времени и ресурсов потребовалось на реализацию проекта?

С технической точки зрения проект был довольно простым. Самое сложное – это его аналитическая часть. Первый месяц мы потратили на анализ данных, искали причинно-следственные связи. Следующий месяц одна команда меняла модель данных и переносила их в новую базу данных, вторая же работала над тем, чтобы создать логику «Планера» на основе проведенного анализа. Третий месяц ушел на запуск системы планирования с нормализованными данными. В начале четвертого месяца прошла вторая итерация: анализ полученных результатов, внесение изменений в логику и отладка. И наконец, во время третьей двухнедельной итерации мы доработали мелкие недочеты и вышли на промышленную эксплуатацию.

- Какие результаты достигнуты?

Отчеты показали, что до запуска сервиса в работу на планирование 5 тыс. судебных дел уходило в среднем два-три дня каждую неделю. Сейчас это время удалось сократить до нуля, а руководителю остается лишь распределить запланированные системой задачи.

Сегодня системой обработано уже более 90 тыс. дел и, несмотря на серьезное увеличение объемов каждый год, компания на протяжении пяти лет продолжает сохранять лидерство среди конкурентов. И это во многом благодаря «Планеру».

- Насколько масштабируемым и тиражируемым стал этот опыт?

На текущий момент мы заканчиваем внедрение похожего сервиса, но уже для другого отдела. Аналитиками на основе данных для процесса исполнительного производства прописано 630 сценариев. Это в разы превосходит как по сложности, так и по объему уже завершенный проект со 105 возможными вариациями получения исполнительного документа.

К слову, когда продукт перейдет в стадию сопровождения, команде было бы интересно реализовать подобную систему и в других сферах, так как грамотное и быстрое принятие решений способствует развитию любого бизнеса.

- Пытался ли заказчик оценивать финансовый эффект от реализации проекта?

Да, но в силу NDA мы не можем озвучивать точные цифры. Однако счет идет на десятки тысяч судебных дел и десятки миллионов рублей.

- В чем роль проекта для бизнеса компании?

Можно сказать, что «Планер» сыграл определяющую роль в развитии компании. Сегодня система, согласно прописанным алгоритмам, автоматически рассчитывает, какие ресурсы потребуются для закрытия задачи, сколько на это будет затрачено времени и кому из исполнителей, исходя из статистических данных, лучше доверить ее решение. В дополнение к этому, сервис способен прогнозировать промежуточный результат проработки дел в соответствии с установленным процентом, который должен быть достигнут к концу каждой недели. Это упрощает процессы контроля и управления со стороны руководителя, а также позволяет предупредить форс-мажорные обстоятельства.

Благодаря внедрению системы компания «Паритет» заметно масштабировалась, а также смогла сэкономить на расширении штата и обучении сотрудников. Для руководителей же использование сервиса дало возможность освободить время для решения задач, которым уделялось недостаточно внимания в силу занятости планированием.

- Насколько вообще подобные решения могут быть востребованы рынком?

На наш взгляд, за автоматизированными системами принятия решений не только скорое будущее, но и немалая часть настоящего. Подобные решения позволяют видеть причинно-следственные связи между выполняемыми действиями и полученными результатами. В результате повышается управляемость, гибкость, а самое главное – скорость реакции на существенное изменение обстоятельств. Этим наш сервис отличается, например, от продуктов на базе нейросетей.

Еще одно отличие: для использования машинного обучения в этом проекте просто не хватило бы данных, но для выделения принципов с помощью аналитиков их достаточно. А потому, если процесс высоко вариативен, данных недостаточно, но понятен контекст – наш подход наиболее предпочтителен для автоматизации управленческих решений.

На данный момент большинство банков работают преимущественно на зарубежных решениях. Перейти на российское ПО – задача непростая, но рано или поздно ее придется решать. Минимизировать возникающие проблемы призвано отраслевое решение на платформе «1С», разработанное IAS Digital. Татьяна Мошкина, управляющий партнер IAS Digital и номинант на премию Data Award, рассказывает о предпосылках создания системы и ее первых шагах на рынке.

- Каковы сейчас потребности банков? Какие у них головные боли?

Основной вызов в банках в 2022 году – это импортозамещение и переход на отечественный софт. Не секрет, что до недавнего времени базы данных и программное обеспечение банков были основаны на иностранных платформах, вендоры которых перестали оказывать поддержку российским компаниям в прошлом году. В программы цифровизации в банках начали включать задачи по поиску и внедрению отечественных аналогов банковских решений. Если посмотреть на российскую специфику, то банки ушли далеко вперед относительно других отраслей по части цифровизации: это решения по роботизации бизнес-процессов, технологии Process Mining, технологии умного клиентского сервиса в виде мессенджеров, чат-ботов, диалоговых интерфейсов, цифровых помощников. Клиентоцентричность банковских команд – главный приоритет, это и позволяет им быстро выводить новые продукты на рынок.

Несмотря на падение российской экономики и ВВП, банковский сектор в 2022 году получил прибыль – 203 млрд руб., а объем банковских кредитов корпоративному сектору вырос на 14%. Банковский сегмент растет, при этом ИТ-инструменты должны позволять гибко адаптировать банковские бизнес-процессы к внешнему контексту, когда меняются экономическая ситуация, платежные системы, страны сотрудничества, законодательство. В этих условиях банкам особенно важно реализовывать программы цифровой трансформации учитывая импортозамещение.

- Что собой представляет созданное вами решение?

Это автоматизированная банковская система на платформе «1С». Для банковской отрасли эта платформа не так популярна – в основном банки если и использовали «1С», то для учета административно-хозяйственной деятельности. Мы же автоматизировали основные операции банка, то есть банковский день.

До недавнего времени в банковском сегменте подобное решение отсутствовало, в том числе по причине особенностей производительности систем на платформе «1С». Однако несколько лет назад пазл, наконец, сложился. По мере выпуска отраслевых решений для финансовой отрасли нам удалось консолидировать единое решение для банков. Кроме этого, платформа развивается самим вендором, что позволяет использовать решение как высоконагруженную систему с большим количеством и скоростью обработки операций.

В автоматизированную банковскую систему на платформе «1С» вошли классические банковские блоки: кредитный модуль, модуль депозитов, РКО, ценные бумаги, факторинг, риски, внутрихозяйственный учет, клиентский блок, а также автоматическое формирование банковской отчетности.

- Что подвигло вас на создание системы?

После ухода SAP и Oracle из России и подписания указа, запрещающего использовать зарубежный софт в критической инфраструктуре, многие российские банки и другие компании финансового сектора оказались в невыгодном положении. Перейти на российское ПО быстро и недорого – задача для банков неординарная. По подсчетам аналитиков, 50% ERP-систем в России функционируют именно благодаря решениям SAP. Пока перспектив окончания санкционной войны нет, и альтернатив у финансового сектора не очень много. Банки могут использовать разные российские решения, но комплексных автоматизированных платформ, основанных на «1С», на рынке нет.

На данный момент большинство банковских систем работают преимущественно на импортном программном обеспечении. В частности, СУБД Oracle используют 80% банков, а PostgreSQL – 10%. Поэтому переход на отечественные аналоги для банков будет неизбежен, при этом банки будут сталкиваться с определенным количеством проблем, связанных с другой архитектурой, а следовательно – с иной логикой работы. Условия рыночной конкуренции выдвигают на первый план задачу использования современных отечественных технологий – с прогнозируемой стоимостью, технической поддержкой и наличием большого количества специалистов, способных провести миграцию и заниматься развитием решения.

- Какие задачи решал проект?

Основной целью проекта является повышение эффективности работы банков в условиях импортозамещения иностранного ПО. Использование отечественных технологий в банковском секторе позволит создавать добавочную стоимость – увеличение прибыли за счет сокращения затрат на поддержку и сопровождение. Использование современной архитектуры учетной системы обеспечит повышение прозрачности бизнес-процессов и оперативность предоставления аналитической информации.

Эти преимущества реализуются на фоне уменьшения затрат на интеграцию бизнес-процессов. В единой информационной системе банки могут вести все необходимые виды учета, а также ежедневно закрывать главную книгу и формировать отчетность.

- Какие принципы соблюдались при создании решения?

При его разработке мы руководствовались тем, что решение должно обладать полным функционалом и понятным интерфейсом, но при этом быть дешевле иностранных аналогов. Первый же наш клиент отметил, что персонал быстро адаптировался, а сам банк существенно оптимизировал затраты на поддержку ИТ-системы.

При этом мы понимали, что банковская отрасль регулируется Банком России, и коммерческий банк не может остановить свою деятельность для внедрения нового программного продукта. Даже часы простоя чреваты существенными убытками и потерей клиентов. Мы создавали решение таким образом, чтобы в дальнейшем можно было поэтапно интегрировать различные модули системы «АБС: Учет и управление в банках» в текущий контур автоматизации, не нарушая при этом основную работу банка.

Процесс разработки решения шел по методологии Agile стримами по одной-двум неделям совместно с представителями бизнес-подразделений, включая понедельное планирование всех процессов. Внедрение происходило помодульно. Команда проекта состояла из 1-2 специалистов со стороны банка по определенному функциональному блоку и 4-5 со стороны разработчика в разные этапы разработки и тестирования.

- Сколько времени и ресурсов потребовалось на реализацию проекта?

Мы начали разработку АБС пять лет назад, но не с нуля. У IAS Digital к этому моменту уже был богатый опыт автоматизации деятельности некредитных финансовых организаций – профессиональных участников рынка ценных бумаг, страховых компаний, негосударственных пенсионных фондов. На основе одного из решений, которое выпустили в еще 2017 году совместно с «1С», мы начали разработку автоматизированной банковской платформы. Тогда же у нас появился первый клиент, для которого и была реализована АБС, – «Первоуральскбанк».

- Как насчет имиджевых барьеров? Все-таки в понимании подавляющего большинства специалистов «1С» — это не про банки.

Так было до недавнего времени. Сейчас вообще происходит много необычного. Банки, наверное, – единственная отрасль, которая до прошлого года довольно редко использовала решения «1С».

Банк как субъект критической информационной инфраструктуры не может использовать ИТ-решения, которые могут заблокировать его деятельность даже на короткое время. Поэтому мы вывели АБС на рынок только тогда, когда поняли, что продукт поможет банкам работать без сбоев. Платформа «1С» по части производительности в последнее время сильно выросла и может составить конкуренцию иностранным решениям. Мы видим, что в банках и других финансовых организациях решения на этой платформе уверенно выдерживает нагрузку в миллионы транзакций в день.

- Работа банков неразрывно связана с анализом данных: анализ рисков, клиентская аналитика, подготовка маркетинговых кампаний и т.п. Какими средствами предполагается поддерживать эту работу?

В «1С» есть специализированное решение «1С:Аналитика», которое позволяет реализовать аналитику любой компании в виде дашбордов, графиков, отчетов. Кроме того, есть решение «1С:Маркетинг», которое не специализировано для банков, но зато широко используется на рынке. Основные затраты банка обычно связаны с внедрением, доработкой и сопровождением АБС, а остальные решения всегда можно интегрировать с основной системой. Решения на общей платформе позволяют разработать единый интерфейс, и тогда пользователь будет работать в системе без необходимости переключаться между разными приложениями, то есть с использованием бесшовной интеграции. Сама АБС встраивается в ИТ-инфраструктуру любого банка, текущие интеграции с другими программами всегда можно будет поддержать.

- Какие результаты достигнуты и ожидаются?

Первым клиентом стал «Первоуральскбанк» – небольшой коммерческий банк из города, который находится в Свердловской области на границе Европы и Азии и имеет население в 114 тыс. человек. Банк получил самую современную систему управления предприятием с банковским модулем и возможностью создавать большое количество управленческих отчетов с каскадированием данных. В решении автоматизирован расчет нормативов банка и составления отчетности для Банка России и ИФНС.

Благодаря решению АБС компании малого и среднего бизнеса Свердловской области, которые в основном и являются клиентами банка, продолжают получать услуги факторинга и кредитования, развиваются и стабилизируют кризисную экономику за счет предоставления рабочих мест и выплат налогов в местный бюджет. А с 2022 года все услуги банка доступны онлайн, и чтобы воспользоваться услугами банка, клиентам не обязательно ехать на Урал.

На текущий момент решение внедрено и успешно работает в нескольких региональных банках.

- Насколько это востребовано рынком?

Рабочие встречи с представителями банков в 2022 году показали, что многие банки хотят уйти от банковских автоматизированных систем, основанных на зарубежных разработках и использующих импортные СУБД. Они заинтересованы перейти на российское программное решение, которое бы обеспечило возможность ведения основных операций и одновременно ведение бухгалтерского и управленческого учета, а также удешевило бы стоимость сопровождения и владения банковским ПО. Таким образом, выявлена потребность рынка в комплексной автоматизации бизнес-процессов на базе единого решения, включая учет кредитов, депозитов, факторинговых и лизинговых операций с возможностью гибкого моделирования. Наше решение содержит функционал для управления продажами и банковскими сделками, казначейства и бюджетирования, а также формирования оперативной, управленческой и бухгалтерской отчетности в соответствии с требованиями Банка России.

- Что вы со своей стороны делаете для того, чтобы банки, использующие ваше решение, становились data-driven?

Особенность финансовой отрасли в том, что банки – это институты, в основе которых лежат данные. Наша задача – обеспечить качество, скорость обработки данных. Чем выше производительность нашего решения, тем больше клиентов будет у банка.

- В чем роль проекта для развития рынка?

Кейс внедрения автоматизированной банковской системы на платформе «1С» показал, что она может активно внедряться в рамках импортозамещения в российских банках, помогая экономике справиться с последствиями кризиса, а миллионам людей получать современные банковские услуги. Автоматизированная банковская платформа – сложная разработка, на которую долгие годы на рынке никто не мог замахнуться. Тем не менее мы разработали решение. В итоге банки получают экономию финансовых затрат и независимость от иностранных вендоров.

- А каковы перспективы с финансовой точки зрения?

Вызовы 2022 года помогли нам вывести на рынок продукт, который в перспективе может захватить большую долю рынка. Рыночный сегмент внедрения – 327 банков, емкость рынка – 832,5 млн руб.

В целом же рынок ИТ-решений для российских банков составляет 514 млрд руб., а правительство планирует субсидировать переход банков на российское ПО. Это создает для нас потенциал роста и выхода практически в «голубой океан».

- В каком направлении будет развиваться платформа?

Мы будем работать над тем, чтобы наше решение внедрялось не только в сегменте небольших и средних банков, но и среди крупных банков. Для этого платформа «1С» должна формировать устойчивость при миллиарде транзакций в день, а мы как разработчик решения будем улучшать конфигурацию решения для его стабильной работы.

В банке «Открытие» запущен сервис «Советник», который позволил оптимизировать работу с клиентами из малого и среднего бизнеса и показал серьезные результаты, в том числе рост среднего комиссионного дохода, сокращение оттока, рост лояльности и т.п. Решение построено на нескольких технологиях машинного обучения и направлено как на самих клиентов, так и на сотрудников банка. О реализации этого проекта, его роли в бизнесе и достигнутых бизнес-эффектах рассказал Антон Козлов, вице-президент, директор департамента CRM МСБ банка «Открытие» и номинант на премию Data Award.

- Какова история проекта «Советник»? Что было раньше, какими инструментами поддерживалась работа банка с клиентами из малого и среднего бизнеса?

Этот проект развивается нашей командой уже около пяти лет. Раньше мы, как, наверное, большинство на этом рынке, для работы с клиентами МСБ использовали CRM-кампании в различных каналах, основанные на отдельных моделях (склонности к продукту, прогнозов оттока и т.д.).

- В чем заключались проблемы, почему потребовалось создание этого решения?

Проблемы были достаточно стандартные для бизнеса. Всем важно найти дополнительные источники увеличения доходности клиента и самой клиентской базы, повысить лояльность клиента, снизить нагрузку на линию поддержки и многие другое. При этом в решении таких проблем есть объективные ограничения: коммуникационная политика, то есть частота контактов с клиентами, доступные ресурсы, бюджеты. В какой-то момент стало понятно, что несколько различных целей можно достичь одним способом, объединяющим в себе отдельные решения. Тесты, проведенные еще в начале разработки, полностью подтвердили правильность этого подхода.

- В чем инновационность разработанного решения?

Во-первых, нам потребовался новый подход к решению бизнес-задач и работе банка с клиентами за счет объединения в одно целое различных инструментов Big Data, которые усиливают друг друга за счет согласованной работы. Благодаря модульной структуре можно быстро получать ощутимые эффекты даже в минимальной конфигурации, делать акцент на решении тех бизнес-задач, которые актуальны именно на текущий момент, постепенно развивать структуру сервиса, наращивая его возможности. Наконец, можно отметить разнообразие данных, которые получается успешно монетизировать в рамках созданного сервиса.

- На каких технологиях построено решение?

Основной блок решения – внутреннее ядро, которое обрабатывает данные. Оно использует такие технологии машинного обучения, как градиентный бустинг (Light Gradient Boosting, LGB), сети долгой краткосрочной памяти (Long short-term memory, LSTM), алгоритм «k ближайших соседей» (k Nearest Neighbor, KNN), обработка естественного языка (Natural Language Processing, NLP), а также обучение с подкреплением (Reinforcement Learning). Все реализовано на Python.

- Какими силами и в какие сроки реализовывался проект?

Состав и численность команды за 5 лет развития проекта менялись, и это не только специалисты по работе с данными. Достигнутый результат был бы невозможен без разработчиков, UX/UI-дизайнеров, тестировщиков, специалистов CRM. Ядро команды было достаточно компактным – около 10 человек.

- Что было самым сложным?

Самым сложным было сделать так, чтобы все наработки выстроились в одну логичную концепцию, которая была бы востребована бизнесом и клиентами. Были также трудности с качеством некоторых новых на этом рынке моделей. Например, первая попытка сделать модель, оценивающую лояльность конкретного клиента через прогноз NPS (Net Promoter Score — «индекс потребительской лояльности»), была неудачной. Однако через три года, после появления хорошей модели оттока и дополнительных данных, все получилось. Сложным было также выстраивание архитектуры данных, взаимодействия между всеми системами, включая сервера интернет-банка, баз данных и приложений. Готовых решений, четких технических заданий не было, поэтому, конечно, возникали трудности и ошибки, но целевая концепция была понятна, мы постепенно двигались вперед и со временем нашли все необходимые решения.

- Что собой представляет созданное решение?

Основная идея была достаточно простая: при работе с клиентами МСБ отказаться от отдельных CRM-кампаний на основе моделей и триггеров. Хотели перейти на формирование комплексных рекомендаций, советов, подсказок для конкретного клиента или менеджера с использованием data-driven подхода, учетом максимального количества факторов и взаимосвязей. Постепенно мы пришли к непростому, но надежно работающему механизму сбора и обработки данных, имеющему несколько интерфейсов. В итоге получился сервис, который может подсказать наилучшее решение клиенту или менеджеру по очень широкому кругу вопросов, предупредить или обратить внимание на какие-то риски.

Если описывать устройство сервиса «Советник» упрощенно, то это четыре связанных блока: внутреннее ядро, которое обрабатывает данные, блок рекомендаций для клиента в интернет- и мобильном банке, блок рекомендаций для менеджера (сотрудника банка) в операционном CRM, и блок Reinforcement Learning, работающий на улучшение формы рекомендаций. Блоки состоят из отдельных модулей, каждый из которых отвечает за определенную функцию в работе с данными, например, прогнозирование снижения активности клиента, или прогноз возникновения кассового разрыва в бизнесе клиента. В итоге у нас нет отдельных CRM-кампаний, связанных, например, с продажами или удержанием клиентов, но при этом бизнес-показатели улучшились. Чтобы лучше понять, что такое сервис «Советник», очень рекомендую посмотреть трехминутное видео, где наглядно показаны основные функции.

- На кого в большей степени рассчитано решение: на внутренних пользователей или клиентов? Чья работа с ним даст наибольший эффект?

Сервис «Советник» рассчитан на разных пользователей. В интернет-банке он используется только клиентами, и в основном это микробизнес или низкий по выручке сегмент малого бизнеса. В операционном CRM решение работает только для внутренних пользователей, и в основном при работе с клиентами среднего бизнеса или высоким сегментом малого бизнеса. Так как одна и та же информация полезная для одних пользователей, бесполезна или избыточна для других, есть отличия в наборе предоставляемой информации. Скажем, клиент в интернет-банке не видит некоторые элементы, которые видит менеджер в операционном CRM – например, оценку лояльности по отношению к банку или потенциал по доходу. И, наоборот, менеджер не видит часть того, что видит клиент – например, события, происходящие у контрагентов клиента. Поэтому сложно однозначно сказать, что дает наибольший эффект. Но если говорить об отдельных метриках эффективности, то, возможно, на количество клиентов или обращений в поддержку больше влияет «Советник» для клиента в интернет-банке. А если говорить о влиянии на доходность, то скорее всего это будет «Советник» в операционном CRM для менеджера.

- В чем состоят «фишки» решения? Чем вы больше всего гордитесь?

Сервис «Советник» достаточно сильно поменял подход банка к работе с клиентами МСБ. С помощью данных удалось создать стратегию win-win, когда выигрывают все – и бизнес, и клиенты. Эти результаты – хороший повод для гордости.

Но если говорить о чем-то совсем конкретном, то на мой взгляд, одна из важнейших «фишек», где результаты превзошли ожидания – блок Reinforcement Learning, который запустили в ноябре 2022 года. Даже если не развивать остальные направления, он один может обеспечить почти непрерывный прирост дохода. В реальных условиях, почти сразу после запуска, мы увидели увеличение конверсии предложений продукта на 15% только за счет использования RL-блока. Это достаточно много, учитывая, что это отсчет от «высокой базы», так как конверсию уже максимально подняли другими средствами так, что дальше каждый процент повышения дается с большим трудом. И самым хорошим оказалось то, что это было только начало роста эффективности, который продолжился по мере работы агента в RL-модели, с потенциалом увеличения минимум до 25%.

В этом блоке работают два модуля. Первый с помощью технологий RL стремится достичь максимальной конверсии, балансируя лиды между разными коммуникациями. Второй с помощью технологий NLP, подсказывает, что именно нужно изменить в коммуникациях, чтобы увеличить конверсию. Таким образом, получается замкнутый цикл с постоянным улучшением.

- Каковы бизнес-результаты?

Могу поделиться основными бизнес-результатами по результатам А/В-тестирования. Замеры делались несколько раз в разное время. Отмечен рост 10-12% среднего комиссионного дохода от клиентов, сокращение оттока активных клиентов на 38-43%, снижение количества обращений клиентов в поддержку на 15-20%. При этом рост лояльности составил 8-10%.

- Пытались ли оценивать экономический эффект? Какие деньги приносит (и способен принести) сервис?

На всю клиентскую базу сервис «Советник» масштабировали сравнительно недавно – в декабре 2022 года, а до этого сервис был доступен только для части наших клиентов. Сейчас наблюдаем быстрое увеличение количества как новых, так и постоянных пользователей сервиса. Пока рост проникновения кратно опережает рост клиентской базы. После стабилизации проникновения в клиентскую базу будет возможно точно оценить экономический эффект. Предварительная оценка на основе имеющихся данных – дополнительный доход около 6,5-7 млн руб. в год на каждую тысячу пользователей сервиса.

- Какую роль играет реализация проекта в бизнесе компании? Какие возможности он открывает?

На данный момент сервис существует как готовый функционирующий продукт, встроенный в наши бизнес-процессы. Кроме основных бизнес-эффектов, которые я привел раньше, использование сервиса дает нам дополнительные бонусы. Это сокращение потребности в штате специалистов CRM, снижение критической зависимости от производителей импортного ПО (в нашем случае SAS), повышение эффективности работы клиентских менеджеров. Кроме того, удалось уменьшить стоимость привлечения и обслуживания, снизить информационную нагрузку на клиента и сформировать относительно небольшой, но стабильный источник привлечения новых (и, что важно, качественных!) клиентов.

- В каком направлении будет развиваться проект?

Конечно, мы планируем расширение функционала. Еще несколько модулей могут быть встроены в сервис уже в этом году. Кроме того, ожидаются некоторые улучшения с помощью доработок систем по результатам полученного опыта промышленной эксплуатации.

Планируется также дальнейшее развитие блока Reinforcement Learning, как количественное – добавление новых продуктов, так и качественное – развитие модуля NLP. Пока все это будет касаться только клиентов из малого и среднего бизнеса, потому что именно он является зоной ответственности нашей команды. Однако если говорить о перспективах развития вообще, то область применения такого data-driven подхода, конечно, не ограничивается только взаимодействием банка и клиентов МСБ. Буду рад, если наш пример побудит на создание аналогов в других организациях и сферах деятельности или, как минимум, позволит по-новому взглянуть на работу с данными.

Специализированный депозитарий «Инфинитум» внедрил корпоративное хранилище НСИ на базе решения «Гармония MDM». Реализация проекта помогла консолидировать данные из всех систем, а также обеспечить синхронизацию НСИ между ними, а также управление данными через «одно окно». В результате в компании налажено централизованное управление данными и создан единый «источник правды» для поддержки принятия бизнес-решений. О предпосылках и ходе этого проекта рассказывает Александр Хальмеев, директор по информационным технологиям и цифровой трансформации АО «Специализированный депозитарий «Инфинитум» и номинант на премию Data Award 2023.

— Немного истории. Что привело к реализации проекта? Как исторически была выстроена в компании структура управления и работы с данными? Что не устраивало в сложившейся ситуации?

«Инфинитум» – это универсальная инфраструктурная организация, оказывающая услуги по контролю, учету и хранению активов участников рынка коллективных инвестиций. Наши клиенты – негосударственные пенсионные фонды, управляющие компании паевых инвестиционных фондов, саморегулируемые организации, государственные корпорации, страховые компании и иные институциональные инвесторы. У нас большое количество информационных систем, между которыми разделены бизнес-процессы. Без качественных мастер-данных, синхронизированных со всеми системами, поддержка существующих бизнес-процессов требовала бы большого количества человеческих и временных ресурсов.

Ошибки в данных могли напрямую повлиять на деятельность компании, приводя к штрафам из-за неточной нормативной отчетности и репутационным рискам в глазах клиентов, партнеров и регуляторов. К счастью, мы озаботились решением этих задач заблаговременно, осознав возможности и потребности масштабирования нашего бизнеса.

— Какие проблемы требовалось решить?

Перед нами стояло несколько ключевых задач. Во-первых, было важно консолидировать данные из различных систем, создать единый «источник правды». Во-вторых, требовалось обеспечить клиентские системы качественными мастер-данными и обогатить данные из внешних источников. Кроме того, было необходимо увеличить скорость поиска и обработки информации и улучшить масштабируемость данных. Наконец, организовать упрощенное подключение сторонних систем и снижение суммарных трудозатрат на поддержку качества данных и интеграций.

— Какие платформы были выбраны и почему? Были ли альтернативы?

Более 10 лет наша компания пользуется услугами Navicon – системного интегратора и разработчика корпоративного ПО, чей функционал и качество не уступают зарубежным платформам. У нас была внедрена система Navicon MDM, разработанная ими, и мы сочли наиболее разумным развить это решение, воспользовавшись тем, что команда интегратора была глубоко погружена в специфику нашего бизнеса и ИТ-экосистему.

— Какими силами был реализован проект?

Проект продлился полтора года, и за это время были затрачены около 7 тыс. человеко-часов. Над проектом работала команда, состоявшая из экспертов с нашей стороны и со стороны интегратора – их слаженная работа послужила залогом успешности проекта.

— Что в ходе проекта было самым сложным?

Главная сложность проекта – большое количество информационных систем, специфичных для нашего бизнеса: депозитарная, спецдепозитарная, реестровая деятельность. По итогам проекта удалось настроить бесшовные интеграции между ними. В результате в компании налажено централизованное управление данными и создан единый «источник правды» для поддержки принятия бизнес-решений.

— Как с появлением платформы изменились процессы работы с данными?

Для работы специализированного депозитария критически важно выстраивать все ключевые процессы на основании актуальной и заслуживающей доверия информации. «Гармония MDM» значительно повысила качество данных в нашей компании, сократила трудозатраты на ввод данных и повысила оперативность заведения мастер-данных в информационные системы (решение «Гармония MDM» ранее было известно как Navicon MDM 2.0. - Прим. ред.)

— Какие были достигнуты результаты? Каких качественных и количественных эффектов удалось достичь?

Специализированный депозитарий использует более 20 разнородных программных комплексов, которые должны бесшовно взаимодействовать между собой. Под каждое наше направление деятельности предусмотрена собственная учетная система. Переход на новую версию MDM помог компании консолидировать данные из всех систем, а также обеспечить синхронизацию нормативно-справочной информации между ними и управление данными во всех системах через «одно окно». Это помогает избежать ошибок в данных, а также наладить бесперебойный процесс построения отчетности и взаимодействие с клиентами.

В итоге к хранилищу подключены более 20 информационных систем, более 150 справочников, а также заведено более 380 правил валидации данных.

Кроме того, в ходе проекта налажено получение информации по активам, контрагентам и депонентам, счетам из Национального расчетного депозитария, баз глобальной сети инвестиций GIIN, ЕГРЮЛ и ЕГРИП ФНС, ЕФРСБ, государственного адресного реестра ФИАС и КЛАДР.

— Как это отражается на бизнесе?

Сегодня мы готовы к любым вызовам и масштабированию деятельности. Специализированный депозитарий может оказывать больший спектр услуг при том же количестве сотрудников – наша инфраструктура выдержит нагрузку, позволив нам оказывать услуги на том высоком уровне, который ждут клиенты и требуем от себя мы сами. Это доказал 2022 год, когда у нас было множество задач по молниеносному приему на обслуживание большого количества клиентов с большими объемами данных. Не имея такой системы, мы бы не справились ни со сроками, ни с объемами.

— Почему этот проект важен для компании?

Данные – это основа бизнеса специализированного депозитария. Благодаря реализованному проекту мы обеспечены актуальными, чистыми данными, на основе которых можно масштабировать бизнес практически бесконечно.

Анализ медицинских изображений с помощью искусственного интеллекта постепенно становится мейнстримом. Сервисы, получившие известность на волне борьбы с ковидом, дополнились инструментами для выявления онкологии, а сейчас начинают применяться в экстренной медицине. В прошлом году «Цельс» разработал систему для анализа геморрагических инсультов на основе анализа КТ головного мозга, которая уже начала работу в московских клиниках и проанализировала более 100 тыс. картинок. О реализации этого проекта и его месте среди других разработок компании рассказал Евгений Никитин, начальник департамента ML-разработки компании «Цельс» и номинант на премию Data Award 2023.

— В прошлом году вы участвовали в Data Award и рассказали о своих подходах к работе с данными, выстраивании своеобразного конвейера и создании двух моделей для анализа результатов на ковид и маммографию. Что произошло с тех пор, чем интересным для компании запомнился год?

С точки зрения бизнеса год вышел, как и у многих, непростой. Фактически закрылись внешние рынки, произошел мощный отток сильных специалистов за границу, в экстренном режиме пришлось отказываться от некоторых зарубежных ИТ-сервисов и инструментов.

Несмотря на это, нам удалось удержать свои позиции в Московском эксперименте — четыре наших сервиса («Маммография», «Флюорография», «Рентген легких» и «КТ головного мозга») стабильно занимали первые места в рейтинге решений. А под конец года случилось знаковое для нас и для всей индустрии событие – в России состоялась первая государственная закупка ПО на базе искусственного интеллекта для анализа маммографических исследований за счет тарифов ОМС. Мы уже начали обрабатывать исследования по этому контракту.

В плане работы с данными главным событием года для меня стало создание дата-платформенной команды. Ее главная цель – снижать когнитивную нагрузку на всех ML-специалистов, упрощать процессы анализа данных и обучения моделей. Среди достижений новой команды – автоматизация львиной доли ручных процессов движения данных, создание нескольких собственных сервисов, повышающих скорость и удобство работы с медицинскими данными, а также стандартизация формата хранения разметки.

— Вы рассказывали о своих попытках оптимизировать процесс разметки изображений, отмечая огромное значение человеческого фактора. Что удалось сделать в этом направлении?

Я бы отметил три основных фронта работ. Во-первых, как я уже сказал, была автоматизирована большая часть ручных операций – например, загрузка выбранных исследований на платформу разметки, запуск дата-тестов, загрузка проверенной разметки в базы данных ML-команд. Все это не только позволило снизить время поставки размеченных данных, но и в несколько раз уменьшило количество ошибок и проблем с данными.

Во-вторых, в прошлом году мы отработали кейс с покупкой размеченных данных. Мы гордимся выстроенной системой разметки, но в некоторых случаях покупка готовых данных просто экономически целесообразнее. Пришлось столкнуться с некоторыми подводными камнями – процесс отбора данных «вслепую», множество юридических нюансов – но итоговым результатом мы довольны.

Наконец, в прошедшем году мы много экспериментировали со способами работы с кросс-разметкой. Кросс-разметка – это разметка одного и того же исследования независимо несколькими врачами с целью снижения влияния того самого человеческого фактора. В марте у нас будет на эту тему доклад на конференции OpenTalks.AI, но забегая вперед скажу, что мы достигли хороших результатов, используя новый метод моделирования «стиля» каждого разметчика. По сути, при обучении мы пробрасываем в нейронную сеть информацию о том, какой разметчик делал данную разметку, что позволяет модели выучить особенности работы каждого врача.

— Как вы выбираете направления создаваемых моделей? Это наиболее востребованные или наиболее сложные направления? Или просто те, где удается находить данные?

К процессу выбора новых направлений мы стараемся подходить системно и учитывать множество факторов. Чаще всего на решение влияют несколько их групп.

Во-первых, технические факторы: есть ли в открытом доступе необходимые данные или можно ли их достать и разметить самим, есть ли у нас необходимые компетенции, насколько данный домен требователен по ресурсам, сколько времени понадобится на разработку, какие требования к скорости работы, каких метрик качества необходимо достичь для внедрения ИИ-системы.

Вторая группа – продуктовые и клинические факторы: будет ли востребован данный продукт, каковы потенциальные сценарии его использования, кто ключевые пользователи, сколько исследований данного типа проводится в России, какая смертность от заболевания, снижается ли она при ранней диагностике. Далее следуют бизнес-факторы: есть ли у нас конкретный заказчик или партнер, есть ли конкуренты в России и в мире, можно ли под проект получить грант. Наконец, нужен драйв – нравится ли нам интуитивно идея, заводит ли она нас?

Одновременно у нас в проработке может находиться 5-10 гипотез, какие-то из них умирают на этапе исследования, какие-то – после появления MVP. Ну а самые живучие выходят в промышленную эксплуатацию.

— В чем специфика таких решений как анализ КТ мозга по сравнению, например, с маммографическими и легочными изображениями?

Основной нюанс заключается в том, что КТ – это трехмерные данные. Это ведет к дополнительным сложностям с точки зрения архитектур нейронных сетей, размера данных, требований к «железу» и, конечно, разметки. Разметка одного КТ-исследования обычно дороже и дольше разметки флюорографии примерно в 10 раз.

Помимо этого, у любого направления есть своя доменная специфика. Например, мозг в целом достаточно симметричен, и эту информацию можно использовать при разработке дизайна ML-системы. Есть отличия и в сценариях применения – детекция инсультов чаще всего относится к экстренной медицине, что накладывает дополнительные требования к надежности и скорости работы системы.

— Как проходила работа по созданию системы для анализа геморрагических инсультов?

В общем и целом, процесс создания новых продуктов у нас уже отточен. Были проведены предварительные исследования об актуальности направления, собраны все имеющиеся публичные наборы данных, запущен собственный процесс разметки. Конечно же, мы внимательно изучили все диагностические требования в рамках Московского эксперимента. Первая версия была готова через несколько месяцев – и мы сразу же прошли все необходимые процедуры и начали работу в московских клиниках.

— Каких результатов в итоге удалось добиться?

По результатам последнего калибровочного тестирования в Московском эксперименте, система по выявлению признаков внутричерепного кровоизлияния показала ROC-AUC 0.98, что является почти идеальным результатом. На данный момент наша система проанализировала уже более 100 тыс. КТ головного мозга.

Конечно, есть и куда развиваться – например, пока система не очень корректно рассчитывает объем субарахноидальных кровоизлияний. А еще в этом году мы добавим в систему две новых патологии – ишемические инсульты и новообразования головного мозга.

— Какое количество пользователей mosmed.ai выбрали ваши решения? Какова обратная связь?

По результатам последнего опроса московских врачей-рентгенологов (он проходил в декабре 2022 года) наши системы подключены в 51 организации по КТ мозга, в 15 – по маммографии, в 10 – по рентгену легких и в 19 – по флюорографии. Спасибо организаторам эксперимента – у нас и наших коллег есть большое количество различных источников обратной связи: телеграм-чат с врачами, ежемесячная процедура клинической оценки, очные встречи с врачами.

С каждым годом готовность врачей пробовать системы искусственного интеллекта в своей практике растет. Да, системы до сих пор не идеальны, но рентгенологи уже сейчас находят способы применять такие инструменты с пользой. Например, некоторые врачи используют нашу систему по маммографии для того, чтобы не пропускать плохо различимые группы кальцинатов.

— В чем заключается ваша бизнес-модель?

Рынок искусственного интеллекта в радиологии до сих пор находится на стадии формирования. Мы и наши конкуренты каждый год пробуем разные подходы к монетизации наших сервисов. На данный момент можно выделить три самых актуальных сценария. Во-первых, это может быть оплата по ОМС. В этом случае ИИ-система выступает в качестве «второго мнения» или системы помощи принятия решений, а оплата ее «услуг» заложена в тариф ОМС.

Во-вторых, ИИ-система может находить исследования, где с очень высокой степенью уверенности (более 99,9%) нет патологии. Для таких исследований автоматически формируется заключение, которое врачу достаточно просто утвердить. За каждый такой отчет взимается определенная плата.

Наконец, возможен ретроспективный анализ больших массивов исследований. Например, за время пандемии было сделано огромное количество КТ-исследований области грудной клетки. ИИ-системы могут за относительно небольшие средства проанализировать все эти исследования на предмет других заболеваний – например, онкологических.

Основную долю выручки нам до сих пор приносит Московский эксперимент, но ситуация, скорее всего, кардинально изменится в 2023 году.

— Вы не одни на рынке, анализ медицинских изображений стал довольно популярным направлением исследований. Какова конкурентная среда? В чем вы видите свои сильные стороны?

Действительно, количество компаний на этом рынке немаленькое, хотя и есть ощущение, что пузырь скоро немного сдуется, и на рынке останутся только явные лидеры и перспективные новички. Наше главное преимущество, как бы банально это ни звучало – качество работы наших систем. Это подтверждается результатами в Московском эксперименте и отзывами врачей в других регионах. Мы смогли достичь этого за счет больших временных, денежных и интеллектуальных вложений в ML-команду, команду разработки и разметку данных.

Второе важное преимущество – отлаженный процесс тестирования гипотез и запуска новых направлений. Если мы запускаем новый продукт – значит мы знаем, что он будет успешным. Большую роль в этом играют отлаженные механизма сбора и приоритизации обратной связи от пользователей. Это позволяет нам максимально быстро вносить в продукт те изменения, которые делают его максимально полезным для врачей и медицинских организаций. Это касается не только качества работы моделей и их ошибок, но, например, и формулировок в текстовых отчетах.

— Вы рассказывали о выходе на региональные рынки и даже о планах работы в ближнем зарубежье. Получается?

Расширение регионального присутствия началось в прошлом году и остается одной из главных целей. На текущий момент различные решения «Цельса» используются более чем в 30 регионах России. Это включает в себя как уже внедренные решения, так и пилотные проекты.

С зарубежными рынками ситуация по понятным причинам усложнилась, но наша коммерческая служба ведет работу по подготовке к внедрению в ряде стран: ОАЭ, Египет, Марокко.

— В каком направлении планируете продолжать работу?

Главная коммерческая цель на год – расширение географии присутствия наших решений и заключение нескольких крупных сделок по внедрению в регионах. Компания растет, есть много новых идей (в том числе вне области радиологии), а на их реализацию нужны деньги.

Будем продолжать движение к комплексности наших сервисов. Система по КТ ОГК уже детектирует 8 патологий, решение по маммографии умеет оценивать не только вероятность риска онкологии, но и качество работы лаборанта, а модель по КТ мозга в ближайшее время сможет находить три вида патологий.

Главная техническая цель – как и всегда, совершенствование наших систем. Да, достижение стопроцентного качества и уровня готовности для таких систем – задача практически невыполнимая. Но каждый следующий процент точности делает нас все ближе к будущему, в котором работу врача невозможно представить без ИИ-помощника.

В Газпромбанке запущена система мониторинга качества данных, созданная на инструментах open source. Выбор подхода «сделай сам» обеспечил независимость от поставщика и полное соответствие продукта потребностям банка. Более того, удачный опыт импортозамещения в этом и ряде других проектов стал поводом для формирования отдельной программы, в рамках которой планируется замещение всех критически важных элементов ландшафта. О реализации проекта рассказал Алексей Бондаренко, начальник службы управления корпоративными данными Газпромбанка и номинант на премию Data Award 2023.

- Каковы основные этапы становления в Газпромбанке функции управления данными?

Функция управления данными активно начала развиваться с начала 2020 года. Важнейшей задачей на первом этапе стало определение целей, организационной структуры и основных подходов к управлению данными. Для нашей команды создание системы управления данными стало greenfield проектом: необходимо было «с нуля» создавать организационную структуру Офиса CDO, нормативную базу, процессы, нанимать и обучать персонал, определять цели и приоритетные направления работ совместно с бизнесом и ИТ. В течение первого полугодия мы полностью сформировали комплекс базовых процессов, регламентов и ролевую модель для реализации федеративной системы управления данными, а также собрали костяк Офиса CDO. Очень важным фактором успеха стало вовлечение высшего руководства банка в нашу работу: нам удалось не только привлечь внимание к проблемам управления данными, но и сформировать комитет по управлению данными, в который вошло несколько зампредов «Газпромбанка». Благодаря этому мы смогли обеспечить четкое целеполагание, оперативную обратную связь и вовлечь в работы по управлению данными широкий круг заинтересованных подразделений.

- Когда и почему потребовалась перестройка созданного ландшафта?

Следующим вызовом стало отсутствие необходимого для выполнения задач инструментария. Не умаляя важность таких артефактов, как глоссарий данных или корпоративная модель данных, все же должен заметить, что наиболее критически важным аспектом является работа по обеспечению пользователей качественными данными. Для реализации этой задачи ключевыми направлениями работ у нас стали управление качеством данных, управление метаданными и управление НСИ. И если в части управления метаданными и НСИ у нас уже были продукты от IBM и ЛАНИТ, пригодные к использованию, то в части управления качеством данных у нас не было ничего.

- Почему выбран именно подход «сделай сам» и стек решений open source?

Мы оказались перед сложным выбором. Вся практика рынка очевидно толкала нас на наиболее простой и понятный путь – приобретение готового решения Informatica, Oracle или IBM. Плюсы такого выбора очевидны: не нужно тратить силы на проведение исследовательской работы, вероятность провала стремится к нулю, а решения действительно хорошо зарекомендовали себя на рынке.

Однако есть, пусть и не столь очевидные, но весомые минусы: постоянные расходы на лицензии и поддержку, зависимость от поставщика, необходимость подстраивать процессы под продукт. В середине 2020 года никто, конечно, не ожидал реализации такого жесткого санкционного сценария в 2022 году, но все же было понимание того, что усугублять свою технологическую зависимость от западных поставщиков нецелесообразно. Поэтому мы приняли рискованное, но, как показала практика, абсолютно верное решение – разрабатывать продукт для управления качеством данных самостоятельно. Честно скажу, не все сразу поверили в успех этого предприятия, поэтому пилотный проект пришлось реализовывать в условиях жестких финансовых и ресурсных ограничений.

Тем не менее, мы справились. За полгода был реализован пилот в периметре одной из бизнес-линий – система мониторинга качества данных, обрабатываемых в Hadoop. Нам удалось создать весь необходимый базовый функционал продукта, продемонстрировать руководству его работу. Так наш проект получил «зеленый свет».

- Какими силами проводились работы, сколько времени они заняли?

После успешного завершения пилота было принято решение о запуске проекта по созданию АС МКАД (Мониторинг качества данных), который был начат в мае 2021 года. В проекте участвовали пять человек со стороны Офиса CDO и столько же со стороны нашего подрядчика, а также частично наши коллеги из ИТ и ИБ. Общая продолжительность проекта, включая формирование команды, оформление всех необходимых документов, разработку, тестирование и ввод в промышленную эксплуатацию продукта, составила 18 месяцев.

- Что было сделано в рамках проекта по управлению качеством данных?

В ходе проекта нами была внедрена система мониторинга качества всех основных данных банка: клиентов, сделок, счетов, проводок и так далее. В грубом приближении можно выделить три категории таких проверок.

Во-первых, это форматно-логические контроли, которые проверяют корректность заполнения отдельных атрибутов, либо группы связанных атрибутов, по их наличию, актуальности, типу данных, формату заполнения, соответствию принципам разумности и т.п. Такие проверки позволяют выявить ошибки в данных, обусловленные различными факторами (например, ошибками ввода или автоматизированной обработки данных) и оперативно на них отреагировать.

Во-вторых, это статистические проверки, которые отслеживают отклонение от доверительных интервалов количественных показателей качества данных – количество открытых или закрытых счетов за анализируемый период, количество выданных карт, суммарные лимиты портфелей и т.п. Такие проверки отлично выявляют проблемы на тракте данных. Выход того или иного показателя за пределы доверительного интервала может говорить, например, о сбое в загрузке данных из какого-то источника или о возникновении массовой ошибки. Получая сигнал о нетипичной динамике показателей, мы можем оперативно провести анализ и выяснить, является ли отклонение следствием сбоя (скажем, задублированная загрузка клиентов) или какого-то объективного изменения (например, резкий рост числа новых клиентов в результате успешной рекламной компании).

Кроме того, существуют комплексные проверки. К ним относятся сложные проверки, агрегирующие большое число данных: например, балансовые сверки, сверки объемов выдач, проверка наличия связей счет-сделка-клиент и т.п. Эти проверки необходимы для корректного формирования отчетности и принятия управленческих решений.

АС МКАД позволяет реализовать полный цикл управления всеми тремя категориями проверок: их создание, запуск и эксплуатацию, исполнение, редактирование и вывод из эксплуатации в архив. При этом простые проверки могут создаваться как путем написания кода, так и с использованием конструктора в пользовательском интерфейсе.

Также система рассчитывает метрики и индикаторы качества данных, необходимые для анализа качества данных и оценки эффективности мер по его повышению. Кроме того, она обеспечивает оперативное реагирование на выявленные проблемы в автоматизированном режиме. Если в ранних версиях дата-стюардам приходилось осуществлять постоянный мониторинг дашбордов, то сейчас в случае выявления проблем с качеством данных система автоматически формирует и направляет уведомления ответственным дата-стюардам, а также регистрирует инцидент качества данных в Jira.

Таким образом, нам удалось создать собственную платформу мониторинга качества данных, основанную на технологиях PostgreSQL, Python, nginx, Apache Airflow, Grafana.

Внедрение системы позволило решить одновременно несколько исключительно важных задач. Мы полностью устранили зависимость от иностранного ПО в части мониторинга и реагирования на инциденты качества данных. Нам удалось снизить время реакции на инциденты качества данных и повысить надежность процесса управления качеством данных, при этом существенно расширив периметр контролируемых данных. Наконец, мы значительно уменьшили трудоемкость и продолжительность внедрения проверок качества данных и радикально сократили затраты дата-стюардов на мониторинг качества данных.

- С какими проблемами пришлось столкнуться? Что было самым сложным?

Как и в любом проекте по внедрению «с нуля» нового решения, нам пришлось столкнуться как с организационными, так и с техническими проблемами. Организационные проблемы рассматривать не будем, так как они специфичны для каждой отдельно взятой компании. Что же касается технических проблем, то главным образом нам пришлось решать проблемы совместимости различных компонентов системы. Также существенные усилия потребовались для выполнения требований информационной безопасности и отказоустойчивости, особенно в части открытых платформ nginx и PostgreSQL. Однако, как человек, обладающий большим опытом внедрения коробочного ПО, скажу: результат стоил этих усилий. Лучше помучиться при разработке и получить именно то решение, которое тебе надо, чем пройти внедрение гладко и жить с половиной необходимого функционала.

- Что собой представляет созданное рабочее место дата-стюарда?

Рабочее место дата-стюарда – это основной рабочий интерфейс системы, позволяющий осуществлять управление жизненным циклом проверок качества данных, изучать отчеты о результатах исполнения проверок, просматривать дашборды, на которые выводятся результаты исполнения проверок, рассчитанные метрики и индикаторы качества данных, а также осуществлять drill-down до конкретных объектов и ошибок в данных. Таким образом, рабочее место дата-стюарда позволяет решать все задачи по мониторингу качества данных, а также ряд задач по анализу выявленных проблем и созданию простых проверок качества данных.

- Кто является пользователем конструктора проверок качества данных? Насколько важно использование режима no-code?

В настоящее время пользователями конструктора проверок являются сотрудники Офиса CDO, но мы планируем тиражирование функционала на бизнес-пользователей для реализации концепции self-service Data Quality (DQ). Это будет сделано после выполнения технических мер по ограничению допустимой нагрузки и дополнительных мер защиты от некорректных действий пользователей.

Для нас использование no-code не является принципиальным. Любая проверка может быть создана в системе написанием кода вместо использования конструктора.

Смысл внедрения конструктора в том, что он позволяет существенно снизить «порог вхождения» для специалистов. Теперь совершенно необязательно уметь программировать на SQL, чтобы создать проверку качества данных. Это расширяет круг потенциальных пользователей и позволяет привлекать к созданию проверок аналитиков и методологов, не имеющих навыков программирования. Кроме того, за счет этого удается практически исключить риски создания некорректных запросов, способных «повесить» базу данных. Поскольку конструктор сам генерирует код по заданным правилам, мы гарантированно не получим в запросе более сотни джойнов. Именно два этих фактора позволяют нам говорить о тиражировании функционала для бизнеса.

Вместе с тем, всегда остается часть очень сложных проверок, создание которых возможно исключительно путем написания кода.

- Как измеряется качество данных? Каких успехов в области качества удалось достичь?

Вопрос измерения качества данных – а особенно динамики изменения качества данных – был одним из важных методологических вопросов, который поставило перед нами руководство. Нами была разработана универсальная методика измерения качества данных, которая позволяет измерить как в момент времени, так и в динамике качество данных по отдельным атрибутам в разрезе характеристик качества данных (полноты, актуальности, точности, разумности и т.д.). Также методика, реализованная в системе, позволяет проводить интегральные измерения качества данных – например, измерение качества данных в разрезе предметных областей, бизнес-линий и т.д. Для каждого такого интегрального показателя мы устанавливаем целевые значения и отслеживаем динамику его изменения.

Проводимые нами измерения показывают существенный рост качества данных по приоритетным направлениям в течение последнего года. Не вдаваясь в детали бизнеса, могу сказать, что за последний год нами было исправлено более 7 млн объектов (клиентов, сделок, проводок и т.д.). Это примерно на 70% выше показателей предыдущего года. По ряду предметных областей, например, в части клиентских данных, нам удалось добиться кратного снижения количества ошибок в данных. И хотя непосредственно исправление данных не выполняется в системе МКАД, она играет ключевую роль в выявлении и анализе исправляемых впоследствии ошибок.

- Каких бизнес-результатов удалось достичь?

Своевременное выявление и устранение инцидентов качества данных позволяет избежать прерывания обслуживания клиентов, принятия некорректных управленческих решений и получения штрафов от регуляторов, вызванных ошибками в отчетности. Совокупный экономический эффект только от снижения рисков штрафов, вызванных проблемами с качеством данных, в 2022 году оценен нами более чем в 800 млн руб.

- Что оказывает большее негативное влияние на бизнес: штрафы регулятора или некорректные управленческие решения? То есть где потенциально кроется наибольший эффект от качества данных?

Это довольно сложный вопрос, поскольку, в отличие от штрафов регулятора, достоверно оценить в деньгах последствия некорректных управленческих решений не представляется возможным. Благодаря нашей системе мы в любой момент времени знаем, какой потенциальный максимальный размер штрафов мы можем получить от того или иного регулирующего органа за нарушения качества данных в предоставляемой отчетности. Эти штрафы описаны в законодательстве, и мы маркируем выявленные проблемы соответствующим образом. Это позволяет нам всегда иметь актуальный расчет возможных потерь с учетом вероятности их получения, а не только накопленную информацию о фактически уплаченных штрафах. Данное знание позволяет нам аргументировать целесообразность выполнения работ и, соответственно, затрат, направленных на устранение выявленных проблем. Например, мы можем сказать, что необходимо затратить на доработку процесса 10 млн, что снизит размер возможного штрафа на 100 млн. Имея на руках конкретные цифры, всегда проще договориться с бизнесом, чем просто апеллируя к чувству прекрасного.

На мой субъективный взгляд, последствия некорректных управленческих решений, вызванных некачественными данными, могут быть гораздо более разрушительными, чем штрафы, но, к сожалению, пока мы не научились их правильно оцифровывать. Как правило, такие последствия наступают не сразу, и далеко не всегда можно однозначно понять, что именно их вызвало. История дает нам множество примеров, когда некорректная информация, используемая для принятия решений, приводила не просто к убыткам, а к краху корпораций и крушению империй. В политике, промышленности или медицине ошибки в исходных данных могут убивать. В случае банков, к счастью, страдают только организации, а не люди.

- Какие смежные направления охватил проект? Что вообще планируется импортозамещать?

Успешное решение задачи импортозамещения в нашем проекте и ряде других проектов банка открыло для нас потрясающее окно возможностей. Сформирована отдельная программа, в рамках которой планируется импортозамещение всех критически важных элементов ландшафта. Естественно, управление данными, как одна из ключевых функций, не осталось в стороне. В ближайшее время мы планируем провести работы по реализации на технологиях Open Stack и российском ПО каталога данных, Data Firewall, системы применения моделей и еще целого ряда решений, касающихся Data Governance. Не хочу сейчас раскрывать все наши планы, но в ближайшие 2-3 года мы рассчитываем добиться по-настоящему впечатляющих результатов в этой области. Соответствующие решения уже приняты на самом высоком уровне, и я уверен, что мы сможем с гордостью представить результаты нашей работы.

- В каком направлении будет развиваться проект?

АС МКАД будет развиваться как экстенсивно – увеличивая периметр контролируемых данных, так и интенсивно – путем наращивания функционала, повышения скорости реакции и дальнейшей автоматизации рутинных операций. В настоящее время мы выработали концепцию под условным названием МКАД++, которая должна превратить нашу систему мониторинга в платформу управления качеством данных. Мы планируем создание единого DQ API, которое позволит проверять корректность данных на этапе их создания, а также расширить возможности контроля качества данных на всех этапах их обработки, интегрировав проверки в ETL-процессы. Далее на основе МКАД появится система self-service DQ, которая даст возможность бизнес-пользователям самостоятельно создавать и запускать необходимые проверки качества данных. Такое решение очень востребовано со стороны аналитических подразделений и дата-сайентистов.

Также мы планируем провести НИОКР в части нашего конструктора проверок на предмет автоматического создания проверок для разных баз данных без участия оператора. Но это пока выглядит, как что-то из области научной фантастики, поэтому расскажем подробности, когда решение заработает.

Весной 2022 года торгово-производственный холдинг «Русклимат» запустил проект по модернизации и централизации управления данными о продуктах, которые он выпускает и продает. Этот шаг был призван значительно повысить качество контента и мастер-данных, которые размещаются на всех внешних торговых площадках. Кроме задач представления информации вовне, проект был направлен и на структуризацию внутренних процессов в области управления данными.

Ожидается, что наведение порядка в данных, предоставляемых внешним потребителям, не только повысит продажи, но и будет способствовать развитию рынка климатического оборудования. О реализации проекта, его проблемах и достигнутых результатах рассказал Игорь Татаренко, директор департамента «Мастер-дата» ТПХ «Русклимат» и номинант на премию Data Award 2023.

- Почему был начат проект? Какие для этого были предпосылки, какие проблемы требовалось решить?

Необходимость назрела давно, когда стало понятно, что информация о продуктах и товарных категориях на маркетплейсах и онлайн-витринах не отвечает современным потребностям продавцов и покупателей, а неточности, ошибки и разночтения приводят к дезинформации. Очевидно, что главная цель проекта — это увеличение объема продаж и вклад в общее развитие рынка климатической техники в нашей стране в целом, в частности, через онлайн-продажи.

Мы начали с анализа всех внутренних процессов, источников информации, потребителей контента и мастер-данных, качества и достоверности описаний и характеристик. Внутри холдинга началось обновление информационной системы, так как для предоставления полных и корректных данных о продукте вовне необходимо детально проверить все во внутренней системе.

- Как наведение порядка в данных способно помочь продвижению оборудования на рынке и росту продаж?

Современная торговля и требования клиентов неминуемо связаны с увеличением данных о товарах. Чем больше информации о продукте, тем выше вероятность, что о нем узнают клиенты, и это, конечно, положительно скажется на продажах.

Очевидно, что для выпуска на рынок продукта и продажи его через разнообразные каналы, вам самим нужно иметь информацию о нем в полном объеме и сделать ее доступной для всех внутренних подразделений, причем задолго до старта продаж. Если у отдела продаж нет всех необходимых данных о товаре или их получение требует значительных ресурсов, это негативно сказывается на продажах.

Сейчас расширенная и точная информация о товаре – это то, без чего невозможно представить продажи в федеральных торговых сетях и на онлайн-площадках. Последние находятся в стадии активного роста, и являются новым направлением для всех производителей.

- Какие работы были проведены в рамках проекта?

Я уже упомянул про первый шаг – обновление собственной информационной системы ТПХ «Русклимат». Все учетно-логистические данные товаров были полностью централизованы, проверены, приведены к единой схеме и защищены от несанкционированных изменений. Любые добавления или удаления возможны только специалистами департамента «Мастер-дата».

С информацией о продуктах процесс оказался более сложным и трудозатратным и начался с обновления набора технических характеристик товарных категорий. Были созданы универсальные информационные модели, которые учитывали все параметры приборов, тренды, технологии и современные функции, пожелания различных подразделений холдинга и требования абсолютно всех ключевых клиентов, федеральных сетей, маркетплейсов и онлайн-витрин. В итоге, по каждой товарной категории получился максимально полный набор характеристик, готовый для заведения товара на любую торговую площадку.

С изображениями товаров, документами и видео произошли аналогичные изменения. Мы перешли на формат фото, который устраивал абсолютно всех клиентов, изображений стало много, появились гайдлайны категорий, все нужные клиентам документы – сертификаты, инструкции и т.д.

Уже в конце весны мы вышли на внешние площадки и напрямую, с их отделами контента и мастер-данных, начали поэтапную работу по улучшению контента.

Процесс состоял из трех основных этапов. Первым из них стала подготовка рекомендаций по обновлению информационных моделей, фильтров, категорий, где ТПХ «Русклимат» делился своим огромным опытом в актуальных и ценообразующих в характеристиках в области климатической техники. Далее следовала сверка мастер-данных и синхронизация ассортимента площадки с нашей информационной системой, исправление данных, удаление дублей и т.д. Наконец, была проведена полная перезаливка всего контента, группировка товаров между собой и многое другое.

- Когда и какими силами реализовывался проект?

Основная нагрузка легла на сотрудников нашего департамента, хотя, конечно, не обошлось без активного участия ИТ и менеджеров по продуктам.

- Что оказалось самым сложным?

Любые изменения всегда сложны, а когда вы меняете не только процессы, но и сам подход к данным, конечно, это вызывает множество разных вопросов. Кроме этого, важным фактором оказывается готовность ИТ-инфраструктуры. Иногда даже простой вопрос и несложная доработка, тянет за собой множество различных изменений, интеграций и т.д. Бывает и так, что даже очевидные изменения могут негативно отразиться на работе совершенно других систем.

- Работа по переработке информации была масштабной. Она проводилась вручную или использовались какие-либо средства автоматизации?

В основном, это ручная проработка. Зачастую оказывается проще, быстрее и эффективнее собрать и залить данные заново, чем анализировать расхождения с текущей информацией. В частности, когда работа ведется с пакетами данных сразу по нескольким товарам. Например, карточки тепловентиляторов одной модели, но разных цветов, которые должны отличаться только цветом, наименованием и штрих-кодом, проверять поодиночке бессмысленно.

- Насколько были заинтересованы в этом проекте «внешние силы» – маркетплейсы, онлайн-площадки и т.п.? Они были готовы помогать или скорее мешали? И вообще, как выстраивались отношения с ними в рамках проекта?

Это больная тема. К сожалению, в мировоззрении и политике марктеплейсов нет производителя как ответственного за качество информации. Часто за информацию отвечает продавец, который завел карточку, но не имеет к товару прямого отношения и ничего про него не знает. В идеале производитель должен сам заводить на площадке всю матрицу своих продуктов, следить за достоверностью и широтой информации о них. Мы стали первопроходцем в этом направлении и с каждой из ключевых площадок начали индивидуальную работу.

Сегодня мы работаем напрямую с отделами контента торговых площадок, вносим много инициатив, предоставляем все данные, находим новые направления развития. Конечно, все это проходит сложно и медленно. Но у нас уже есть хорошие результаты, и главное – маркетплейсы сами видят рост продаж за счет наведения порядка и улучшения качества данных и контента.

- Каких результатов удалось достичь?

Наш опыт успешного взаимодействия с Ozon уже приносит первые результаты. Пилотными товарными категориями совместного проекта стали кондиционеры и водонагреватели. По данным Ozon за девять месяцев 2022 года эти категории товаров показали рост штучных продаж к аналогичному периоду предыдущего года в 3 раза и в 2,7 раза соответственно. В целом продажи климатической техники на маркетплейсе выросли на 71%. Считаем это хорошим показателем.

- А какие эффекты ожидаются в дальнейшем, на что еще рассчитываете?

Первый год был стартовым, и очень много времени ушло на налаживание связей, понимания, кто как работает и какие данные нужны. Сейчас процесс взаимодействия отработан, и мы будем расширять товарные категории. По нашей просьбе на ряде площадок появится личный кабинет производителя, и мы сможем самостоятельно вносить новые данные и изменения в информацию о своих продуктах.

- Планируется ли дальнейшее развитие проекта, а если да, то в каком направлении?

Важно автоматизировать процессы работы, внедрять новые сервисы по управлению ассортиментом брендов и многое другое.

Одна из наших целей – донести до маркетплейсов, что ТПХ «Русклимат» не единственный производитель и аналогичная работа необходима в отношении всех товарных категорий продуктов из разных отраслей. Это положительно изменит сами торговые площадки, даст больше возможностей и им, и производителям, и продавцам, и, конечно, покупателям.

- Какова роль этого проекта в развитии рынка в целом?

К сожалению, климатическая техника не очень хорошо развита в России. У потребителя часто нет даже базовой информации о том, как повысить комфорт у себя дома, какие бывают приборы и их функции. Если о существовании масляных радиаторов, водонагревателей и иногда даже кондиционеров знают все, то про приточную вентиляцию или систему умного дома – как правило, нет.

Одна из наших главных целей – это развитие отрасли климатической техники в целом. Мы хотим донести до потребителей, что она давно изменилась. Появилось множество новых приборов, все управляется дистанционно и обладает множеством различных современных и очень удобных функций по доступной цене. Кондиционер, приточная вентиляция, водонагреватель в каждом доме – не какое-то чудо, а такие же привычные приборы, как холодильник, стиральная машина и плита.

«Уралхим» движется к статусу data-driven компании, где информация, точные прогнозы и цифровые двойники (не только клиентов и продукции, но и производственных процессов и активов) делают компанию устойчивой к внешним изменениям и повышают эффективность. Созданная с этой целью платформа данных и глубокой аналитики обеспечивает доступность финансовых и производственных показателей, а также данных по продажам и персоналу руководителям подразделений и сотрудникам смежных служб. Сейчас вся информация – от ежесуточного производства до исполнения ключевых показателей – скомпонована в одном месте.

Важно отметить, что часть показателей удается отслеживать в режиме реального времени: например, производство продукции, прослеживаемость ТМЦ, возмещение НДС, остатки товаров на складах, движение денежных средств. Использование платформы данных позволяет также выявлять недостатки в процессах, обеспечивает возможность сравнения своих показателей не только с показателями других площадок, но и с удельными показателями конкурентов, а также повышает операционную эффективность.

Еще одним важным направлением работ стала организованная в компании «Школа аналитика данных». Эта просветительская инициатива стала частью стратегии цифровизации «Уралхима» как в части повышения культуры работы с данными, так и знакомства с современными инструментами работы с данными через сервисы самообслуживания Платформы данных.

О реализации этих проектов и их первых результатах рассказал Дмитрий Шведов, руководитель департамента корпоративных данных «УралАйТех» и номинант на премию Data Award 2023.

— Вы участвовали в Data Award 2022 с «Платформой данных и глубокой аналитики». Что было сделано за прошедший год?

Платформу данных и глубокой аналитики мы запустили в декабре 2021 года. За этот год мы в явном виде получили «сухие» цифры по экономии, которую нам дает наша платформа. Например, за счет направления качества данных мы сократили время на разработку прогнозных моделей до 30% – разработчики теперь не занимаются первичной проверкой данных, а сразу приступают к созданию цифровых дата-сервисов. За счет запуска продуктовых команд мы сократили среднее время на вывод дата-сервиса в промышленную эксплуатацию до 70%. А «переиспользование» данных позволило сократить время их получения до 80%. Есть и ряд других эффектов, в совокупности это дает эффективность создания цифровых дата-сервисов.

— Что стало главным достижением? Чем можно гордиться?

За этот год с помощью self-сервисов Платформы данных, мы обучили сотрудников работе с данными через эти инструменты для решения их повседневных рабочих задач. Кроме того, был запущен Центр компетенции по развитию сервисов принятия решений. В его задачи входит контроль выполнения бэклога в продуктовых командах, он определяет вектор их стратегического развития для достижения максимальной эффективности.

— А к чему еще можно стремиться?

Уже сейчас мы понимаем, что Платформа данных – это базис, который поможет создавать все новые дата-сервисы для бизнеса. Для дальнейшего сокращения времени их разработки в следующем году мы сосредоточимся на построении сервисов «маркета данных» для сокращения time to market. Мы надеемся, что это станет отправной точкой использования данных как актива компании и даст новые точки роста. Также мы сосредоточимся на создании технологических центров экспертизы для ИТ-специалистов, где требуются уже более продвинутые инструменты работы с данными.

— Что на данный момент стало самым сложным в построении платформы?

С одной стороны, сложности были технологические – например, сделать «бесшовную» связь между компонентами Платформы, расположенными внутри контура компании «Уралхим», и сервисами облачного провайдера. С другой стороны, формирование тесной связи между бизнесом и сервисами Платформы данных – чисто организационная задача. На сегодняшний день могу с уверенностью сказать, что у нас это получилось сделать! Сервисами пользуются более 1,4 тыс. сотрудников компании, и эта цифра постоянно растет.

— Какие еще бизнес-результаты, помимо уже упомянутых, достигнуты с помощью созданной платформы?

Важный эффект дало применение в ряде задач сервисов облачного провайдера. Использование облачных сервисов для хранения, обработки и подготовки данных дало экономию потребляемых ресурсов на 50%. А облачная инфраструктура, используемая для расширения и масштабирования вычислительных мощностей в задачах машинного обучения, позволила экономить до 70%. Отдельно следует сказать про сервисы самообслуживания. При подготовке аналитических дашбордов они экономят до 90% времени.

— Пытаетесь ли финансово оценить результаты работы платформы – например, через реализованные с ее помощью проекты?

Да, постоянно проводим такой анализ. Для выявления неэффективных сервисов в Платформе данных (с целью последующей их замены на более совершенные) для себя мы поставили задачу – перейти на юнит-экономику по стоимости сервисов. Это даст бизнесу представление о стоимости сервисов и данных для компании. При внедрении новых дата-сервисов мы компонуем их необходимыми максимально эффективными микро-сервисами Платформы, собирая как конструктор.

— Год назад вы говорили о первых экспериментах по созданию цифровых двойников и планах – более 20 пилотов по ключевым бизнес-направлениям. Чем можно похвастаться?

У нас уже сейчас есть список заказов от бизнеса на разработку цифровых двойников, и этот список постоянно пополняется. К примеру, создана модель, которая самостоятельно находит значения котировок на готовую продукцию из отчетов аналитических агентств, и это дает достаточно большое сокращение ручного труда на перенос этой информации в структурированный вид. Таким образом мы получаем систематизированные исторические данные. На их основе мы переходим к следующему этапу – прогнозированию значений котировок готовой продукции в зависимости от внешних факторов, что позволит нам быстрее реагировать на внешние вызовы, особенно это актуально сейчас.

Другой работающий двойник – «специалист» первой линии поддержки пользователей. Теперь маршрутизацией заявок на исполнителей в зависимости от проблемы, описанной пользователем, занимается искусственный интеллект.

Еще одной интересной задачей стало построение модели по взаимодействию между сотрудниками. На ее основе коллеги из HR выявляют неформальных лидеров, анализируют корректность организационного построения взаимодействия в подразделениях.

— Каковы дальнейшие планы по развитию платформы?

На 2023 год мы для себя ставим три цели: повышение культуры работы с данными через проведение обучений, создание технологических центров экспертизы и вовлечение еще больше функций бизнеса на работу с сервисами Платформы данных.

— В прошлом году вы также обещали, что постараетесь вовлечь в пользование платформой данных еще больше коллег. Удалось ли это, и как вы оцениваете успехи?

Команда корпоративных данных достаточна компактная, и для достижения технологической цели – стать data-driven company – стало ясно, что усилий одной этой команды не хватит. Необходимо вовлекать сотрудников бизнеса в эту историю, и нам это удалось сделать через повышение культуры работы с данными внутри компании.

— Когда речь идет об изменениях в корпоративной культуре, название – это всегда важно. Как называется программа обучения, как это связано с продвигаемыми ценностями?

Еще в 2021 году мы запустили точечные обучения по разработке аналитических отчетов в продуктовых командах. Обсудив подобный опыт с коллегами из HR, мы пришли к выводу, что необходимо организовать полномасштабное обучение, где сотрудникам будут продемонстрированы все плюсы работы с данными и рассказано о том, как правильно применять инструменты при решении повседневных рабочих задач. Заявки на участие в Школе аналитика данных подали более 1,2 тыс. сотрудников. Преподавателями стали внутренние эксперты и руководители направлений цифровизации компании. На лекциях демонстрировались self-сервисы Платформы данных и глубокой аналитики, такие как ETL, BI, ML, подробно обсуждались процессы ведения НСИ в компании, принципы автоматизации процессов через программных роботов, метрики и приемы измерения качества данных, разработка простых прогнозных моделей.

Занятия проходили в несколько этапов: теоретическая часть, практические семинары, работа над проектами в командах и разбор ошибок. После прохождения каждого этапа обучения проводились контрольные тесты, позволяющие выявить степень усвояемости материалов. При этом крайне важно, что после прохождения теории и семинаров сотрудники объединились в группы и работают над реализацией собственных проектов, с помощью знаний, полученных в Школе, и сервисов Платформы данных.

— Заявки от более чем 1 тыс. сотрудников – серьезный отклик. Сколько в итоге прошло обучение, каковы в целом его результаты?

Можно сказать, что наблюдался ажиотаж: уже в первые два часа после объявления о записи в Школу аналитика данных на этот курс зарегистрировались 450 человек! В итоге к началу обучения записались более 1,2 тыс. специалистов группы компаний «Уралхим» и «Уралкалий». На лекциях в онлайне всегда присутствовало более 500 сотрудников, и еще 200–300 сотрудников просматривали лекции в офлайне. Итог работы Школы нас приятно удивил: более 140 выпускников и 25 реализованных ими проектов. Важно отметить, что эти проекты были выполнены самостоятельно, мы оказывали помощь только как кураторы. Финалистам были вручены дипломы о присуждении им квалификации «Гражданский аналитик».

— Вы сделали сленговое понятие «гражданский аналитик» официальным, даже с налетом элитарности, присвоив соответствующие квалификации отличившимся сотрудникам. Что это дает, помимо гордости?

Помимо диплома и фирменного значка выпускники заручились поддержкой нашей команды корпоративных данных для реализации своих проектов в дальнейшем. Они всегда могут обратиться к экспертам-кураторам, а также будут иметь возможность первыми использовать новые self-сервисы Платформы данных.

— Насколько «круты» такие гражданские специалисты, какие задачи они могут решать? И вообще могут ли они по эффективности своей работы приближаться к «аналитическому спецназу»?

На финальном этапе работы выпускниками Школы аналитика данных самостоятельно были реализованы проекты, решающие самые разнообразные рабочие повседневные задачи – от автоматизации отдельно взятого бизнес-процесса до аналитического дашборда по показателям эффективности бизнес-функции. За месяц, отведенный для реализации самостоятельных проектов, мы замечали, как коллеги не только развивают идею проекта, но и сами растут в знаниях. Сотрудники стали более тщательно подходить к постановке задачи для создания дата-сервиса, уверенно используя ИТ-терминологию. Многие коллеги выделяются на общем фоне и, если можно так сказать, становятся нашими амбассадорами.

— Насколько распространен self-service BI внутри компании? Какая доля сотрудников пользуется им, и есть ли показатель, к которому стремитесь?

В 2021 году это было наше локомотивное направление, бизнес-аналитика его действительно любит использовать в работе. На текущем этапе мы уже не ставим цель увеличения именно количества сотрудников, использующих BI, а больше сосредоточены на вовлечение бизнес-функций. Например, в 2020 году у нас были вовлечены только функции HR и Финансы. В 2021 году к ним уже добавились продажи, внутренний аудит, снабжение, ТОиР. В 2022 году к нам присоединились функции Маркетинга, часть Производства. В следующем году у нас стоит задача вовлечь функции Логистики и еще большей части Производства.

— Каковы в целом потребности компании в гражданских аналитиках? Все ли сотрудники компании должны ими стать?

Будем объективны: на сегодняшний день, не все смогут стать «гражданскими аналитиками». Это связано не только с готовностью самих сотрудников к изучению нового, но и с готовностью использовать такие сервисы в своей работе. Наша задача – дать бизнесу инструменты для работы с данными и обучить работе с ними; подсказать, как правильно их применять для решения своих повседневных рабочих задач. Как итог, при таком подходе сотрудники сосредотачиваются на мыслительном и аналитическом процессе, а не на задачах подготовки аналитических справок. В итоге для компании это дает сокращение операционных издержек и более динамичное реагирование на внешние факторы.

— Культура data-driven – это только про обучение сотрудников, или требуется что-то еще?

Культура data-driven связана не только с обучением сотрудников новым подходам и инструментам. Требуется постоянная работа по изменению процессов компании. И речь идет не только о базовой автоматизации, но и о свободном принятии использования технологий искусственного интеллекта и бизнес-аналитики в работе. В итоге это становится изменением устоявшихся подходов, сдвигом в сознании сотрудников, что новые технологии – это не какой-то «космос», а вполне доступные и работающие инструменты, облегчающие трудоемкие процессы сбора, обработки и анализа информации.

В X5 запустили продукт «Управление товарной представленностью», в котором модели машинного обучения определяют нетипичное отсутствие продаж по товару в конкретном магазине и шлют уведомление персоналу. Это позволило повысить доступность товаров на полках и объемы продаж. Для детектирования нежелательных событий в магазинах, таких как отсутствие товара на полке, нарушение выкладки или отсутствие ценника, используется анализ чеков. В результате время обнаружения проблемы не превышает часа.

В рамках еще одной инициативы был осуществлен переход с инструмента расчета объема промо-товаров, реализованного в SAP BW, на собственное решение. При этом точность прогноза относительно старого решения в ряде случаев выросла до 40%, на AB-тестах подтвержден значительной рост товарооборота и маржи, а также сокращение распродаж после промо-акций.

О реализации этих проектов и их результатах рассказала Елена Фатыхова, руководитель направления поддержки и сопровождения платформы прогнозирования X5 и номинант на премию Data Award 2023.

— Какие задачи решает платформа прогнозирования X5, когда создана, на каких технологиях работает?

Платформа прогнозирования Х5 выросла из продукта «Спрос», команда которой была сформирована в 2019 году. В его рамках был реализован прогноз продаж для логистики и коммерции – нам важно знать, какое количество товара, в каком магазине и в какой день будет продано и обеспечить продажи поставками. Так мы понимаем, сколько товара закупать у поставщика под промо и регулярные продажи. По мере развития этого продукта и добавления новых продуктовых инициатив, стали развиваться общие компоненты, которые переиспользуются и помогают быстрее внедрять новые функции, а также запускать новые продукты. Так и появилась платформа прогнозирования. В стек использованных при ее создании технологий входят Hadoop, Airflow, Kubernetes и Spark.

— Какие направления работы стали наиболее актуальными в последнее время?

На текущий момент наиболее актуальным стало направление долгосрочного прогнозирования. Отдельно стоит сказать про развитие управления товарной представленностью: мы обнаруживаем нежелательные события – факты снижения доступности товара для покупателей, а также анализируем факторы, которые к этому привели.

Кроме того, в начале года мы столкнулись с объективной необходимостью ускоренного перехода на собственные решения. Так, например, в торговой сети «Пятерочка» мы за два месяца перешли с инструмента прогноза промо иностранного вендора на собственное платформенное решение на базе машинного обучения. Это, конечно, обеспечило не только поддержку критичных бизнес-процессов, но и повысило качество инструмента, в том числе точность прогнозов.

— С какими именно нежелательными событиями вы боретесь? Почему они происходят?

У нас есть модель, которая в режиме времени, близком к реальному, определяет, что продажи в магазине по конкретной позиции нетипично отсутствуют. Она отмечает высокую вероятность того, что продажа должна была случиться, однако этого не произошло. В этом случае мы говорим, что произошло какое-то событие, которое помешало покупателю приобрести товар: отсутствие товара на полке, нарушение выкладки, отсутствие ценника. Мы не знаем, что именно произошло, но знаем, что возник фактор снижения доступности товара для покупателя.

— Во сколько оцениваются потери от таких событий, наверняка вы это пытались в каком-то виде оценить?

Довольно сложно произвести такую оценку, ведь ее невозможно валидировать. Мы можем оценить с помощью продвинутых математических методов, какие бы продажи случились, если бы «нежелательные события» не произошли, но качество этой оценки невозможно замерить достоверно. Тем не менее, наши оценки доходят до 20% оборота по отдельным категориям товаров, и экспертная аналитика показывает, что на эти цифры можно ориентироваться, чтобы понимать потенциал создаваемых решений.

— Как боролись с этим до сих пор, что получалось хорошо, а что – не очень?

Есть два подхода к решению этой проблемы. Первый из них – жесткий контроль, но он требует большого человеческого ресурса. Второй вариант – автоматическая проверка данных и выставление заданий на этой базе.

В прошлом компания использовала довольно простые эвристики. Например, по наиболее продаваемому ассортименту у магазина должна быть хотя бы одна продажа в день. Если продажи по какой-то позиции не случалось, то персоналу было необходимо проверить, в чем причина, и устранить ее. Проблема заключается в том, что в этот список так или иначе могли попасть позиции, которые не продавались по другим причинам – например, именно в этом магазине на них просто нет спроса. Сотрудникам добавлялось работы по проверке, которая не всегда была оправданной. Поэтому нам было важно максимально точно идентифицировать случаи, где проблема действительно есть, и не нагружать магазин лишней работой, а наоборот – помогать более точечно находить проблемы и наращивать товарооборот.

— Почему это важно для бизнеса, помимо собственно минимизации упущенных продаж?

Здесь очень много факторов. Во-первых, это лояльность наших покупателей и привлекательность торговой сети. Если покупатели не находят то, зачем пришли, то могут и не вернуться. Для нас важно, чтобы гости находили на полке товар, который им нужен, и возвращались снова и снова.

Во-вторых, устранение таких проблем за счет цифровых решений напрямую влияет на рост продаж. Если с товаром на полке проблема – его не покупают.

В-третьих, если продажа не случилась, то мы не понимаем потенциал продаж и в будущем, исходя из заниженной оценки, прогнозируем более скромные показатели и везем меньше товара в магазин.

Наконец, такая система в конечном счете влияет на сокращение трудозатрат персонала. Сотрудникам не нужно проверять все полки и весь ассортимент, они точечно проходятся по нашим заданиям, а остальное время уделяют гостям, приемке и множеству других своих задач. Упростить работу сотрудников магазинов, помочь им достигать свои цели по показателям – для нас это очень важно.

— Какие варианты решения проблемы рассматривались? В чем их плюсы и минусы?

Решение на базе чековых данных, если честно, довольно очевидное. К тому же анализировать чековые данные нам все равно нужно, и восстанавливать продажи – тоже нужно, так что это естественное развитие системы прогнозирования для переиспользования наработок в других функциях. Мы в целом стараемся смотреть на вещи широко и думать, где еще могут быть полезны наши решения, ведь синергия между функциями и бизнесами – в приоритете для X5.

Альтернативный способ решения вопроса – видеоаналитика. Я бы не сказала, что он конкурирующий: если бы видеоаналитика была, мы бы могли использовать их разметку для обучения моделей. Да и в целом решения могли бы дополнять друг друга. Но проблема видеоаналитики в том, что у нас очень много магазинов, а оборудование для аналитики довольно дорогостоящее и оборудовать все магазины было бы просто нецелесообразно. К тому же у нас широкая ассортиментная матрица, и задача по распознаванию товаров на полке тоже становится довольно объемной. Поэтому использование подхода с чековыми данными стало рациональным решением проблемы с точки зрения бюджета, качества и сроков.

— Вероятно, аналитикой чеков в X5 занимаются уже давно. Какие задачи уже удавалось эффективно решить?

Данные по чекам используются в разных продуктах – например, в подразделении, занимающемся управлением потребительской ценностью (Customer Value Management, CVM), команды используют их для создания таргетированных маркетинговых акций.

— Чеки появляются, когда клиент уже покинул магазин. Как на основе чеков можно оперативно выявить проблему на полке?

Чек появляется, как только он был пробит. Да, могут быть некоторые временные задержки, но у нас чек оказывается не позднее чем через полчаса после того, как он был сформирован на кассе. Разумеется, мы уже не успеем предложить этому покупателю товар, который он не смог найти, но мы узнаем о проблеме и устраним ее для наших следующих гостей. Мы видим, как после наших сигналов продажи возобновляются, и это отличный эффект. Ведь лучше исправить обнаруженную проблему, чем продолжать упускать продажи.

— В чем суть проекта, что было сделано?

В течение дня мы каждый час формируем сигналы и отправляем их в магазины. Их получают директора и администраторы. На старте проекта для пилота мы разработали телеграм-бота, где зарегистрировался персонал. Сотрудники получали оповещения и шли их отрабатывать. На каждый сигнал по своему магазину они в ответ указывали нам, что действительно есть проблема и называли причину, либо отвечали, что все в порядке и система ошиблась. На основе этой обратной связи мы оценивали качество модели и работали над тем, чтобы повысить точность сигналов. Когда точность показалась достаточной, мы запустили AB-тест. В пилотной группе было 300 магазинов, которые получали сигналы, а в контрольной – 300 магазинов, которые сигналы не получали. По результатам теста мы произвели точечную оценку прироста товарооборота. Мы увидели хороший прирост при том, что уведомления рассылались ограниченно, а не по всем позициям, так как мы не могли перегружать сотрудников. Так мы убедились, что действительно приносим финансовый эффект, а не просто добавили работы сотрудникам.

Далее мы интегрировали нашу платформу со стандартными системами магазина и отказались от телеграм-бота. Теперь сотрудники отрабатывают наши задания в своих привычных инструментах. При этом если задание отработано в одном инструменте, то и в другом оно отмечается как сделанное. Нам очень важно, чтобы решением было удобно пользоваться.

— Что представляет собой созданное решение? Как выглядят его сигналы?

По сути само решение не имеет интерфейса, мы взаимодействуем с существующими в компании системами. Там в стандартной для сотрудников форме появляется задание от нашей системы наряду с другими. Указывается время срабатывания уведомления, наименование и код товара, также есть возможность ответить на сигнал: указать корректный он или нет, а если проблема подтверждается – выбрать причину.

— Сколько времени проходит между появлением проблемы и первыми сигналами о том, что «что-то не так»?

От получаса до часа, не более.

— А сколько времени детектирование проблем занимало раньше? То есть какого сокращения времени устранения проблем удалось достичь?

Это очень хороший вопрос. Конечно, сотрудник мог проходить между полками и заметить, что есть проблема нехватки товара. Но может быть и так, что сотрудник не увидел товар на складе и не выложил его. Или может быть, что в системе на остатке числится товар, а по факту его нет. В этом случае система пополнения думает, что продажи обеспечены, и товар в магазин не везут. Здесь до момента, пока проблему обнаружат, может проходить более суток.

— Как эти результаты оцениваются в деньгах, ведь невозможность взять с полки товар – это прямые потери магазина?

Мы называем это упущенными продажами. Результат мы оцениваем на базе АВ-теста, это самый достоверный способ сказать, что изменение продаж произошло именно за счет воздействия нашего инструмента, а не каких-то других факторов. Кроме того, мы оцениваем потенциал по упущенным продажам на базе восстановленных продаж, эта цифра получается из анализа динамики продаж в определенном временном периоде и на соседних объектах. Условно, если мы в среднем продаем 9 штук, а сегодня продали 2, то 7 штук мы восстановим. Логика модели сложнее и учитывает множество факторов, но в целом можно описать это так.

— Каковы направления развития этого проекта?

Мы продолжаем развивать модель в сторону повышения точности детектирования проблем, а также большой упор делаем на определение их причин. Ведь снижение доступности происходит не только из-за нарушения процессов в магазине. Сотрудник может повлиять на это, если товар числится в остатках. Ровно такая проверка стоит перед отправкой уведомления: нет смысла отдавать задание в магазин, если у них нет остатка.

Но в целом по цепочке может быть много причин: нарушение уровня сервиса поставщика, некорректные параметры в системе и т.п. Мы активно движемся в сторону их идентификации и развиваем инструменты для этих функций.

— В начале года SAP уведомил вас об отключении своего облака. Каков был масштаб проблем: насколько сильным был этот удар и каких систем коснулся?

Да, в марте нас предупредили о том, что мы больше не сможем пользоваться облаком SAP. Штаб импортозамещения нашей компании начал активно прорабатывать вопрос: каких процессов это касается, какие альтернативы есть, что необходимо предпринять. По большей части это коснулось отчетности, так как в SAP BW реализуется именно отчетность. Но также там был реализован функционал прогноза промо-продаж. К этому моменту у нас уже год функционировало собственное решение для торговой сети «Перекресток» на базе платформы прогнозирования и, конечно же, у нас были планы перевести на него и торговую сеть «Пятерочка». Но в «Пятерочке» существенно больше пользователей, и переход планировался в течение года. В новой ситуации не было сомнений, что переезжать нужно именно на наше решение: оно уже было готово, но пришлось ускориться.

— В чем была задача прежнего решения для расчета объема промо? Кто его использовал и какие результаты получал?

Прошлый «промо-калькулятор» имел очень простую логику. Пользователь самостоятельно выбирал аналогичный период промо-акции или товар-аналог и его период промо. Далее на базе прошлых продаж составлялся прогноз будущих продаж.

Инструмент использовали категорийные менеджеры, они получали прогноз продаж на выбранные магазины и позиции по дням. Никакие особенности SAP BW не использовались, просто исторически инструмент реализовали в этой системе, так как в BW содержались все нужные для расчетов данные. Это было задолго до того, как в компании появились другие технологии по работе с данными.

— Почему уже заранее началась разработка замещающего решения? Что не нравилось в старом, что хотелось улучшить?

Как я уже сказала, подходы к прогнозированию были довольно тривиальные и не учитывали ничего, кроме факта продаж в одной исторической точке. Новые подходы позволяли учитывать различные факторы: цену, сезон, расположение товара в каталоге и его предложение на кассе, фактор предпраздничных дней. Кроме того, мы учитываем динамику продаж и историю с 2018 года! Из этих данных можно получить очень много ценной информации для повышения точности прогноза.

— Что собой представляет новое решение, каков принцип его работы?

Новое решение представляет из себя сервис с пользовательским интерфейсом. Пользователь указывает, какие товары в каких магазинах и за какой период он хочет поставить в промо-акцию, а также его параметры – например, цену. Далее сервис готовит расчет по этим параметрам и возвращает пользователю прогнозы объемов продаж. Расчет реализуется с помощью модели машинного обучения, которая уже обучена на исторических данных.

— За счет чего решение дает лучшие результаты по сравнению с предыдущим?

Основной эффект мы получаем за счет более продвинутых математических подходов относительно прошлого решения.

— Какого эффекта удалось достичь в результате перехода?

Точность прогноза сильно выросла – до 40% по сравнению с предыдущим решением, подтвержден значительной рост товарооборота и маржи, сокращено количество распродаж после промо-акций. Что касается финансового эффекта, то мы не раскрываем конкретные цифры, но это значимые показатели.

— Разработанное решение дает синергию с прогнозом регулярных продаж. За счет чего она происходит?

Синергия заключается в том, что при прогнозировании регулярных продаж система знает, какие промо-акции и какие планы по продажам будут реализованы. Таким образом, мы учитываем каннибализацию промо-продажами регулярных позиций и привозим ровно столько товара, сколько нужно. Это приводит к снижению списаний и избыточных товарных запасов.

— Каковы планы по развитию этого решения и его расширению на другие области?

В данном решении мы еще не достигли предела по качеству и планируем развивать подходы к математическому моделированию для повышения эффективности. Кроме того, для нас актуально долгосрочное прогнозирование, и мы будем расширять горизонт прогноза с текущих 16 недель до горизонта планирования со стороны категорийных менеджеров и закупок. Также сервис для прогноза промо позволяет осуществлять анализ what-if – проводить оценку сценариев по прогнозу продаж в зависимости от различных параметров: позиции, цены, наличия рекламы на ТВ и другое. Данный инструмент планируется развивать и для других направлений – например, регулярных продаж и плана поставок.