Статьи

Оптимизация работы контакт-центра имеет позитивное влияние не только на бизнес его владельцев, но и на лояльность клиентов, получающих более быстрое и качественное обслуживание. В Сбере реализовали проект предиктивной маршрутизации в контакт-центре для юридических лиц, разгрузив операторов и попутно за год сэкономив клиентам 7 лет рабочего времени. Об особенностях этого проекта рассказывает Сергей Рябков, руководитель проектов, владелец продукта «Предиктивная маршрутизация» в Сбере и номинант на премию Data Award.

- В чем заключалась бизнес-проблема?

Наши клиенты – юридические лица, владельцы бизнесов различных размеров и масштабов. Наш опыт показал, что они предпочитают решать возникающие вопросы, общаясь по телефону с живым человеком. Поэтому мы отказались от автоматизированных сценариев в IVR, сделав упор на маршрутизацию входящих вызовов на операторов контакт-центра.

Портфель продуктов и услуг Сбера достаточно велик и разнообразен. Каждый продукт довольно сложен для изучения, поэтому, формируя группы операторов, мы разделяем их по знанию конкретных продуктов банка. Это сильно усложняет задачу маршрутизации: классическое «тональное» (DTMF) меню будет для клиента слишком сложным и объемным, а при общении с голосовым ассистентом клиенты могут неверно сформулировать вопрос, что повлечет за собой некорректное распределение вызова. Также в 10% случаев клиенты напрямую просят подключить оператора либо молчат.

- Почему это важно для вас?

Создавая новые продукты в Сбере, мы исходим из потребностей нашего клиента. Разрабатывая сервис, мы задались вопросом: как сделать идеальную систему маршрутизации?

Наши опросы показали, что для клиентов важна скорость решения вопроса и точность соединения с нужным оператором: никому не нравятся ситуации, когда вызов переводят от одного сотрудника к другому и при каждом новом контакте приходится заново объяснять свою проблему.

Также мы поняли, что лучший IVR – это его отсутствие. Набрав номер поддержки банка, клиент хочет как можно быстрее попасть на нужного сотрудника.

- Какой путь решения выбрали?

У нас есть большое количество систем, сопровождающих все процессы взаимодействия клиента с нашими продуктами. По ним мы можем увидеть цифровые следы клиента и триггеры, влияющие на его обращения в контактный центр. Зная это, мы запустили сервис предиктивной маршрутизации в контакт-центре Сбера для юридических лиц.

Ядром сервиса является рекомендательная система, имеющая интеграции с большим количеством банковских систем, в которых клиенты оставляют цифровые следы. Анализируя эти следы, рекомендательная система сообщает продукт и тему обращения клиента в IVR, который принимает решение о подборе группы операторов и маршрутизации вызова.

- Как была поставлена задача?

Основная цель проекта – улучшение клиентского опыта за счет более быстрой и точной маршрутизации вызовов, приходящих на линию поддержки 0321.

Вторая, но не по значению, цель – это оптимизация затрат на содержание контакт-центра. Более точная маршрутизация позволяет снизить долю переводных звонков, а значит уменьшить нецелевую нагрузку на операторов и оптимизировать их численность.

- На каких технологиях построено решение?

Используется передовой технологический стек в разработке, подразумевающий под собой микс из собственных разработок банка и кастомных сборок open source решений.

Данные для сервиса поставляются в потоковом режиме из Apache Hadoop. Обработка потоковых данных реализована на фреймворке Apache Flink, который преобразует их в триггеры, влияющие на маршрутизацию, и затем сохраняет в NoSQL СУБД Cassandra.

Ансамбль из двух AI-моделей (линейная регрессия и нейросеть) исполняется в банковской среде MEF. Результат классификации затем через брокер сообщений Kafka отправляется в интеграционный тракт с платформой IVR контакт-центра.

- Какой математический аппарат используется?

При создании сервиса большое внимание мы уделили определению цели для маршрутизации звонка, по которой далее будет обучаться AI-модель. Мы разметили пул звонков в контакт-центре за прошедший год, в результате чего появились порядка 60 проблематик, которые легли в основу целевой модели. Для корректного их предсказания нам пришлось интегрировать нашу рекомендательную систему с большим количеством источников данных, среди которых системы дистанционно-банковского обслуживания, сайт Сбера, CRM-системы, данные по транзакциям, уведомлениям, получаемым клиентом, системы service desk, обращения в контакт-центр и пр.

«Под капотом» у рекомендательной системы находится синергия экспертных бизнес-правил и алгоритмов искусственного интеллекта, включающих в себя ансамбль AI-моделей: ряда линейных регрессий и нейросети.

- Каких результатов удалось достичь?

По результатам работы нашей команды сервис успешно масштабирован до 85% от входящего трафика. За два года работы время на маршрутизацию снижено более чем в четыре раза. После того, как клиент набрал номер телефона поддержки, он слышит только приветствие «Сбера для Бизнеса», уведомление о записи разговора, после чего сразу же к линии подключается оператор.

Благодаря анализу больших данных в реальном времени уже в начале звонка клиента мы знаем проблематику обращения, не задавая при этом клиенту никаких вопросов. Также повышена точность маршрутизации: доля вызовов, переведенных оператором после запуска нашего сервиса, в среднем стала на 10% ниже.

- В чем роль проекта для бизнеса компании?

Сервис позволяет существенно экономить на содержании контакт-центра: за счет короткого IVR экономия на телефонном трафике составляет 1,3 млн минут в год.

Кроме того, снижается нагрузка на контакт-центр: за прошлый год за счет более точной маршрутизации мы разгрузили 88 операторов, что в свою очередь позволило снизить стоимость обслуживания клиентов на 6%. А для наших клиентов за 2022 год это вылилось в экономию 7 лет рабочего времени.

- В каком направлении продолжит развиваться платформа?

Мы продолжаем работать над улучшением точности наших алгоритмов. Кроме того, мы хотим дополнительно анализировать поведенческие характеристики клиента в каналах обслуживания, чтобы предлагать действительно персонализированное обслуживание каждому, кто обратится в контакт-центр Сбера для юридических лиц. В том числе, планируем делать сценарии «мягкой» автоматизации, помогая непосредственно в IVR решать вопросы только тем клиентам, кто к этому готов.

Помимо этого, мы планируем сделать сервис омниканальным, перенеся его в текстовые каналы контактного центра и интегрировав с существующими ботами и виртуальными ассистентами.

Важнейшую роль в обеспечении хороших финансовых результатах «Сбера» в 2022 году сыграл проект миграции на импортонезависимую CRM, поддерживающую работу всех В2В-компаний группы. Он позволил не только обеспечить непрерывность процессов, но и существенно повысил их качество. О его реализации и результатах рассказывает Евгений Горбачев, руководитель проектов Центра корпоративных решений «Сбера» и номинант на премию Data Award.

— Что стало причиной реализации проекта?

Наша команда представляет Центр корпоративных решений – контакт-центр «Сбера», поддерживающий юридических лиц по банковским продуктам и продуктам компаний нашей группы. У нас на поддержке более 50 дочерних обществ и партнеров банка, а это более 200 продуктов компаний B2B в различных сферах и отраслях, с разными бизнес-моделями и процессами. Мы предоставляем им и сервис, и платформу для организации поддержки продуктов.

Изменения ощутило на себе большинство российских компаний. «Сбер» также был вынужден резко ускорить скорость разработки собственных ИТ-решений.

Мы начали испытывать сложности с иностранными вендорами: длительные процессы согласования и внедрения, не кастомизированные под наши цели и задачи решения. Появился риск остаться без технологической платформы, которая является неотъемлемой частью нашей повседневной работы. Это ставило под угрозу нормальное функционирование поддержки в крупнейшем банке и всех компаниях В2В группы «Сбер», поэтому мы приступили к реализации антикризисного сценария – переходу от импортного программного обеспечения к отечественным разработкам.

— Какой подход был выбран?

Реагируя на изменившуюся среду, мы осознали необходимость сформировать собственное решение для контакт-центра. В рамках импортозамещения были поставлены несколько целей. Во-первых, требовалось создать технологическое решение, с помощью которого можно будет поддерживать разнородные бизнес-процессы более 200 продуктов. Во-вторых, решение должно иметь брендовую составляющую – оно должно было стать разработкой, конкурирующей с мировыми лидерами индустрии контакт-центров. Наконец, было важно сократить затраты на поддержку продуктов группы и банковских продуктов «Сбера» на сумму более чем 100 млн руб. в год.

— Как были сформулированы задачи проекта?

Важно было не просто не потерять в качестве сервиса, но и стать лучше, причем это касается очень многих показателей. Например, сохранение уровня доступности, а он очень высок: 80% всех обращений принимаются за 30 секунд, потери составляют менее 5% от всех обращений. Сохранение и повышения уровня удовлетворенности клиентов – поставлена цель выше 90%. Более того, рассчитывали на сокращение времени обслуживания за счет интеграции с автоматизированными системами дочерних обществ банка и формирования единой истории взаимоотношений с клиентами по всем каналам коммуникаций.

Нужно было подумать и о сотрудниках (например, сохранить и повысить уровень удовлетворенности операторов рабочим местом, автоматизировать процессы), и о клиентах (иметь бесшовный клиентский путь), и об эффективности (объединить все обращения клиентов в единую базу, иметь единую систему инцидент-менеджмента, формировать единый дашборд по всем обращениям клиентов). И конечно, хотелось сократить время запуска новых проектов, сохранив гибкий, кастомизированный подход к каждому продукту.

— Из каких вариантов выбирали?

В части техники и платформ для разработки перед нами встал сложный выбор из следующих вариантов: разработать решение «с нуля» или использовать open source, а может – готовое решение? Было нужно проработать встраивание в общую архитектуру банка, создание единого профиля клиента, предоставление доступов к CRM вне контура банка, а также многочисленные интеграции с автоматизированными системами.

По итогам анализа приняли решение разрабатывать свой софт, а для ускорения реализации использовать open source решение OTRS. В результате мы получили функционал для гибкой настройки бизнес-процессов обработки обращений в офлайн-режиме, а для онлайн-обращений доработали решение OTRS на базе платформы Platform V «Сбера». Нашу разработку мы назвали «Единая CRM для обращений клиентов компаний B2B группы Сбер».

— Что собой представляет созданное решение?

Итоговое решение стало универсальным для всех компаний, мы смогли создать единый профиль клиента, не привязанный к конкретному продукту или компании. Обрабатывая обращения от клиентов, мы получаем «портрет» пользователя продуктов и на основе аналитики клиентских путей, обращений, предложений и жалоб можем предлагать клиенту новые услуги или продукты.

При работе с клиентами оператору нужно использовать данные из многочисленных систем, поэтому мы реализовали возможность интегрировать в рабочее место оператора данные из автоматизированных систем «Сбера», которые необходимы для обработки обращений. Гибкая ролевая модель CRM позволила настроить решение в соответствии с требованиями безопасности банка, предоставить доступ к необходимым для работы данным и обезопасить клиентскую информацию.

— Что удалось лучше всего?

Преимущество нашего решения в гибкости – запуск новых проектов обходится без участия разработчиков и занимает считанные дни, что является скорее исключением, чем правилом для больших корпораций. Под каждый бизнес-процесс любой компании группы можно реализовать любые правила работы с обращениями – SLA, уведомления, эскалация, автоматическая отчетность. У команды появились планы по выводу решения на внешний рынок, о результатах расскажем на Data Award 2024.

— Какие результаты были достигнуты?

Подводя итоги и анализируя ключевые показатели эффективности, мы с гордостью можем заявить о блестящих результатах от внедрения нашего решения, разработанного в кратчайшие сроки.

Если говорить о влиянии на бизнес и клиентский опыт, то омниканальность решения позволяет гибко управлять ресурсами, формировать единую историю взаимоотношений с клиентами, единый клиентский путь, обеспечивать доступность поддержки продукта. Единый профиль клиента позволяет нам развивать продукты, повышать уровень сервиса. После перехода на новую CRM уровень удовлетворенности в части поддержки продуктов компаний В2В группы «Сбер» вырос с 74,3% до 81,1%. И мы не останавливаемся на достигнутом.

Мы не зависим от вендоров в части скорости доработок и кастомизации решения. В результате запуск поддержки новых продуктов сократился с четырех до двух недель. Собственная разработка позволяет быстро масштабировать решение. В наших планах внедрение и реализация решения на другие направления.

Если говорить об операционной эффективности, то уровень доступности линии поддерживается в целевых показателях, сокращено время обработки обращений в среднем на 30%, увеличен показатель загрузки операторов с 70% до 90% за счет омниканальности. Сокращено время реакции на сбои – имея единую систему отслеживания инцидентов, можем оперативно информировать всех участников процесса. Единый дашборд позволяет мониторить нашу работу по всем компаниям группы.

— А что говорит персонал?

Удобный интерфейс единого рабочего места позволяет минимизировать трудозатраты наших операторов. По проведенным опросам, удовлетворенность рабочим местом по 10-ти бальной шкале выросла и сейчас достигла 8,5-8,6 баллов.

— Какими финансовыми эффектами можете похвастаться?

Благодаря автоматизации и интеграции с внешними системами сокращено время обработки обращений по всем каналам с 6,2 до 4,2 минут. При объеме в 400 тыс. обращений в месяц это дает экономию компаниям группы в 150 млн руб. в год. Кроме того, как и планировали, произошло сокращение затрат на доработки.

— Каково значение проекта для компании?

Уже к началу второго квартала 2022 года более 700 сотрудников из 30 компаний B2B группы «Сбер» подключились к работе в новой CRM. В единой системе сотрудники увидели профиль клиента и его запросы по всем продуктам компаний. На основе аналитики по запросам клиентов можно предугадывать их потребности и превентивно предлагать новые продукты и услуги.

Можно сказать, что мы победили кризис. Разработав и внедрив нашу CRM, мы закрыли все риски, которые видели до внедрения. Сейчас мы работаем на собственном решении. Разработанный нами инструмент повысил нашу эффективность по всем направлениям: экономика, операционное управление и, главное, — удовлетворенность клиентов и персонала.

— В каком направлении будет развиваться платформа?

Первое направление – в сторону клиента: накапливая данные о наших клиентах о его обращениях по продуктам группы «Сбера», мы сможем более точно и превентивно решать проблемы клиента, закрывать его потребности и предлагать актуальные услуги и продукты. Удовлетворенность клиента – наш важнейший приоритет.

Второе направление – в сторону пользователей: в рамках единого окна у операторов контакт-центра должен быть доступ ко всем необходимым данным о клиенте: прошлые обращения, продукты, актуальные предложения для клиента. Оператор в рамках одного окна должен иметь возможность и найти посылку клиента в «СберЛогистике», и оформить договор по «СберЛизингу».

Наконец, в сторону технологий: мы не перестаем развивать CRM, наращиваем функциональность платформы, повышаем надежность системы и защищенность данных клиентов. В 2023 году основной задачей будет интеграция с новой платформой контакт-центра «Сбера» – SberContactPlatform. Комплекс решений CRM и SberContactPlatform должен полностью закрыть потребность в собственном решении и обеспечении технологического суверенитета «Сбера» в сфере контакт-центров.

Визуализация – основа быстрого принятия решений на основе даже самых сложных данных. В компании Luxms разработали универсальную переносимую систему BI-аналитики для визуализации больших данных на любых пользовательских устройствах. О ее построении рассказывает Дмитрий Дорофеев, главный конструктор ГК Luxms и номинант на премию Data Award.

— Какова история проекта?

Корнями история проекта уходит в университетские исследования ПО с открытым кодом середины 1990-х годов, а сам проект создания аналитической платформы зародился в 2015 году с исследования производительности высоконагруженных систем обработки больших данных.

— Какие задачи призвана решать созданная платформа?

Прежде всего, на основе анализа больших объемов данных из различных источников платформа позволяет в визуальной форме контролировать процессы, анализировать показатели эффективности и принимать обоснованные информированные решения. Она дает возможность самостоятельно настраивать доступ к данным, изучать их, анализировать и находить новые взаимосвязи. И, наконец, она позволяет формировать отчеты сотрудникам, не обладающим навыками программирования

— Почему это важно?

Большие объемы разнородных данных невозможно понять, осмыслить без инструментов предварительной обработки, подготовки, анализа, в том числе, используя механизмы агрегации, детализации, фильтрации, сортировки и поиска, и что самое важное – визуализации на различных устройствах: на персональных компьютерах, на планшетах, на телефонах.

— На каких технологиях основана платформа? Какие принципы пытались соблюсти при ее создании?

В основе решения лежит использование ПО с открытым программным кодом, используются технологии реляционных и колоночных баз данных, потоковой и масс-параллельной обработки данных, современные интернет-протоколы, сервиc-ориентированная архитектура. Мы старались следовать таким принципам: отказ от «изобретения велосипедов», скорость работы системы – превыше всего, а также подбор технологий, исходя из поставленных задач.

— В чем инновационность решения?

Инновационность – в масштабируемой датацентричной архитектуре серверной части платформы, объединяющей систему хранения метаданных с бизнес-логикой сервера приложений, и использовании при необходимости «горячего слоя» данных в качестве внешнего источника данных. Это позволило кратно увеличить производительность при решении аналитических задач на больших объемах данных и в разы сократить время отклика системы на запросы пользователей.

На сегодняшний день Luxms BI – единственная российская датацентричная BI-платформа, которая обеспечивает высочайшее быстродействие, в том числе за счет возможности вертикального и горизонтального масштабирования.

Основные идеи и подход описаны в нашей научной статье в журнале Transactions of the ACM.

— Сколько времени и какими силами создавалась платформа?

Этапы исследований, прототипирования и создания промышленного решения в общей сложности продлились три года. Костяк команды состоял из пяти одержимых идеей инженеров.

— Что вы считаете главным достижением, чем гордитесь?

Главное достижение и гордость в том, что решение помогает людям, компаниям видеть большие данные, помогает ежедневно принимать обоснованные, информированные решения, помогает нам всем делать жизнь лучше.

— Каков портрет типичного заказчика? Кто может быть наиболее заинтересован в использовании решения?

Нашу платформу используют крупные компании нефтегаза, энергетики, здравоохранения, а также телекоммуникационные, логистические, транспортные и финансовые организации. Лучше всего мы работаем в крупных компаниях с большим количеством данных – там, где требуется высокая производительность и предполагается большое количество пользователей и данных.

Наши пользователи – это лица, принимающие решения, топ-менеджеры, линейные руководители. Мы настраиваем максимально простой интерфейс для нетехнических пользователей, передаем данные в удобном для восприятия формате и обеспечиваем управленческий функционал с современной визуализацией.

— Где уже нашло применение решение? Насколько оно востребовано?

Наша платформа позволяет компаниям контролировать процессы, оптимизировать затраты и повысить эффективность бизнеса. Мы уже успешно реализовали проекты в таких компаниях, как ОАО «РЖД», ПАО «Газпромнефть», НМИЦ им. В.А. Алмазова, а также в двух крупных коммерческих банках и в федеральных операторах сотовой и фиксированной связи. Клиентская база продолжает расти: только за прошлый год нами был выигран ряд крупных тендеров и заключены контракты с ведущими компаниями страны. Банк ПАО «ВТБ», АО «Почта России», АО «Открытие Брокер», ПАО «Россети Северо-Запад» приобрели лицензии Luxms BI в 2022 году.

— Каких результатов удалось достичь?

Пожалуй, самый большой результат – это то, что платформа успешно работает, эксплуатируется в крупнейших российских компаниях.

— В чем роль решения для российского рынка?

Российский рынок, и прежде всего крупные компании, получили современное технологичное решение анализа больших данных. Это решение, которое по основным параметрам – надежность, производительность, быстродействие, открытость, доступность – не уступает или превосходит аналогичные решения ведущих мировых производителей.

— В каком направлении будет развиваться платформа?

Главное направление развития – это наращивание функционала для конечных пользователей. Например, можно говорить об аналоге ассоциативной модели QlikView и аналоге языка MDX. Параллельно с этим мы повышаем удобство эксплуатации системы, это включает в себя варианты развертывания в российских облаках, поддержку российских дистрибутивов Linux, поддержку миграции BI-приложений между средами, утилиты администрирования и мониторинга.

Работа секции «Опыт» конференции «Качество данных 2023», проведенной в феврале издательством «Открытые системы», вызвала особый интерес у ее участников. Впрочем, это вполне объяснимо: здесь они смогли познакомиться с самыми интересными из недавно реализованных проектов, связанных с получением и использованием качественных данных.

Миграция и оптимизация аналитических ландшафтов

Весной 2022 года розничная сеть «ВсеИнструменты.ру» столкнулась с серьезной проблемой, ставшей следствием западных санкций: компании пришлось в срочном порядке осуществлять миграцию систем хранения данных и аналитики из облачных сервисов одного из международных провайдеров на локальные мощности, причем этот переход следовало провести без остановки или заметных сбоев операционных бизнес-процессов компании. На то, чтобы вывести аналитику из облака, провайдер отвел всего две недели.

По словам Вадима Уланова, директора по данным компании «ВсеИнструменты.ру», на тот момент в ландшафте аналитики царил «зоопарк» технологий: PHP, Oracle, PostgreSQL, Golden Gate, Python, ClickHouse, PowerBI и пр. Последний рефакторинг кода проводился более трех лет назад, за это время многие из тех, кто разрабатывал процедуры для хранилища данных, покинули компанию. В результате образовалось значительное количество унаследованных программных модулей, которые были плохо документированы и практически не поддерживались. Их работа была нестабильной (сбои случались часто), поэтому исправления в них приходилось вносить регулярно.

От использовавшегося прежде ПО с открытым кодом решили отказаться. Вместо него выбрали платформу с максимальным количеством нужных приложений в рамках одного стека. Полный переезд на новую платформу занял около полутора месяцев. Команде проекта удалось не только реализовать весь базовый функционал, существовавший прежде, но и высвободить около 10 млн руб. в год за счет отказа от облаков и оптимизации ландшафта бизнес-аналитики. Кроме того, были снижены требования к квалификации разработчиков, благодаря чему экономия фонда оплаты труда при найме новых сотрудников составила около 20%. Благодаря тому, что специалисты при переходе на новую платформу заново переписали бизнес-логику хранилища данных и отказались от необоснованной кастомизации, скорость ежедневного обновления данных в хранилище увеличилась на 15%.

Перечисляя важнейшие уроки проекта миграции, Уланов отметил важность обучения сотрудников и формирования культуры работы с данными: «Если пользователи по-прежнему тянутся к Excel, значит, с ними недостаточно поработали. Нужно объяснять преимущества новых аналитических инструментов и добиваться того, чтобы люди поверили в их полезность и эффективность. И конечно, надо прививать сотрудникам культуру работы с данными».

В компании «ЦЕМРОС» (ранее «Евроцемент Груп») сейчас заканчивается проект перехода с прежней системы управления мастер-данными (MDM) на новую — его планируется завершить к апрелю. Как рассказали Илья Залозных, начальник отдела НСИ департамента информационно-цифровых технологий и архитектуры компании «ЦЕМРОС», и Елена Подгайная, руководитель проектов компании SOFROS, прежде в холдинге использовали решение «Парус» в качестве единой ERP-системы и разработанную своими руками систему MDM. К моменту начала проекта назрела необходимость существенно расширить ее функционал, но стоимость доработки была слишком велика. Кроме того, много сложностей возникало из-за того, что данные справочника материально-технических ресурсов были нечетко классифицированы, неточны или неполны, причем настолько, что однозначно идентифицировать многие позиции справочника было невозможно. Наконец, записи в справочниках нередко дублировались, что затрудняло слаженное функционирование информационных систем и подразделений компании. Если учесть, что число позиций в справочниках НСИ достигало 500 тыс., стало очевидно, что без перехода на новую MDM-систему накопившиеся проблемы решить не удастся.

Было решено переходить на новую систему на базе продукта «1С:MDM». Для ее интеграции с системами «Парус» и «1С:CRM» внедрили интеграционную шину DATAREON ESB.

В настоящее время компания находится на этапе перехода от прежней MDM-системы к новой: часть дочерних предприятий уже работают на базе новой системы, тогда как другая часть — пока на основе прежней. Как пояснил Залозных, такой подход был принят, чтобы снизить уровень стресса у сотрудников.

Благодаря внедрению новой MDM-системы и нормализации базы НСИ, существенно уменьшились затраты времени на поиск и анализ позиций в справочнике, сократились сроки выполнения конкурсных процедур на торговых площадках, ускорилась обработка заявок по справочникам. А за счет выявления и устранения дублей появилась возможность в перспективе сэкономить более 40 млн рублей благодаря более четкой идентификации остатков на складах. Кроме того, удалось провести инвентаризацию позиций МТР с привязкой технической документации. В результате оптимизации и усовершенствования бизнес-процессов по ведению справочников существенно повысилась продуктивность работы службы НСИ.

Рекомендации на основе лучших практик

Как привлечь внимание бизнеса к повышению качества данных? Для этого надо понять, что качество данных дает бизнесу, считает Андрей Трянин, начальник управления методологии и контроля работы с данными компании X5 Retail Group. Основываясь на этой идее, он и его коллеги решили разделить понятия технического качества данных и их бизнес-качества.

Андрей Трянин: «Зачастую бизнес пытается решить свои проблемы на уровне процессов и людей, но не обращает внимания на слой данных»

«Одно дело — решение чисто технических проблем, таких, например, как обеспечение своевременного обновления информации в витринах данных. И другое — решение бизнес-проблем, которое возможно на основе анализа качественных данных, — поясняет Трянин. — Например, почему не продается товар, который есть и в остатках на складах, и в ассортименте? Бизнес не заявит о том, что данные о товарах нужно отслеживать и как-то анализировать. Зачастую бизнес вообще не ассоциирует подобные проблемы с данными, поэтому пытается решить их на уровне процессов, людей, но не обращает внимания на слой данных».

Предметно заниматься бизнес-качеством данных в X5 Retail Group начали с декабря. Проведенная работа уже дала вполне заметный экономический эффект.

«Мы подтвердили гипотезу, и эффект от внедрения изменений оценивается в 'скромные' 50 млн руб. — отмечает Трянин. — Для компании это немного, но для моей команды это сумма средств на два-три года».

Подход к управлению качеством данных, основанный на соглашениях SLA, описал Евгений Виноградов, директор департамента аналитических решений компании YooMoney. Он и его коллеги выяснили, на какие проблемы с качеством данных чаще всего жалуются пользователи. Как оказалось, замечания в первую очередь касались недоступности данных, их неактуальности или некорректности. У дата-инженеров обнаружились схожие претензии, но, кроме того, у них были и нарекания к качеству исходных данных.

«Решением проблем с качеством данных может стать фиксация в документе SLA требований к данным с указанием приемлемых диапазонов показателей», — считает Виноградов.

С его точки зрения, в SLA для аналитических систем наиболее важными показателями являются полнота данных и их точность. Также следует контролировать доступность данных для пользователей и соблюдение четких сроков завершения обработки информации за предыдущие периоды. Кроме того, полезно отслеживать длительность инцидентов с данными и их максимальное количество за месяц. Что касается вопроса о том, стоит ли отражать в SLA работоспособность источников данных, Виноградов и его коллеги пришли к выводу, что исключить из SLA можно только параметры работоспособности второстепенных данных. Ответственность за важные источники аналитикам все-таки приходится брать на себя. 

Евгений Виноградов: «Решением проблем с качеством данных может стать формирование документа SLA»

Время, к которому должно завершаться обновление данных за предыдущий день, допустимое количество инцидентов за месяц, сроки устранения инцидентов, а также допустимое количество плановых работ и время восстановления с резервной копии в случае повреждения основной базы данных — вот те параметры, которые сегодня являются ключевыми метриками контроля доступности аналитических систем в YooMoney.

«Дело осталось за малым — добиться того, чтобы зафиксированные в SLA договоренности соблюдались», — добавляет Виноградов.

Свой подход к обеспечению качества данных нашли в «М.Видео-Эльдорадо». Как рассказал Алексей Точилов, руководитель продукта Data Governance, в компании в силу исторических причин развиваются два хранилища данных — корпоративное и аналитическое. Они подчиняются разным департаментам, выстроены на базе разных технологических стеков, их сопровождают и поддерживают разные команды. До недавнего времени требования бизнес-заказчиков к данным в разных хранилищах формировались различным образом и проверки качества данных были реализованы по-разному. Неудивительно, что в некоторых случаях возникали расхождения в данных. Немало сложностей возникало и тогда, когда приходилось переносить отдельные активы данных из одного хранилища в другое: могли появляться дополнительные требования, обнаружить которые без выстроенной процедуры их отслеживания было проблематично.

Выход из ситуации был найден путем унификации процессов управления качеством данных. В частности, специалисты решили стандартизировать управление требованиями к данным, согласовать методологии проверок качества данных, обеспечить своевременное реагирование на инциденты с данными и их устранение.

За основу был взят каталог данных, а точнее — хранящиеся в нем метаданные и глоссарий, который содержит не только термины и определения данных, но и информацию об их семантике и происхождении (что особенно важно для поиска точек отказа при анализе инцидентов с данными). Управление качеством данных было решено реализовать на основе каталога данных: именно в нем теперь хранятся типы проверок качества, которые необходимо применить в отношении того или иного актива данных. Типы проверок, включающие описания их методологии в терминах бизнеса и описания алгоритмов, копируются в каталог из системы качества данных (она реализована на базе собственной разработки).

Теперь в каталоге данных фиксируются требования, касающиеся отдельных активов данных, вместе со ссылками на типы проверок, которые следует применить. Эти требования копируются в систему качества данных, и встроенный в нее планировщик заданий систематически запускает проверки согласно составленному расписанию. Их результаты сохраняются в системе качества данных, при этом каталог данных предоставляет возможность просмотра таких результатов. Таким образом, каталог данных выступает в роли единого окна для контроля данных, которое доступно всем, кто использует или поддерживает активы данных.

Нередко проблемы с качеством данных возникают из-за того, что не удается снизить их сложность. По словам Федора Медведева, директора департамента компании Naumen, отвечающего за цифровые сервисы и решения в образовании, помочь справиться с этой проблемой могут системы корпоративного поиска. В частности, поисковая система Naumen Enterprise Search, обладающая встроенными механизмами машинного обучения и средствами обработки запросов на естественном языке (Natural Language Processing, NLP), интегрирует разнородные источники. Система поиска использует единое окно доступа к данным, причем не только к внутренним, но и к внешним.

Внедренная в компании «Газпром Нефть» поисковая система Naumen сегодня охватывает около 50 тыс. пользователей, 50 источников данных и 30 млн документов, обрабатывая около 2,5 тыс. запросов ежедневно. В компании «Мосэнергосбыт» на основе такого же продукта выстроен автоматический мониторинг законодательства в области электроэнергетики: система опрашивает источники (внешние сайты) и ищет информацию о подготовке новых изменений в документах регуляторов. Кроме того, система помогает анализировать найденные данные, отслеживать упомянутые в документах сроки и пр. Что важно, она обеспечивает обсуждение найденных документов внутри организации (задействованы более 50 подразделений) и сведение различных позиций к единому мнению.

Нина Адамова, руководитель направления «Умный город» компании «МегаФон», считает, что вопрос доверия к предоставляемым руководителям данным сегодня является очень важным. Чтобы снизить информационную нагрузку, «Мегафон» создает для топ-менеджеров различных организаций персональные рабочие места — информационные панели, на которых визуализируются не более чем по шесть крупных диаграмм, отражающих актуальные данные по наиболее насущным вопросам, тогда как прочие сведения отображаются в свернутом виде — при желании их можно развернуть и изучить более подробно. Данные для таких систем могут извлекаться из десятков, а иногда и из сотен различных источников — как внутренних, имеющихся в головном офисе или дочерних организациях, так и внешних. К сожалению, раскрывать детали обеспечения качества данных для систем руководителей «Мегафон» пока не готов.

Решить проблему нехватки ИТ-кадров для развития цифровой экономики взялись создатели AI Talent Hub, запущенного ИТМО и Napoleon IT. Это онлайн-магистратура «Инженерия машинного обучения», с помощью которой планируется подготовить к 2025 году более 700 мидл-специалистов в сфере искусственного интеллекта. О предпринятых шагах и первых полученных результатах рассказывает Дмитрий Ботов, руководитель проекта AI Talent Hub, Data Science Partner компании Napoleon IT, номинант на премию Data Award.

— Как родился этот проект?

Я занимаюсь преподавательской деятельностью уже более 10 лет: создавал и факультативы для одногруппников, и курсы, и образовательные программы. В то же время за моими плечами выстраивание отделов Data Science с нуля в крупных телеком-компаниях. Своими глазами видел, насколько стандартное ИТ-образование отличается от того, что необходимо бизнесу, и как выпускникам вузов тяжело вникнуть в реальные ИТ-процессы после учебы. Поэтому моим основным мотивом пойти в преподавание стало осознание того, что текущая модель ИТ-образования работает совсем не так, как должна. В 2015 году я познакомился с сооснователем компании Napoleon IT Павлом Подкорытовым. Вместе мы сделали совместный курс для студентов бакалавриата по разработке мобильных приложений под Android. Уже позже, в 2021 году, Павел позвал меня в ИТМО — запускать совместную специализацию «Компьютерное зрение» для магистрантов. Именно тогда мы познакомились с первым проректором ИТМО Дарьей Козловой, и она предложила мне сделать «перевернутую» магистратуру.

— Что представляет собой AI Talent Hub?

Это онлайн-магистратура «Инженерия машинного обучения» (с 2023 года – «Искусственный интеллект») по подготовке специалистов по машинному обучению уровня среднего и выше среднего, созданная в партнерстве ИТМО и Napoleon IT. Кроме того, мы формируем сообщество, которое объединяет талантливых студентов, ведущие ИТ-компании, экспертов из индустрии, заинтересованных в развитии в области машинного обучения.

AI Talent Hub решает проблему нехватки ИТ-кадров отраслей цифровой экономики. За два года начинающие ИТ-специалисты могут стать специалистами по искусственному интеллекту мирового уровня, развиваясь благодаря работе на реальных проектах.

— Какие задачи вы ставите перед собой?

У нас амбициозная цель: подготовить к 2025 году более 700 мидл-специалистов в сфере искусственного интеллекта. В 2022 году были набраны первые 109 магистрантов со всей страны. В 2023 году планируется отобрать более 200 кандидатов на магистерскую программу. Сейчас мы стали одной из самых крупных магистерских программ по искусственному интеллекту в России как по числу бюджетных мест, так и по конкурсу на одно место. В 2022 году конкурс составил 4,2 человека на место – на отбор было подано более 430 заявок.

— В чем уникальность программы? Что нового вы можете предложить студентам?

Уникальность онлайн-магистратуры AI Talent Hub в том, что это не очередная образовательная программа по искусственному интеллекту с набором разрозненных дисциплин с упором на лекции и лабораторные работы от теоретиков. Это пример перевернутого образования: за два года студенты проходят все этапы создания сервисов машинного обучения, разбираются с «грязными» данными, неполной документацией и технологическим стеком для решения реальных бизнес-задач партнеров проекта. По итогам обучения каждый из студентов создаст свой MVP и защитит его перед представителями бизнеса и экспертами из индустрии. В учебном плане студенты могут выбрать дисциплины по технологическому предпринимательству и управлению ИИ-продуктами.

Обучение происходит полностью онлайн с применением дистанционных цифровых технологий – Zoom, Discord.

— Как выстроена программа? Кто участвует в ее разработке?

Онлайн-программа по подготовке специалистов в машинном обучении среднего уровня выстраивается с учетом их индивидуального плана развития, поэтому в процессе обучения студенты уже работают в проектных командах ИТ-компаний с экспертами и менторами из индустрии. Помимо обязательного проектного трека в ходе обучения, магистранты могут построить свою траекторию обучения, выбрав дисциплины из более чем 100 различных курсов для развития «мягких» и «жестких» навыков в сфере искусственного интеллекта. Подавляющее большинство курсов реализуется экспертами-практиками из ИТ-компаний и сообщества Open Data Science.

За первый год работы проекта для развития сообщества мы привлекли десятки партнеров из ведущих ИТ-компаний, которые занимаются разработкой и внедрением решений с искусственным интеллектом – МТС, VK, «Яндекс», «Сбер», «Газпромнефть-Цифровые решения», «Татнефть», Napoleon IT, Huawei и другие. Для образовательных программ российских вузов такое количество партнеров на одной программе подготовки является новаторством.

— Кто является вашей целевой аудиторией?

На программу поступают талантливые ИТ-специалисты и инженеры со всей России с разным бэкграундом и опытом, с сильной мотивацией расти профессионально и личностно. Это способствует созданию сильного кадрового резерва отраслей цифровой экономики и популяризации ИТ-профессий. Поступление на программу происходит по конкурсу: наша команда отбирает студентов по их мотивации к обучению, а также по профессиональным знаниям и навыкам – аналогично процедуре ассессмента специалистов начального уровня в ИТ-компаниях.

— Какие технологии и направления охвачены программой?

Применяются практически все актуальные для индустрии на сегодняшний момент стеки технологий работы с данными – в зависимости от образовательного курса или проекта от партнеров, в который вовлечены магистранты. От реляционных СУБД до Apache Spark, Hadoop и ClickHouse. Используются инструменты MLOps: ClearML, MLFlow, DVC. Применяются open source библиотеки на Python, а также PyTorch как основной фреймворк для глубокого обучения.

Коммерческих платформ для работы с данными в рамках учебных треков на текущий момент не используем. Однако мы ищем технологических партнеров – например, изучаем облачные решения «Сбера», «Яндекса» и МТС.

Направления (треки) подготовки на программе: инженер по компьютерному зрению, инженер по обработке естественного языка, инженер по рекомендательным системам, MLOps-инженер, инженер по данным (Data Engineer), руководитель продуктовых команд в Data Science (AI Product Manager), инженер в области Data Driven Biotechnology.

— Какие результаты достигнуты?

Магистранты AI Talent Hub вовлечены в более 50 проектов, которые реализуются по реальным задачам компаний-партнеров, либо по инициативным проектам самих студентов (формат «диплом как стартап»). Один из показательных примеров — проведение для компании «Татнефть» обучающего семинара Big Data Workshop «От идеи к продукту» вместе с Передовой инженерной школой ИТМО и компанией Napoleon IT. В его рамках руководители компании вместе со студентами сгенерировали более 150 гипотез по решению задач нефтегазовой отрасли с помощью искусственного интеллекта, 10% из них взяты в работу.

Не менее важным достижением стало развитие комьюнити. Онлайн-сообщество AI Talent Hub насчитывает более 700 специалистов в Data Science различного уровня (от начального уровня до руководителей компаний), заинтересованных в развитии талантливых ребят в области искусственного интеллекта со всей страны. У него есть телеграм-канал, в котором регулярно проводятся прямые эфиры с экспертами в машинном обучении и искусственном интеллекте. Еще один проект – клуб ML Future, созданный студентами онлайн-магистратуры. Каждую неделю в нем выступают приглашенные спикеры и отвечают на вопросы студентов о машинном обучении, карьере и других аспектах их профессиональной деятельности.

Результатом общения партнеров и заказчиков стала «Школа менторов» – онлайн-площадка для обмена опытом и обсуждения вопросов по развитию талантов в сфере Data Science.

– Как проходит обучение на программе?

Обучение началось с неклассического формата – студенты приняли участие в ITMO.BootCamp. Это десятидневное мероприятие с участием 27 менторов и 13 экспертов из компаний, которое включало в себя также хакатон по созданию продуктов на данных.

Для студентов доступны более чем 100 курсов по машинному обучению и нейронным сетям, программированию на C++, Python, Java, Scala, Kotlin, технологиям компьютерного зрения и обработке естественного языка, разработке рекомендательных систем, сбору и анализу данных, проектированию интеллектуальных систем, проектированию хранилищ данных и работы с технологиями Big Data (Hadoop, Spark), управлению проектами и продуктами в Data Science, методологии и процессам реализации data driven решений, применению машинного обучения в геномике, химии и биотехнологиях.

Создатели курсов – образовательные партнеры программы: Институт прикладных компьютерных наук ИТМО, Передовая инженерная школа ИТМО, другие программы по искусственному интеллекту, Факультет технологического менеджмента и инноваций и Soft Skills ИТМО, а также ведущие ИТ-компании. В разработке программы участвуют эксперты из компаний-партнеров.

— Какими успехами студентов вы уже гордитесь?

На первом хакатоне по разработке продукта на данных ребята показали отличные результаты: создавали продукты и применяли технологии компьютерного зрения, генеративного искусственного интеллекта, машинного обучения в биотехе и геномике. В результате участники создали более 20 стартапов по разным тематикам. В жюри хакатона присутствовали представители от Комитета по развитию туризма, Комитета по молодежной политике и взаимодействию с общественными организациями, городского-туристического информационного бюро Санкт-Петербурга и высоко оценили разработки участников. Магистранты уже сформировали такие стартапы, как Energy.ai – сервис по увеличению рентабельности электростанций, и Deeploid meta – сервис для анализа метагеномных данных.

Кстати, недавняя победа наших магистранток на хакатоне в Казахстане помогла им решиться на развитие своего социально-значимого стартапа SafeGesture – алгоритма распознавания сигнала о помощи по камерам слежения посредством обучения нейросети. Сейчас девушки в поиске на инвесторов для развития идеи.

— В каком направлении будет развиваться проект?

У нас амбициозные планы. К 2024 году планируем, что более 700 талантливых абитуриентов поступят на программы AI Talent Hub на бюджетной или коммерческой основе. Хотим создать более 10 образовательных программ разного уровня: онлайн-магистратуры, дополнительное профессиональное обучение (онлайн-курсы) или микростепени.

По нашим подсчетам, доля выпускников программы, которые работают на позициях, соответствующих уровню мидл или выше по профилю искусственного интеллекта, в том числе в компаниях-лидерах рынка искусственного интеллекта, к 2024 году достигнет 60%. А доля выпускников с нулевым временем адаптации к рабочему месту должна составить 50%.

Все, что мы делаем, направлено на то, чтобы осуществить глобальное изменение в подходе к образованию. Причем не только в России, но и по всему миру.

Время руководителя – наиболее ценный ресурс любой компании. Возможность избавить его от рутинных и трудоемких действий по планированию работы сотрудников способна стать серьезным фактором, влияющим на развитие бизнеса. О создании системы автоматизированного планирования «Планер», выполняющей именно эти задачи, рассказывает Александр Кузнецов, руководитель процессного офиса компании White Box Process Management (WBPM), и номинант на премию Data Award.

- Что представляет собой созданное решение, в чем его суть?

Мы разработали систему автоматизированного планирования «Планер» для вынесения и получения судебных приказов. Продукт функционирует на базе юридической фирмы «Паритет» в отделе судебного производства, занимающегося массовым взысканием, и замещает руководителя в процессе организации работы сотрудников.

Сервис в автоматическом непрерывном режиме определяет задачи и операции, а после классифицирует их по приоритетности. Согласно эталонной модели, «Планер» рассчитывает временные и человеческие ресурсы, требуемые для получения исполнительных документов в поставленный заказчиком срок. Как итог, для руководителя формируется рекомендация в виде планов операций на месяц, неделю и день, в которой прописаны необходимые задачи для оптимальной проработки судебных дел.

- Какие были проблемы? Почему это важно?

Деятельность компании, для которой создавалось решение, – юридической фирмы «Паритет» – сосредоточена на массовом судебном взыскании по всей территории России. Несмотря на установленные гражданско-процессуальным кодексом РФ нормы, судебные участки зачастую не успевают вынести и отправить судебные приказы в определенный законом срок. Причины бывают разными: высокая загруженность, отсутствие средств на отправку, запрос новых документов, утеря заявлений и т.д. В каждом конкретном случае перед юристом встает задача устранить существующую проблему. Этот процесс затруднен не только множеством вариантов развития событий, но и географическим фактором: суды находятся в разных регионах, а значит, и в разных часовых поясах, связаться с ними можно только в их рабочее время.

Когда мы начали сотрудничать с «Паритетом», процесс планирования в отделе осуществлялся в ручном режиме. Данные, хранящиеся в учетной системе, выгружались в Excel, где руководитель устанавливал фильтры по разным параметрам, отслеживал этапы работы, изучал комментарии по каждому делу, направлял обратную связь и прописывал в системе задачи на неделю.

Ввиду стабильно лучших показателей среди конкурентов, компании доверили проработку еще большего объема дел. Увеличение и послужило основным триггером для изменений, потребность в которых неизбежно назрела. Определить задачи с разной приоритетностью и назначить на них исполнителей – несложно, если речь идет о ведении 100 дел. Но когда объем достигает нескольких десятков тысяч одновременно, это не представляется возможным, особенно с сохранением стабильно высокого результата и лидерских позиций.

Готовых решений, помогающих масштабировать компанию с узкой экспертизой без потери эффективности, на рынке найти не удалось. Вследствие этого перед нашей командой встала задача – разработать автоматизированную систему принятия решений для компании со специфичной нишей.

- Какой подход был выбран?

Первоначально мы погрузились в процесс судопроизводства, узнали об особенностях работы судов и судебных участков, изучили важные нюансы. Затем с помощью технологии Process Mining определили действия руководителей в процессе планирования, проанализировали их вариативную логику и описали в нотации BPMN 2.0. В ходе исследования соотнесли данные о каждой операции с теми, что хранятся в CRM. Обнаружив их нехватку, изменили структуру базы данных, внеся нужные атрибуты и сущности. Не обошлось и без нормализации данных, а также создания правил их внесения. Иначе было невозможно «пересобрать» верную последовательность этапов: внушительная часть информации не логировалась в системе, а то, что имелось, было сильно «зашумлено».

Проанализировав имеющийся опыт, мы выявили лучшие практики получения судебных приказов, а также заметрировали все действия и операции, которые выполняют сотрудники, с учетом коэффициента утилитарности. То есть учли реальное рабочее время сотрудников, а не нормативный 8-часовой рабочий день.

На этой базе мы создали эталон процесса и перенесли описанную логику вместе с метриками в сервис.

- Можете поделиться примерами инсайтов, появившихся в результате использования Process Mining?

Их было достаточно, поделюсь самыми запоминающимися.

Мы заметили, что в процессе было немало действий, которые не оказывали никакого позитивного эффекта на результат, но при этом «на всякий случай» выполнялись. С чем это связано? Люди привыкают работать по одному алгоритму действий. Когда меняются обстоятельства, казалось бы, и алгоритм должен видоизменяться, но все же зачастую он остается прежним. Здесь мы имеем дело с уже сложившимся порядком, установленным другими исполнителями. Следование устойчивой последовательности действий оказывается неким «ритуалом».

И еще одно наблюдение. Делегирование задач от руководителей к сотрудникам, несмотря на профессионализм, основывается порой не столько на объективных данных, сколько на личном мнении об экспертности того или иного коллеги. Да, иногда это бывает оправданно, но встречаются примеры, когда подобный подход не лучшим образом влиял на конечный результат.

- Что в ходе проекта было самым сложным?

Хотя и возникали сложности со сбором, очисткой, структурированием данных и процессов, самым сложным было определить причинно-следственные связи и факторы влияния на конечный результат. Почему, например, в одном судебном участке выносят решение быстро и без проблем, а в другом – постоянные задержки? Почему в одном случае коммуникация сотрудников по скрипту дает результат, а в другом нет? Основной вызов был в том, чтобы определить возможные способы влияния заказчика на выявленные факторы, а после учесть их в архитектуре «Планера».

- Какие принципы соблюдались при создании решения?

Ключевой принцип – это погружение в процессы заказчика с выявлением причинно-следственных связей. Взяв для анализа как лучшие, так и худшие сценарии, мы смогли понять, что повлияло на них. Это позволило сократить лишние действия и построить эталон.

И главное – принцип нормализации данных. Во-первых, приведение к целевому состоянию базы данных. Во-вторых, запрет на уровне системы на ввод ненормализованных данных, что исключает любые отклонения в работе «Планера». Без строгости в этом вопросе вся остальная реализация проекта была бы бессмысленна.

- Какие платформы для работы с данными используются?

Используем свою учетную систему и полностью написанный нами сервис. Использование сторонних приложений не требует необходимости.

- На чем именно написана система? Какие платформы использованы?

Сервис написан на технологии .Net 7 на языке C#. Взаимодействие с системой происходит через кроссплатформенное WebAPI (Rest).

В процессе запуска «Планера» набор правил, хранящихся в базе данных сервиса в формате XML, конвертируется в SQL-запросы, а после отправляется в базу данных CRM. На выходе мы видим состояние каждого отдельного дела и операции, которые нужно выполнить. Эта информация снова возвращается в базу данных «Планера» и извлекается руководителем для распределения задач.

- Сколько времени и ресурсов потребовалось на реализацию проекта?

С технической точки зрения проект был довольно простым. Самое сложное – это его аналитическая часть. Первый месяц мы потратили на анализ данных, искали причинно-следственные связи. Следующий месяц одна команда меняла модель данных и переносила их в новую базу данных, вторая же работала над тем, чтобы создать логику «Планера» на основе проведенного анализа. Третий месяц ушел на запуск системы планирования с нормализованными данными. В начале четвертого месяца прошла вторая итерация: анализ полученных результатов, внесение изменений в логику и отладка. И наконец, во время третьей двухнедельной итерации мы доработали мелкие недочеты и вышли на промышленную эксплуатацию.

- Какие результаты достигнуты?

Отчеты показали, что до запуска сервиса в работу на планирование 5 тыс. судебных дел уходило в среднем два-три дня каждую неделю. Сейчас это время удалось сократить до нуля, а руководителю остается лишь распределить запланированные системой задачи.

Сегодня системой обработано уже более 90 тыс. дел и, несмотря на серьезное увеличение объемов каждый год, компания на протяжении пяти лет продолжает сохранять лидерство среди конкурентов. И это во многом благодаря «Планеру».

- Насколько масштабируемым и тиражируемым стал этот опыт?

На текущий момент мы заканчиваем внедрение похожего сервиса, но уже для другого отдела. Аналитиками на основе данных для процесса исполнительного производства прописано 630 сценариев. Это в разы превосходит как по сложности, так и по объему уже завершенный проект со 105 возможными вариациями получения исполнительного документа.

К слову, когда продукт перейдет в стадию сопровождения, команде было бы интересно реализовать подобную систему и в других сферах, так как грамотное и быстрое принятие решений способствует развитию любого бизнеса.

- Пытался ли заказчик оценивать финансовый эффект от реализации проекта?

Да, но в силу NDA мы не можем озвучивать точные цифры. Однако счет идет на десятки тысяч судебных дел и десятки миллионов рублей.

- В чем роль проекта для бизнеса компании?

Можно сказать, что «Планер» сыграл определяющую роль в развитии компании. Сегодня система, согласно прописанным алгоритмам, автоматически рассчитывает, какие ресурсы потребуются для закрытия задачи, сколько на это будет затрачено времени и кому из исполнителей, исходя из статистических данных, лучше доверить ее решение. В дополнение к этому, сервис способен прогнозировать промежуточный результат проработки дел в соответствии с установленным процентом, который должен быть достигнут к концу каждой недели. Это упрощает процессы контроля и управления со стороны руководителя, а также позволяет предупредить форс-мажорные обстоятельства.

Благодаря внедрению системы компания «Паритет» заметно масштабировалась, а также смогла сэкономить на расширении штата и обучении сотрудников. Для руководителей же использование сервиса дало возможность освободить время для решения задач, которым уделялось недостаточно внимания в силу занятости планированием.

- Насколько вообще подобные решения могут быть востребованы рынком?

На наш взгляд, за автоматизированными системами принятия решений не только скорое будущее, но и немалая часть настоящего. Подобные решения позволяют видеть причинно-следственные связи между выполняемыми действиями и полученными результатами. В результате повышается управляемость, гибкость, а самое главное – скорость реакции на существенное изменение обстоятельств. Этим наш сервис отличается, например, от продуктов на базе нейросетей.

Еще одно отличие: для использования машинного обучения в этом проекте просто не хватило бы данных, но для выделения принципов с помощью аналитиков их достаточно. А потому, если процесс высоко вариативен, данных недостаточно, но понятен контекст – наш подход наиболее предпочтителен для автоматизации управленческих решений.

На данный момент большинство банков работают преимущественно на зарубежных решениях. Перейти на российское ПО – задача непростая, но рано или поздно ее придется решать. Минимизировать возникающие проблемы призвано отраслевое решение на платформе «1С», разработанное IAS Digital. Татьяна Мошкина, управляющий партнер IAS Digital и номинант на премию Data Award, рассказывает о предпосылках создания системы и ее первых шагах на рынке.

- Каковы сейчас потребности банков? Какие у них головные боли?

Основной вызов в банках в 2022 году – это импортозамещение и переход на отечественный софт. Не секрет, что до недавнего времени базы данных и программное обеспечение банков были основаны на иностранных платформах, вендоры которых перестали оказывать поддержку российским компаниям в прошлом году. В программы цифровизации в банках начали включать задачи по поиску и внедрению отечественных аналогов банковских решений. Если посмотреть на российскую специфику, то банки ушли далеко вперед относительно других отраслей по части цифровизации: это решения по роботизации бизнес-процессов, технологии Process Mining, технологии умного клиентского сервиса в виде мессенджеров, чат-ботов, диалоговых интерфейсов, цифровых помощников. Клиентоцентричность банковских команд – главный приоритет, это и позволяет им быстро выводить новые продукты на рынок.

Несмотря на падение российской экономики и ВВП, банковский сектор в 2022 году получил прибыль – 203 млрд руб., а объем банковских кредитов корпоративному сектору вырос на 14%. Банковский сегмент растет, при этом ИТ-инструменты должны позволять гибко адаптировать банковские бизнес-процессы к внешнему контексту, когда меняются экономическая ситуация, платежные системы, страны сотрудничества, законодательство. В этих условиях банкам особенно важно реализовывать программы цифровой трансформации учитывая импортозамещение.

- Что собой представляет созданное вами решение?

Это автоматизированная банковская система на платформе «1С». Для банковской отрасли эта платформа не так популярна – в основном банки если и использовали «1С», то для учета административно-хозяйственной деятельности. Мы же автоматизировали основные операции банка, то есть банковский день.

До недавнего времени в банковском сегменте подобное решение отсутствовало, в том числе по причине особенностей производительности систем на платформе «1С». Однако несколько лет назад пазл, наконец, сложился. По мере выпуска отраслевых решений для финансовой отрасли нам удалось консолидировать единое решение для банков. Кроме этого, платформа развивается самим вендором, что позволяет использовать решение как высоконагруженную систему с большим количеством и скоростью обработки операций.

В автоматизированную банковскую систему на платформе «1С» вошли классические банковские блоки: кредитный модуль, модуль депозитов, РКО, ценные бумаги, факторинг, риски, внутрихозяйственный учет, клиентский блок, а также автоматическое формирование банковской отчетности.

- Что подвигло вас на создание системы?

После ухода SAP и Oracle из России и подписания указа, запрещающего использовать зарубежный софт в критической инфраструктуре, многие российские банки и другие компании финансового сектора оказались в невыгодном положении. Перейти на российское ПО быстро и недорого – задача для банков неординарная. По подсчетам аналитиков, 50% ERP-систем в России функционируют именно благодаря решениям SAP. Пока перспектив окончания санкционной войны нет, и альтернатив у финансового сектора не очень много. Банки могут использовать разные российские решения, но комплексных автоматизированных платформ, основанных на «1С», на рынке нет.

На данный момент большинство банковских систем работают преимущественно на импортном программном обеспечении. В частности, СУБД Oracle используют 80% банков, а PostgreSQL – 10%. Поэтому переход на отечественные аналоги для банков будет неизбежен, при этом банки будут сталкиваться с определенным количеством проблем, связанных с другой архитектурой, а следовательно – с иной логикой работы. Условия рыночной конкуренции выдвигают на первый план задачу использования современных отечественных технологий – с прогнозируемой стоимостью, технической поддержкой и наличием большого количества специалистов, способных провести миграцию и заниматься развитием решения.

- Какие задачи решал проект?

Основной целью проекта является повышение эффективности работы банков в условиях импортозамещения иностранного ПО. Использование отечественных технологий в банковском секторе позволит создавать добавочную стоимость – увеличение прибыли за счет сокращения затрат на поддержку и сопровождение. Использование современной архитектуры учетной системы обеспечит повышение прозрачности бизнес-процессов и оперативность предоставления аналитической информации.

Эти преимущества реализуются на фоне уменьшения затрат на интеграцию бизнес-процессов. В единой информационной системе банки могут вести все необходимые виды учета, а также ежедневно закрывать главную книгу и формировать отчетность.

- Какие принципы соблюдались при создании решения?

При его разработке мы руководствовались тем, что решение должно обладать полным функционалом и понятным интерфейсом, но при этом быть дешевле иностранных аналогов. Первый же наш клиент отметил, что персонал быстро адаптировался, а сам банк существенно оптимизировал затраты на поддержку ИТ-системы.

При этом мы понимали, что банковская отрасль регулируется Банком России, и коммерческий банк не может остановить свою деятельность для внедрения нового программного продукта. Даже часы простоя чреваты существенными убытками и потерей клиентов. Мы создавали решение таким образом, чтобы в дальнейшем можно было поэтапно интегрировать различные модули системы «АБС: Учет и управление в банках» в текущий контур автоматизации, не нарушая при этом основную работу банка.

Процесс разработки решения шел по методологии Agile стримами по одной-двум неделям совместно с представителями бизнес-подразделений, включая понедельное планирование всех процессов. Внедрение происходило помодульно. Команда проекта состояла из 1-2 специалистов со стороны банка по определенному функциональному блоку и 4-5 со стороны разработчика в разные этапы разработки и тестирования.

- Сколько времени и ресурсов потребовалось на реализацию проекта?

Мы начали разработку АБС пять лет назад, но не с нуля. У IAS Digital к этому моменту уже был богатый опыт автоматизации деятельности некредитных финансовых организаций – профессиональных участников рынка ценных бумаг, страховых компаний, негосударственных пенсионных фондов. На основе одного из решений, которое выпустили в еще 2017 году совместно с «1С», мы начали разработку автоматизированной банковской платформы. Тогда же у нас появился первый клиент, для которого и была реализована АБС, – «Первоуральскбанк».

- Как насчет имиджевых барьеров? Все-таки в понимании подавляющего большинства специалистов «1С» — это не про банки.

Так было до недавнего времени. Сейчас вообще происходит много необычного. Банки, наверное, – единственная отрасль, которая до прошлого года довольно редко использовала решения «1С».

Банк как субъект критической информационной инфраструктуры не может использовать ИТ-решения, которые могут заблокировать его деятельность даже на короткое время. Поэтому мы вывели АБС на рынок только тогда, когда поняли, что продукт поможет банкам работать без сбоев. Платформа «1С» по части производительности в последнее время сильно выросла и может составить конкуренцию иностранным решениям. Мы видим, что в банках и других финансовых организациях решения на этой платформе уверенно выдерживает нагрузку в миллионы транзакций в день.

- Работа банков неразрывно связана с анализом данных: анализ рисков, клиентская аналитика, подготовка маркетинговых кампаний и т.п. Какими средствами предполагается поддерживать эту работу?

В «1С» есть специализированное решение «1С:Аналитика», которое позволяет реализовать аналитику любой компании в виде дашбордов, графиков, отчетов. Кроме того, есть решение «1С:Маркетинг», которое не специализировано для банков, но зато широко используется на рынке. Основные затраты банка обычно связаны с внедрением, доработкой и сопровождением АБС, а остальные решения всегда можно интегрировать с основной системой. Решения на общей платформе позволяют разработать единый интерфейс, и тогда пользователь будет работать в системе без необходимости переключаться между разными приложениями, то есть с использованием бесшовной интеграции. Сама АБС встраивается в ИТ-инфраструктуру любого банка, текущие интеграции с другими программами всегда можно будет поддержать.

- Какие результаты достигнуты и ожидаются?

Первым клиентом стал «Первоуральскбанк» – небольшой коммерческий банк из города, который находится в Свердловской области на границе Европы и Азии и имеет население в 114 тыс. человек. Банк получил самую современную систему управления предприятием с банковским модулем и возможностью создавать большое количество управленческих отчетов с каскадированием данных. В решении автоматизирован расчет нормативов банка и составления отчетности для Банка России и ИФНС.

Благодаря решению АБС компании малого и среднего бизнеса Свердловской области, которые в основном и являются клиентами банка, продолжают получать услуги факторинга и кредитования, развиваются и стабилизируют кризисную экономику за счет предоставления рабочих мест и выплат налогов в местный бюджет. А с 2022 года все услуги банка доступны онлайн, и чтобы воспользоваться услугами банка, клиентам не обязательно ехать на Урал.

На текущий момент решение внедрено и успешно работает в нескольких региональных банках.

- Насколько это востребовано рынком?

Рабочие встречи с представителями банков в 2022 году показали, что многие банки хотят уйти от банковских автоматизированных систем, основанных на зарубежных разработках и использующих импортные СУБД. Они заинтересованы перейти на российское программное решение, которое бы обеспечило возможность ведения основных операций и одновременно ведение бухгалтерского и управленческого учета, а также удешевило бы стоимость сопровождения и владения банковским ПО. Таким образом, выявлена потребность рынка в комплексной автоматизации бизнес-процессов на базе единого решения, включая учет кредитов, депозитов, факторинговых и лизинговых операций с возможностью гибкого моделирования. Наше решение содержит функционал для управления продажами и банковскими сделками, казначейства и бюджетирования, а также формирования оперативной, управленческой и бухгалтерской отчетности в соответствии с требованиями Банка России.

- Что вы со своей стороны делаете для того, чтобы банки, использующие ваше решение, становились data-driven?

Особенность финансовой отрасли в том, что банки – это институты, в основе которых лежат данные. Наша задача – обеспечить качество, скорость обработки данных. Чем выше производительность нашего решения, тем больше клиентов будет у банка.

- В чем роль проекта для развития рынка?

Кейс внедрения автоматизированной банковской системы на платформе «1С» показал, что она может активно внедряться в рамках импортозамещения в российских банках, помогая экономике справиться с последствиями кризиса, а миллионам людей получать современные банковские услуги. Автоматизированная банковская платформа – сложная разработка, на которую долгие годы на рынке никто не мог замахнуться. Тем не менее мы разработали решение. В итоге банки получают экономию финансовых затрат и независимость от иностранных вендоров.

- А каковы перспективы с финансовой точки зрения?

Вызовы 2022 года помогли нам вывести на рынок продукт, который в перспективе может захватить большую долю рынка. Рыночный сегмент внедрения – 327 банков, емкость рынка – 832,5 млн руб.

В целом же рынок ИТ-решений для российских банков составляет 514 млрд руб., а правительство планирует субсидировать переход банков на российское ПО. Это создает для нас потенциал роста и выхода практически в «голубой океан».

- В каком направлении будет развиваться платформа?

Мы будем работать над тем, чтобы наше решение внедрялось не только в сегменте небольших и средних банков, но и среди крупных банков. Для этого платформа «1С» должна формировать устойчивость при миллиарде транзакций в день, а мы как разработчик решения будем улучшать конфигурацию решения для его стабильной работы.

В банке «Открытие» запущен сервис «Советник», который позволил оптимизировать работу с клиентами из малого и среднего бизнеса и показал серьезные результаты, в том числе рост среднего комиссионного дохода, сокращение оттока, рост лояльности и т.п. Решение построено на нескольких технологиях машинного обучения и направлено как на самих клиентов, так и на сотрудников банка. О реализации этого проекта, его роли в бизнесе и достигнутых бизнес-эффектах рассказал Антон Козлов, вице-президент, директор департамента CRM МСБ банка «Открытие» и номинант на премию Data Award.

- Какова история проекта «Советник»? Что было раньше, какими инструментами поддерживалась работа банка с клиентами из малого и среднего бизнеса?

Этот проект развивается нашей командой уже около пяти лет. Раньше мы, как, наверное, большинство на этом рынке, для работы с клиентами МСБ использовали CRM-кампании в различных каналах, основанные на отдельных моделях (склонности к продукту, прогнозов оттока и т.д.).

- В чем заключались проблемы, почему потребовалось создание этого решения?

Проблемы были достаточно стандартные для бизнеса. Всем важно найти дополнительные источники увеличения доходности клиента и самой клиентской базы, повысить лояльность клиента, снизить нагрузку на линию поддержки и многие другое. При этом в решении таких проблем есть объективные ограничения: коммуникационная политика, то есть частота контактов с клиентами, доступные ресурсы, бюджеты. В какой-то момент стало понятно, что несколько различных целей можно достичь одним способом, объединяющим в себе отдельные решения. Тесты, проведенные еще в начале разработки, полностью подтвердили правильность этого подхода.

- В чем инновационность разработанного решения?

Во-первых, нам потребовался новый подход к решению бизнес-задач и работе банка с клиентами за счет объединения в одно целое различных инструментов Big Data, которые усиливают друг друга за счет согласованной работы. Благодаря модульной структуре можно быстро получать ощутимые эффекты даже в минимальной конфигурации, делать акцент на решении тех бизнес-задач, которые актуальны именно на текущий момент, постепенно развивать структуру сервиса, наращивая его возможности. Наконец, можно отметить разнообразие данных, которые получается успешно монетизировать в рамках созданного сервиса.

- На каких технологиях построено решение?

Основной блок решения – внутреннее ядро, которое обрабатывает данные. Оно использует такие технологии машинного обучения, как градиентный бустинг (Light Gradient Boosting, LGB), сети долгой краткосрочной памяти (Long short-term memory, LSTM), алгоритм «k ближайших соседей» (k Nearest Neighbor, KNN), обработка естественного языка (Natural Language Processing, NLP), а также обучение с подкреплением (Reinforcement Learning). Все реализовано на Python.

- Какими силами и в какие сроки реализовывался проект?

Состав и численность команды за 5 лет развития проекта менялись, и это не только специалисты по работе с данными. Достигнутый результат был бы невозможен без разработчиков, UX/UI-дизайнеров, тестировщиков, специалистов CRM. Ядро команды было достаточно компактным – около 10 человек.

- Что было самым сложным?

Самым сложным было сделать так, чтобы все наработки выстроились в одну логичную концепцию, которая была бы востребована бизнесом и клиентами. Были также трудности с качеством некоторых новых на этом рынке моделей. Например, первая попытка сделать модель, оценивающую лояльность конкретного клиента через прогноз NPS (Net Promoter Score — «индекс потребительской лояльности»), была неудачной. Однако через три года, после появления хорошей модели оттока и дополнительных данных, все получилось. Сложным было также выстраивание архитектуры данных, взаимодействия между всеми системами, включая сервера интернет-банка, баз данных и приложений. Готовых решений, четких технических заданий не было, поэтому, конечно, возникали трудности и ошибки, но целевая концепция была понятна, мы постепенно двигались вперед и со временем нашли все необходимые решения.

- Что собой представляет созданное решение?

Основная идея была достаточно простая: при работе с клиентами МСБ отказаться от отдельных CRM-кампаний на основе моделей и триггеров. Хотели перейти на формирование комплексных рекомендаций, советов, подсказок для конкретного клиента или менеджера с использованием data-driven подхода, учетом максимального количества факторов и взаимосвязей. Постепенно мы пришли к непростому, но надежно работающему механизму сбора и обработки данных, имеющему несколько интерфейсов. В итоге получился сервис, который может подсказать наилучшее решение клиенту или менеджеру по очень широкому кругу вопросов, предупредить или обратить внимание на какие-то риски.

Если описывать устройство сервиса «Советник» упрощенно, то это четыре связанных блока: внутреннее ядро, которое обрабатывает данные, блок рекомендаций для клиента в интернет- и мобильном банке, блок рекомендаций для менеджера (сотрудника банка) в операционном CRM, и блок Reinforcement Learning, работающий на улучшение формы рекомендаций. Блоки состоят из отдельных модулей, каждый из которых отвечает за определенную функцию в работе с данными, например, прогнозирование снижения активности клиента, или прогноз возникновения кассового разрыва в бизнесе клиента. В итоге у нас нет отдельных CRM-кампаний, связанных, например, с продажами или удержанием клиентов, но при этом бизнес-показатели улучшились. Чтобы лучше понять, что такое сервис «Советник», очень рекомендую посмотреть трехминутное видео, где наглядно показаны основные функции.

- На кого в большей степени рассчитано решение: на внутренних пользователей или клиентов? Чья работа с ним даст наибольший эффект?

Сервис «Советник» рассчитан на разных пользователей. В интернет-банке он используется только клиентами, и в основном это микробизнес или низкий по выручке сегмент малого бизнеса. В операционном CRM решение работает только для внутренних пользователей, и в основном при работе с клиентами среднего бизнеса или высоким сегментом малого бизнеса. Так как одна и та же информация полезная для одних пользователей, бесполезна или избыточна для других, есть отличия в наборе предоставляемой информации. Скажем, клиент в интернет-банке не видит некоторые элементы, которые видит менеджер в операционном CRM – например, оценку лояльности по отношению к банку или потенциал по доходу. И, наоборот, менеджер не видит часть того, что видит клиент – например, события, происходящие у контрагентов клиента. Поэтому сложно однозначно сказать, что дает наибольший эффект. Но если говорить об отдельных метриках эффективности, то, возможно, на количество клиентов или обращений в поддержку больше влияет «Советник» для клиента в интернет-банке. А если говорить о влиянии на доходность, то скорее всего это будет «Советник» в операционном CRM для менеджера.

- В чем состоят «фишки» решения? Чем вы больше всего гордитесь?

Сервис «Советник» достаточно сильно поменял подход банка к работе с клиентами МСБ. С помощью данных удалось создать стратегию win-win, когда выигрывают все – и бизнес, и клиенты. Эти результаты – хороший повод для гордости.

Но если говорить о чем-то совсем конкретном, то на мой взгляд, одна из важнейших «фишек», где результаты превзошли ожидания – блок Reinforcement Learning, который запустили в ноябре 2022 года. Даже если не развивать остальные направления, он один может обеспечить почти непрерывный прирост дохода. В реальных условиях, почти сразу после запуска, мы увидели увеличение конверсии предложений продукта на 15% только за счет использования RL-блока. Это достаточно много, учитывая, что это отсчет от «высокой базы», так как конверсию уже максимально подняли другими средствами так, что дальше каждый процент повышения дается с большим трудом. И самым хорошим оказалось то, что это было только начало роста эффективности, который продолжился по мере работы агента в RL-модели, с потенциалом увеличения минимум до 25%.

В этом блоке работают два модуля. Первый с помощью технологий RL стремится достичь максимальной конверсии, балансируя лиды между разными коммуникациями. Второй с помощью технологий NLP, подсказывает, что именно нужно изменить в коммуникациях, чтобы увеличить конверсию. Таким образом, получается замкнутый цикл с постоянным улучшением.

- Каковы бизнес-результаты?

Могу поделиться основными бизнес-результатами по результатам А/В-тестирования. Замеры делались несколько раз в разное время. Отмечен рост 10-12% среднего комиссионного дохода от клиентов, сокращение оттока активных клиентов на 38-43%, снижение количества обращений клиентов в поддержку на 15-20%. При этом рост лояльности составил 8-10%.

- Пытались ли оценивать экономический эффект? Какие деньги приносит (и способен принести) сервис?

На всю клиентскую базу сервис «Советник» масштабировали сравнительно недавно – в декабре 2022 года, а до этого сервис был доступен только для части наших клиентов. Сейчас наблюдаем быстрое увеличение количества как новых, так и постоянных пользователей сервиса. Пока рост проникновения кратно опережает рост клиентской базы. После стабилизации проникновения в клиентскую базу будет возможно точно оценить экономический эффект. Предварительная оценка на основе имеющихся данных – дополнительный доход около 6,5-7 млн руб. в год на каждую тысячу пользователей сервиса.

- Какую роль играет реализация проекта в бизнесе компании? Какие возможности он открывает?

На данный момент сервис существует как готовый функционирующий продукт, встроенный в наши бизнес-процессы. Кроме основных бизнес-эффектов, которые я привел раньше, использование сервиса дает нам дополнительные бонусы. Это сокращение потребности в штате специалистов CRM, снижение критической зависимости от производителей импортного ПО (в нашем случае SAS), повышение эффективности работы клиентских менеджеров. Кроме того, удалось уменьшить стоимость привлечения и обслуживания, снизить информационную нагрузку на клиента и сформировать относительно небольшой, но стабильный источник привлечения новых (и, что важно, качественных!) клиентов.

- В каком направлении будет развиваться проект?

Конечно, мы планируем расширение функционала. Еще несколько модулей могут быть встроены в сервис уже в этом году. Кроме того, ожидаются некоторые улучшения с помощью доработок систем по результатам полученного опыта промышленной эксплуатации.

Планируется также дальнейшее развитие блока Reinforcement Learning, как количественное – добавление новых продуктов, так и качественное – развитие модуля NLP. Пока все это будет касаться только клиентов из малого и среднего бизнеса, потому что именно он является зоной ответственности нашей команды. Однако если говорить о перспективах развития вообще, то область применения такого data-driven подхода, конечно, не ограничивается только взаимодействием банка и клиентов МСБ. Буду рад, если наш пример побудит на создание аналогов в других организациях и сферах деятельности или, как минимум, позволит по-новому взглянуть на работу с данными.

Специализированный депозитарий «Инфинитум» внедрил корпоративное хранилище НСИ на базе решения «Гармония MDM». Реализация проекта помогла консолидировать данные из всех систем, а также обеспечить синхронизацию НСИ между ними, а также управление данными через «одно окно». В результате в компании налажено централизованное управление данными и создан единый «источник правды» для поддержки принятия бизнес-решений. О предпосылках и ходе этого проекта рассказывает Александр Хальмеев, директор по информационным технологиям и цифровой трансформации АО «Специализированный депозитарий «Инфинитум» и номинант на премию Data Award 2023.

— Немного истории. Что привело к реализации проекта? Как исторически была выстроена в компании структура управления и работы с данными? Что не устраивало в сложившейся ситуации?

«Инфинитум» – это универсальная инфраструктурная организация, оказывающая услуги по контролю, учету и хранению активов участников рынка коллективных инвестиций. Наши клиенты – негосударственные пенсионные фонды, управляющие компании паевых инвестиционных фондов, саморегулируемые организации, государственные корпорации, страховые компании и иные институциональные инвесторы. У нас большое количество информационных систем, между которыми разделены бизнес-процессы. Без качественных мастер-данных, синхронизированных со всеми системами, поддержка существующих бизнес-процессов требовала бы большого количества человеческих и временных ресурсов.

Ошибки в данных могли напрямую повлиять на деятельность компании, приводя к штрафам из-за неточной нормативной отчетности и репутационным рискам в глазах клиентов, партнеров и регуляторов. К счастью, мы озаботились решением этих задач заблаговременно, осознав возможности и потребности масштабирования нашего бизнеса.

— Какие проблемы требовалось решить?

Перед нами стояло несколько ключевых задач. Во-первых, было важно консолидировать данные из различных систем, создать единый «источник правды». Во-вторых, требовалось обеспечить клиентские системы качественными мастер-данными и обогатить данные из внешних источников. Кроме того, было необходимо увеличить скорость поиска и обработки информации и улучшить масштабируемость данных. Наконец, организовать упрощенное подключение сторонних систем и снижение суммарных трудозатрат на поддержку качества данных и интеграций.

— Какие платформы были выбраны и почему? Были ли альтернативы?

Более 10 лет наша компания пользуется услугами Navicon – системного интегратора и разработчика корпоративного ПО, чей функционал и качество не уступают зарубежным платформам. У нас была внедрена система Navicon MDM, разработанная ими, и мы сочли наиболее разумным развить это решение, воспользовавшись тем, что команда интегратора была глубоко погружена в специфику нашего бизнеса и ИТ-экосистему.

— Какими силами был реализован проект?

Проект продлился полтора года, и за это время были затрачены около 7 тыс. человеко-часов. Над проектом работала команда, состоявшая из экспертов с нашей стороны и со стороны интегратора – их слаженная работа послужила залогом успешности проекта.

— Что в ходе проекта было самым сложным?

Главная сложность проекта – большое количество информационных систем, специфичных для нашего бизнеса: депозитарная, спецдепозитарная, реестровая деятельность. По итогам проекта удалось настроить бесшовные интеграции между ними. В результате в компании налажено централизованное управление данными и создан единый «источник правды» для поддержки принятия бизнес-решений.

— Как с появлением платформы изменились процессы работы с данными?

Для работы специализированного депозитария критически важно выстраивать все ключевые процессы на основании актуальной и заслуживающей доверия информации. «Гармония MDM» значительно повысила качество данных в нашей компании, сократила трудозатраты на ввод данных и повысила оперативность заведения мастер-данных в информационные системы (решение «Гармония MDM» ранее было известно как Navicon MDM 2.0. - Прим. ред.)

— Какие были достигнуты результаты? Каких качественных и количественных эффектов удалось достичь?

Специализированный депозитарий использует более 20 разнородных программных комплексов, которые должны бесшовно взаимодействовать между собой. Под каждое наше направление деятельности предусмотрена собственная учетная система. Переход на новую версию MDM помог компании консолидировать данные из всех систем, а также обеспечить синхронизацию нормативно-справочной информации между ними и управление данными во всех системах через «одно окно». Это помогает избежать ошибок в данных, а также наладить бесперебойный процесс построения отчетности и взаимодействие с клиентами.

В итоге к хранилищу подключены более 20 информационных систем, более 150 справочников, а также заведено более 380 правил валидации данных.

Кроме того, в ходе проекта налажено получение информации по активам, контрагентам и депонентам, счетам из Национального расчетного депозитария, баз глобальной сети инвестиций GIIN, ЕГРЮЛ и ЕГРИП ФНС, ЕФРСБ, государственного адресного реестра ФИАС и КЛАДР.

— Как это отражается на бизнесе?

Сегодня мы готовы к любым вызовам и масштабированию деятельности. Специализированный депозитарий может оказывать больший спектр услуг при том же количестве сотрудников – наша инфраструктура выдержит нагрузку, позволив нам оказывать услуги на том высоком уровне, который ждут клиенты и требуем от себя мы сами. Это доказал 2022 год, когда у нас было множество задач по молниеносному приему на обслуживание большого количества клиентов с большими объемами данных. Не имея такой системы, мы бы не справились ни со сроками, ни с объемами.

— Почему этот проект важен для компании?

Данные – это основа бизнеса специализированного депозитария. Благодаря реализованному проекту мы обеспечены актуальными, чистыми данными, на основе которых можно масштабировать бизнес практически бесконечно.

Анализ медицинских изображений с помощью искусственного интеллекта постепенно становится мейнстримом. Сервисы, получившие известность на волне борьбы с ковидом, дополнились инструментами для выявления онкологии, а сейчас начинают применяться в экстренной медицине. В прошлом году «Цельс» разработал систему для анализа геморрагических инсультов на основе анализа КТ головного мозга, которая уже начала работу в московских клиниках и проанализировала более 100 тыс. картинок. О реализации этого проекта и его месте среди других разработок компании рассказал Евгений Никитин, начальник департамента ML-разработки компании «Цельс» и номинант на премию Data Award 2023.

— В прошлом году вы участвовали в Data Award и рассказали о своих подходах к работе с данными, выстраивании своеобразного конвейера и создании двух моделей для анализа результатов на ковид и маммографию. Что произошло с тех пор, чем интересным для компании запомнился год?

С точки зрения бизнеса год вышел, как и у многих, непростой. Фактически закрылись внешние рынки, произошел мощный отток сильных специалистов за границу, в экстренном режиме пришлось отказываться от некоторых зарубежных ИТ-сервисов и инструментов.

Несмотря на это, нам удалось удержать свои позиции в Московском эксперименте — четыре наших сервиса («Маммография», «Флюорография», «Рентген легких» и «КТ головного мозга») стабильно занимали первые места в рейтинге решений. А под конец года случилось знаковое для нас и для всей индустрии событие – в России состоялась первая государственная закупка ПО на базе искусственного интеллекта для анализа маммографических исследований за счет тарифов ОМС. Мы уже начали обрабатывать исследования по этому контракту.

В плане работы с данными главным событием года для меня стало создание дата-платформенной команды. Ее главная цель – снижать когнитивную нагрузку на всех ML-специалистов, упрощать процессы анализа данных и обучения моделей. Среди достижений новой команды – автоматизация львиной доли ручных процессов движения данных, создание нескольких собственных сервисов, повышающих скорость и удобство работы с медицинскими данными, а также стандартизация формата хранения разметки.

— Вы рассказывали о своих попытках оптимизировать процесс разметки изображений, отмечая огромное значение человеческого фактора. Что удалось сделать в этом направлении?

Я бы отметил три основных фронта работ. Во-первых, как я уже сказал, была автоматизирована большая часть ручных операций – например, загрузка выбранных исследований на платформу разметки, запуск дата-тестов, загрузка проверенной разметки в базы данных ML-команд. Все это не только позволило снизить время поставки размеченных данных, но и в несколько раз уменьшило количество ошибок и проблем с данными.

Во-вторых, в прошлом году мы отработали кейс с покупкой размеченных данных. Мы гордимся выстроенной системой разметки, но в некоторых случаях покупка готовых данных просто экономически целесообразнее. Пришлось столкнуться с некоторыми подводными камнями – процесс отбора данных «вслепую», множество юридических нюансов – но итоговым результатом мы довольны.

Наконец, в прошедшем году мы много экспериментировали со способами работы с кросс-разметкой. Кросс-разметка – это разметка одного и того же исследования независимо несколькими врачами с целью снижения влияния того самого человеческого фактора. В марте у нас будет на эту тему доклад на конференции OpenTalks.AI, но забегая вперед скажу, что мы достигли хороших результатов, используя новый метод моделирования «стиля» каждого разметчика. По сути, при обучении мы пробрасываем в нейронную сеть информацию о том, какой разметчик делал данную разметку, что позволяет модели выучить особенности работы каждого врача.

— Как вы выбираете направления создаваемых моделей? Это наиболее востребованные или наиболее сложные направления? Или просто те, где удается находить данные?

К процессу выбора новых направлений мы стараемся подходить системно и учитывать множество факторов. Чаще всего на решение влияют несколько их групп.

Во-первых, технические факторы: есть ли в открытом доступе необходимые данные или можно ли их достать и разметить самим, есть ли у нас необходимые компетенции, насколько данный домен требователен по ресурсам, сколько времени понадобится на разработку, какие требования к скорости работы, каких метрик качества необходимо достичь для внедрения ИИ-системы.

Вторая группа – продуктовые и клинические факторы: будет ли востребован данный продукт, каковы потенциальные сценарии его использования, кто ключевые пользователи, сколько исследований данного типа проводится в России, какая смертность от заболевания, снижается ли она при ранней диагностике. Далее следуют бизнес-факторы: есть ли у нас конкретный заказчик или партнер, есть ли конкуренты в России и в мире, можно ли под проект получить грант. Наконец, нужен драйв – нравится ли нам интуитивно идея, заводит ли она нас?

Одновременно у нас в проработке может находиться 5-10 гипотез, какие-то из них умирают на этапе исследования, какие-то – после появления MVP. Ну а самые живучие выходят в промышленную эксплуатацию.

— В чем специфика таких решений как анализ КТ мозга по сравнению, например, с маммографическими и легочными изображениями?

Основной нюанс заключается в том, что КТ – это трехмерные данные. Это ведет к дополнительным сложностям с точки зрения архитектур нейронных сетей, размера данных, требований к «железу» и, конечно, разметки. Разметка одного КТ-исследования обычно дороже и дольше разметки флюорографии примерно в 10 раз.

Помимо этого, у любого направления есть своя доменная специфика. Например, мозг в целом достаточно симметричен, и эту информацию можно использовать при разработке дизайна ML-системы. Есть отличия и в сценариях применения – детекция инсультов чаще всего относится к экстренной медицине, что накладывает дополнительные требования к надежности и скорости работы системы.

— Как проходила работа по созданию системы для анализа геморрагических инсультов?

В общем и целом, процесс создания новых продуктов у нас уже отточен. Были проведены предварительные исследования об актуальности направления, собраны все имеющиеся публичные наборы данных, запущен собственный процесс разметки. Конечно же, мы внимательно изучили все диагностические требования в рамках Московского эксперимента. Первая версия была готова через несколько месяцев – и мы сразу же прошли все необходимые процедуры и начали работу в московских клиниках.

— Каких результатов в итоге удалось добиться?

По результатам последнего калибровочного тестирования в Московском эксперименте, система по выявлению признаков внутричерепного кровоизлияния показала ROC-AUC 0.98, что является почти идеальным результатом. На данный момент наша система проанализировала уже более 100 тыс. КТ головного мозга.

Конечно, есть и куда развиваться – например, пока система не очень корректно рассчитывает объем субарахноидальных кровоизлияний. А еще в этом году мы добавим в систему две новых патологии – ишемические инсульты и новообразования головного мозга.

— Какое количество пользователей mosmed.ai выбрали ваши решения? Какова обратная связь?

По результатам последнего опроса московских врачей-рентгенологов (он проходил в декабре 2022 года) наши системы подключены в 51 организации по КТ мозга, в 15 – по маммографии, в 10 – по рентгену легких и в 19 – по флюорографии. Спасибо организаторам эксперимента – у нас и наших коллег есть большое количество различных источников обратной связи: телеграм-чат с врачами, ежемесячная процедура клинической оценки, очные встречи с врачами.

С каждым годом готовность врачей пробовать системы искусственного интеллекта в своей практике растет. Да, системы до сих пор не идеальны, но рентгенологи уже сейчас находят способы применять такие инструменты с пользой. Например, некоторые врачи используют нашу систему по маммографии для того, чтобы не пропускать плохо различимые группы кальцинатов.

— В чем заключается ваша бизнес-модель?

Рынок искусственного интеллекта в радиологии до сих пор находится на стадии формирования. Мы и наши конкуренты каждый год пробуем разные подходы к монетизации наших сервисов. На данный момент можно выделить три самых актуальных сценария. Во-первых, это может быть оплата по ОМС. В этом случае ИИ-система выступает в качестве «второго мнения» или системы помощи принятия решений, а оплата ее «услуг» заложена в тариф ОМС.

Во-вторых, ИИ-система может находить исследования, где с очень высокой степенью уверенности (более 99,9%) нет патологии. Для таких исследований автоматически формируется заключение, которое врачу достаточно просто утвердить. За каждый такой отчет взимается определенная плата.

Наконец, возможен ретроспективный анализ больших массивов исследований. Например, за время пандемии было сделано огромное количество КТ-исследований области грудной клетки. ИИ-системы могут за относительно небольшие средства проанализировать все эти исследования на предмет других заболеваний – например, онкологических.

Основную долю выручки нам до сих пор приносит Московский эксперимент, но ситуация, скорее всего, кардинально изменится в 2023 году.

— Вы не одни на рынке, анализ медицинских изображений стал довольно популярным направлением исследований. Какова конкурентная среда? В чем вы видите свои сильные стороны?

Действительно, количество компаний на этом рынке немаленькое, хотя и есть ощущение, что пузырь скоро немного сдуется, и на рынке останутся только явные лидеры и перспективные новички. Наше главное преимущество, как бы банально это ни звучало – качество работы наших систем. Это подтверждается результатами в Московском эксперименте и отзывами врачей в других регионах. Мы смогли достичь этого за счет больших временных, денежных и интеллектуальных вложений в ML-команду, команду разработки и разметку данных.

Второе важное преимущество – отлаженный процесс тестирования гипотез и запуска новых направлений. Если мы запускаем новый продукт – значит мы знаем, что он будет успешным. Большую роль в этом играют отлаженные механизма сбора и приоритизации обратной связи от пользователей. Это позволяет нам максимально быстро вносить в продукт те изменения, которые делают его максимально полезным для врачей и медицинских организаций. Это касается не только качества работы моделей и их ошибок, но, например, и формулировок в текстовых отчетах.

— Вы рассказывали о выходе на региональные рынки и даже о планах работы в ближнем зарубежье. Получается?

Расширение регионального присутствия началось в прошлом году и остается одной из главных целей. На текущий момент различные решения «Цельса» используются более чем в 30 регионах России. Это включает в себя как уже внедренные решения, так и пилотные проекты.

С зарубежными рынками ситуация по понятным причинам усложнилась, но наша коммерческая служба ведет работу по подготовке к внедрению в ряде стран: ОАЭ, Египет, Марокко.

— В каком направлении планируете продолжать работу?

Главная коммерческая цель на год – расширение географии присутствия наших решений и заключение нескольких крупных сделок по внедрению в регионах. Компания растет, есть много новых идей (в том числе вне области радиологии), а на их реализацию нужны деньги.

Будем продолжать движение к комплексности наших сервисов. Система по КТ ОГК уже детектирует 8 патологий, решение по маммографии умеет оценивать не только вероятность риска онкологии, но и качество работы лаборанта, а модель по КТ мозга в ближайшее время сможет находить три вида патологий.

Главная техническая цель – как и всегда, совершенствование наших систем. Да, достижение стопроцентного качества и уровня готовности для таких систем – задача практически невыполнимая. Но каждый следующий процент точности делает нас все ближе к будущему, в котором работу врача невозможно представить без ИИ-помощника.