Статьи

Несмотря на солидные объемы данных, накапливаемые в течение многих лет в разнообразных информационных системах, одним из главных препятствий для управления на основе данных в здравоохранении специалисты медицинских информационно-аналитических центров (МИАЦ) называют… нехватку данных. Конечно, речь не о данных как таковых, а именно о данных, пригодных для принятия управленческих решений.

Дефицит объясняется тем, что интересы потребителей данных и генераторов данных драматически не совпадают. Врачи обычно воспринимают наполнение данными информационных систем как неизбежное зло — нудную обязанность, навязанную начальством. Особенно если эти данные предназначены для органов управления здравоохранением. Положительной обратной связи между передачей данных в информационные системы более высокого уровня и изменением к лучшему существующей реальности не наблюдается. А значит, нет смысла стараться сделать эти данные качественными — все равно они уходят «наверх» как в «черную дыру», не давая возможности создателю данных понять их роль в процессе оказания медицинской помощи или оценить свой вклад в общий результат. С другой стороны, управленцам затруднительно принимать эффективные решения на основе данных, которые собираются исключительно ради формального выполнения требований руководства.

Пусть такая картина упрощена и утрирована, но счастливые исключения чаще всего подтверждают общее правило. Как посреди океана можно умереть от жажды, не имея пресной воды, так и руководителю зачастую невозможно найти ответы на свои вопросы в многочисленных источниках больших медицинских данных.

Проблема далеко не нова, профессионалы давно пытаются разорвать этот замкнутый круг. Но если в крупных клиниках удается снизить остроту проблемы, то про более высокие уровни управления этого не скажешь. Тем не менее, на региональном уровне здравоохранения делаются первые шаги к управлению на основе первичных данных.

Дата-хакатон

Управление на основе данных стало темой конференции «Практическая польза региональных информационных систем в сфере здравоохранения 2022», которую компания «Нетрика Медицина» и Санкт-Петербургский МИАЦ провели в рамках конгресса «ИТМ Петербург». Главная цель мероприятия – обмен опытом между регионами, поэтому основной акцент в программе был сделан на совместную практическую работу участников, дополненную выступлениями экспертов. В дата-хакатоне приняли участие более ста человек из 40 регионов России и стран СНГ: руководители МИАЦ, ИТ-специалисты в области медицины и другие ответственные за цифровизацию здравоохранения. Под руководством дата-инженеров и аналитиков из «Нетрика Медицина» команды азартно искали аномалии данных в отчетах, осваивали принятие решений в условиях нехватки данных и проектировали идеальный дашборд для руководителя органа управления здравоохранением.

Под руководством дата-инженеров и аналитиков команды азартно искали аномалии данных в отчетах, осваивали принятие решений в условиях нехватки данных и проектировали идеальный дашборд для руководителя.

Конференция проводится уже в пятый раз и отражает существенную трансформацию задач региональных специалистов, которые изначально фокусировались на создании медицинских информационных систем, затем — на автоматизации процессов, а сегодня перешли на совершенно другой уровень — изменения процессов. На этом этапе им особенно нужны качественные данные. «Сегодня подход к управлению на основе данных в практике российского здравоохранения только зарождается, — отметил Денис Чумаков, генеральный директор «Нетрика Медицина». — Однако отдельные кейсы мы как интеграторы видим уже во многих регионах».

Северная столица: на подступах к data-driven здравоохранению

Как сообщил руководитель Центра электронного здравоохранения Санкт-Петербургского МИАЦ Алексей Архипов, в конце 2021 года в северной столице завершился проект по электронному здравоохранению, в рамках которого было создано 40 сервисов для пациентов, врачей и руководителей здравоохранения. Сейчас Центр переходит к стадии активного анализа собираемых данных – сведений из электронных медкарт и обратной связи от пациентов.

Геннадий Орлов, заместитель генерального директора по цифровому развитию Северо-западного окружного научно-клинического центра им. Л. Г. Соколова ФМБА России, привел примеры из практики Координационного центра Минздрава РФ, которые свидетельствуют о переходе от отдельных выводов из полученных данных к системе управления на основе данных. Он также отметил усложнение алгоритмов обработки накопленных данных. В 2021 году на федеральном уровне стали чаще применять алгоритмы машинного анализа текстов на естественном языке, анализа медицинских изображений, а также визуализацию данных. Например, визуализация структурированности записей в электронных медкартах государственных клиник существенно ускоряет принятие решений в ситуационном центре губернатора Ленобласти. Пока не все понимают необходимость применения специальных аналитических инструментов для управления данными, но постепенно это понимание приходит, и руководители вскоре будут оперировать не отчетами, а данными, отметил Орлов. Инициаторами перевода здравоохранения на рельсы управления на основе данных, и соответствующего обучения аналитиков и управленцев, по его мнению, должны стать именно МИАЦ, это их важнейшая задача на ближайшую перспективу.

Момент истины для ВИМИС

Управленцам действительно нужны данные достаточные, чтобы понять эффективность собственных решений, особенно финансовых. Однако в настоящее время управления на основе данных еще не происходит, получается информатизация отдельно, а лечение пациентов — отдельно, считает Евгений Коган, главный специалист Санкт-Петербургского МИАЦ. «Данными никто не пользуется, потому что они низкого качества, и они низкого качества, потому что ими никто не пользуется», — констатировал он.

Будет ли в России управление на основе данных? Само по себе — не будет, если ограничиваться задачей сбора данных и гнаться за их количеством, забывая про практическое использование в интересах пациентов. Поэтому в питерском МИАЦ начали пользоваться данными, несмотря на известную неполноту и неточность, стараясь постепенно выделить и показать городу полезные аспекты уже собираемых данных.

«За последний год, к нашей огромной радости, в Санкт-Петербурге произошел сдвиг — нашлись заинтересованные главные внештатные специалисты, которые начали использовать данные в своей работе, нас это воодушевляет, — сообщил Коган. — Оказывается, есть много тем, где организатору здравоохранения даже по неполным данным ясно, что делать».

Денис Чумаков: «Сегодня подход к управлению на основе данных в практике российского здравоохранения только зарождается»

Например, обнаружилась высокая годичная летальность пациентов, перенесших легкий инсульт, в сравнении с их госпитальной летальностью. Из этого следует, что амбулаторная служба упускает таких пациентов. Еще выяснилось, что продвинутую квадритерапию при хронической сердечной недостаточности назначают только отдельные врачи. Остальные, возможно, о ней не знают. «Получив эти данные, главный внештатный невролог и главный внештатный терапевт пошли заниматься организацией медицинской помощи, и когда они изменят реальную ситуацию, мы с ними увидим это в цифрах», — подчеркнул Коган.

На его взгляд, для профильных вертикально-интегрированных медицинских информационных систем (ВИМИС) настал момент истины. Надо показать их практическое использование: что какому-то пациенту стало лучше, или была выявлена ранее неизвестная проблема организации здравоохранения, и приняты полезные решения. Например, обнаружена повышенная нагрузка на врачей таких-то медицинских организаций, и выделены деньги на новую поликлинику. Или обнаружено, что в таком-то районе при тотальном скрининге на рак молочной железы доля его выявления на ранних стадиях все равно остается низкой, поэтому рентгенологов отправили учиться, и выявляемость повысилась. «ВИМИСы без практического использования  – только головная боль для всей страны», — уверен Коган.

Многострадальная структуризация

За десять с лишним лет Единая государственная информационная система здравоохранения (ЕГИСЗ), а потом и ее новая ипостась — Единый цифровой контур здравоохранения (ЕЦКЗ) — обросли новыми сущностями, которые никому не упрощают жизнь, скорее наоборот. ВИМИС — отдельная сущность, живущая сама по себе, по своим правилам и со своими форматами. Практически одну и ту же первичную информацию региональные МИАЦ передают в федеральную подсистему интегрированных электронных медкарт (ИЭМК) в виде структурированных электронных медицинских документов (СЭМД), в реестр электронных медицинских документов (РЭМД), да еще и в ВИМИСы по трем нозологиям («Сердечно-сосудистые заболевания», «Онкология», «Акушерство и неонатология»), к которым скоро добавится четвертая.

Между тем, проблема структуры информации никуда не делась. В ЕГИСЗ используются одни справочники, а в системах территориальных Фондов обязательного медицинского страхования (ТФОМС) — другие. В результате подсистемы ЕГИСЗ не слишком удачно взаимодействуют друг с другом, в том числе потому, что структура данных, на которых они построены, — разная.

Чтобы данные стали более пригодными для аналитической обработки, необходимо принять общий российский стандарт структуры медицинских данных, базируясь на HL7 FHIR. Тем более, что рабочая группа, «приземляющая» HL7 FHIR на российскую почву, уже создана и функционирует.

Стандарт HL7 FHIR хорош для информатизации процессов, а федеральный уровень задает HL7 CDA — стандарт для документов, уточнил Андрей Дюков, руководитель отдела продаж и развития «Нетрика Медицина». Оба стандарта уже начинают применять в регионах при информатизации процессов. «Чтобы данные в документах были качественные, нужны потребители этих данных — и пациенты, и врачи, — отметил Дюков. — С процессами проще: в них «зашита» обратная связь и непосредственно задействован потребитель данных».

Сбор десятков миллионов медицинских документов в федеральные информационные системы — необходимое, но не достаточное условие для управления на основе данных. Минздраву РФ следует показывать, каким образом полученные данные применяются для совершенствования системы для оказания медицинской помощи. Возможно, тогда у региональных МИАЦ появится мотивация поставлять качественные данные для анализа, а не файлы в формате PDF. Сейчас, по грубой экспертной оценке, в структурированном виде в ЕГИСЗ предоставляется не более 5-10% медицинских документов.

Сухая теория vs вульгарный практицизм 

Возможно, кому-то эта статья покажется чересчур теоретичной. Замечу, что в учебных заведениях сначала изучают теорию, и лишь затем переходят к практике. Теория без практики мертва, а практика без теории глупа. Вспоминается фраза Альберта Эйнштейна: «Нет ничего более практичного, чем хорошая теория». Незнание теории приводит к тому, что каждая решаемая задача оказывается новой, хотя на деле задачи могут быть объединены общей методологией и иметь общие принципы решения.

Понимание важнее знания: можно знать, но не понимать. Тонущая металлическая гайка противоречит тому, что корабль из металла держится на плаву – оба этих факта мы можем знать, но не понимать, почему так, а значит не сможем судить о том, утонет ли металлическое изделие иной формы. Мы можем легко узнать в энциклопедии какой-то факт, но если не понимаем общего, имеем шансы допустить ошибку. Да, возможно заниматься самолечением по энциклопедии, но можно умереть от опечатки.

Что такое Decision Intelligence

Decision Intelligence (DI) — дисциплина, позволяющая превратить информацию в лучшее практическое действие. Эффективное управление организацией особенно важно в условиях агрессивной внешней среды, санкций, когда первоочередная задача – выживание, а вовсе не развитие. Да и развитие в условиях конкуренции проблематично: привычным масштабированием, когда емкость рынка падает, эффекта можно и не достичь. Открытие дополнительных офисов, найм клиентских менеджеров могут оказаться не такой эффективной опцией, как интенсивное развитие. Подходы «катать квадратное, носить круглое», уходят в прошлое – нет излишка, которым можно было бы рисковать. Decision Intelligence – это дисциплина про создание программных систем (помощников), предназначенных достигать взвешенного выбора решения (data science) среди возможных альтернатив (оптимизация); возможно, рекомендовать дальнейшие действия, распространять результаты заинтересованным лицам (BI). Цель Decision Intelligence – помощь человеку в принятии решений. Она достигается посредством осуществления процедур анализа, обработки данных и математического моделирования, а также предоставлением вспомогательной информации, агрегации, отчетов в интерактивном режиме, быстро и наглядно.

Этапы создания систем Decision Intelligence

Можно выделить три основных этапа создания систем DI. Первый этап – формализованное описание алгоритма принятия решений Y = F(X). Второй этап – формирование альтернатив решений Y_i=F(X_i), из которых осуществляется выбор. Третий этап – описание критериев выбора среди альтернатив Y → max/min.

В основе DI лежат математические методы, разрабатываемые в рамках ряда дисциплин: теории оптимизации, data science, статистики, эконометрики, а также управления данными (data governance), баз данных и Business Intelligence. Но и технологий недостаточно! На каждом этапе должна присутствовать человеческая экспертиза.

В качестве примера рассмотрим коллекторский бизнес. Приведем основные этапы.

1. Сбор данных из систем источников, формирование витрины данных – в этом помогает дисциплина Data Governance.
2. Поиск математической зависимости Y = F(X,a), где  Y – объем взыскания, X – характеристики клиента, его активность, история транзакций,  a  – история воздействия на должника (смс, звонок, выезд). В этом помогает машинное обучение, статистика, эконометрика.
3. Решение задачи оптимизации: какое воздействие оказать, чтобы максимизировать выгоду: объем взыскания за вычетом затрат на взыскание. В этом нам помогает математическая оптимизация
4. Постановка модели в продуктивную систему.
5. Доведение рекомендаций до коллекторов с помощью Business Intelligence.

«Ингредиенты» успешного внедрения

Как обычно, ключевых факторов успеха несколько. Во-первых, это данные: методология управления данными и технология их хранения.  Во-вторых, математический аппарат: математическая методология и вычислительные мощности. В-третьих, организационная структура: наличие компетенций и ролей. Наконец, управление изменениями: готовность к сопротивлению инновациям, создание новых регламентов. 

Остановимся подробнее на первых двух факторах. Данные лежат в основе математических моделей. Должны быть технологии сбора и хранения данных, а также методология управления данными: правила наименования, глоссарий, поток данных, нормативно справочная документация. Математический аппарат позволяет найти информацию в данных, этому способствует теория вероятностей, статистика, эконометрика, машинное обучение, оптимизация. Математика помогает решить слишком сложные, многомерные, многокритериальные задачи. 

Человек или технология? 

Decision Intelligence не предназначена заменить человека, но предназначена оказать ему помощь в принятии решения, повысить эффективность. Опыт, интуицию и персональные знания невозможно заменить, хотя вычислительные алгоритмы эффективнее человека в части возможности и скорости обработки многомерных и больших данных. Концепция DI заключается в разумной комбинации технологий, методологий, предметной и математической экспертизы. Далеко не любое явление можно оцифровать, и в данных не всегда присутствуют математические закономерности.

Данные не имеют самостоятельной ценности. Скорее, они являются центром затрат. Организации, стартующие с построения «кладовки данных», имеют риск зафиксировать затраты, не найдя выгоды такого проекта в дальнейшем.  Поэтому организация не может быть data-driven. Ценность данных заключается в информации, скрытой в данных, а также в способности человека эту информацию найти и использовать. Ценность данных заключается в «правильных» данных и «правильных» руках людей, обращающихся с ними. 

Подход model-driven уже ближе к практике. Модель несет знания, так как обнаруживает закономерности. В любых ли данных есть зависимости? Конечно же, нет. Практики приведут массу примеров из своего опыта, когда они не находили зависимостей в данных. Вспомним процессы белого шума или броуновского движения – в них нет зависимостей, а лучший прогноз – среднее арифметическое или последнее значение процесса. 

Все ли данные «правильные»? Не все. Не для каждого набора данных можно построить модель, не каждый дата-сайентист настолько опытен, чтобы найти зависимости, даже если они есть. И не все эксперты «правильные». Легко установить математические пакеты R или Python, скопировать скрипт из справочной документации и применить к своим данным, получив прогноз. «Правильные» эксперты умеют не только скопировать скрипт, но и знают теорию случайных процессов, лежащую в основе, статистику, теорию вероятностей, разделы высшей математики.  

Современные методы поиска закономерностей часто склонны к поиску ложных зависимостей: они механически перебирают параметры (grid search), пытаясь улучшить математическую метрику. Такие модели часто хорошо объясняют, но плохо прогнозируют. Статистическая значимость таких моделей обманчива. Но математика без человека часто не может найти осмысленную зависимость. Коллаборация эксперта и математика необходима. 

Таким образом, мы возвращаемся к подходу human-driven. Хотя математические рекомендации на больших объемах многомерных данных чаще лучше экспертных, задачи все же формулирует человек. Человек собирает данные, строит модели. Не всегда математические модели могут быть найдены, и именно человек выносит самостоятельное суждение. Не все данные содержат нужную и валидную информацию, и человек дополняет своим суждением математическую рекомендацию. 

Монетизация данных – командный вид спорта

Следует разделить предметную и математическую экспертизы.  Эксперт в предметной области чаще не имеет математической компетенции, зато владеет знаниями, не содержащимися и не оцифрованными в данных.  Математик – наоборот, умеет выявлять знания, не очевидные эксперту. Но математический анализ часто ущербен без знаний эксперта, без априорных знаний эксперта он не может распутать «клубок» данных.  

Приведем примеры подобных математических выводов. Количество загорающих людей и количество насекомых на пляже оказываются коррелированными. Видимо, чем больше насекомых на пляже, тем больше людей? Или чем больше людей на пляже, тем больше насекомых?  Осмысленный вывод: у них общая причина – солнце и температура! 

Другой пример: изучив частоту покупок в продуктовом магазине, окажется, что наиболее часто покупаемый товар – полиэтиленовый упаковочный мешок. Да и маржа у пакета хороша! Математическая рекомендация может заключаться в том, что в продуктовом магазине следует продавать только упаковочные полиэтиленовые мешки, а остальные товары не нужны. Вывод: математик без предметной экспертизы может и не отличить ложную закономерность от осмысленной. Но если причинно-следственные связи все же есть, математик покажет их силу. 

Итак, возникают две важные роли: эксперт в предметной области и математик-аналитик. Объединять ли роли?  Это не всегда возможно и не всегда целесообразно. Универсализм выгоден лишь самому универсалу. Ему легче выживать в организации, «перепрыгивая» с роли на роль. Универсал везде поработал, всем занимался, но мало где обрел глубокую экспертизу.  Хотя стоит отметить, что стратегия лучше разрабатывается именно универсалом за счет широты знаний, хоть и поверхностных. 

Специалист – от слова «специализация», и это подразумевает глубину знаний.  Чтобы организация развивалась, ей нужны именно специалисты. Например, западной бизнес-культуре скорее свойственна специализация. И сравнения производительности труда на Западе и России часто публикуются. 

Математика – не волшебная палочка. Осмысленность придать ей может только человек. Свалить цифры на математика и ждать от него чудес – ложная установка. 

Decision Intelligence – это объединение экспертных знаний, математических методологий и компьютерных технологий.  Основная ее цель – принятие решения, а это требует хорошего понимания и лежащей в основе бизнес-проблемы, и данных. Поэтому Data Science и Decision Intelligence идут рука об руку: data scientist извлекает информацию из данных, а decision scientist с его исключительным пониманием бизнес-целей применяет эти наработки для решения бизнес-проблемы.

Data scientist фокусируется на сборе и анализе наборов данных, формирует управляемый данными и формулами мир бизнеса, оказывает машинную помощь лицу, принимающему решения. Это технолог, применяющий математику, статистику, машинное обучение.

Decision scientist занимается интерпретацией данных и формул, зависимостей, дополняет их экспертными суждениями и недостающими знаниями. Он рассматривает анализ данных как средство для принятия лучших бизнес-решений, делает выводы и формулы «прикладными», определяя решение, оптимальное с экономической, смысловой, бизнесовой точки зрения. Он применяет математические модели к бизнес-задачам, ищет идеи, осмысливает математические модели. Он стремится найти понимание на основе доступных данных и результатов анализа, и ставит бизнес-проблему на первое место.

Информация о процессе и сущности кроется не только в данных. Не вся информация может быть оцифрована. Эксперт дополняет своей экспертизой и опытом недостающие знания, не содержащиеся в данных. Поэтому нельзя отдавать на откуп полностью всю задачу построения рекомендательной системы для бизнеса одному лишь математику. 

Автор – Юрий Сирота, эксперт в области данных и искусственного интеллекта

На сегодняшний день объемы онлайн-продаж достигли уровня оффлайн формата. В некоторых отраслях наблюдается даже их превышение. Количество накопленных данных о клиентах достигло миллионов записей с сотнями атрибутов для анализа этих данных с целью построения эффективной модели продаж. В связи с этим все более актуальным становится вопрос модернизации информационных систем, поддержки отказоустойчивости систем хранения, интеграции данных с новыми сервисами и унаследованными системами.

Данные как основа взаимоотношений с клиентами

Уже ни для кого не секрет, что грамотная работа с клиентскими данными – это фундамент для непрерывного роста продаж и сохранения лояльности клиентов. Чем больше компания знает о своем клиенте, тем больше подсказок получает об эффективном взаимодействии с ним. Для аналитики учитываются различные атрибуты: используемые продукты или услуги, предпочтительные каналы коммуникаций с вашими сервисами, обратная связь от клиентов на предложения (реакция на e-mail или push-уведомления, SMS, изменение покупательского поведения). Однако в условиях высококонкурентных рынков предприятиям недостаточно просто закрывать сделки (осуществлять продажи), но необходимо удерживать клиентов и минимизировать их отток. Только так можно не просто оставаться на плаву, но и развивать бизнес. Для достижения этой цели современная ИТ-индустрия предлагает массу разнообразных решений и подходов. Чтобы оценить их целесообразность рассмотрим некоторые из них.

Подводные камни

Крупные компании с большими клиентскими базами испытывают проблемы с управлением данными. Еще несколько лет назад эти задачи решались построением клиентского хранилища данных, в которое раз в сутки попадали все новые данные по клиентам: производились необходимые преобразования и очистка, и далее оно использовалось как источник всей информации. Такой подход перестал быть эффективным по причине разрозненности сервисов, большого количества процессов, выполняемых вручную (когда сотрудники «привыкли делать так»). В результате организация процесса передачи данных в каждый новый сервис или облако становится серьезным вызовом.

Большинство крупных компаний используют разные подходы к организации своей ИТ-архитектуры и неизбежно сталкиваются с ограничениями. Причина в том, что на каждом этапе перехода от одного состояния зрелости к другому формируется технический долг. Впоследствии он становится значимым препятствием при переходе к data-driven подходу и использованию клиентских данных для организации эффективных продаж и маркетинговых коммуникаций (в том числе недостаток или избыток коммуникаций с клиентом). И это нормально.

Представим ситуацию, когда у компании есть CRM-система, в которой ведется вся клиентская база. Кроме того, с клиентами взаимодействует колл-центр. «Касания» происходят через сайт, мобильное приложение и еще с десяток других сервисов, предоставляющих разные или пересекающиеся услуги на основе данных из CRM. До тех пор, пока количество этих сервисов невелико, бизнес справляется с задачей обработки клиентских запросов, развивая свою CRM-систему. Однако в определенный момент либо CRM перестает справляться с нагрузкой и ее развитие становится слишком затратным, либо она становится недостоверным источником информации о клиентах. Как следствие, компания начинает развивать свои клиентские сервисы отдельно от CRM, что порождает другую проблему — отсутствие синхронизации данных между ними.

Рассмотрим самый простой кейс – работу с обращениями. Например, обращения можно отправлять через сайт, мобильное приложение, колл-центр и оставлять в офисе продаж. По сути, все обращения из всех каналов коммуникации обрабатываются и маршрутизируются внутри компании. Однако клиент хочет получать обратную связь в том же канале, где и оставлял обращение, а значит возникает необходимость в синхронизации каналов коммуникации с единой базой обращений. Это лишь один пример. Подобных сервисов может быть множество, и более того, они часто требуют взаимодействия между собой.

Сервисный подход к управлению клиентскими данными

В результате проектной работы с заказчиками из разных отраслей бизнеса, у которых насчитывались десятки миллионов уникальных клиентских записей, мы пришли к выводу о том, что самой правильной формой организацией данных становится сервисная модель. При таком подходе заказчик может организовать обмен данными не только для повышения эффективности продаж и маркетинга, но и других служб: юридического департамента, работы отдела качества и отделов работы с претензиями, колл-центра. В общем, для всех, кому по той или иной причине нужно работать с клиентами.

С развитием технологий и клиентских сервисов все больше заказчиков приходят к выводу, что данные нужны в режиме, близком к реальному времени. Суть сервисного подхода заключается в переходе от традиционного подхода хранения данных и их длительного анализа к непрерывному обмену и мониторингу всей необходимой клиентской информации. Таким образом, если компания создает новое приложение, требующее авторизации клиента, его не надо интегрировать с клиентской базой и реализовывать эти процессы в своем ИТ-контуре – достаточно подключить соответствующий сервис. Некоторые компании делают это своими силами, а именно руками специалистов по Data Science, которые разрабатывают собственные модели рекомендаций. Но это встречается не часто.

Преимущество сервисного подхода очевидно. С его помощью можно организовать единую точку входа и выхода данных, другими словами, создание единого профиля клиента. Благодаря этому налаживается процесс, при котором данные хранятся в едином формате, обрабатываются по единым протоколам с едиными правилами для всех подразделений компании, в том числе, если компания владеет разными брендами, с разными ценовыми сегментами, а клиенты – одни и те же. Также этот подход подразумевает масштабирование на новые сервисы в любой промежуток времени, благодаря технологии in-memory database, используемой в системе. Например, если возникает необходимость провести раз в квартал лотерею среди всех клиентов, то эта задача решается подключением нового сервиса к хранилищу данных с привлечением штатных технических специалистов. Но это еще не все. Поговорим о безопасности персональных данных. Так как все данные хранятся в едином пространстве, организовать тот или иной процесс не составляет труда. Это еще и значительно дешевле, чем аттестовать и защищать средствами информационной безопасности все артефакты персональных данных в разных системах.

Не менее важен процесс деперсонализации данных, а именно удаление персональных данных по первому запросу клиентов (соблюдение требований федерального закона 152-ФЗ от 27 июля 2006 года «О персональных данных», которые начали действовать в 2021 году). При сервисном подходе управления клиентскими данными этот процесс выполняются достаточно просто и избавляет организацию от уплаты стремительно растущих штрафов за систематическое невыполнение требований закона.

Финансовые результаты

На основании подхода применения единого профиля клиента для обеспечения достоверными клиентскими данными можно создать фундаментальный сервис по их использованию в любых процессах компании. Самая показательная сфера применения с точки зрения коммерческой выгоды – использование в процессах обеспечения роста лояльности заказчиков и увеличения эффективности от маркетинговых коммуникаций, то есть рост конверсии и снижение стоимости привлечения.

Концепция проста и основана на принципах формирования цикла клиентского пути: от зарождения интереса к продукту до формирования обратной связи о клиентском опыте или товаре и последующих контактах с брендом, где все данные и атрибуты клиентского опыта концентрируются и используются из единой точки, единого хранилища. Объединение клиентских данных, маркетинга и сбора обратной связи о клиентском опыте во всем информационном пространстве способно дать измеримый финансовый результат уже в краткосрочной перспективе, а значит, жизнеспособна с точки зрения эффективности внедрения у заказчика.

Автор – Александр Сергиенко, исполнительный директор компании «Иннодата»

Как индустрии больших данных выжить в нынешних условиях? Ответу на этот вопрос была посвящена дискуссия «Что делать, чтобы индустрия данных выжила», состоявшаяся в рамках форума BIG DATA&AI 2022, проведенного издательством «Открытые системы». (Также о форуме см. «BIG DATA&AI 2022: лучше вместе», «Компьютерный мир», 27 апреля 2022.) Название дискуссии подразумевало, что от отрасли требуется быстрая реакция на произошедшие экономические и политические перемены. По мнению экспертов, эти изменения способны наконец ускорить действия регулятора, демонстрирующего сверхосторожность, а временами — даже медлительность.

Как подчеркнула Анна Серебряникова, президент Ассоциации больших данных, в 2018 году, когда был проведен первоначальный анализ состояния рынка, наши банки и телеком-операторы являлись одними из лучших в мире по применению инструментов работы с данными и искусственного интеллекта. Однако имевшуюся динамику сохранить не удалось, и объем рынка, ожидавшийся к 2021 году, не был достигнут из-за проблем регулирования.

«То, в чем нуждался рынок в 2018 году, остается актуальным и сейчас. Компании хотят получить возможность рассматривать данные как товар и включать их в оборот. Они желают развиваться и работать не в серой зоне, как это происходит сейчас, а полностью легально», — констатировала Серебряникова. Важно установить прозрачную систему контроля со стороны государства и исключить риски борьбы с неизвестным — ведь, как известно, психологически проще все непонятное запретить, нежели разбираться в деталях. Возможно, именно поэтому позиция регулятора по всем направлениям была крайне осторожной.

Анна Серебряникова: «Инновации нужно стимулировать, иначе мы не достигнем запланированных цифр. За период с 2018-го по 2022 год рынок уже недополучил 200 млрд руб. Если ничего не изменится, потери только усилятся»

Однако в текущей ситуации российским компаниям крайне важно получить преимущества, зафиксированные в регуляторных требованиях, что позволит ускоренно развивать продукты на основе больших данных. Государство тоже это понимает, однако пока все инициативы реализуются крайне тяжело. Хотелось бы призвать регуляторов и тех, кто готовит для них аналитику, воспользоваться ситуацией и обеспечить российским компаниям возможность создавать уникальные продукты. За основу можно взять опыт Китая, весьма либерально относящегося к обороту данных.

«Инновации нужно стимулировать, иначе мы не достигнем запланированных цифр. За период с 2018-го по 2022 год рынок уже недополучил 200 млрд руб. Если ничего не изменится, потери только увеличатся», — выразила опасение Серебряникова.

Айсалу Бадягина, заместитель директора департамента обеспечения кибербезопасности Минцифры, признала, что инициативы действительно продвигаются очень тяжело. По ее словам, причины являются чисто технологическими: на сегодняшний день отсутствуют гарантированные методы обезличивания данных. Разумеется, для государства первична именно задача обеспечения безопасности персональных данных. Как отметила Бадягина, в Минцифры выработаны три направления, по которым сейчас ведется активная работа. Первое из них — предоставление доступа к данным для разработчиков на площадке Минцифры. Второе — возможность создания аккредитованных площадок, соответствующих требованиям законодательства (так называемых дата-посредников). И третье — более активное использование практики экспериментальных правовых режимов.

По словам Бориса Зингермана, генерального директора Ассоциации разработчиков и пользователей искусственного интеллекта в медицине, здравоохранению закон о персональных данных нанес гораздо больше вреда, чем пользы. Можно сказать, что сейчас медицинские организации зачастую не защищают данные, а защищаются от контролирующих органов, действуя «с запасом» и тем самым перекрывая все пути к интеграции и объединению данных и использованию их в научных целях.

Борис Зингерман: «Запрет на обогащение медицинских данных из других источников полностью убивает всю потенциальную пользу от их использования и становится огромным барьером на пути развития искусственного интеллекта в медицине»

Медицинские данные живут лишь внутри организаций здравоохранения, и как их оттуда достать, интегрировать и использовать, совершенно непонятно. Больше всего Зингермана беспокоит то, что даже из экспериментальных правовых режимов в период их подготовки было удалено все разумное содержание, которое там имелось. Ярким примером может служить запрет на обогащение медицинских данных из других источников, что полностью убивает всю потенциальную пользу от их использования и становится огромным барьером на пути развития искусственного интеллекта в медицине.

Важно донести до регуляторов, что пользы от применения данных больше, чем рисков. Вероятно, это можно доказать только на практике, и ситуация, в которой мы сейчас оказались, способна стать катализатором, сигналом к действию.

«Резко возросший интерес к большим данным внутри экосистемы ВТБ поражает: число запросов выросло в десятки раз. Поэтому для выживания рынок имеет хорошую почву: если есть интерес у бизнеса, можно выращивать хорошие продукты», — считает Максим Коновалихин, руководитель департамента анализа данных и моделирования ВТБ. Нынешний вызов предоставляет хорошие возможности: работа в области импортозамещения выходит на новый уровень. Действительно, если можно приобрести хорошее готовое решение, создавать собственное мало кто захочет. Однако появившиеся проблемы дали новый стимул, и у людей появился азарт: они хотят создавать решения, превосходящие зарубежные аналоги. Сейчас ВТБ ведет совместную работу с МФТИ по производству собственных программно-аппаратных комплексов.

Кроме того, по мнению Коновалихина, принцип «Лучше меньше, да лучше» становится базовым. Старый подход, при котором компании приобретали много «железа» и забивали его до отказа данными сомнительной ценности, очевидно, перестает работать. ВТБ много инвестирует в направление «умных» данных и предварительного анализа информации, позволяющего избавиться от мусора, не ухудшая качества создаваемых моделей.

«Последние годы были беззаботными с точки зрения возможностей для развития инфраструктуры, и мало кто думал об оптимизации», — согласился Борис Рабинович, CDO «Сбера». Осознавая свои масштабы, в «Сбере» занялись оптимизацией еще в 2020 году, сделав это частью стратегии. Одним из важных направлений стал переход с зарубежных систем на собственные решения в области хранения данных. Сейчас большая часть проектов завершена, по остальным сформированы планы перехода.

Говоря о прочих проблемах, Рабинович выделил очевидную тройку: люди, технологии, инфраструктура. При этом главная загвоздка, по его мнению, именно в кадрах: надо думать, как привлечь в отрасль данных молодых специалистов.

«В конце февраля мы провели анализ рынка больших данных, попытались выявить основные проблемы. Среди них — потенциальное сокращение объема кадров, снижение спроса на новые решения и ограничение доступа к вычислительным мощностям», — рассказал Сергей Наквасин, заместитель руководителя Аналитического центра при Правительстве РФ. Однако, как выяснилось, вычислительные ресурсы почти у всех есть с запасом, и это пока не является проблемой. Отток ИТ-кадров из России резко сократился, и статистика показывает, что он был крайне неоднородным. Главным образом он был связан с наличием большого количества зарубежных заказчиков. Среди специалистов, работающих с прорывными проектами, число уехавших не превысило 5%. А вот что касается спроса на ИТ-решения, то он действительно может несколько сократиться. Во многом именно из-за этого правительство объявило о беспрецедентных мерах по поддержке ИТ-отрасли. Главное, чтобы предоставляемые меры поддержки не разучили айтишников работать.

Руслан Ибрагимов: «Прежде чем что-то делать, надо понять, почему мы три года топтались на месте, почему так и не получилось ввести в оборот большие обезличенные данные»

«Прежде чем что-то делать, надо понять, почему мы три года топтались на месте, почему так и не получилось ввести в оборот большие обезличенные данные», — считает Руслан Ибрагимов, вице-президент по взаимодействию с органами государственной власти и связям с общественностью МТС. Суть цифровой экономики заключается именно в обороте больших данных, поэтому их и назвали новой нефтью. Однако, видимо, такую нефть пока еще не добыли.

По мнению Ибрагимова, регулятор слишком много внимания уделял техническим аспектам, что во многом было спровоцировано появлением GDPR. Однако, если проблему не получилось решить с использованием технического подхода (гарантированное обезличивание данных), надо думать о применении юридического подхода. Лишь запуск в оборот больших данных позволит сделать заметный рывок в направлении цифровой экономики.

«Экспериментальные правовые режимы, которые введены уже давно, должны помогать не только обсуждать проблемы, но и действительно что-то делать. Пора действовать, преодолевая психологические барьеры», — резюмировал Дмитрий Соболев, заместитель директора по направлению «Нормативное регулирование цифровой среды» АНО «Цифровая экономика». Сколько ни тестируй методики на синтетических данных, это имеет мало общего с практикой. ЭПР дают возможность протестировать подходы в «боевых условиях» и получить конкретные результаты. Тем более что у регулятора есть все инструменты для контроля и, при необходимости, прекращения эксперимента.

В 2020 году компания Azercell создала умное озеро данных, которое было призвано стать надежным поставщиком данных и вывести на новый уровень возможности их обработки. Амбициозность задач демонстрирует название проекта: «Стать центром ИИ и аналитики Азербайджана». С помощью мощной платформы компания отслеживает многие процессы в реальном времени, но главным достижением стало то, что люди действительно принимают решения на основе получаемых данных. Об истории и подробностях этого проекта рассказал Азад Гусейнов, директор департамента больших данных и Аналитики компании Azercell.

— Расскажите об истории создания в Azercell умного озера данных.

Создание умного озера данных было начато в марте 2019 года. Наша цель заключалась в том, чтобы предоставить бизнесу больше источников данных, необходимых для анализа. Мы начали создавать озеро данных параллельно с подготовкой среды машинного обучения и развития искусственного интеллекта. С самого момента запуска озеро данных было интегрировано в эту среду.

Кроме подключения различных источников и колоссальных возможностей обработки данных, мы также ввели возможности обработки и анализа данных в режиме реального времени. Сейчас компания, используя созданную платформу, отслеживает свой общий ежедневный доход с 15-минутной задержкой.

— Чем, с вашей точки зрения, умное озеро данных отличается от «обычного»?

Наше умное озеро данных не используется в качестве фиктивного хранилища данных. Оно используется в качестве надежного поставщика данных и платформы для распределенной обработки данных и работы моделей машинного обучения.

— Какие были поставлены цели перед проектом?

Цель состояла в том, чтобы включить множество ценных источников данных, иметь возможность отслеживать все ключевые показатели эффективности практически в реальном времени. Еще одной важной целью было создание культуры Data Governance внутри организации.

После этого мы нацелились на прямую и косвенную монетизацию всего проекта. На основе информации, извлеченной из озера данных, были созданы многие процессы машинного обучения, а также боты.

— Сколько времени и какими силами реализовывался проект?

Начальная фаза проекта в целом заняла 12 месяцев, из которых два месяца ушло на развертывание и перенос данных. Остальное время проекта было потрачено на создание конвейеров потоковой передачи и пакетной обработки. Проект был реализован собственными силами, без каких-либо внешних консультаций и поддержки.

— Какие платформы были использованы?

Среда озера данных создана на основе технологий с открытым исходным кодом — с использованием предоставленного Cloudera дистрибутива Hadoop, Apache Kafka, Apache Nifi. Мы разработали нашу отдельную среду машинного обучения и искусственного интеллекта (сервер рабочих станций) на основе технологий и библиотек с открытым исходным кодом и интегрировали ее в качестве граничного узла в наш кластер озера данных.

Кроме того, для выявления аномалий в данных используется модуль Informatica Data Quality, а для визуализации применяются средства Tableau.

— Что в ходе проекта было самым сложным?

Самой сложной частью всего процесса было формирование видения и миссии всего проекта. Мы должны были определиться, кем хотим быть и что хотим получить в итоге. В результате мы назвали проект «Стать центром ИИ и аналитики Азербайджана», и это стало маяком для всех нас.

— Каких результатов удалось достичь, какие из них вы считаете наиболее важными?

Для принятий решений нами используется достоверная, качественная информация. Все данные, которые занесены в платформу, отслеживаются и при наличии аномалий исправляются. Тем самым обеспечивается достоверность данных в реальном времени, что дает возможность выполнять точные расчеты. Например, сведены к нулю ошибки при оплате, калькуляциях и прочих процессах. Повышение качества обслуживания абонентов.

Кроме того, произошло ускорение time-to-market за счет качественных данных в реальном времени. Рост скорости принятия решений составил до пяти раз.

Но главное достижение — видеть, как люди принимают решения на основе данных, которыми мы их снабжаем. Они достигают реальных целей компании, снижают отток, увеличивают средний доход на пользователя и т.д.

— Приведите пример проекта, который принес заметный результат и стал возможен благодаря внедрению умного озера данных?

На базе озера данных была запущена программа лояльности. Всего за месяц удалось увеличить количество пользователей приложения Azercell на 400%. Мы гордимся этим результатом.

— Пытались ли оценить совокупный финансовый результат от внедренного решения? Ускорение и точность решений, сокращение ТТМ, уменьшение оттока клиентов имеют вполне исчислимые эффекты.

Дополнительный доход составляет 0,5% от общего дохода Azercell в 2021 году. Кроме того, на 25% сократился показатель оттока клиентов.

— В каком направлении будет развиваться озеро данных?

Недавно мы согласовали нашу дорожную карту озера данных с целью превратить его в готовую к выходу в облако платформу данных с использованием последних технологий (таких как Delta, Apache Iceberg), а также контейнеризации. Это позволит нам выполнять любые задачи с данными в гибридном облаке и в локальной среде. Мы также планируем внедрять и использовать только инструменты и программное обеспечение с открытым исходным кодом, что также снизит общую стоимость владения нашей будущей платформы данных.

Высокая конкуренция на рынке розничного страхования побудила компанию «Ингосстрах» к выходу на новый уровень взаимодействия с клиентами. Осознав клиентскую базу как ценный актив, руководство компании создало Центр работы с большими данными, целью которого стало увеличение продаж и уровня пролонгации за счет запуска проактивных, персонализированных коммуникаций с клиентами. О реализации проекта рассказывают номинанты на премию Data Award: Иван Матвеев, первый заместитель генерального директора, Евгений Климов, начальник управления координации продаж и развития отношений с клиентами, и Сергей Мруз, директор департамента онлайн-бизнеса и развития отношений с клиентами компании «Ингосстрах».

— Когда в компании появился Центр работы с большими данными, какова история его создания?

Сергей Мруз: Центр работы с большими данными появился в июне 2020 года, одновременно с созданием департамента онлайн бизнеса и развития отношений с клиентами. В качестве одной из ключевых стратегических задач компания определила развитие клиентоцентричности. Нам нужно лучше понимать, кто наш целевой клиент, какие у него потребности, какие каналы взаимодействия он предпочитает, каким образом реагирует на скидки или повышение цены и т.д. Надо признать, что до тех пор «Ингосстрах» ориентировался скорее не на клиентов, а на договора в системах, а функция клиентоцентричности в значительной степени перекладывалась на агентов.

— Какие «боли» бизнеса привели к столь радикальным изменениям?

С.М.: Руководством «Ингосстраха» была поставлена задача увеличения уровня пролонгации договоров и проникновения продуктов, данное направление воспринималось как явная зона роста. Это подразумевало выход на новый уровень взаимодействия с клиентами. Одним из недоиспользуемых активов оказалась клиентская база: в силу специфики розничного страхования, общение с клиентами происходило только в реактивном режиме – во время их обращений в компанию. Более того, при этом оно происходило не напрямую, а по большей части через посредников.

Осознав клиентскую базу как ценный актив, мы инициировали проект по созданию Центра работы с большими данными, целью которого стало увеличение продаж и уровня пролонгации за счет запуска проактивных, персонализированных коммуникаций с клиентами, а также за счет сокращения клиентского пути в каналах продаж

— Центр работы с большими данными охватил только работу с клиентами или внутренние аналитические процессы тоже?

С.М.: Аналитика клиентов является нашим приоритетом, но также анализируются и другие процессы – например, мошенничество, урегулирование убытков, пролонгация, тарифы и т.д.

— Какие данные используются для работы?

Евгений Климов: Сейчас мы используем социально-демографическую информацию по клиентам, историю их покупок, историю страховых событий, информацию по имуществу клиентов из внутренних источников и открытых внешних источников. При этом была проделана большая работа по перестройке принципов и логики хранения данных страховщика: информация, ранее хранившаяся в разрезе договоров и убытков, была сведена на уровень клиента. Ведутся работы в рамках отдельного направления работ по созданию «золотой записи» клиента группы «Инго».

В основу системы, построенной с целью консолидации и монетизации данных о миллионах наших клиентов, легли решения SAS – от сбора и очистки данных по клиентам, в том числе информации о результатах коммуникаций с ними, до оптимизации целевых маркетинговых кампаний, таргетирования и предрасчета предложений.

— Что включал объем работ и какое время на это потребовалось?

Е.К.: Развертывание всех модулей и первичная интеграция аналитики в бизнес-процессы заняли 15 месяцев. За это время были реализованы трудоемкие процессы по верификации, валидации и обогащению клиентских данных, консолидации информации с уровня договора на уровень клиентов, построены витрины данных, настроены предрасчеты кросс-предложений, на исторических данных построены математические модели сегментации клиентской базы и персонализации предложений, модели прогноза отклика. Также были автоматизированы или модернизированы процессы, влияющие на удобство совершения покупки клиентом, включая калькуляторы страховых продуктов на сайте, автоматическое выставление счета в коммуникациях на пролонгацию договора и систему маршрутизации лидов.

В ближайшее время планируется к реализации операционный CRM, подсистема персонализации кросс-предложений, а также репозиторий кросс-предложений для клиентов всех компаний группы «Инго».

— Какие проблемы при создании аналитической платформы потребовалось решить, что было самым сложным?

Е.К.: Ключевые проблемы, с которыми мы столкнулись: сложность внутренних процессов и систем, проблемы с качеством данных, технические ограничения системы – например, отсутствие возможности масштабировать формирование предварительных расчетов для клиентов. Кроме того, требовалась интеграция с множеством каналов взаимодействия с клиентами.

— Масштабные изменения в процессах компании почти всегда требуют культурной перестройки…

Иван Матвеев: Для развития культуры работы с данными мы совместно со специалистами из школы «Яндекса» и Сибирского федерального университета разработали программу подготовки специалистов в области Data Science. Она запущена на постоянной основе на базе СФУ (Красноярск) и ИГУ (Иркутск).

Текущая программа охватывает специальность data scientist и предполагает подготовку специалистов уровня junior, так как большинство студентов зашли в программу с нулевыми знаниями в этой области. Ведется работа по расширению программы и подготовке data-аналитиков и data-инженеров.

— Каковы потребности компании в специалистах и какова «мощность» программы?

И.М.: Наши потребности в data-специалистах постоянно растут, текущая оценка более 50 специалистов по группе компаний «Инго». Рассчитываем на выпуск примерно 30-40 специалистов в год. Первый поток программы в Красноярске завершается в апреле, в Иркутске – в мае. На обучении сейчас суммарно более 70 человек

— Каких результатов уже удалось добиться?

И.М.: Внедрение аналитических решений помогло нам перестроить процессы целевого маркетинга и вывести на новый уровень культуру работы с клиентскими данными. Мы смогли перейти от реактивного подхода, когда работа идет над входящими обращениями от клиентов, к проактивным персонализированным коммуникациям, когда компания сама создает точки контакта с клиентами и делает предложения, адаптированные под их потребности. Проект уже оказал большое влияние на смежные бизнес-направления внутри финансовой группы «Инго» и способствует развитию страховой экосистемы «Ингосстраха», в рамках которой на первом этапе предполагается запустить кросс-продажи продуктов компаний группы объединенной базе клиентов группы, а на втором – развить продажи продуктов и сервисов от других партнеров.

— Какой из результатов вы считаете наиболее показательным?

И.М.: Очень важно, что проект помог перейти к проактивным продажам, повысить эффективность процессов перекрестных продаж (X-sell) и повысить удобство приобретения полисов для клиентов. Совершенно очевидно, что предложение X-sell должно быть релевантным и доступным во всех каналах продаж, а процесс оформления продукта должен быть коротким, понятным и удобным для клиента. Если же у клиента появляются какие-то вопросы, вся информация по сделанному ему предложению должна быть наготове у сотрудников во всех каналах взаимодействия с клиентом.

— Каковы финансовые эффекты?

И.М.: С помощью аналитического CRM за год апробации подходов к монетизации клиентской базы было запущено более 1,2 тыс. целевых кампаний и направлено более 10 млн коммуникаций. Это позволило получить дополнительные продажи на несколько миллиардов руб. Собственно, главной целью проекта и было повышение кросс-продаж добровольных видов страхования и уровня пролонгации договоров.

Кроме того, нами были организованы процессы по продажам продуктов компаний группы «Инго» (банк «Союз», ИГС-Ж, ИГС-Инвестиции и т.д.). Суммарные продажи на конец 2021 года достигли 700 млн руб. Ранее по этим направлениям не делались целевые маркетинговые предложения, а теперь компания проходит сквозь процесс проработки всех элементов воронки продаж и настройки процессов для дальнейшего масштабирования.

— В каком направлении будет развиваться проект?

И.М.: В финальной стадии реализации находится система Next Best Offer для ключевых каналов продаж. Развивается подсистема приоритезации кросс-предложений на основании ожидаемой доходности от контакта. Одновременно с этим идут автоматизация процессов актуализации клиентских данных и работы по созданию централизованного репозитория кросс-предложений для клиентов всех компаний группы «Инго».

«АльфаСтрахование» продолжает внедрение моделей машинного обучения в бизнес-процессы. В компании запущены модели тарификации и определения эластичности спроса, модели Next Best Offer, оценка на мошенничество как до заключения договора страхования, так и в процессе урегулирования убытка. О реализации таких проектов рассказывает Александр Логачев, CDO компании «АльфаСтрахование», номинанта на премию Data Award.

— Какова история работы с данными в компании?

Страхование – эта отрасль, которая работает благодаря статистике и данным, поэтому можно сказать, что работать с данными компания начала с самого начала своего существования, с 1992 года. С 2010 года для аналитики в компании используется QlikView. С 2019 года мы обратили внимание на использование инструментов open source для работы с данными на базе платформы Hadoop.

— В какой момент в компании появились модели машинного обучения? Что стало причиной, на что рассчитывали?

Первые модели машинного обучения начали использоваться в компании для решения задач тарификации в 2014 году – это довольно мощные и специфичные для страхования линейные модели (Generalized Linear Models, GLM). В 2020 году компания стала использовать нелинейные модели на основе градиентного бустинга на деревьях решений. Основное их отличие – возможность учитывать локальные особенности и закономерности, что существенно повышает точность предсказаний.

— Какие самые сложные проблемы потребовалось решить в ходе проекта?

У нас много задач, которые решаются с помощью машинного обучения – например, для тарификации основным вызовом является проведение ретро-анализов с внешними данными и идентичное ретро-тестам применение модели в «боевых» условиях. Для задачи скоринга крупных убытков основной трудностью было получение статистики из исторической базы в режиме реального времени, а также оптимизация скорости ответа, так чтобы уложиться в 50 мс. Для задачи антифрода непростым стало внедрение модели в решение SAP и ее встраивание в бизнес-процесс.

— Какие платформы используются, почему они выбраны?

Мы используем различные платформы в зависимости от решаемых задач. Например, использование Emblem является общепризнанной практикой для моделей тарификации в страховании. Кроме того, применяем открытые решения Hadoop/Spark, Atlas, Feast, MLFlow как весьма эффективные инструменты для работы с данными.

— В какие процессы включены модели машинного обучения?

Модели машинного обучения используются в задачах тарификации, скоринга крупных убытков, определении мошенничества, модели Next Best Offer и других.

— Как именно изменились эти процессы?

Например, тарификация в ОСАГО перешла на индивидуальный уровень – то есть для каждого клиента и его автомобиля тариф рассчитывается отдельно на основании большого количества факторов.

Для определения мошенничества на этапе урегулирования убытков автоматически выявляются «подозрительные» признаки. Наше подразделение по борьбе с мошенничеством фокусируется на проверках именно таких убытков.

Модели Customer360 и CVM (максимизация ценности для клиентов) позволяют использовать накопленные и внешние данные для улучшения предложения клиенту – за счет рассылки таргетированных предложений или рекомендаций агенту по продуктам, подходящим для конкретного клиента.

— Каких результатов удалось добиться? Как это соотносится с ожиданиями?

Показатели по коэффициенту убыточности существенно улучшились за счет применения различных моделей, что позволяет компании зарабатывать дополнительно несколько сотен миллионов рублей в год. Предиктивность моделей позволяет оценивать эффект до их внедрения и на практике приходить к прогнозному эффекту.

В целом модель тарификации дала возможность предоставить индивидуальные цены и улучшить рентабельность бизнеса, модель определения вероятности мошенничества – найти новые, неочевидные случаи мошенничества, а модель Next Best Offer – увеличить эффективность рассылок и повысить продажи.

— Где машинное обучение показало наибольшую эффективность?

Наибольшую эффективность машинное обучение в страховании показало в индивидуальной тарификации и управлении портфелем. Есть известное правило, что если машинное обучение работает хуже человека, то это мы не доучили модель или недоучли факторы.

— Было ли в проектах то, что вас удивило?

Удивило открытие, что продавцы стараются подбирать набор параметров для максимального удешевления стоимости полисов. Это далеко не всегда заложено в изначальные модели. Поэтому нам пришлось реализовывать ответ на данный вызов и учитывать контекст принимаемого решения.

— В каком направлении будет развиваться машинное обучение в «АльфаСтрахование»?

Мы планируем улучшать модели, добавляя новые факторы, совершенствовать используемые алгоритмы для рекомендаций продуктов. Кроме того, будем использовать модели машинного обучения в других задачах.

В онлайн-кинотеатре ivi запущена аналитическая платформа, призванная сократить временные и финансовые издержки, связанные с получением отчетности. Компании требовалось обеспечить корректное, эффективное и быстрое перемещение и преобразование данных для их последующего использования в критически важных процессах подготовки отчетности. О реализации этого проекта рассказывает Дмитрий Антонов, руководитель отдела технической аналитики ivi, номинант на премию Data Award.

— Компания всегда уделяла внимание аналитике пользователей. Неужели внутренняя аналитика при этом проседала? Почему потребовались дополнительные усилия в этом направлении?

По сути сама аналитика не проседала, просто на сбор нужных данных для построения регулярных отчетов и решению других аналитических задач уходило достаточно много времени. Некоторые решения были не автоматизированы, данные загружались аналитиками в песочницу, доверие к таким данным было не очень большим. Команды, которые помогали в доставке данных в хранилища, были разрозненными, а инструменты – не стандартизированными.

— Какие задачи требовалось решить?

В первую очередь это консолидация потоков данных между источниками и хранилищами в одном месте. Требовалась единая платформа и единая команда.

Нужна была платформа, которая хорошо себя зарекомендовала и была стабильна, так как у нас были планы выхода на биржу и ставились определенные требования по прохождению аудита в части загрузки данных и инструментов, которые мы для этого используем.

— Почему возникли проблемы с доверием бизнеса к данным? Ведь это цифровой бизнес, он изначально построен на данных.

Бизнес очень быстро рос и развивался, источники часто и быстро менялись, менялась логика. Часто данные с момента получения от источника до представления конечному потребителю теряли актуальность. Также не все данные, которые использовались для принятия решения, проходили полный цикл валидации, аналитики загружали что-то в песочницу и строили отчетность без необходимой проверки.

— Какие платформы были выбраны и почему?

Была выбрана Informatica Power Center как стабильное решение. В ходе пилотного проекта она показала возможность подключаться к основным нашим источникам и умение работать с нашими хранилищами. Важно было выбрать готовый инструмент, который не надо значительно адаптировать под нашу среду, чтобы запустить новые переливки данных и мигрировать текущие переливки в достаточно сжатые сроки.

— Что в ходе проекта было самым сложным?

Пришлось налаживать основные процессы разработки практически с нуля, так как и команда, и платформа были новыми. Они работают параллельно с уже устоявшимися решениями.

— Какие были достигнуты результаты?

Нам удалось перенести ряд ключевых для бизнеса заливок из источников, увеличив оперативность поступления данных. Выстроен процесс разработки в новой команде вокруг нового для нас инструментария. Кроме того, налажена обработка потока новых задач и упрощена доработка существующих.

— Как с появлением платформы изменились процессы принятия решений?

В ряде ключевых процессов, связанных с финансовой отчетностью, бизнес смог отказаться от ручного ввода данных и перейти на данные, поставляемые из источника в хранилище. До того эти данные либо не поставлялись, либо поставлялись с большой задержкой, что было недопустимо в данном случае.

— Какие вы видите направления развития аналитической платформы?

Планируем большую автоматизацию процессов, чтобы решать типовые процедуры максимально быстро с минимальным вовлечением разработчиков и администраторов. Будем проводить дальнейшую миграцию загрузок на новую платформу, ускорять поступление и обогащать данные, чтобы бизнес получал больше информации, которая была ранее недоступна.

В фармацевтической компании BIOCAD запущена уникальная программа для подготовки редких специалистов в области статистического программирования. Ее выпускники смогут закрыть актуальные кадровые потребности компании и будут востребованы на рынке фармацевтики и биотехнологий. О реализации этого образовательного проекта рассказывают номинанты на премию Data Award – Юлия Линькова, заместитель генерального директора по клинической разработке и исследованиям BIOCAD, и Антон Мещеряков, руководитель отдела биостатистики и дата-менеджмента.

— Как появилась эта программа, какова история ее создания?

Юлия Линькова: Идея создания программы появилась в департаменте клинической разработки BIOCAD. Наша компания активно развивается, и вместе с этим растет потребность в новых специалистах, которые смогут вместе с нами реализовывать уникальные проекты. Для выполнения всех запланированных анализов данных клинических исследований требуется больше ресурсов, в том числе кадровых. Поэтому у нас возникла потребность в квалифицированных специалистах, а именно аналитиках, которые умеют программировать на языке SAS. Таких кадров на рынке критически мало, и это вызывало трудности на этапе подбора персонала. Возникла логичная идея: создать проект для молодых специалистов, которым интересна данная сфера, и самостоятельно их обучить.

— В чем заключались проблемы?

Антон Мещеряков: В нашей компании очень высока потребность в SAS-специалистах, имеющих подготовку в области анализа данных клинических исследований, биостатистики, регуляторики и методологии исследований. Период закрытия таких узкопрофильных вакансий значительно дольше, чем линейных. Общеизвестно отсутствие конкретных специализаций для подготовки в вузах и дефицит готовых специалистов, способных сразу включиться в работу над проектами компании. Наблюдается большой компетентностный разрыв между требованиями и реальными навыками соискателей. Все это приводит к высокой конкуренции в индустрии за специалистов и как следствие – их завышенным зарплатным ожиданиям.

— Какие задачи требовалось решить?

Ю.Л.: Основной целью проекта является подготовка грамотных специалистов, знающих язык программирования SAS, которые будут востребованы на рынке биотехнологий и смогут закрыть кадровые потребности компании BIOCAD. Для достижения этой цели мы поставили перед собой ряд задач. Это развитие сотрудничества с лидером в сфере решений для анализа данных, повышение узнаваемости HR- и ИТ-бренда компании, отбор сильнейших участников с высокой мотивацией с помощью конкурсного отбора. Кроме того, требовалось подготовить уникальный образовательный материал с экспертами компании, который может быть переиспользован во внутреннем обучении, и подготовить учащихся к работе в компании, сократив компетентностный разрыв и время на последующую адаптацию. Лучших выпускников мы трудоустраиваем в компанию.

— Что собой представляет школа?

А.М.: Это образовательный проект, созданный нами в партнерстве со специалистами SAS Institute. Обучение рассчитано на пять месяцев и включает как обучение языку программирования SAS, так и фундаментальным знаниям в области клинических исследований, принципам разработки лекарственных препаратов и надлежащей клинической практики, основным документам клинического исследования и международным регуляторным требованиям по предоставлению и анализу полученных данных.

Важно, что обучение имеет практическую направленность и уделяет особое внимание аспектам непосредственного выполнения анализа клинических исследований, где участники работают с реальными данными. Задания включают статистический анализ данных, создание таблиц, листингов, графиков, ETL-операции по созданию базы данных анализа и многое другое. Переключение на реальные задачи после отработки на тестовых базах данных позволяет экономить ресурсы сотрудников отдела биостатистики уже в ходе проекта, так как в данном случае сотруднику BIOCAD остается только выполнить контроль качества после выполнения задания.

Программа разработана «с нуля», с ориентиром на то, кого мы хотим видеть на программе, на каких условиях, под какие задачи, какими будут критерии отбора и траектория обучения. Для проекта были подготовлены уникальные учебные материалы, которые в дальнейшем могу быть использованы для внутреннего обучения действующих сотрудников на площадке корпоративного университета компании.

Анализ данных клинических исследований с помощью решений SAS является отраслевым стандартом для фармацевтики и принимается регуляторами всего мира. Уже в процессе обучения участники проекта привлекаются к реальным задачам и приносят пользу в актуальных проектах клинической разработки.

— Почему именно собственная школа, а не курсы у партнеров?

Ю.Л.: При выборе площадки мы рассматривали различные варианты, но в России нет подобных программ, на базе которых можно было бы реализовать данный проект. В настоящее время SAS-школа BIOCAD не имеет аналогов. Реализация проекта собственными силами позволяет нам выбирать, чему и как мы будем учить, ведь у нас есть конкретное понимание того, какими навыками и компетенциями должен обладать сильный SAS-специалист.

— По каким критериям осуществляется отбор в программу?

А.М.: При поиске кандидатов мы ориентировались на выпускников технических вузов, основной упор был на ИТ-специалистов. Среди требований к участникам можно выделить умение программировать на любом языке, знание английского не ниже pre-intermediate и, конечно же, готовность развиваться и обучаться. Стоит отметить, что опыт работы в фармацевтической сфере у кандидатов не обязателен, так же, как и навыки программирования именно на языке SAS. Мы получили 270 заявок на участие, после выполнения тестового задания до финального собеседования дошло 20 человек, 10 из которых были приняты в программу.

— Число заявок на обучение в 27 раз больше, чем мест. Какова судьба сотрудников, не прошедших отбор, не влияет ли это на их мотивацию?

Ю.Л.: Программа направлена не на сотрудников, а на внешнюю аудиторию. С теми кандидатами, которые не прошли отбор, мы остаемся на связи: приглашаем их к участию в других наших проектах, делимся информацией по открытым вакансиям и, конечно, в случае запуска второго потока, мы будем рады увидеть их в SAS-школе BIOCAD. У сотрудников нашей компании тоже есть возможность принять участие в проекте в качестве преподавателей и наставников, что положительно влияет на их развитие.

— Каковы вообще потребности компании в специалистах SAS?

Ю.Л.: На данный момент по ряду проектов анализом данных клинических исследований занимаются подрядные организации, и мы стремимся к тому, чтобы иметь возможность самостоятельно закрывать все эти задачи. Для этого нам нужно расширять свою команду. При поиске новых кандидатов мы столкнулись с тем, что в России очень мало специалистов с релевантным опытом и знанием языка программирования SAS, существует огромный дефицит рабочих кадров, у специалистов непропорционально завышены зарплатные ожидания и происходит постоянная ротация этих сотрудников между компаниями.

— Какие результаты достигнуты?

А.М.: Нам удалось трудоустроить восемь специалистов: две вакансии были закрыты еще во время проекта, так как двое участников досрочно закончили обучение и были приглашены на постоянную работу в штат компании; после выпускного мы пригласили в штат еще шесть человек. Мы очень гордимся тем, что все 10 участников проекта прошли экзамен уровня Base и получили официальный международный сертификат. После окончания SAS-школы оставшиеся участники смогли попробовать свои силы в сдаче экзамена SAS Advance и шесть из них успешно с ним справились.

Важно и развитие сотрудников компании через преподавание и наставничество: в проект школы вовлечено 28 сотрудников BIOCAD, которые за время курса смогли поделиться своим опытом и знаниями с молодыми специалистами. На основании проведенных опросов для сбора обратной связи у преподавательского состава, работа с молодежной аудиторией и возможность делиться своей экспертизой – одна из дополнительных мотивационных причин работы в компании.

На завершающем этапе обучения участники школы примут участие в анализе реальных данных одного из клинических исследований BIOCAD, результаты которого будут впоследствии использованы для регистрации препарата, который не только принесет прибыль компании, но поможет в улучшении качества жизни и сохранению здоровья тысяч пациентов, страдающих тяжелым заболеванием.

— Пытаетесь ли оценить финансовую эффективность работы школы?

Ю.Л.: Оценить финансовую эффективность проекта можно будет спустя определённое время после его завершения, но у нас уже сейчас есть понимание, что проект экономически выгоден, ведь мы сможем отказаться от услуг некоторых контрактных организаций. Внедрение SAS в обработку огромного массива данных клинических исследований позволяет повысить качество, достоверность и прозрачность расчетов, что значительно снижает риски регуляторных запросов по статистической части. Кроме того, данное ПО позволяет автоматизировать все процессы по созданию листингов, графиков, таблиц для отчетов. Это значительно снижает трудозатраты медицинских экспертов и других сотрудников, вовлеченных в написание больших отчетов (4-8 тыс. страниц), увеличивая скорость работы в 2-2,5 раза – это прямая экономия времени. Более того, это позволяет ускорить подачу документов регулятору для рассмотрения и последующей регистрации инновационных препаратов, в которых так нуждаются наши пациенты. Для нас это очень важно, ведь мы работаем в секторе тяжелых инвалидизирующих нозологий, среди которых онкология, аутоиммунные патологии и другие социально значимые заболевания.

— В чем роль запущенного образовательного проекта для бизнеса компании?

Ю.Л.: Выход фармацевтической компании на новые высокорегуляторные рынки требует соответствия международным стандартам (GMP, FDA). BIOCAD одним из первых начал внедрять в свою работу инструменты аналитики SAS, тем самым повышая престиж российских фармацевтов в мировом сообществе. Создание внутренней программы подготовки редких специалистов позволит компании не зависеть от сложного процесса привлечения опытных специалистов из других организаций, а также от внешних подрядчиков, что обеспечит экономию в десятки миллионов рублей в год.

— Планы развития школы – например, по другим направлениям дата-специалистов и т. п.

Ю.Л.: 11 марта 2022 года у нас состоялся выпускной первого потока школы, сейчас мы планируем обсудить дальнейшую судьбу и развитие проекта.

В 2019 году «Северсталь» начала внедрять машинное обучение в листопрокатном цехе производства трубного проката в Колпине. Сейчас цех можно назвать цифровым: его главный агрегат – листопрокатный стан 5000 – управляется с помощью комплекса моделей на новых скоростях. Проект стал уникальным в металлургии и оказал значительное влияние на повышение эффективности производства. О реализации этого проекта рассказал Борис Воскресенский, директор «Северсталь Диджитал».

— Что стало причиной начала проекта и каким образом была поставлена задача?

«Северсталь» цифровизирует производство и внедрила ряд собственных решений, которые доказали свою эффективность. Конкретно в данном случае мы хотели увеличить производство листопрокатного цеха с помощью цифровых технологий, без значительных капитальных вложений.

Ранее управление главным агрегатом промплощадки – широкополосным прокатным станом 5000 – осуществлялось вручную, и в нем заметно присутствовал человеческий фактор. Операторам приходилось одновременно следить за проходом и качеством металла во избежание дефектов, причем они могли опираться только на свой опыт и измерения, полученные после проката. При определении скорости прокатки не всегда учитывались сортамент продукции и цикличность проката, поэтому показатели были занижены и стан работал не на полную мощность.

Задачей проекта стала автоматизация функций управления проката и интенсификация скорости проката, исходя из энергосиловых возможностей агрегатов. Для листопрокатного стана 5000 был разработан комплекс моделей на базе машинного обучения. Модели управляют участком нагревательных печей (управление нагревом слябов) и клетью кварто (управление скоростью проката), на транспортировочной линии цифровой советчик выдает рекомендации по управлению выдачей слябов.

— Какие проблемы потребовалось решить в ходе этого проекта? Что было самым сложным?

С технической точки зрения – это отличие природы исторических данных от потоковых. После создания решения на исторических данных необходима существенная доработка, связанная с отличием исторических данных от потоковых. Когда вы подключаетесь к потоковым данным и начинаете управлять агрегатом напрямую, приходится реконструировать по факту всё, что происходит в реальном времени, и очень быстро делать корректировки для обеспечения эффективности производства. На исторических данных строится модель, но потоковые данные приходят с разными небольшими запозданиями, и их приходится агрегировать «на лету».

С точки же зрения подхода к моделированию мы вышли за рамки классического подхода обучения с учителем. Если сильно упрощать, то стандартные модели машинного обучения ищут похожие события в прошлом и подбирают хорошие исторические аналоги с довольно слабой способностью к экстраполяции. Мы же добавили сюда causal inference подход: сначала обучили стандартную модель машинного обучения, а потом уже с помощью выявленной причинно-следственной связи на данных искали возможности для ускорения производства: результат получился очень хороший – максимальные скорости агрегата выросли с 3,2 м/с до 4,5 м/с.

— Что сделано в рамках проекта, какие решения использовались?

В ходе проекта автоматизированы функции управления прокатом, максимально интенсифицирована скорость проката, исходя из энергосиловых возможностей агрегатов.

Решение для управления скоростью проката базируется на комплексе моделей машинного обучения. Это градиентный бустинг на решающих деревьях – он используется для предсказания максимальных токов двигателей, приводящих в движение прокатные валки стана 5000; метод ближайших соседей – для оценки начального приближения скорости проката на основе исторических данных по аналогичным типам проката; ряд моделей линейной регрессии с применением подхода causal inference – для определения влияния скорости на максимальный ток.

Управление интенсивностью нагрева печей основано на анализе текущего состояния печей и условий их наиболее эффективной работы, определенных в результате анализа исторических данных. Для синхронизации работы печей со станом 5000 разработаны модели на основе линейной регрессии, предсказывающие время прокатки текущей группы слябов.

С точки зрения платформ использовались собственные разработки, а также OPC UA, Docker, Kubernetes, Apache Kafka, InfluxDB, Apache NiFi, Gitlab, Hadoop, Graylog, Grafana.

— Сразу ли была поставлена задача не ограничиваться рекомендательной системой, а пойти дальше? Или аппетит пришел во время еды?

На короткий период решение работало как рекомендательная система: люди могли переключать тумблеры в соответствии с рекомендациями. Но довольно быстро стало понятно, что это не очень удобно, так как каждый проход сляба занимает несколько секунд, и каждые несколько секунд крутить тумблер в зависимости от рекомендации модели – не слишком эффективно.

Мы убедились в том, что при четком следовании рекомендациям модели наблюдается значительный рост производства. Когда производство сказало: «Давайте переходить в автоматический режим», у нас к этому уже все было готово.

— Откуда брали «источник мудрости» и на чем обучали модели?

Данные датчиков собирали напрямую с агрегата. Мы подключались к уровню производства трубного проката через безопасное соединение, собирали необходимые данные в Kafka, далее выводили их в озеро данных, и на этих данных и строили наши модели. Дополнительно использовали экспертное мнение технологов, в частности, оно нам очень хорошо помогало понять, на что именно стоит обратить внимание. Иногда экспертное мнение подтверждается, иногда нет. В любом случае, с помощью валидации этих знаний на данных и вытаскиванием из данных чего-то нового, о чем технологи могли даже и не знать, получается модель, которая может управлять агрегатом лучше, чем человек.

— Какими силами реализован проект?

Проект реализован силами внутренней экспертизы «Северстали» — командой «Северсталь Диджитал» в партнерстве с производством. Работы проводились с мая 2019 года по третий квартал 2021 года.

— Почему так долго? Или это не долго для такого проекта?

Это вполне стандартный срок: исходя из нашей практики, необходимо от шести до девяти месяцев на разработку решения, которое управляет агрегатом. В данном случае было несколько проектов, направленных на одну и ту же цель. Мы работали над ними последовательно, и таким образом создали полностью цифровой цех.

— Каковы были ожидания от результатов, как они соотносятся с реальностью?

Реальность оказалась лучше, чем ожидания. Мы ожидали увеличения производства на 2-3%, а в итоге получилось более 5% – мы достигли рекордных проказателей по производительности. Более того, ожидается рост на дополнительные 1,5%. За 2020 год средняя скорость проката возросла с 2,3 м/с до 3 м/с, а максимальные скорости проката выросли с 3,5 до 4,5 м/с – операторы в ручном режиме никогда не достигали таких показателей. При этом среднее время ожидания новой прокатной группы уменьшилось с 62 с до 40 с незначительными отклонениями.

— Какие экономические результаты достигнуты?

За три квартала 2021 года эффект от комплекса моделей составил более 20 тыс. тонн дополнительной готовой продукции, что составляет около 1 млрд руб. в ценах 2021 года.

— В чем роль проекта для бизнеса компании?

«Цифровому цеху» в Колпине практически нет аналогов в мировой металлургии: решения работают круглосуточно и управляют одним из крупнейших агрегатов «Северстали». Сотни тысяч тонн продукции в год производятся под управлением нашего комплекса решений.

Металлопрокат из этого цеха используется для производства труб большого диаметра на Ижорском трубном заводе, который поставлял трубы для строительства «Силы Сибири», газопровода «Ухта-Торжок» и других проектов.

— Проект уникален. Может ли его реализация оказать влияние на развитие отрасли?

Мы взяли современные научные принципы и подходы, которые развиваются ведущими ИТ-компаниями, и использовали их для управления промышленными агрегатами.

Считаю, что проект может оказать влияние на развитие отрасли – за подобными подходами будущее. Если раньше мы делали решения, которые были полностью основаны на физике процесса: зашивали логику и формулы для управления в автоматизированную систему, – то сейчас мы всё ближе к созданию «искусственного оператора». В мировой металлургии довольно активно используются советчики и рекомендательные системы, но решения, которые напрямую в реальном времени управляют агрегатами с помощью подходов data science, пока еще довольно редки.

В нашей компании такой подход уже масштабирован на существенную часть агрегатов, и аналогичный подход начали использовать в нашем сырьевом производстве. Наши модели уже стали неотъемлемой частью производственного процесса «Северстали», и я уверен, что за данным подходом будущее.