Большие данные

Переход платформы персонализации «Сбера» с Teradata на связку Hadoop и GreenPlum планировался еще до санкционного кризиса, но весной прошлого года приобрел особую актуальность. Помимо устранения технологических рисков, у группы появились новые возможности для оперативного выявления потребностей клиентов. Про реализацию проекта рассказали Игорь Зарубинский, директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента и Алексей Смирнов, управляющий директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента – номинанты на премию Data Award.

— Какова предыстория проекта? Что привело к его реализации?

Игорь Зарубинский: «Сбер» работает над созданием полностью интегрированной системы удобных онлайн-сервисов в самых разных сферах для любых жизненных ситуаций: от покупки продуктов на маркетплейсе до оформления ипотечного кредита. С помощью новой стратегии мы переходим от прогнозирования покупки продукта к созданию предложения, адаптированного под жизненную ситуацию и потребность клиента в конкретный момент времени. Точно предугадывая потребность клиента, «Сбер» обеспечивает долгосрочное взаимовыгодное сотрудничество с ним. Основная цель – выявить релевантную в данный момент времени потребность клиента и подобрать наиболее удобный продукт или сервис для удовлетворения этой потребности.

Для решения этой задачи мы стали создавать платформу данных, которая содержит информацию о клиенте и его действиях в контуре «Сбера». При этом для выявления текущих потребностей клиента требуется оперативная и гибкая работа как с онлайн-, так и с офлайн-потоками данных о действиях клиента.

— В чем заключалась проблема?

Алексей Смирнов: Изначально в качестве основной платформы для работы с данными использовалась Teradata. В связи с ростом количества источников и объема данных появилась проблема доставки этих данных до хранилища с актуальностью не хуже, чем на вчерашний день (Т–1 день). Вместе с этим обнаружилась проблема с хранением большого массива данных: данные в «сыром» слое, с которыми мы работаем, занимают десятки петабайт. Весь этот объем информации необходимо оперативно обрабатывать: от момента попадания данных в «сырой» слой до обновления витрины должно проходить не более нескольких часов, так как данные нужны максимально быстро для использования в бизнес-процессах.

Кроме того, для оперативного выявления потребностей клиентов было реализовано большое количество стриминговых потоков с триггерами о действиях клиентов в контуре группы «Сбера». Возник вопрос об эффективной обработке и создании витрин данных, которые обновляются в реальном времени и используют как информацию из онлайн-потоков, так и из витрин, которые обновляются пакетом.

На платформе Teradata реализация подобной задачи становилась крайне дорогой или невозможной, поэтому «Сбер» принял решение изменить технологическую платформу и перейти на использование связки платформ Hadoop и GreenPlum. Задача миграции стала особенно актуальна в 2022 году, так как Teradata приняла решение уйти с российского рынка. Из-за прекращения поддержки возник риск прекращения работы всех бизнес-процессов, что могло привести к потерям в сотни миллиардов рублей.

— То есть миграция планировалась заранее? Насколько сильно планы откорректировались в связи с санкционным кризисом?

А.С.: Да, миграция планировалась заранее и была инициирована недостатком функциональности предыдущей платформы и дороговизной ее масштабирования. Планы реализации проекта поменялись незначительно, так как к моменту появления санкционных рисков большая часть проекта уже была реализована. Когда ушли иностранные вендоры, мы уже имели на 70% импортозамещенный продукт, и нам пришлось действовать еще быстрее, чтобы компенсировать оставшиеся 30% решений до конца 2022 года.

— Что стало самым сложным в процессе миграции? Как решали эти проблемы?

А.С.: Самым сложным в реализации проекта было изменить модель мышления пользователей платформы: перейти на другой технологический стек и новую модель данных, переосмыслить процессы, которые были сделаны на базе технологии Teradata и реализовать новые, по сути, процессы на новом стеке технологий. Также большим вызовом для нас было доказать преимущества новой платформы для работы дата-инженеров, дата-аналитиков, дата-сайентистов: ее работоспособность, надежность, масштабируемость, скорость работы вычислений для больших объемов данных.

— Сколько времени и ресурсов потребовалось на реализацию проекта?

А.С.: Проект был инициирован в конце 2020 года и завершен в конце 2022 года. За это время мы мигрировали более 300 бизнес-процессов с Teradata на новую платформу.

— Какие данные используются для построения персональных предложений?

А.С.: Мы используем информацию из всех банковских систем, а также данные из систем компаний-партнеров, что позволяет сформировать полный профиль клиента: его финансовые и социально-демографические характеристики, данные об интересах, его предпочтениях в кино, еде, музыке. Разумеется, при этом в обязательном порядке учитывается согласие клиентов на сбор, обработку и использование данных.

Витрины данных являются основой для ключевых задач формирования персональных предложений клиентам. С их помощью создаются модели искусственного интеллекта для работы с данными, аналитика и отчетность, формируются персональные предложения с индивидуальными условиями для клиентов. При этом мы создаем не только витрины «холодного вектора», которые обновляются ежедневно с актуальностью Т–1 день, но и витрины «горячего вектора», которые основаны на потоковой обработке данных.

Новые технологические платформы позволяют нам хранить петабайты данных, быстро обрабатывать десятки терабайт данных в инкременте, а также работать с данными в режиме реального времени.

— Какие изменения в бизнес-процессах породили новые возможности?

И.З.: Новые возможности стали базой для построения SberNBA – платформы персональных рекомендаций. SberNBA обеспечивает расчет персональных предложений, коммуникацию в релевантный момент времени на каждом этапе жизненного пути клиента и максимизирует долгосрочную ценность сотрудничества «Сбера» с клиентом. В основу архитектуры платформы заложены алгоритмы машинного обучения, которые позволяют анализировать события в жизни каждого клиента и реагировать на них в режиме реального времени.

— Какие результаты достигнуты и ожидаются?

А.С.: На текущий момент решение содержит более 300 витрин, которые, в свою очередь, содержат более 15 тыс. атрибутов общим объемом более 9 Пбайт. Самая крупная витрина занимает 1 Пбайт с ежедневным инкрементом в 5 Тбайт. Самая большая витрина содержит более 1 тыс. атрибутов.

Витрины данных имеют актуальность Т–1 день уже к началу следующего рабочего дня. Таким образом, решение позволяет обрабатывать десятки терабайт данных инкремента и за 4,5 часа ежедневно формировать более 300 витрин, существенная часть из которых — это сложные витрины типа SCD2 (медленно меняющиеся измерения, Slowly Changing Dimensions).

Вместе с тем, реализованы десятки онлайн-потоков, которые умеют «на лету» определять потребность, исходя из комбинации совершенных действий клиента. Плотность потока стриминговых данных составляет более 10 тыс. транзакций в секунду. Для определения потребности клиентов при работе с потоками мы не только пользуемся готовыми потоками из систем «Сбера», но и донасыщаем их дополнительной информацией из параллельных стриминговых потоков и витрин, которые обновляются в пакетном режиме. В ряде случаев требуется создание онлайн агрегатов для выявления аналитических триггеров в потоковом режиме.

Также решения, построенные на онлайн-потоках, позволяют предсказывать вопросы и проблемы, которые могут возникнуть у клиента при взаимодействии со «Сбером». Благодаря этому появилась возможность заранее сформировать соответствующую коммуникацию или настроить персональный ролик в канале телемаркетинга по актуальной проблеме и быстро решить вопрос клиента, не привлекая к этой задаче оператора горячей линии контакт-центра.

После перехода на новую платформу обработки данных более 500 наших D-people –дата-инженеров, дата-аналитиков, дата-сайентистов – ежедневно стоят свои решения как на базе платформенных решений, так и на базе реализованных потоков данных. Что немаловажно, во все процессы встроены инструменты контроля качества данных, в том числе с использованием моделей искусственного интеллекта, которые позволяют проверять сложные зависимости в данных для предоставления наилучшего результата.

— В чем роль проекта для «Сбера»?

А.С.: Переход на новую платформу, состоящую из Hadoop и GreenPlum, позволил выполнить ряд крупных задач для B2C-бизнеса «Сбера». Нам удалось добиться непрерывности работы бизнеса за счет отказа от зарубежного вендорского решения. Появилась возможность хранить огромные массивы данных в десятки петабайт, необходимые для реализации предиктивной аналитики и отчетности. Специалисты смогли настроить процесс ежедневного быстрого применения инкремента в 10 Тбайт и реализовать системы потоковой обработки данных.

И.З.: Все это позволило уменьшить временной лаг между совершаемым клиентом действием и реакцией бизнеса на это действие. Благодаря переходу на новую платформу для работы с данными «Сбер» намного раньше узнает о текущих потребностях клиента. Это позволяет формировать наиболее актуальный пул персональных предложений, что было невозможно при использовании предыдущей платформы для работы с данными.

Точно предугадывая потребность клиента, мы обеспечиваем долгосрочное взаимовыгодное сотрудничество с ним. Это подтверждают бизнес-результаты. Например, количество жалоб на коммуникации уменьшилось на 12%. Чистая приведенная стоимость по некоторым коммуникационным кампаниям увеличилась на 20% по сравнению с месяцем, когда в процессе участвовали данные с актуальностью Т–1 день.

«Сбер» запустил графовую платформу, позволяющую объединить возможности методов графовой аналитики и технологий больших данных. Ее использование позволило на порядок ускорить разработку моделей и снизить количество затрачиваемых ресурсов при их промышленном запуске. О значении созданного решения для бизнеса и его перспективах рассказывает Алексей Булавин, исполнительный директор управления развития технологий искусственного интеллекта и машинного обучения департамента управления данными Сбербанка и номинант на премию Data Award.

— Какие задачи решает платформа?

В бизнес-практике все чаще встречаются комплексные задачи, для решения которых невозможно использовать традиционные методы и инструменты аналитики, поскольку они требуют обработки информации, которая характеризуется неоднородной структурой и глубокой связанностью.

Если необходимо проанализировать не только объекты и их свойства, но также их связи с другими объектами различных уровней и характеристик, необходимо использовать методы графовой аналитики. Она применяется для получения дополнительных знаний об объекте за счет извлечения знаний о его окружении, выявления наиболее значимой информации, центров влияния, групп связанных объектов, цепочек и многого другого. К задачам графовой аналитики можно отнести как нахождение новых молекулярных соединений, так и более привычные для бизнеса задачи – построение портрета клиента «360 градусов», оптимизацию логистических цепочек или таргетирование.

— Почему это важно?

Сейчас мы наблюдаем взрывной рост объема данных из различных источников во всех сферах деятельности человека. Связанность данных между собой также быстро растет. Это означает, что все больше и больше задач решаются уже не просто на данных, а на больших данных. На российском рынке сегодня нет технологических решений – а тем более платформ – для работы с графами, представляющими большие данные, которые смогли бы объединить эффект от использования Graph Analytics и big data для бизнеса.

— Каков ваш подход?

«Сбер» разработал собственные технологии хранения и обработки данных, представленных в виде больших графов, и за счет инновационных подходов и архитектурных решений добился их высокой производительности на внутреннем аналитическом хранилище, где собрано более 17 Пбайт плотно связанной между собой неоднородной информации.

Для того чтобы возможности наших технологий можно было применить для бизнес-задач различной природы (разработка и внедрение витрин, моделей, нейросетей, создание онлайн-сервисов, BI-инструментов и др.), мы объединили их в технологическую платформу, состоящую из семи сервисов.

Сервис лаборатории графов – интерактивный инструмент для исследования графов, разработки новых графовых моделей (ML). Сервис графовых расчетов – механизм выполнения массовых регулярных расчетов на больших графах для исполнения графовых моделей. Сервис единого графа клиентских связей (ЕГКС) – актуальные витрины данных о полной связанности между собой всех клиентов банка. Сервис онлайн-доступа к графу – средство доступа к графам класса big data через API в режиме вопрос-ответ в режиме реального времени. Сервис визуализации графов – интерактивный BI-интерфейс для решения прикладных задач на графах в реальном времени. Сервис встраиваемой графовой базы данных – производительная встраиваемая графовая база данных для нестандартных решений. Наконец, сервис графовых нейронных сетей (GNN) – готовый пошаговый механизм обучения нейросети для конкретной бизнес-цели на базе графа. Эти сервисы платформы унифицированы для взаимодействия между собой и позволяют как конструктор собрать любую конфигурацию в зависимости от решаемой бизнес-задачи.

— Что представляет собой решение, запущенное в «Сбере»?

Созданный нами Единый граф клиентских связей – это сервис графовой платформы «Сбера», который создает из 15 источников данных различных видов: txt, csv, parquet и ежедневно обновляет витрину данных, содержащую граф класса big data. Он содержит 17 млрд связей, 390 млн узлов, 187 типов связей и 374 типа атрибутов узлов. Это один из самых крупных графов в России.

Сервис горизонтально масштабируется, поэтому количество источников и данных в графе растет.

— На каких технологиях построена платформа?

Наша графовая платформа не использует в своей основе другие платформы. Она имеет в своем ядре собственную высокоэффективную графовую базу данных FastGraph, написанную с нуля, а также open source технологии стека Hadoop: HDFS, Spark, Solr, Hbase. Таким образом, это 100% российская разработка.

— Как принципиально новые возможности отразились на бизнес-процессах?

У специалистов, разрабатывающих собственные витрины, модели, нейросети и сервисы на больших графах, появилась возможность делать это эффективнее, причем на порядок. Например, в 10 раз ускорилась разработка графовых моделей за счет использования сервисов лаборатории графов и графовых нейронных сетей. Также в 10 раз уменьшилось время работы, либо количество затрачиваемых ресурсов кластера при промышленном запуске графовых моделей за счет использования сервиса графовых расчетов. Примерно в 20 раз уменьшились затраты на внедрение в промышленную эксплуатацию разработанных графовых моделей.

— Пытались ли оценить экономический эффект?

На старте внедрения данной технологии команда оценивала показатели экономической эффективности от использования графовой платформы и графовых данных на пилотных проектах. Результаты исследования показали, что выросла эффективность управления бизнес-процессами и скорость выдачи кредитов. Экономический эффект от внедрения платформы, безусловно, очень значим, поскольку изменения затронули портфель потребительских кредитов.

— Какую роль этот проект играет для банка?

Для банковского бизнеса крайне важно эффективное управление рисками, в том числе кредитным портфелем. Своевременное выявление инсайтов об изменениях в потребительской и деловой активности клиентов позволяет осуществить прогноз дефолта по кредиту на ранней стадии и зачастую предотвратить его. Также понимание потребностей и особенностей деятельности клиентов позволяет правильно настроить кредитный процесс и сделать клиенту наилучшее для него предложение при сохранении требуемого уровня управления рисками.

Наша графовая платформа уже встроена в бизнес-процессы корпоративного и розничного кредитования, что позволяет быстро, взвешенно и с оптимальными затратами принимать решения о выдаче кредитов и их параметров. Сервисы платформы уже используются в десятках автоматизированных бизнес-процессов «Сбербанка». BI-инструментами и данными платформы пользуются порядка 6,5 тыс. специалистов, и их число продолжает активно расти.

— А может ли созданная платформа иметь влияние на рынок в целом?

Думаю, да, поскольку данная платформа вполне может использоваться и в качестве технологической основы других компаний, открыть для них новые возможности по обработке больших данных.

На Череповецком металлургическом комбинате запущено решение на базе машинного обучения для оптимизации работы Агрегата непрерывного горячего цинкования №4 (АНГЦ-4). Решение, получившее название «Ангелина», позволило уйти от человеческого фактора и за время эксплуатации уже принесло экономический эффект более 100 млн руб. О построении решения рассказывает Светлана Потапова, директор ООО «Северсталь Диджитал» и номинант на премию Data Award.

— В прошлом году «Северсталь» стала лауреатом Data Award за оптимизацию работы листопрокатного стана 5000. Каковы итоги того проекта? Насколько были достигнуты планы?

Решение продолжает работать на стане 5000 в полном объеме. В прошлом году загрузка агрегата была в целом стабильной, и наше решение отработало в соответствии с ожиданиями – производительность выросла до 6,5% относительно года внедрения. Мы ведем дальнейшую работу по цифровизации линии стана 5000 в направлении технологии, а также по автоматическому вызову слябов из печей от моделей для сокращения пауз между прокатными группами.

— Как выбираются цели для построения очередных моделей?

Ранее для нас приоритетными были решения, которые приносят значительный экономический эффект, оцифровывают работу на конкретном важном участке производства и окупают затраты на их разработку. Сейчас они составляют не менее 50% портфеля проектов. Остальные 50% – проекты в области улучшения качества технологического процесса, а также в области повышения уровня безопасности, где денежный фактор отходит на второй план, так как безопасное производство – наша базовая ценность.

— Исходя из чего был выбран АНГЦ-4?

Агрегат непрерывного горячего цинкования №4 расположен в производстве плоского проката, которое является одним из флагманов цифровизации на ЧерМК. Там скоростью непрерывно-травильного агрегата №3 уже успешно управляет наше решение на основе искусственного интеллекта, на двух других агрегатах цинкования модели способствуют улучшению качества нанесения цинкового покрытия и экономии цинка. Поэтому этот проект – логичное продолжение начатого ранее перехода на цифровое управление ключевыми агрегатами. Они достаточно автоматизированы, что позволяет нам собирать нужный объем данных для анализа и осуществлять прямое управление от моделей. Также при принятии решения о старте разработки мы преследовали актуальную на тот момент бизнес-цель по увеличению производительности агрегата.

— В чем принципиальное отличие этого проекта, например, от прокатного стана 5000? В чем его сложность?

Прежде всего отличие состоит в самом технологическом процессе и применении концепции Data Fusion для решения задачи. Сам по себе агрегат является непрерывным, что означает необходимость оценки большого количества параметров в реальном времени, сопоставления разнородной информации и учета ограничений для принятия решения системой об оптимальном управлении агрегатом в текущий момент времени.

— Судя по всему, каждое из создаваемых решений является уникальным. Их каждый раз приходится создавать с нуля или есть какие-то общие наработки, позволяющие ускорить создание моделей?

Уникальность решений и максимизация эффектов, действительно, зависят от возможности кастомизации, учета особенностей агрегата и технологического процесса. Однако при проектировании архитектуры решения и в разработке мы активно используем типовые для нас компоненты и накопленные наработки. К примеру, в быстром запуске цифровых решений нам помогает библиотека собственной разработки Typed Blocks, которую мы выложили в открытый доступ на GitHub. В основе библиотеки лежит event-driven подход, благодаря чему решения удобно дополнять и масштабировать в зависимости от целей проекта и можно собрать приложение, как конструктор.

— В чем заключались проблемы АНГЦ-4, какие задачи требовалось решить?

Агрегат непрерывного горячего цинкования предназначен для непрерывной термохимической обработки стальной полосы для защиты от коррозии. Ранее оператор вручную управлял скоростью полосы и параметрами печи термохимического отжига. При этом для верного определения скорости оператору было необходимо контролировать несколько десятков параметров. Более того, ему приходилось прогнозировать их состояния в будущем, что довольно сложно, учитывая значительную инерционность некоторых параметров. Для повышения эффективности процесса был необходим переход от ручного к автоматическому режиму управления скоростью агрегата в технологической части и к автоматическому управлению нагревом полосы в печи термохимического отжига.

— Какие технологии использовали?

Решение построено на нашем озере данных. Сбор данных с источников осуществляется с помощью NiFi и сервисов собственной разработки на Java. В качестве шины данных используется Kafka, для долгосрочного хранения данных – Hadoop. Решение написано на языке Рython и обернуто в docker-контейнер, оркестрация организована в Kubernetes.

— Что собой представляет созданное решение, каковы его возможности?

Решение, получившее название «Ангелина», сочетает в себе модели на основе правил технологии, физического моделирования, машинного обучения, а также модели регулирования с обратной связью.

Подход к управлению скоростью основан на представлении технологического процесса как системы ограничений, которые проверяет модель перед выработкой команды управления скоростью средней части агрегата (СЧА). Посредством анализа данных было выделено более 50 параметров технологического процесса, которые учитываются в работе модели. Среди них – текущая скорость СЧА, толщина и ширина металла, марка стали, толщина цинкового покрытия, температуры атмосферы и футеровки в зонах печи, загрузка печи, содержание различных газов в атмосфере печи, температура полосы в нескольких точках агрегата, точка росы и другие показатели.

Если все показатели находятся в допустимых значениях, модель отдает команду на увеличение скорости СЧА. Шаг увеличения скорости зависит от оценки общего потенциала ускорения. Также проработаны защитные механизмы, когда модель снижает скорость полосы с целью недопущения производства несоответствующей продукции по причине выхода температуры полосы ниже минимальных значений.

— Какие сложности возникали?

При переходе на автоматическое управление скоростью мы выявили ряд недостатков в существующей системе управления нагревом, приводящих к потерям производительности. Поэтому приняли решение дополнительно разработать модель управления нагревом для поддержания заданной температуры полосы и стабильности процесса. Для этого была реализована модель управления нагревом в камере безокислительного нагрева печи термохимического обжига. Управление мощностью камеры реализовано на основе физической модели тепловых процессов, подхода Model Predictive Control (MPC) для расчета управления и подхода Moving Horizon Estimation (MHE) для идентификации параметров физической модели.

Отдельной сложной задачей была автоматизация переходов между различными сортаментами металла с разными физическими свойствами и технологическими ограничениями, а также с учетом большой инерционности печи термохимического отжига. Модель планирует оптимальные переходы и управляет переходами в соответствии с планом и учетом текущего состояния агрегата. Для планирования переходов также использовалась физическая модель тепловых процессов и модель машинного обучения на основе градиентного бустинга.

— Насколько хорошо решение воспринял персонал?

В цифровых решениях одним из важнейших шагов после внедрения является обеспечение их приживаемости. В этом процессе ключевой является обратная связь от всех операторов, использующих решение – она ускоряет адаптацию и дает возможность оперативно скорректировать нюансы, возникающие при работе с моделью. Также для диагностики работы моделей управления скоростью, нагревом и переходами используется инструмент визуализации данных Grafana. Инструмент позволил настроить дашборды под разные потребности: спидометры для отслеживания времени работы агрегата в автоматическом режиме, контроля поступления данных, визуализировать технические и бизнес-метрики, а также другие значимые параметры.

— Часто компании очеловечивают искусственный интеллект, чтобы было проще воспринимать его рекомендации, и дают решениям человеческие имена. Систему назвали «Ангелина» из-за этого?

Эта традиция пошла от «Евы» – нашей первой нейросети для классификации дефектов металлопроката, названной так с отсылкой к библейскому персонажу. Некоторые последующие модели тоже получили свои имена. Например, модель «Аделина», которая задает скорость управления НТА-3, названа так в честь математика Ады Лавлейс, известной тем, что создала описание вычислительной машины и составила первую в мире программу для этой машины. «Ангелина» так названа из-за созвучия с аббревиатурой агрегата АНГЦ-4. Количество решений неизменно растет, дать имена всем будет непросто, но некоторые приживаются и используются.

— Какие результаты достигнуты и ожидаются?

Производительность АНГЦ-4 за три месяца увеличилась на 3,4%. Ввиду сложных экономических условий в первой половине 2022 года загрузка агрегата несколько снижалась, но это не сказалось на качестве работы модели и частоте ее использования операторами. Даже с учетом сниженной загрузки экономический эффект за время эксплуатации решения составил более 100 млн руб. Автоматизированная система не только существенно ускоряет производительность агрегата, но и повышает комфорт работы операторов, передавая часть рутинных операций цифровым инструментам.

— В чем роль этого проекта для бизнеса?

Реализация подобной комплексной системы отражает передовой опыт «Северстали» в переходе от классических систем управления производством к более усовершенствованным (Advanced Process Control) с использованием инструментов искусственного интеллекта. Повышение производительности агрегата без привлечения капитальных инвестиций позволяет гибко реагировать на запросы клиентов и удовлетворить их потребности в объеме металлопроката. Нам удалось перейти на качественно новый способ управления агрегатом, гарантирующий полное соблюдение технологии производства, и в то же время избежать влияния человеческого фактора.

— А что дальше? Каковы ближайшие планы?

Мы делаем акцент на разработке комплексных цифровых систем для стабилизации технологических процессов и улучшения производственных показателей. В частности, это создание цифровых двойников, также нас интересует обучение моделей компьютерного зрения на малом объеме данных и синтетически сгенерированных данных для решения более широкого спектра задач.

Визуализация – основа быстрого принятия решений на основе даже самых сложных данных. В компании Luxms разработали универсальную переносимую систему BI-аналитики для визуализации больших данных на любых пользовательских устройствах. О ее построении рассказывает Дмитрий Дорофеев, главный конструктор ГК Luxms и номинант на премию Data Award.

— Какова история проекта?

Корнями история проекта уходит в университетские исследования ПО с открытым кодом середины 1990-х годов, а сам проект создания аналитической платформы зародился в 2015 году с исследования производительности высоконагруженных систем обработки больших данных.

— Какие задачи призвана решать созданная платформа?

Прежде всего, на основе анализа больших объемов данных из различных источников платформа позволяет в визуальной форме контролировать процессы, анализировать показатели эффективности и принимать обоснованные информированные решения. Она дает возможность самостоятельно настраивать доступ к данным, изучать их, анализировать и находить новые взаимосвязи. И, наконец, она позволяет формировать отчеты сотрудникам, не обладающим навыками программирования

— Почему это важно?

Большие объемы разнородных данных невозможно понять, осмыслить без инструментов предварительной обработки, подготовки, анализа, в том числе, используя механизмы агрегации, детализации, фильтрации, сортировки и поиска, и что самое важное – визуализации на различных устройствах: на персональных компьютерах, на планшетах, на телефонах.

— На каких технологиях основана платформа? Какие принципы пытались соблюсти при ее создании?

В основе решения лежит использование ПО с открытым программным кодом, используются технологии реляционных и колоночных баз данных, потоковой и масс-параллельной обработки данных, современные интернет-протоколы, сервиc-ориентированная архитектура. Мы старались следовать таким принципам: отказ от «изобретения велосипедов», скорость работы системы – превыше всего, а также подбор технологий, исходя из поставленных задач.

— В чем инновационность решения?

Инновационность – в масштабируемой датацентричной архитектуре серверной части платформы, объединяющей систему хранения метаданных с бизнес-логикой сервера приложений, и использовании при необходимости «горячего слоя» данных в качестве внешнего источника данных. Это позволило кратно увеличить производительность при решении аналитических задач на больших объемах данных и в разы сократить время отклика системы на запросы пользователей.

На сегодняшний день Luxms BI – единственная российская датацентричная BI-платформа, которая обеспечивает высочайшее быстродействие, в том числе за счет возможности вертикального и горизонтального масштабирования.

Основные идеи и подход описаны в нашей научной статье в журнале Transactions of the ACM.

— Сколько времени и какими силами создавалась платформа?

Этапы исследований, прототипирования и создания промышленного решения в общей сложности продлились три года. Костяк команды состоял из пяти одержимых идеей инженеров.

— Что вы считаете главным достижением, чем гордитесь?

Главное достижение и гордость в том, что решение помогает людям, компаниям видеть большие данные, помогает ежедневно принимать обоснованные, информированные решения, помогает нам всем делать жизнь лучше.

— Каков портрет типичного заказчика? Кто может быть наиболее заинтересован в использовании решения?

Нашу платформу используют крупные компании нефтегаза, энергетики, здравоохранения, а также телекоммуникационные, логистические, транспортные и финансовые организации. Лучше всего мы работаем в крупных компаниях с большим количеством данных – там, где требуется высокая производительность и предполагается большое количество пользователей и данных.

Наши пользователи – это лица, принимающие решения, топ-менеджеры, линейные руководители. Мы настраиваем максимально простой интерфейс для нетехнических пользователей, передаем данные в удобном для восприятия формате и обеспечиваем управленческий функционал с современной визуализацией.

— Где уже нашло применение решение? Насколько оно востребовано?

Наша платформа позволяет компаниям контролировать процессы, оптимизировать затраты и повысить эффективность бизнеса. Мы уже успешно реализовали проекты в таких компаниях, как ОАО «РЖД», ПАО «Газпромнефть», НМИЦ им. В.А. Алмазова, а также в двух крупных коммерческих банках и в федеральных операторах сотовой и фиксированной связи. Клиентская база продолжает расти: только за прошлый год нами был выигран ряд крупных тендеров и заключены контракты с ведущими компаниями страны. Банк ПАО «ВТБ», АО «Почта России», АО «Открытие Брокер», ПАО «Россети Северо-Запад» приобрели лицензии Luxms BI в 2022 году.

— Каких результатов удалось достичь?

Пожалуй, самый большой результат – это то, что платформа успешно работает, эксплуатируется в крупнейших российских компаниях.

— В чем роль решения для российского рынка?

Российский рынок, и прежде всего крупные компании, получили современное технологичное решение анализа больших данных. Это решение, которое по основным параметрам – надежность, производительность, быстродействие, открытость, доступность – не уступает или превосходит аналогичные решения ведущих мировых производителей.

— В каком направлении будет развиваться платформа?

Главное направление развития – это наращивание функционала для конечных пользователей. Например, можно говорить об аналоге ассоциативной модели QlikView и аналоге языка MDX. Параллельно с этим мы повышаем удобство эксплуатации системы, это включает в себя варианты развертывания в российских облаках, поддержку российских дистрибутивов Linux, поддержку миграции BI-приложений между средами, утилиты администрирования и мониторинга.

Опытом преодоления кризиса поделились представители ряда компаний: «М.Видео-Эльдорадо», «Лента», «Интер РАО-Онлайн», «Тинькофф» и «К-Скай». (Еще одной актуальной теме — самообслуживанию — посвящен отдельный материал, см. статью «'Управление данными — 2022': На прямой связи с данными»).

Перестройка трансформации

Кризис застал «М.Видео-Эльдорадо» в разгар погружения в цифровую трансформацию. В компании шел процесс ликвидации границ между бизнесом и ИТ. Все бизнес-подразделения имели собственные бюджеты на разработку. Директора по продуктам и технические директора решали задачи в каждом бизнес-домене, а разработчики создавали инструменты, чтобы автоматизировать именно бизнес-процессы подразделения. Дата-офис поддерживал своими компетенциями разработку продуктов бизнесом и развивал платформу данных, методологию Data Governance и инструментарий машинного обучения. При этом cтруктура дата-офиса была очень прозрачной с точки зрения бюджетирования — было легко оценить стоимость каждого продукта, рассказал Данила Наумов, директор офиса больших данных «М.Видео-Эльдорадо».

Данила Наумов: «Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции»

Новая реальность привела к резкому сокращению бюджетов, и недостатки дорогой матричной структуры продакт-менеджмента стали критичными. Стало не хватать специалистов для создания полноценного конвейера данных по каждому продукту в каждом домене: было трудно полностью закрыть весь список задач.

Поэтому уже летом десять бизнес-доменов свернули в три, что позволило выстроить внутри каждого из них отдельные конвейеры данных. Помимо них, существовал и централизованный — он мог принимать задачи подразделений, не имеющих собственного конвейера.

Были предприняты и другие важные стратегические шаги.

«Как CDO я упразднил платформу данных как выделенный продукт, а ее компоненты и бюджет распределил по центрам компетенции так, чтобы у команд были средства на решение задач как сервисов», — рассказал Наумов. Распределенный бюджет стали использовать по сервисной модели: кто угодно может попросить решить его задачу, но сделано это будет в рамках общих приоритетов. Установление очередности происходит в соответствии со стратегией бизнес-домена, что очень понравилось бизнесу. От момента введения задачи в систему до внедрения результата сейчас проходит 15 рабочих дней, и, по словам Наумова, это довольно хороший для отрасли показатель.

Таким образом реализуется урезанный вариант цифровой трансформации: в нынешних условиях она стала чересчур дорогой.

Благодаря и вопреки

В компании «Интер РАО-Онлайн» большинство проектов по управлению данными реализовано «благодаря и вопреки»: благодаря поддержке очень высокого уровня руководства и вопреки всей бюрократической машине. «Роль CDO, в которой я живу, — это роль лифта в космос, — объяснил Владимир Анисимов, директор по данным «Интер РАО-Онлайн». — Одни читают DAMA DMBOK2, другие стоят «у сохи», и надо подружить эти две половины мира, чтобы что-то двигалось вперед». Для этой цели в компании создали службу заказчика, построенную по методологии Agile и стоящую особняком от ИТ- и бизнес-отделов.

Владимир Анисимов: «Роль CDO, в которой я живу, — это роль лифта в космос»

Еще один лайфхак энергетической компании — не бояться использовать обходные приемы решения ИТ-проблем. ««Костылизация» — часть нашей жизни, такой подход позволяет бежать быстрее, — констатировал Анисимов. — Большинство наших пилотных проектов, а затем и продуктов стоят на «костылях», которые мы вытаскиваем на протяжении 3–5 лет, и эти «костыли» достойно себя ведут».

Любимый «костыль» Анисимова — программные роботы. «Я предпочитаю ставить роботов там, где нет и не будет в ближайшее время интеграции по API, — отметил он. — Такой 'костыль' отлично выполняет свою задачу, на нем можно шагать долго и уверенно».

Гордость Анисимова — система автоматизированного взыскания дебиторской задолженности, интегрированная с набором внутренних сервисов компании и содержащая алгоритмы машинного обучения. Она строилась на зарубежных продуктах и сейчас мигрирует на отечественные решения — в частности, на low-code-платформу Loginom. Хранилище данных уже «съехало» с Oracle. Теперь и аналитику, которую до сих пор развивали на Oracle Analytic Server, переведут на open source и отечественные продукты. «Переход идет тяжело, — признался Анисимов, — так как ни одного BI-решения с полноценным самообслуживанием на внутреннем рынке пока не нашли».

Работа на результат

Что делать, чтобы работа дата-команд приносила пользу организации? Руководитель Data Science компании «Лента» Ирина Голощапова заострила внимание на бизнес-аспектах вывода моделей в продуктивную эксплуатацию. Это целая история по управлению изменениями, считает она. Недостаточно построить модель, способную повысить эффективность бизнеса. Нужно сделать так, чтобы люди эту модель использовали, включив ее в бизнес-процесс. «А для этого важно думать об интерпретируемости решения для конечного пользователя, — подчеркнула Голощапова. — Чтобы доверять результатам работы модели, он должен понимать, как она к нему пришла, как может меняться ее поведение в реальных условиях, как полученный результат можно использовать и почему». Для внедрения продвинутой аналитики в «Ленте» реализуют фреймворк Reliable ML, который позволяет учитывать как технические особенности машинного обучения, так и процессы работы дата-офиса и его взаимодействия с бизнесом для достижения максимального финансового эффекта.

По мнению Анисимова, оценить эффект удачного внедрения дата-проектов невозможно: все понимают, что «штука классная», но никто не может посчитать результат в рублях. Как только появляется первый прототип, рабочие процессы меняются настолько сильно, что сравнивать текущий и прошлогодний периоды просто бессмысленно. «Когда в момент внедрения менялись бизнес-процессы, мы, как служба квалифицированного заказчика, подменяли собой бизнес-подразделения: они слишком заняты операционной деятельностью, и объяснить им, что не надо таскать круглое и катать квадратное, невозможно. Старайтесь договариваться о качественной оценке эффектов», — посоветовал Анисимов.

Детективная история

Как в колоссальных объемах доступной для анализа информации найти именно то, что нужно для ответа на текущий вопрос? Огромное количество рабочих пространств, содержащих небольшие разрозненные кусочки контекста, бесконтрольно ведущаяся документация, качество которой остается на совести ее составителя, — вот проблемы, которые знакомы многим крупным организациям. Проведенные пару лет назад опросы сотрудников «Тинькофф» показали, что хранилище в текущем виде «непознаваемо для пользователей», а поиск метаданных — «искусство, которому нельзя научить».

«У вас могут быть отличные метаданные, но если у пользователя нет инструмента для доступа к ним, то, к сожалению, они бесполезны», — заметил Дмитрий Пичугин, руководитель группы управления данными «Тинькофф».

По примеру таких авторитетов, как Google, Linkedin и Uber, в «Тинькофф» решили бороться с неполнотой документации и разрозненностью информации с помощью каталога данных, который должен стать «единой точкой правды» для всей экосистемы данных и удобным инструментом поиска нужных сведений, но главное — средством анализа зависимостей при движении данных от источника к точкам их применения и обработки, что крайне необходимо для отслеживания происхождения ошибок.

Экосистема ИТ-решений «Тинькофф», по большей части самописных, — очень сложная, поэтому к гибкости модели метаданных предъявляются довольно высокие требования и обязательной опцией при выборе каталога должен быть Data Lineage. «У нас бывает анализ зависимостей на тысячу нод, а иногда и больше, — поделился Пичугин. — Если не дать аналитикам удобный инструмент, то, скорее всего, через некоторое время они уволятся, не выдержав этой пытки». Так как ни одно из представленных на рынке решений всем критериям компании не удовлетворяло, пришлось строить каталог самим. В его основу положили идею комфорта пользователей: искать данные не должно быть сложнее, чем товары в интернет-магазине.

Так появился Data Detective — каталог для неквалифицированных пользователей, способный, как утверждают его создатели, вписаться в любой ИТ-ландшафт. Несмотря на то, что ранее запущенные решения никуда не делись, 85% пользователей сегодня предпочитают новый каталог, и более половины из них — бизнес-пользователи. В дальнейшем в «Тинькофф» намерены распространять Data Detective за пределами компании. Помимо «полировки» интерфейса, в ближайшие планы разработчиков входит внедрение инструментов для удобного отображения бизнес-глоссария любой структуры.

Медицинские данные, заслуживающие доверия

Использование электронных медицинских карт (ЭМК) в качестве источника данных для анализа сопряжено с такими объективными сложностями, как отсутствие единых форматов хранения записей и использование неструктурированного текста. Но и это еще не все. Половина ЭМК (51%) вообще не содержат медицинских данных — это просто записи в базе с ФИО и датами рождения пациентов. А оставшиеся 49% зачастую содержат фрагментарные сведения, ценность которых для анализа сомнительна. Кроме того, длительность наблюдения пациентов в большинстве ЭМК не превышает трех лет, то есть вероятность наличия в них ценных для прогностического искусственного интеллекта находок очень низка.

Александр Гусев: «Мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать»

Кроме того, есть и важный субъективный фактор, который серьезно тормозит развитие интеллектуальных продуктов в медицине, — отсутствие доверия к сделанным искусственным интеллектом выводам, обусловленное недоверием к качеству данных, на основе которых делаются эти выводы. «90% времени наших исследований связано с данными. Именно работа с данными определяет провал или успех», — считает Александр Гусев, сооснователь компании «К-Скай», которая занимается предиктивной медицинской аналитикой на основе технологий искусственного интеллекта. Чтобы сломать лед недоверия к выводам на основе анализа данных медкарт, в «К-Скай» разложили все накопленные данные по типам, видам и источникам и оценили с точки зрения рисков возникновения ошибок. Выяснилось, что есть существенный сегмент данных, где риск недостоверности составляет менее 1%, — это протоколы инструментальной и лабораторной диагностики, рецепты. Более половины всех данных ЭМК, включая заполненные по шаблону протоколы врачебного осмотра и автоматически сгенерированные выписные эпикризы, попали в зону умеренного риска с вероятностью возникновения ошибки 1–5%. И лишь 5% данных — заключительные диагнозы, карты выбывших из стационара, талоны амбулаторного приема — находятся в зоне высокого риска с вероятностью ошибки более 5%. Таким образом, руководители, принимающие решения об использовании врачами систем-помощников, стали четко понимать, каким данным можно доверять, а какие ставить под сомнение.

Затем в «К-Скай» стали изучать причины возникновения аномалий в сырых данных, паттерны поведения врачей и даже оценивать влияние качества интерфейса ЭМК на полноту данных. «В итоге мы научились детектировать аномалии не благодаря математике, а благодаря пониманию, где они будут возникать», — сообщил Гусев.

Несмотря на солидные объемы данных, накапливаемые в течение многих лет в разнообразных информационных системах, одним из главных препятствий для управления на основе данных в здравоохранении специалисты медицинских информационно-аналитических центров (МИАЦ) называют… нехватку данных. Конечно, речь не о данных как таковых, а именно о данных, пригодных для принятия управленческих решений.

Дефицит объясняется тем, что интересы потребителей данных и генераторов данных драматически не совпадают. Врачи обычно воспринимают наполнение данными информационных систем как неизбежное зло — нудную обязанность, навязанную начальством. Особенно если эти данные предназначены для органов управления здравоохранением. Положительной обратной связи между передачей данных в информационные системы более высокого уровня и изменением к лучшему существующей реальности не наблюдается. А значит, нет смысла стараться сделать эти данные качественными — все равно они уходят «наверх» как в «черную дыру», не давая возможности создателю данных понять их роль в процессе оказания медицинской помощи или оценить свой вклад в общий результат. С другой стороны, управленцам затруднительно принимать эффективные решения на основе данных, которые собираются исключительно ради формального выполнения требований руководства.

Пусть такая картина упрощена и утрирована, но счастливые исключения чаще всего подтверждают общее правило. Как посреди океана можно умереть от жажды, не имея пресной воды, так и руководителю зачастую невозможно найти ответы на свои вопросы в многочисленных источниках больших медицинских данных.

Проблема далеко не нова, профессионалы давно пытаются разорвать этот замкнутый круг. Но если в крупных клиниках удается снизить остроту проблемы, то про более высокие уровни управления этого не скажешь. Тем не менее, на региональном уровне здравоохранения делаются первые шаги к управлению на основе первичных данных.

Дата-хакатон

Управление на основе данных стало темой конференции «Практическая польза региональных информационных систем в сфере здравоохранения 2022», которую компания «Нетрика Медицина» и Санкт-Петербургский МИАЦ провели в рамках конгресса «ИТМ Петербург». Главная цель мероприятия – обмен опытом между регионами, поэтому основной акцент в программе был сделан на совместную практическую работу участников, дополненную выступлениями экспертов. В дата-хакатоне приняли участие более ста человек из 40 регионов России и стран СНГ: руководители МИАЦ, ИТ-специалисты в области медицины и другие ответственные за цифровизацию здравоохранения. Под руководством дата-инженеров и аналитиков из «Нетрика Медицина» команды азартно искали аномалии данных в отчетах, осваивали принятие решений в условиях нехватки данных и проектировали идеальный дашборд для руководителя органа управления здравоохранением.

Под руководством дата-инженеров и аналитиков команды азартно искали аномалии данных в отчетах, осваивали принятие решений в условиях нехватки данных и проектировали идеальный дашборд для руководителя.

Конференция проводится уже в пятый раз и отражает существенную трансформацию задач региональных специалистов, которые изначально фокусировались на создании медицинских информационных систем, затем — на автоматизации процессов, а сегодня перешли на совершенно другой уровень — изменения процессов. На этом этапе им особенно нужны качественные данные. «Сегодня подход к управлению на основе данных в практике российского здравоохранения только зарождается, — отметил Денис Чумаков, генеральный директор «Нетрика Медицина». — Однако отдельные кейсы мы как интеграторы видим уже во многих регионах».

Северная столица: на подступах к data-driven здравоохранению

Как сообщил руководитель Центра электронного здравоохранения Санкт-Петербургского МИАЦ Алексей Архипов, в конце 2021 года в северной столице завершился проект по электронному здравоохранению, в рамках которого было создано 40 сервисов для пациентов, врачей и руководителей здравоохранения. Сейчас Центр переходит к стадии активного анализа собираемых данных – сведений из электронных медкарт и обратной связи от пациентов.

Геннадий Орлов, заместитель генерального директора по цифровому развитию Северо-западного окружного научно-клинического центра им. Л. Г. Соколова ФМБА России, привел примеры из практики Координационного центра Минздрава РФ, которые свидетельствуют о переходе от отдельных выводов из полученных данных к системе управления на основе данных. Он также отметил усложнение алгоритмов обработки накопленных данных. В 2021 году на федеральном уровне стали чаще применять алгоритмы машинного анализа текстов на естественном языке, анализа медицинских изображений, а также визуализацию данных. Например, визуализация структурированности записей в электронных медкартах государственных клиник существенно ускоряет принятие решений в ситуационном центре губернатора Ленобласти. Пока не все понимают необходимость применения специальных аналитических инструментов для управления данными, но постепенно это понимание приходит, и руководители вскоре будут оперировать не отчетами, а данными, отметил Орлов. Инициаторами перевода здравоохранения на рельсы управления на основе данных, и соответствующего обучения аналитиков и управленцев, по его мнению, должны стать именно МИАЦ, это их важнейшая задача на ближайшую перспективу.

Момент истины для ВИМИС

Управленцам действительно нужны данные достаточные, чтобы понять эффективность собственных решений, особенно финансовых. Однако в настоящее время управления на основе данных еще не происходит, получается информатизация отдельно, а лечение пациентов — отдельно, считает Евгений Коган, главный специалист Санкт-Петербургского МИАЦ. «Данными никто не пользуется, потому что они низкого качества, и они низкого качества, потому что ими никто не пользуется», — констатировал он.

Будет ли в России управление на основе данных? Само по себе — не будет, если ограничиваться задачей сбора данных и гнаться за их количеством, забывая про практическое использование в интересах пациентов. Поэтому в питерском МИАЦ начали пользоваться данными, несмотря на известную неполноту и неточность, стараясь постепенно выделить и показать городу полезные аспекты уже собираемых данных.

«За последний год, к нашей огромной радости, в Санкт-Петербурге произошел сдвиг — нашлись заинтересованные главные внештатные специалисты, которые начали использовать данные в своей работе, нас это воодушевляет, — сообщил Коган. — Оказывается, есть много тем, где организатору здравоохранения даже по неполным данным ясно, что делать».

Денис Чумаков: «Сегодня подход к управлению на основе данных в практике российского здравоохранения только зарождается»

Например, обнаружилась высокая годичная летальность пациентов, перенесших легкий инсульт, в сравнении с их госпитальной летальностью. Из этого следует, что амбулаторная служба упускает таких пациентов. Еще выяснилось, что продвинутую квадритерапию при хронической сердечной недостаточности назначают только отдельные врачи. Остальные, возможно, о ней не знают. «Получив эти данные, главный внештатный невролог и главный внештатный терапевт пошли заниматься организацией медицинской помощи, и когда они изменят реальную ситуацию, мы с ними увидим это в цифрах», — подчеркнул Коган.

На его взгляд, для профильных вертикально-интегрированных медицинских информационных систем (ВИМИС) настал момент истины. Надо показать их практическое использование: что какому-то пациенту стало лучше, или была выявлена ранее неизвестная проблема организации здравоохранения, и приняты полезные решения. Например, обнаружена повышенная нагрузка на врачей таких-то медицинских организаций, и выделены деньги на новую поликлинику. Или обнаружено, что в таком-то районе при тотальном скрининге на рак молочной железы доля его выявления на ранних стадиях все равно остается низкой, поэтому рентгенологов отправили учиться, и выявляемость повысилась. «ВИМИСы без практического использования  – только головная боль для всей страны», — уверен Коган.

Многострадальная структуризация

За десять с лишним лет Единая государственная информационная система здравоохранения (ЕГИСЗ), а потом и ее новая ипостась — Единый цифровой контур здравоохранения (ЕЦКЗ) — обросли новыми сущностями, которые никому не упрощают жизнь, скорее наоборот. ВИМИС — отдельная сущность, живущая сама по себе, по своим правилам и со своими форматами. Практически одну и ту же первичную информацию региональные МИАЦ передают в федеральную подсистему интегрированных электронных медкарт (ИЭМК) в виде структурированных электронных медицинских документов (СЭМД), в реестр электронных медицинских документов (РЭМД), да еще и в ВИМИСы по трем нозологиям («Сердечно-сосудистые заболевания», «Онкология», «Акушерство и неонатология»), к которым скоро добавится четвертая.

Между тем, проблема структуры информации никуда не делась. В ЕГИСЗ используются одни справочники, а в системах территориальных Фондов обязательного медицинского страхования (ТФОМС) — другие. В результате подсистемы ЕГИСЗ не слишком удачно взаимодействуют друг с другом, в том числе потому, что структура данных, на которых они построены, — разная.

Чтобы данные стали более пригодными для аналитической обработки, необходимо принять общий российский стандарт структуры медицинских данных, базируясь на HL7 FHIR. Тем более, что рабочая группа, «приземляющая» HL7 FHIR на российскую почву, уже создана и функционирует.

Стандарт HL7 FHIR хорош для информатизации процессов, а федеральный уровень задает HL7 CDA — стандарт для документов, уточнил Андрей Дюков, руководитель отдела продаж и развития «Нетрика Медицина». Оба стандарта уже начинают применять в регионах при информатизации процессов. «Чтобы данные в документах были качественные, нужны потребители этих данных — и пациенты, и врачи, — отметил Дюков. — С процессами проще: в них «зашита» обратная связь и непосредственно задействован потребитель данных».

Сбор десятков миллионов медицинских документов в федеральные информационные системы — необходимое, но не достаточное условие для управления на основе данных. Минздраву РФ следует показывать, каким образом полученные данные применяются для совершенствования системы для оказания медицинской помощи. Возможно, тогда у региональных МИАЦ появится мотивация поставлять качественные данные для анализа, а не файлы в формате PDF. Сейчас, по грубой экспертной оценке, в структурированном виде в ЕГИСЗ предоставляется не более 5-10% медицинских документов.

Как индустрии больших данных выжить в нынешних условиях? Ответу на этот вопрос была посвящена дискуссия «Что делать, чтобы индустрия данных выжила», состоявшаяся в рамках форума BIG DATA&AI 2022, проведенного издательством «Открытые системы». (Также о форуме см. «BIG DATA&AI 2022: лучше вместе», «Компьютерный мир», 27 апреля 2022.) Название дискуссии подразумевало, что от отрасли требуется быстрая реакция на произошедшие экономические и политические перемены. По мнению экспертов, эти изменения способны наконец ускорить действия регулятора, демонстрирующего сверхосторожность, а временами — даже медлительность.

Как подчеркнула Анна Серебряникова, президент Ассоциации больших данных, в 2018 году, когда был проведен первоначальный анализ состояния рынка, наши банки и телеком-операторы являлись одними из лучших в мире по применению инструментов работы с данными и искусственного интеллекта. Однако имевшуюся динамику сохранить не удалось, и объем рынка, ожидавшийся к 2021 году, не был достигнут из-за проблем регулирования.

«То, в чем нуждался рынок в 2018 году, остается актуальным и сейчас. Компании хотят получить возможность рассматривать данные как товар и включать их в оборот. Они желают развиваться и работать не в серой зоне, как это происходит сейчас, а полностью легально», — констатировала Серебряникова. Важно установить прозрачную систему контроля со стороны государства и исключить риски борьбы с неизвестным — ведь, как известно, психологически проще все непонятное запретить, нежели разбираться в деталях. Возможно, именно поэтому позиция регулятора по всем направлениям была крайне осторожной.

Анна Серебряникова: «Инновации нужно стимулировать, иначе мы не достигнем запланированных цифр. За период с 2018-го по 2022 год рынок уже недополучил 200 млрд руб. Если ничего не изменится, потери только усилятся»

Однако в текущей ситуации российским компаниям крайне важно получить преимущества, зафиксированные в регуляторных требованиях, что позволит ускоренно развивать продукты на основе больших данных. Государство тоже это понимает, однако пока все инициативы реализуются крайне тяжело. Хотелось бы призвать регуляторов и тех, кто готовит для них аналитику, воспользоваться ситуацией и обеспечить российским компаниям возможность создавать уникальные продукты. За основу можно взять опыт Китая, весьма либерально относящегося к обороту данных.

«Инновации нужно стимулировать, иначе мы не достигнем запланированных цифр. За период с 2018-го по 2022 год рынок уже недополучил 200 млрд руб. Если ничего не изменится, потери только увеличатся», — выразила опасение Серебряникова.

Айсалу Бадягина, заместитель директора департамента обеспечения кибербезопасности Минцифры, признала, что инициативы действительно продвигаются очень тяжело. По ее словам, причины являются чисто технологическими: на сегодняшний день отсутствуют гарантированные методы обезличивания данных. Разумеется, для государства первична именно задача обеспечения безопасности персональных данных. Как отметила Бадягина, в Минцифры выработаны три направления, по которым сейчас ведется активная работа. Первое из них — предоставление доступа к данным для разработчиков на площадке Минцифры. Второе — возможность создания аккредитованных площадок, соответствующих требованиям законодательства (так называемых дата-посредников). И третье — более активное использование практики экспериментальных правовых режимов.

По словам Бориса Зингермана, генерального директора Ассоциации разработчиков и пользователей искусственного интеллекта в медицине, здравоохранению закон о персональных данных нанес гораздо больше вреда, чем пользы. Можно сказать, что сейчас медицинские организации зачастую не защищают данные, а защищаются от контролирующих органов, действуя «с запасом» и тем самым перекрывая все пути к интеграции и объединению данных и использованию их в научных целях.

Борис Зингерман: «Запрет на обогащение медицинских данных из других источников полностью убивает всю потенциальную пользу от их использования и становится огромным барьером на пути развития искусственного интеллекта в медицине»

Медицинские данные живут лишь внутри организаций здравоохранения, и как их оттуда достать, интегрировать и использовать, совершенно непонятно. Больше всего Зингермана беспокоит то, что даже из экспериментальных правовых режимов в период их подготовки было удалено все разумное содержание, которое там имелось. Ярким примером может служить запрет на обогащение медицинских данных из других источников, что полностью убивает всю потенциальную пользу от их использования и становится огромным барьером на пути развития искусственного интеллекта в медицине.

Важно донести до регуляторов, что пользы от применения данных больше, чем рисков. Вероятно, это можно доказать только на практике, и ситуация, в которой мы сейчас оказались, способна стать катализатором, сигналом к действию.

«Резко возросший интерес к большим данным внутри экосистемы ВТБ поражает: число запросов выросло в десятки раз. Поэтому для выживания рынок имеет хорошую почву: если есть интерес у бизнеса, можно выращивать хорошие продукты», — считает Максим Коновалихин, руководитель департамента анализа данных и моделирования ВТБ. Нынешний вызов предоставляет хорошие возможности: работа в области импортозамещения выходит на новый уровень. Действительно, если можно приобрести хорошее готовое решение, создавать собственное мало кто захочет. Однако появившиеся проблемы дали новый стимул, и у людей появился азарт: они хотят создавать решения, превосходящие зарубежные аналоги. Сейчас ВТБ ведет совместную работу с МФТИ по производству собственных программно-аппаратных комплексов.

Кроме того, по мнению Коновалихина, принцип «Лучше меньше, да лучше» становится базовым. Старый подход, при котором компании приобретали много «железа» и забивали его до отказа данными сомнительной ценности, очевидно, перестает работать. ВТБ много инвестирует в направление «умных» данных и предварительного анализа информации, позволяющего избавиться от мусора, не ухудшая качества создаваемых моделей.

«Последние годы были беззаботными с точки зрения возможностей для развития инфраструктуры, и мало кто думал об оптимизации», — согласился Борис Рабинович, CDO «Сбера». Осознавая свои масштабы, в «Сбере» занялись оптимизацией еще в 2020 году, сделав это частью стратегии. Одним из важных направлений стал переход с зарубежных систем на собственные решения в области хранения данных. Сейчас большая часть проектов завершена, по остальным сформированы планы перехода.

Говоря о прочих проблемах, Рабинович выделил очевидную тройку: люди, технологии, инфраструктура. При этом главная загвоздка, по его мнению, именно в кадрах: надо думать, как привлечь в отрасль данных молодых специалистов.

«В конце февраля мы провели анализ рынка больших данных, попытались выявить основные проблемы. Среди них — потенциальное сокращение объема кадров, снижение спроса на новые решения и ограничение доступа к вычислительным мощностям», — рассказал Сергей Наквасин, заместитель руководителя Аналитического центра при Правительстве РФ. Однако, как выяснилось, вычислительные ресурсы почти у всех есть с запасом, и это пока не является проблемой. Отток ИТ-кадров из России резко сократился, и статистика показывает, что он был крайне неоднородным. Главным образом он был связан с наличием большого количества зарубежных заказчиков. Среди специалистов, работающих с прорывными проектами, число уехавших не превысило 5%. А вот что касается спроса на ИТ-решения, то он действительно может несколько сократиться. Во многом именно из-за этого правительство объявило о беспрецедентных мерах по поддержке ИТ-отрасли. Главное, чтобы предоставляемые меры поддержки не разучили айтишников работать.

Руслан Ибрагимов: «Прежде чем что-то делать, надо понять, почему мы три года топтались на месте, почему так и не получилось ввести в оборот большие обезличенные данные»

«Прежде чем что-то делать, надо понять, почему мы три года топтались на месте, почему так и не получилось ввести в оборот большие обезличенные данные», — считает Руслан Ибрагимов, вице-президент по взаимодействию с органами государственной власти и связям с общественностью МТС. Суть цифровой экономики заключается именно в обороте больших данных, поэтому их и назвали новой нефтью. Однако, видимо, такую нефть пока еще не добыли.

По мнению Ибрагимова, регулятор слишком много внимания уделял техническим аспектам, что во многом было спровоцировано появлением GDPR. Однако, если проблему не получилось решить с использованием технического подхода (гарантированное обезличивание данных), надо думать о применении юридического подхода. Лишь запуск в оборот больших данных позволит сделать заметный рывок в направлении цифровой экономики.

«Экспериментальные правовые режимы, которые введены уже давно, должны помогать не только обсуждать проблемы, но и действительно что-то делать. Пора действовать, преодолевая психологические барьеры», — резюмировал Дмитрий Соболев, заместитель директора по направлению «Нормативное регулирование цифровой среды» АНО «Цифровая экономика». Сколько ни тестируй методики на синтетических данных, это имеет мало общего с практикой. ЭПР дают возможность протестировать подходы в «боевых условиях» и получить конкретные результаты. Тем более что у регулятора есть все инструменты для контроля и, при необходимости, прекращения эксперимента.

Развитие туризма – важнейшая задача, решаемая на федеральном уровне. Государственным и региональным властям и организациям требуется помощь в развитии стратегических инициатив и проектов в этой области. Значимой вехой стало создание аналитического решения для внутреннего туризма в России, реализованного «СберАналитикой». Компания представляет собой цифровой сервис, позволяющий получать аналитические и статистические отчеты, построенные на обезличенных и агрегированных данных «Сбера». Ее флагманским продуктом является панель «Туризм», разработанная для развития туристической отрасли в регионах. Это решение стало первым среди крупных продуктов для сегмента регионального госсектора.

О реализации этого проекта рассказал Андрей Оберемок, генеральный директор ООО «ТОТ» («СберАналитика»).

— Как появилась панель «Туризм», что стало причиной ее создания?

Как и для других продуктов сегмента регионального и государственного сектора, импульсом послужил переход властей к принятию решений на основе аналитики больших данных. В 2019 году Правительство РФ утвердило Стратегию развития туризма в Российской Федерации на период до 2035 года. Тогда же руководство одного из горнолыжных курортов нашей страны заказало исследование туристического потока на данных Сбера. На основе данного проекта мы разработали первую версию методологии тиражируемого решения. Позже, в 2020 году был реализован первый контракт по анализу турпотока для целого региона. За счет этого мы значительно расширили методологию новыми метриками и провели ее полноценные испытания на большом объеме данных. Это позволило удовлетворить потребности в туристической аналитике всех потенциальных заказчиков и тиражировать продукт на новые регионы.

— Почему эта проблема важна?

Для нашей команды задачи, связанные с аналитикой туризма, — это не только, и не столько коммерческие продукты, основанные на популярном тренде последних лет. В первую очередь это возможность привлечь внимание к живой истории страны, сохранить культурное наследие и показать красоту ее природы. Географическое и климатическое разнообразие делает любой регион России привлекательным для посещения, а иногда даже потенциальной туристической Меккой, но, к сожалению, чтобы насладиться всем этим богатством, зачастую нужно в буквальном смысле совершить подвиг.

Сейчас на туристическую индустрию приходится всего 4% ВВП России — это очень мало. При этом надо понимать, что отрасль влияет на более чем 50 различных смежных отраслей российской экономики. При развитии внутреннего и въездного туризма рабочие места появятся в большом количестве населенных пунктов, повысится качество жизни в регионах, вырастет доход граждан в местах отдыха.

Именно поддержка туриндустрии — важная задача, в том числе и для властей регионов. Однако, чтобы развивать и поддерживать отрасль, необходимо понимать, в каком направлении двигаться, чтобы добиться конкретной пользы для конечного потребителя.

— Что представляет собой разработанный вами продукт?

Панель «Туризм» — наш флагманский продукт, разработанный для развития отрасли в регионах, улучшения качества сервиса и предоставляемых конечному потребителю услуг. Первостепенная задача продукта — помочь властям и бизнесу сделать так, чтобы каждому жителю отдыхать в России было не просто интересно, но также комфортно и выгодно, а туристическая отрасль приносила ощутимые доходы и служила катализатором социально-экономического роста.

Заказчик получает аналитику в максимально удобном формате — в режиме онлайн на информационной панели ему доступны более 50 показателей туристической отрасли региона в помесячной динамике с ретроспективой данных с 2018 года. Мониторинг всей туристической отрасли становится доступным региональным властям уже в течение недели после подписания договора.

— Какие ключевые проблемы пришлось решать?

На старте нацпроекта лидеры российских субъектов столкнулись с проблемой поиска нужной информации о туристическом потоке в регионах и состоянии отрасли в целом. На 2019 год в основном были доступны лишь данные мобильных операторов и статистика из официальных источников, которая поступала с большим опозданием. Кроме того, описанные источники информации не охватывали все необходимые аспекты и давали лишь количественный показатель туристического потока. Сведения о портрете туриста, его тратах, интересах и потребностях отсутствовали

Мы смогли найти новые достоверные источники информации и решить проблему. Компания разработала уникальную методологию на основе обезличенных больших данных, которая подходит для любого региона страны.

— Какие данные и какие платформы вами используются?

Оценка турпотока производится на основе анализа обезличенного массива данных клиентов Сбера. Мы располагаем информацией о тратах 100 млн физических лиц. Помимо собственных данных, для анализа туристического потенциала привлекаем информацию из внешних источников, закрывая все потребности клиентов.

Для работы с данными используются инструменты Hadoop, Spark, Python, Jupyter, Hive, Hue и др. Для анализа данных, моделирования и визуализации применяются такие библиотеки, как Pandas, Numpy, Scipy, Seaborn, Matplotlib.

— Кто в первую очередь является ключевыми пользователями – госструктуры или бизнес?

Главная цель продукта — полноценная поддержка национального проекта «Туризм и индустрия гостеприимства», в число задач которых входит подготовка условий для развития туристической отрасли в стране, привлечение инвестиции во внутренний туризм со стороны бизнеса, повышение туристического потока, в том числе привлечение иностранных туристов. Наш продукт в этом процессе — важный инструмент. Он дает руководству региона актуальную информацию о состоянии отрасли, что позволяет выявить целевую туристическую аудиторию, и точки роста для развития инфраструктуры, а также дает возможность оценить эффективность принимаемых мер.

— Каковы достигаемые результаты?

К панели «Туризм» на сегодня присоединились 19 регионов, и опыт использования больших данных для развития отрасли уже принес результаты. Главное, что несет в себе наш продукт, — аналитика, которая положительно влияет на динамику внутреннего турпотока. В качестве примера можно привести несколько регионов, где активно используют наш продукт.

Власти Югры благодаря аналитике подтвердили гипотезу о том, что в регион едут жители крупных городов Уральского федерального округа, прежде всего — на рыбалку. В округе определили перспективные туристские территории (агломерации) и приоритетные направления туризма. Территорию УрФО поделили на категории в зависимости от уровня развития туристической сферы.

Руководители администрации Нижегородской области предполагали, что туристов в регионе больше, чем учитывает официальная статистика. Наш продукт показал, что Нижний Новгород и область больше не являются местами для однодневных поездок, что количество гостей растет и они возвращаются в регион чаще. На основе наших данных руководство области разработало муниципальный туристский стандарт, чтобы довести инфраструктуру в слабых районах до приемлемого уровня. Также регион делится знаниями с бизнесом, помогая повышать качество обслуживания.

Еще один регион, который использует панель «Туризм», — Смоленская область. Теперь руководство области располагает информацией, которую раньше не удавалось получить ни из официальных источников, ни из маркетинговых исследований. На основе нашей аналитики регион выстроил грамотную стратегию развития и управления инфраструктурой туризма, определил возможности для расширения целевой аудитории, запустил маркетинговые кампании и в целом повысил свою привлекательность для туристов.

Таким образом, мы помогаем субъектам РФ повышать экономический уровень, улучшать инфраструктуру и повышать качество жизни местных жителей за счет развития туризма. Это комплексные решения, влияющие на итоговые финансовые результаты, а потому оценить в фиксированном денежном выражении их невозможно.

— Какова социальная значимость этого проекта?

«Гостеприимство» — это не абстрактное слово, а серьезная работа, существенно влияющая на впечатление от поездки. Панель «Туризм» дает руководству региона актуальную информацию о состоянии отрасли в целом, что позволяет выявить целевую туристическую аудиторию, точки роста для развития инфраструктуры и отслеживать эффективность принимаемых мер.

С началом пандемии жители страны стали больше путешествовать по России. Все мы, откладывая деньги на долгожданный отпуск, в поездке оцениваем, сколько и за что мы заплатили, что получили по факту, сравниваем предыдущий опыт с текущим. Конечно же, граждане, привыкшие в зарубежных поездках к высокому уровню сервиса, столкнулись с отечественным, который зачастую заставляет желать лучшего. Чувства патриотизма и красот природы оказывается недостаточно, чтобы увеличить турпоток и удовлетворить запросы путешественников.

Решения, основанные на полученной от нас информации, могут быть разными: от запуска дополнительных авиарейсов и строительства гостиниц до организации тематических фестивалей, от разработки новых маршрутов до развития сети Wi-Fi и современных остановочных пунктов. Турист получает то, что он хочет и на что готов тратить деньги: пятизвездочные отели или доступные хостелы, рестораны высокой кухни или небольшие семейные кафе, новые развлекательные площадки или выставки. Знания о потребителе позволяют открывать для них уникальные направления и разрабатывать новые маршруты.

В итоге повышается качество пребывания конечного потребителя в регионе. Отдых становится максимально комфортным, а гости готовы чаще путешествовать, расширяя свой кругозор и получая максимум удовольствия от поездок в регионы России.

Наконец, ценность развития туризма – не только в деньгах, которые отдыхающий тратит. С собой домой человек увозит впечатление о стране, городах, людях, что там живут, с которыми он познакомился в поездке. Не стоит забывать, что туризм — это основа народной дипломатии. Он несет в себе очень серьезный идеологический аспект, разбивает отрицательные стереотипы, создает новые мировоззренческие ориентиры, служит инструментом укрепления солидарности и взаимопонимания. В наше время это крайне важно.

— В каком направлении развивается проект?

Продукт растет в сторону полноценного решения, соответствующего запросам стратегических национальных проектов нашей страны в области туризма. Он обеспечивает анализ профиля туриста – его социально-демографический портрет и интересы; анализ бизнеса в туристической сфере – его финансовые показатели, уровень сервиса; анализ событий и мероприятий, их влияние на туристический поток; анализ локаций, их показатели и привлекательность для туристов.

Мы расширяем перечень источников данных, привлекаем новых партнеров, создавая синергетический эффект. Используем современные технологии ML-прогнозирования и искусственного интеллекта. Автоматизируем решение, благодаря чему оно легко масштабируется и становится доступным для широкого круга участников туристической отрасли.

В сентябре 2021 года МТС запустила геоаналитическую систему для поддержки принятия управленческих решений «МТС.Регион». Это первое в России коробочное решение, которое работает по модели подписки и дает возможность органам исполнительной власти управлять регионом на основе объективных обезличенных данных о социально-демографическом составе населения, миграциях и туристических потоках, а бизнесу – оценивать эффективность новых локаций для торговых точек и офисов. О предпосылках создания и роли этого проекта для создания комфортной среды в регионах рассказывает Армен Аветисян, вице-президент по Интернету вещей и промышленной автоматизации МТС.

— Как родилась идея создания решения «МТС.Регион»?

Мы в течение нескольких лет наблюдали стабильно растущий спрос на геоаналитические данные. Это неудивительно: растет мобильность населения, меняются паттерны поведения, увеличивается количество самостоятельных путешественников. Региональным властям для эффективного управления развитием территорий остро необходимо обладать точной и актуальной информацией – например, какова реальная численность населения, сколько туристов или мигрантов сейчас в регионе, на какие объекты инфраструктуры приходится самая большая нагрузка.

Мы заметили, что большая часть регионов приходит к нам с похожими запросами, и решили автоматизировать работу над такими кейсами, создав платформу «МТС.Регион» – веб-интерфейс для оперативного доступа к геоаналитическим отчетам. Важно было совместить возможность настраивать автоматическую выгрузку данных с удобным интерфейсом, который будет интуитивно понятным для пользователя без какого-либо опыта работы с большими данными.

— Что собой представляет система?

Это коробочное решение, предоставляющее доступ к обезличенным данным в трех форматах на выбор – веб-интерфейс, API или аналитические отчеты. В веб-интерфейсе доступно два модуля: «Цифровой житель» и «Цифровой туризм».

Модуль «Цифровой житель» позволяет оценить фактическую численность населения, социально-демографический состав, составить портрет жителя разных районов города и региона, проанализировать ежедневную и сезонную миграцию и оценить спрос на городскую инфраструктуру. Возможно заказать исследования по анализу посещаемости конкретных инфраструктурных объектов, общественных пространств и мероприятий. Система оценивает количество посетителей, их социально-демографический состав, сравнивает популярность объектов и событий по заданным параметрам. Наши данные помогают планировать развитие городского пространства, в том числе дорог, развязок, станций метро и остановок общественного транспорта, поликлиник, школ, детских садов, спортивных объектов и парков, корректировать графики и маршруты общественного транспорта, оценивать достаточность инфраструктуры, повышать популярность общественных мероприятий.

Бизнес может воспользоваться системой «МТС.Регион», чтобы сравнить доступные локации при открытии новых торговых точек и офисов на основе больших данных о трафике. Система анализирует информацию о проходимости, социально-демографическом портрете регулярной аудитории, данные об объеме и категориях трат.

Модуль «Цифровой туризм» дает возможность оценить объем и характер туристического потока: откуда приезжают гости региона, какие локации привлекают больше всего туристов, какова средняя продолжительность поездки, с какой целью в основном приезжают в регион. Платформа может составить портрет туриста с учетом пола, возраста, семейного положения, уровня доходов, сферы интересов, а также оценить достаточность инфраструктуры. Эти данные позволяют наладить транспортное сообщение с регионами, из которых прибывает наибольшее число туристов, запланировать строительство инфраструктуры именно там, где это необходимо, подготовить график мероприятий, соответствующих интересам ключевой аудитории, разработать программы привлечения туристов.

Геоаналитическая система работает на основе обезличенных данных Big Data МТС. Модель подписки позволяет получать не единоразовый отчет, а регулярные исследования и видеть динамику процессов. Данные обновляются с регулярностью от одного до пяти дней с момента наступления события.

— За какое время и какими силами реализована система?

Мы начали разработку в 2020 году. За время работы несколько раз меняли подход, корректировали работу с учетом отзывов клиентов. Пандемия также внесла свои правки: спрос на цифровые сервисы со стороны региональных властей в 2020 году вырос в три раза. Мы сразу стали применять гибкий подход к работе с аналитикой: переиспользовали и трансформировали методики, наполняли систему разными источниками данных, чтобы у клиентов была возможность оперативно выгрузить нужную информацию – например, перед совещанием у губернатора. Мы старались максимально применять опыт МТС в других сферах, но многое приходилось реализовать с нуля.

Над продуктом работает кросс-функциональная команда, в которую входят продуктологи, разработчики и специалисты по обработке данных, причем физически наши сотрудники разбросаны буквально по всей стране – от Владивостока до Санкт-Петербурга. Сейчас мы выдаем новые «фичи» практически каждый двухнедельный спринт – я считаю это большим успехом.

— На кого ориентирована платформа? Кто основной клиент?

Сейчас большинство заказчиков «МТС.Регион» — представители государственной власти: администрации городов, профильные ведомства и отраслевые министерства. В первую очередь решение полезно региональным министерствам по туризму и транспорту, а также различным инстанциям, занимающимся благоустройством территорий и развитием городского пространства.

Мы также видим интерес к платформе со стороны бизнеса: продуктового ретейла, торговых сетей, туристических агентств и сегмента HoReCa. Отдельная категория запросов приходит от девелоперов. На основе нашей геоаналитики компании выбирают наиболее удачные локации для открытия бизнеса и изучают свою аудиторию. Здесь возможности «МТС.Регион» дополняет рекламная платформа МТС Маркетолог. Таким образом мы оказываем полный комплекс услуг – от анализа локации до привлечения новых клиентов в нее.

— Хватает ли собственных данных МТС для создания достоверной аналитики?

Для большинства кейсов – да, более чем. МТС – крупнейший российский оператор и ядро целой экосистемы сервисов, среди которых онлайн-кинотеатр KION, МТС Библиотека, МТС Музыка и многие другие. Наша платформа Big Data хранит и обрабатывает более 20 Пбайт обезличенной информации.

Система агрегирует обезличенные данные о пользовательском поведении, нагрузке на базовые станции, модели потребления в экосистемных сервисах, роуминге – внешнем или внутреннем, картографические данные, параметры устройств Интернета вещей. При необходимости можем использовать информацию, которую предоставляет заказчик – например, отраслевые данные.

В результате мы получаем высокую достоверность аналитики при полной анонимности конкретных людей. Как правило, уже этой информации достаточно, чтобы увидеть тренды и паттерны поведения жителей города или туристов. В случае, если нужно оценить численность населения или объем турпотока с учетом абонентов других операторов, мы можем с высокой точностью высчитать эти параметры на основе данных о нашей доле в регионе.

— Что показывает практика — какая аналитика больше всего интересна регионам и бизнесу?

Самые востребованные услуги сейчас – оценка турпотока и событийный анализ. На них приходится 80% проектов. Поддержка внутреннего туризма – одно из ключевых направлений федеральной и региональной политики. Планировалось, что в нацпроект «Туризм и индустрия гостеприимства» в 2022 году вложат больше 52 млрд руб.

Цель нацпроекта – довести количество путешествий по России до 140 млн в год к 2030 году. В 2021 году туристический поток внутри РФ, по данным Ростуризма, достиг 56 млн человек, однако оборот в российской туристической отрасли все еще значительно меньше показателей 2019 года. Так что в этом направлении регионам предстоит большая работа.

— В каких регионах уже внедрено решение, в чем они больше заинтересованы – в «Цифровом жителе» или «Цифровом туризме»?

Не могу сказать однозначно: эти сервисы, как правило, приобретают одновременно. Данные Big Data МТС уже используют 46 регионов, но, к сожалению, не обо всех проектах мы можем рассказывать. Наш первый масштабный проект реализован для министерства туризма Самарской области. На основе данных «МТС.Регион» был сформирован рейтинг домашних регионов, откуда приезжают туристы, проведен анализ сезонности, выявлены объекты притяжения, спрогнозирован объем турпотока и определены приоритетные направления для развития авиасообщения. В результате министерство транспорта и департамент туризма запустили программу субсидирования авиабилетов из Калининградской области.

Интересный способ применения платформы придумали в Приморском крае. Там нашу систему используют для реализации другого нацпроекта – по развитию спорта. Мы на основе обезличенных данных анализируем, насколько регулярно занимаются спортом люди разных возрастов и оцениваем нагрузку на спорткомплексы в зависимости от сезона и времени дня. У правительства края есть данные по посещаемости муниципальных и краевых объектов, но нет информации о том, насколько активно люди пользуются услугами коммерческих компаний и посещают открытые спортивные сооружения. Такую информацию можно получить только из обезличенных больших данных.

— В чем роль и социальная значимость этого решения?

Платформа помогает улучшить качество городской среды благодаря тому, что планирование городской инфраструктуры осуществляется с учетом анализа больших данных. Это позволяет определить локации, где есть наибольшая потребность в строительстве инфраструктурных объектов, перераспределить транспортные потоки, маршруты и графики движения общественного транспорта с учетом миграций населения, разработать стратегию развития города и региона. Министерства по туризму, в свою очередь, получают объективные данные, которые позволяют развивать инфраструктуру, обосновывать бюджетирование проектов, направленных на развитие туризма, запускать программы субсидирования отрасли, налаживать транспортное сообщение.

— Каковы ожидания – насколько значимым бизнесом это может стать в обозримой перспективе?

Мы ожидаем, что рынок геоаналитики к концу 2023 года вырастет более чем втрое. В 2021 году количество заказов от региональных властей увеличилось почти в два раза по сравнению с 2020 годом.

— В каком направлении развивается «МТС.Регион», каковы перспективы и ближайшие планы?

Есть два направления работы. Первое – повышать точность прогнозов, увеличивать скорость обновления информации в системе, добавлять новые источники. Это бесконечный процесс, который требует постоянной работы.

Второе – увеличивать количество «коробочных» решений на базе системы. Например, иногда аналитику для бизнеса мы делаем как кастомизированное решение. То же касается аналитики по пассажиропотоку или оценке достаточности социальной инфраструктуры. Мы хотим создать под эти услуги такие же стандартизированные модули, какие уже есть для работы с турпотоками и анализа населения и трудовых миграций. Это сделает использование платформы еще более удобным и позволит закрыть самые распространенные запросы властей и бизнеса. К концу 2022 года мы намерены запустить еще несколько модулей.

Webiomed стала первой российской системой искусственного интеллекта для здравоохранения, которая успешно прошла независимые клинические испытания и была зарегистрирована Росздравнадзором. Она может использоваться и врачами как система поддержки принятия врачебных решений, и руководителями для принятия управленческих решений в области управления здоровьем. Это дает увеличение потенциала профилактической медицины и сокращения предотвратимой заболеваемости. Историей создания платформы и ее нынешними успехами делится Александр Гусев, директор по развитию системы Webiomed.

— Что стало причиной появления платформы Webiomed?

Идея попробовать свои силы на новом для нас рынке искусственного интеллекта пришла к нам в 2017 году. В то время все наши усилия были посвящены работе в компании «Комплексные медицинские информационные системы» (К-МИС), которая к тому времени стала одним из лидеров рынка информатизации медицинских организаций. Несмотря на то, что наша команда развивала собственный стек самых разных программных продуктов для здравоохранения, мы стали понимать, что рынок информатизации России в целом сформирован, идет его консолидация и поэтому возможности дальнейшего развития бизнеса стали выглядеть не очень перспективными. Стало ясно, что с точки зрения технологий и интересов государства целесообразно поддерживать развитие только самых крупных разработчиков и переходить к централизованному продвижению продуктов на этом рынке.

Мы стали искать новую нишу и идею, которая потенциально могла бы открывать возможность для выхода на рынки других стран и пробовать применять новые технологии. Мы около года потратили на анализ различной аналитики, изучение глобальных рыночных тенденций и обсуждения возможных идей. На одном из таких обсуждений нам порекомендовали подумать над рынком искусственного интеллекта, который как раз стал заметно расти в США. Нам эта идея понравилась, и мы стали углубленно исследовать эту тему. Почти сразу мы отказались от идеи выхода в сектор анализа медицинских изображений, потому что уже тогда в мире было много сильных продуктов и конкуренция казалась слишком сложной. Мы нащупали идею прогнозирования возможных негативных проблем со здоровьем у пациентов. Именно в решении прогнозных задач алгоритмы машинного обучения показывали большие перспективы, а вариантов применения их было гораздо больше, чем у анализа изображений. Так и появилась идея создать сервис, который мог бы анализировать электронную медицинскую карту, извлекать из нее с помощью технологий обработки естественного языка (natural language processing, NLP) важную клиническую информацию и затем строить индивидуальные прогнозы возможного появления серьезных проблем со здоровьем в ближайшем будущем. Мы предположили, что такая предиктивная аналитика может быть полезна широкому кругу заказчиков, включая руководителей в области здравоохранения, страховые компании и конечно врачей.

— Каковы возможности решения?

Система умеет анализировать разнообразные данные о состоянии здоровья пациента с помощью интеллектуальных методов обработки больших данных. Она включает систему поддержки принятия врачебных решений, а также аналитическую систему для работы руководителей в области профилактики и управления здоровьем.

В настоящий момент система поддерживает 14 заболеваний в части оценки рисков их развития или ухудшения, 40 подозрений на наличие заболеваний. Основные нозологии: сердечно-сосудистые заболевания, сахарный диабет, хроническая болезнь почек, заболевания органов дыхания, патология при беременности, инфекционные заболевания (в том числе COVID-19), орфанные заболевания.

Webiomed – первая российская система искусственного интеллекта для здравоохранения, которая успешно прошла независимые клинические испытания и зарегистрирована Росздравнадзором как программное медицинское изделие. И мы стали первой ИИ-системой, получившей официальную регистрацию в качестве так называемой «Иной информационной системы», что дает нам правовые основания для взаимодействия с Единой государственной информационной системой здравоохранения (ЕГИСЗ).

— Что собой представляет бизнес компании? Кто основные заказчики?

За время реализации проекта мы несколько раз пересматривали стратегию и фокусировку проекта, поскольку шла проверка выдвигаемых командой гипотез и анализ обратной связи с рынка на предлагаемые нами идеи. Так была найдена текущая схема, согласно которой мы развиваем платформу, на которой одновременно могут работать врачи и руководители медицинских организаций. Применение этих продуктов позволяет платформе накапливать большие объемы обезличенных медицинских данных. Используя технологии NLP и ряд других возможностей, мы извлекаем и формируем большие массивы очищенных структурированных данных, на основе которых можем проводить исследования реальной клинической практики, заказные разработки алгоритмов и моделей машинного обучения и другие научно-исследовательские работы. Заказчиками таких услуг выступают научно-исследовательские организации, контрактно-исследовательские фирмы, а также фармацевтические компании.

— Какими вы видите перспективы рынка, какова ваша стратегия на нем?

Объективно российский рынок искусственного интеллекта для медицины недостаточно динамично развивается, выручка компаний невелика, мы пока не вносим ощутимую долю в ВВП. У многих компаний длительный цикл разработки продуктов. Отсюда и отставание от других стран, и сложности с решением финансовых проблем, и с поиском заказчиков и ростом инвестиций.

В 2020 году мы решили трансформировать проект Webiomed: вместо используемой в то время модели SaaS сосредоточиться на научно-исследовательских работах на базе обезличенных медицинских данных. Для этого разработали стратегию продвижения платформы на основе fremium. Мы предлагаем медицинским организациям и субъектам РФ подключение к платформе Webiomed бесплатно в обмен на право собирать обезличенные данные и выполнять коммерческие заказы от научных и исследовательских организаций на анализ данных, проведение научных исследований и т.д.

Следуя такому подходу, мы сумели накопить большое количество очищенных данных, пригодных для формирования датасетов и работы моделей машинного обучения.

— Каких результатов удалось достичь?

В настоящее время в платформе Webiomed содержатся обезличенные медицинские данные свыше 3 млн пациентов, свыше 130 млн медицинских протоколов, из которых извлечено больше 500 млн различных признаков. Эти данные можно использовать для автоматического выявления и анализа самых разных показателей, характеризующих население России, а также проводить исследования рутинной клинической практики для фармацевтических компаний, научных и образовательных организаций.

Результатами внедрения платформы в региональных медицинских организациях стало сокращение в 10 раз затраченного времени и трудоемкости обработки врачом медицинских данных пациента при диагностике, повышение до семи раз выявляемости пациентов высокого риска.

— Можете ли поделиться финансовыми результатами?

В прошлом году нам удалось увеличить свою выручку в 6,8 раза, что стало мощным драйвером для развития проекта. Минувший 2021 год также закончился существенным ростом – выручка проекта увеличилась в пять раз. Для технологического стартапа существенный рост основных показателей – таких как выручка и интеллектуальная собственность – являются жизненно важными. Они демонстрируют, что команда не просто способна создать интересный продукт, но и то, что этот продукт востребован рынком, а команда реально способна на активное продвижение на новых рынках.

— Что вы сами считаете главным эффектом использования Webiomed?

Самый главный результат, который мы пытаемся дать здравоохранению – это увеличение реального использования и потенциала профилактической медицины, сокращения предотвратимой заболеваемости, а значит – и сокращение неэффективных затрат. Анализируя электронные медицинские карты и развивая алгоритмы прогнозной аналитики, мы постоянно учим систему более точно выявлять пациентов высокого риска и обращать внимание врачей и руководителей на этих пациентов. Это очень важно, поскольку очень часто таким пациентам можно назначить точечное дополнительное обследование и эффективное лечение, которое будет предотвращать тяжелые осложнения: инфаркты, инсульты, госпитализации, а в итоге – и фатальные исходы.

— В чем роль проекта и его социальная значимость?

Платформа помогает врачам лучше понимать возможные негативные события со здоровьем пациента в будущем и обнаруживать заболевания на ранней стадии. Это дает возможность оказывать профилактическую медицинскую помощь, а также эффективно организовать профилактику хронических заболеваний и снижать уровень смертности от них.

Использование системы как «второго мнения» позволяет выявить факторы риска и высокую вероятность развития некоторых опасных заболеваний у 45% пациентов.

В целом, внедрение автоматизированных систем мониторинга пациентов позволит вести персональную профилактику, эпидемиологический мониторинг и принимать своевременные управленческие решения по сокращению заболеваемости и затрат на оказание медицинской помощи.

— Каковы направления развития платформы?

Мы видим, что в целом нашли эффективную схему монетизации, основанную на сборе и обработке больших данных с помощью технологий искусственного интеллекта и прогнозной аналитики. Результаты такого накопления и обработки позволяют нам предлагать все новые услуги и идеи, которые мы продолжим продвигать на рынке и проверять спрос и рентабельность масштабирования бизнеса компании на их основе.

Одним из самых перспективных направлений, которое мы выбрали для отработки в 2022 году, является привлечение пациентов к использованию результатов работы наших ИИ-алгоритмов. Мы хотим выпустить пациентское приложение, которое усилит эффективность инвестиций наших заказчиков в профилактику заболеваний. Не секрет, что именно вовлечение пациентов в собственную заботу о здоровье, повышение их осведомленности об имеющихся проблемах и рисках здоровья, а также улучшение приверженности подобранного врачами лечения – это ключевой вызов перед профилактической медициной сегодняшнего дня. С другой стороны, обогащение накапливаемых нами цифровых профилей пациентов их собственными данными, включая данные о соблюдении врачебных рекомендаций, приеме лекарств, достижении целевых уровней модифицируемых факторов – это крайней перспективное направление в повышении ценности самой платформы. Именно на проработке этой стратегии в данное время сосредоточена команда.