Data Award

Webiomed стала первой российской системой искусственного интеллекта для здравоохранения, которая успешно прошла независимые клинические испытания и была зарегистрирована Росздравнадзором. Она может использоваться и врачами как система поддержки принятия врачебных решений, и руководителями для принятия управленческих решений в области управления здоровьем. Это дает увеличение потенциала профилактической медицины и сокращения предотвратимой заболеваемости. Историей создания платформы и ее нынешними успехами делится Александр Гусев, директор по развитию системы Webiomed.

— Что стало причиной появления платформы Webiomed?

Идея попробовать свои силы на новом для нас рынке искусственного интеллекта пришла к нам в 2017 году. В то время все наши усилия были посвящены работе в компании «Комплексные медицинские информационные системы» (К-МИС), которая к тому времени стала одним из лидеров рынка информатизации медицинских организаций. Несмотря на то, что наша команда развивала собственный стек самых разных программных продуктов для здравоохранения, мы стали понимать, что рынок информатизации России в целом сформирован, идет его консолидация и поэтому возможности дальнейшего развития бизнеса стали выглядеть не очень перспективными. Стало ясно, что с точки зрения технологий и интересов государства целесообразно поддерживать развитие только самых крупных разработчиков и переходить к централизованному продвижению продуктов на этом рынке.

Мы стали искать новую нишу и идею, которая потенциально могла бы открывать возможность для выхода на рынки других стран и пробовать применять новые технологии. Мы около года потратили на анализ различной аналитики, изучение глобальных рыночных тенденций и обсуждения возможных идей. На одном из таких обсуждений нам порекомендовали подумать над рынком искусственного интеллекта, который как раз стал заметно расти в США. Нам эта идея понравилась, и мы стали углубленно исследовать эту тему. Почти сразу мы отказались от идеи выхода в сектор анализа медицинских изображений, потому что уже тогда в мире было много сильных продуктов и конкуренция казалась слишком сложной. Мы нащупали идею прогнозирования возможных негативных проблем со здоровьем у пациентов. Именно в решении прогнозных задач алгоритмы машинного обучения показывали большие перспективы, а вариантов применения их было гораздо больше, чем у анализа изображений. Так и появилась идея создать сервис, который мог бы анализировать электронную медицинскую карту, извлекать из нее с помощью технологий обработки естественного языка (natural language processing, NLP) важную клиническую информацию и затем строить индивидуальные прогнозы возможного появления серьезных проблем со здоровьем в ближайшем будущем. Мы предположили, что такая предиктивная аналитика может быть полезна широкому кругу заказчиков, включая руководителей в области здравоохранения, страховые компании и конечно врачей.

— Каковы возможности решения?

Система умеет анализировать разнообразные данные о состоянии здоровья пациента с помощью интеллектуальных методов обработки больших данных. Она включает систему поддержки принятия врачебных решений, а также аналитическую систему для работы руководителей в области профилактики и управления здоровьем.

В настоящий момент система поддерживает 14 заболеваний в части оценки рисков их развития или ухудшения, 40 подозрений на наличие заболеваний. Основные нозологии: сердечно-сосудистые заболевания, сахарный диабет, хроническая болезнь почек, заболевания органов дыхания, патология при беременности, инфекционные заболевания (в том числе COVID-19), орфанные заболевания.

Webiomed – первая российская система искусственного интеллекта для здравоохранения, которая успешно прошла независимые клинические испытания и зарегистрирована Росздравнадзором как программное медицинское изделие. И мы стали первой ИИ-системой, получившей официальную регистрацию в качестве так называемой «Иной информационной системы», что дает нам правовые основания для взаимодействия с Единой государственной информационной системой здравоохранения (ЕГИСЗ).

— Что собой представляет бизнес компании? Кто основные заказчики?

За время реализации проекта мы несколько раз пересматривали стратегию и фокусировку проекта, поскольку шла проверка выдвигаемых командой гипотез и анализ обратной связи с рынка на предлагаемые нами идеи. Так была найдена текущая схема, согласно которой мы развиваем платформу, на которой одновременно могут работать врачи и руководители медицинских организаций. Применение этих продуктов позволяет платформе накапливать большие объемы обезличенных медицинских данных. Используя технологии NLP и ряд других возможностей, мы извлекаем и формируем большие массивы очищенных структурированных данных, на основе которых можем проводить исследования реальной клинической практики, заказные разработки алгоритмов и моделей машинного обучения и другие научно-исследовательские работы. Заказчиками таких услуг выступают научно-исследовательские организации, контрактно-исследовательские фирмы, а также фармацевтические компании.

— Какими вы видите перспективы рынка, какова ваша стратегия на нем?

Объективно российский рынок искусственного интеллекта для медицины недостаточно динамично развивается, выручка компаний невелика, мы пока не вносим ощутимую долю в ВВП. У многих компаний длительный цикл разработки продуктов. Отсюда и отставание от других стран, и сложности с решением финансовых проблем, и с поиском заказчиков и ростом инвестиций.

В 2020 году мы решили трансформировать проект Webiomed: вместо используемой в то время модели SaaS сосредоточиться на научно-исследовательских работах на базе обезличенных медицинских данных. Для этого разработали стратегию продвижения платформы на основе fremium. Мы предлагаем медицинским организациям и субъектам РФ подключение к платформе Webiomed бесплатно в обмен на право собирать обезличенные данные и выполнять коммерческие заказы от научных и исследовательских организаций на анализ данных, проведение научных исследований и т.д.

Следуя такому подходу, мы сумели накопить большое количество очищенных данных, пригодных для формирования датасетов и работы моделей машинного обучения.

— Каких результатов удалось достичь?

В настоящее время в платформе Webiomed содержатся обезличенные медицинские данные свыше 3 млн пациентов, свыше 130 млн медицинских протоколов, из которых извлечено больше 500 млн различных признаков. Эти данные можно использовать для автоматического выявления и анализа самых разных показателей, характеризующих население России, а также проводить исследования рутинной клинической практики для фармацевтических компаний, научных и образовательных организаций.

Результатами внедрения платформы в региональных медицинских организациях стало сокращение в 10 раз затраченного времени и трудоемкости обработки врачом медицинских данных пациента при диагностике, повышение до семи раз выявляемости пациентов высокого риска.

— Можете ли поделиться финансовыми результатами?

В прошлом году нам удалось увеличить свою выручку в 6,8 раза, что стало мощным драйвером для развития проекта. Минувший 2021 год также закончился существенным ростом – выручка проекта увеличилась в пять раз. Для технологического стартапа существенный рост основных показателей – таких как выручка и интеллектуальная собственность – являются жизненно важными. Они демонстрируют, что команда не просто способна создать интересный продукт, но и то, что этот продукт востребован рынком, а команда реально способна на активное продвижение на новых рынках.

— Что вы сами считаете главным эффектом использования Webiomed?

Самый главный результат, который мы пытаемся дать здравоохранению – это увеличение реального использования и потенциала профилактической медицины, сокращения предотвратимой заболеваемости, а значит – и сокращение неэффективных затрат. Анализируя электронные медицинские карты и развивая алгоритмы прогнозной аналитики, мы постоянно учим систему более точно выявлять пациентов высокого риска и обращать внимание врачей и руководителей на этих пациентов. Это очень важно, поскольку очень часто таким пациентам можно назначить точечное дополнительное обследование и эффективное лечение, которое будет предотвращать тяжелые осложнения: инфаркты, инсульты, госпитализации, а в итоге – и фатальные исходы.

— В чем роль проекта и его социальная значимость?

Платформа помогает врачам лучше понимать возможные негативные события со здоровьем пациента в будущем и обнаруживать заболевания на ранней стадии. Это дает возможность оказывать профилактическую медицинскую помощь, а также эффективно организовать профилактику хронических заболеваний и снижать уровень смертности от них.

Использование системы как «второго мнения» позволяет выявить факторы риска и высокую вероятность развития некоторых опасных заболеваний у 45% пациентов.

В целом, внедрение автоматизированных систем мониторинга пациентов позволит вести персональную профилактику, эпидемиологический мониторинг и принимать своевременные управленческие решения по сокращению заболеваемости и затрат на оказание медицинской помощи.

— Каковы направления развития платформы?

Мы видим, что в целом нашли эффективную схему монетизации, основанную на сборе и обработке больших данных с помощью технологий искусственного интеллекта и прогнозной аналитики. Результаты такого накопления и обработки позволяют нам предлагать все новые услуги и идеи, которые мы продолжим продвигать на рынке и проверять спрос и рентабельность масштабирования бизнеса компании на их основе.

Одним из самых перспективных направлений, которое мы выбрали для отработки в 2022 году, является привлечение пациентов к использованию результатов работы наших ИИ-алгоритмов. Мы хотим выпустить пациентское приложение, которое усилит эффективность инвестиций наших заказчиков в профилактику заболеваний. Не секрет, что именно вовлечение пациентов в собственную заботу о здоровье, повышение их осведомленности об имеющихся проблемах и рисках здоровья, а также улучшение приверженности подобранного врачами лечения – это ключевой вызов перед профилактической медициной сегодняшнего дня. С другой стороны, обогащение накапливаемых нами цифровых профилей пациентов их собственными данными, включая данные о соблюдении врачебных рекомендаций, приеме лекарств, достижении целевых уровней модифицируемых факторов – это крайней перспективное направление в повышении ценности самой платформы. Именно на проработке этой стратегии в данное время сосредоточена команда.

Традиционно выделялось два основных источника данных о клиентах: маршрут перемещения и транзакционные данные. Эти данные действительно полезны в различных сферах бизнеса, однако в них отсутствует подробная информация о предпочтениях клиентов. К каким брендам они лояльны? Какую долю своего бюджета они тратят на определенные товары? Какое у них хобби? Есть ли у них домашние животные? Чем точнее компания может ответить на эти вопросы, тем более персонализированными становятся ее отношения с каждым клиентом. Источником таких знаний о клиентах становятся их чеки, именно эти данные отражают их образ жизни и поведенческие привычки.

В «Сбере» разработали модели, которые с согласия клиента помогают обрабатывать и извлекать из чеков важные для лучшего понимания потребностей клиента данные. Так появился проект аналитики чеков для максимальной персонализации и адаптации клиентского опыта для экосистемы «Сбера». О реализации этого проекта и первых результатах рассказал Антон Золотухин, Data Protection Officer розничного бизнеса «Сбера».

— Анализом транзакционных данных занимаются все. С какого момента был сделан акцент на анализ чеков, дающий принципиально иные знания?

«Сбер» – больше, чем банк. На сегодняшний день в его экосистему входит более 100 компаний, удовлетворяющих основные жизненные потребности каждого клиента: вызов такси, доставка еды, совершение покупок и многие другие. У каждого из 103 млн наших клиентов свой уникальный опыт использования финансовых и нефинансовых продуктов экосистемы, поэтому одна из главных целей – найти индивидуальный подход к каждому клиенту. Чтобы достичь максимальной персонализации, мы стремимся использовать как можно большее количество различных источников и возможности искусственного интеллекта для аналитики данных.

В 2021 году нами было принято решение более детально посмотреть на транзакции клиента. Стало очевидно, что для получения уникальных знаний о клиенте недостаточно просто знать сумму покупки и наименование продавца. Неисчерпаемый источник данных содержит именно детальный чек со списком покупок, который позволяет глубже понять жизненную ситуацию и привычки клиента. При этом чеки в необработанном виде содержат много избыточной или искаженной информации. Но мы нашли решение и разработали модели на основе искусственного интеллекта, которые с согласия клиента помогают обрабатывать и извлекать из чеков важные для нас данные. Так появился проект по закупке чековых данных и их аналитике для максимальной персонализации и адаптации клиентского опыта для экосистемы «Сбера».

— Для обработки чеков требуется согласие клиента. Какой процент из многомиллионной армии клиентов «Сбера» дает его?

Сервисом чековой аналитики пользуется свыше 70 млн клиентов, что составляет более 90% от всех пользователей мобильного приложения «СберБанк Онлайн» – все эти клиенты дали согласие на подключение аналитики чеков. Никто из наших конкурентов на рынке не работает с таким объемом данных и не реализует проект аналитики клиентских чеков такого масштаба.

— Почему клиенты дают согласие на анализ чеков? В чем их выгода?

Для клиента важно иметь возможность детально анализировать структуру расходов для управления семейным бюджетом, а также получать другие инструменты анализа личных финансов. Он самостоятельно подключает сервис и видит подробную аналитику своих трат по товарам и категориям. Вместо категории с общим названием «расходы в супермаркетах» на экране онлайн-банка отдельно отображаются «расходы на продукты питания», «товары для дома», «товары для домашних животных» и так далее. Эти данные позволяют клиенту видеть полную картину своих расходов. Ранее получить такой результат было невозможно, так как при анализе использовались только транзакционные данные.

— Что стало самым сложным в реализации этого проекта?

Для проведения анализа чековых данных потребовалось решить целый ряд нетривиальных задач: научиться обрабатывать огромный объем данных, учитывать разнообразие названий продуктов (в том числе составные), опечатки, транслитерацию, сокращения и аббревиатуры в наименованиях. Из-за всех этих факторов практически невозможно решить задачу анализа чеков с помощью традиционных подходов. Например, невозможно определить по наименованию позиции в чеке «ФРУТ/.САД 1,5л ЯБЛ&ПЕР.», какой именно товар приобрел клиент. Применяя модели искусственного интеллекта, из указанного наименования можно выявить, что приобретен товар в категории «Продукты», продукт «Нектар», бренд «Фруктовый Сад», объем 1,5 л.

Решение на основе искусственного интеллекта способно автоматически распределять купленные клиентом товары более чем по 72 тыс. параметров: категории, бренды, продукты, меры. За счет использования семантических представлений из нейросетей и алгоритмов платформа способна находить схожие или идентичные продукты с похожими описаниями и предоставлять точную аналитику. В работе над проектом были использованы последние достижения в области искусственного интеллекта и обработки естественного языка: маскированные языковые модели с использованием механизма Self-Attention («внимание на себя») и архитектуры Transformer, трансферное обучение и др. Эти технологии позволяют нам создавать эффективные решения для автоматического анализа данных на естественном языке.

— В какие продукты банка и экосистемы «Сбера» в целом могут быть встроены знания о распределении расходов клиента?

Подробная информация о предпочтениях клиентов, которая содержится в электронных чеках, используется для формирования рекомендаций, аналитики, оценки рисков при выдаче кредитов, проведения маркетинговых кампаний и кампаний по стимулированию продаж. Благодаря уникальному решению нам удалось повысить персонализацию и точность таргетинга предложений, предоставляемых банком и другими участниками экосистемы. В перспективе это позволит удерживать позиции в борьбе за внимание и кошелек клиента, а также предоставлять лучший персонализированный сервис.

— Каких результатов удалось достичь?

Всего за год команде удалось разработать и запустить уникальную платформу для анализа клиентских чеков. Обучение модели происходило на 2 млн единиц открытых данных из каталогов интернет-магазинов. В конечном счете, удалось добиться точности распознавания данных электронных чеков на уровне 85%. И сейчас мы умеем распознавать 42 тыс. продуктов, 30 тыс. брендов, 260 категорий. За 2021 год было обработано 7 млрд чеков.

Такие показатели открывают новые возможности для развития бизнеса «Сбера». Результаты платформы по аналитике чековых данных используются при составлении персональных предложений и формировании рекомендаций, что повышает лояльность клиентов. Наблюдается прибавка 5% к росту количества уникальных пользователей за месяц (monthly active users, MAU) и 10% к показателю «кликабельности» (click-through rate, CTR).

Кроме того, мы ожидаем значительного повышения эффективности бизнес-процессов: увеличения выручки в сегменте маркетинга и продаж на 5%, а также увеличения выручки в области управления рисками на 3%. Это подтверждено пилотными проектами на стадии доказательства ценности.

Отдельно следует выделить помощь проекта аналитики чеков в реализации стратегии в области ESG.

— Насколько важна для «Сбера» повестка ESG? Какую роль этот проект может играть в ней, и вообще в «зеленых» инициативах?

ESG-повестка для «Сбера» чрезвычайно важна: в бизнес-стратегиях компаний ESG становится новым стандартом и гарантией успешного ведения бизнеса. Мы всегда уделяли значительное внимание вопросам устойчивого развития, корпоративной и социальной ответственности. Сейчас компания находится в активной фазе ESG-трансформации, основная наша цель — стать лидером системных изменений в области ESG для создания экономики процветания, эффективной для общества и сохранения окружающей среды.

Таким образом, одной из главных наших задач является повышение уровня ESG банка и клиентов. Благодаря аналитике клиентских чеков мы разрабатываем функции, позволяющие использовать обработанные данные для реализации стратегии в области ESG. Например, мы можем выявлять клиентов, которые делают покупки экотоваров и вознаграждать их за заботу о природе и обществе бонусами и скидками от экосистемы «Сбера». Также уже запущен пилот для наших сотрудников по отслеживанию своего углеродного следа в мобильном приложении «СберБанк Онлайн». Это стало возможным благодаря учету расходов на топливо и поездки на такси при анализе электронных чеков. С помощью этой функции мы сможем оценить уровень ESG каждого клиента и развить среди них культуру осознанного потребления.

— Есть ли возможности для развития этого проекта? В какие новые инициативы он может перерасти?

Использование решения на основе искусственного интеллекта для анализа чековых данных позволяет увеличить выручку и улучшить клиентский опыт за счет повышения уровня персонализации предложений и реализации новых возможностей для клиента. Проект вносит весомый вклад в достижение целей «Сбера» и повышает точность предсказания нашего лучшего следующего действия для клиента (Sber Next Best Action). Кроме того, решение позволяет лучше понять наших клиентов и предоставить им лучшее предложение на рынке в соответствие с их потребностями. Направлений использования структурированных данных из чеков – бесконечное множество: банк может и должен меняться вместе со своими клиентами.

Спутниковые снимки Земли являются ценнейшим источником информации. Применять ее для всеобщей пользы призван комплекс «Цифровая Земля — сервисы», реализуемый по заказу госкорпорации «Роскосмос» компанией «Терра Тех» (оператор по геотехнологиям «Роскосмоса», дочернее предприятие АО «Российские космические системы»). «Цифровая Земля» — это фабрика для обработки и анализа космических снимков с использованием искусственного интеллекта. Благодаря ее возможностям, контролирующие органы и бизнес на всех уровнях теперь могут получать аналитику на основе космической съемки в разы быстрее и удобнее, чем когда-либо до этого. Использование нейросетевых технологий дает существенное преимущество в плане быстроты и качества распознавания снимков, позволяет идентифицировать и классифицировать различные объекты и изменения на местности, вовремя уведомлять пользователей о критичных событиях на объектах мониторинга.

О реализации проекта рассказывают номинанты премии Data Award Андрей Абросимов, заместитель генерального директора «Терра Тех» по науке, и Алексей Беленов, заместитель генерального директора «Терра Тех» по производству.

- Немного об истории этого проекта. Когда и почему он был начат?

Алексей Беленов: Нужно начать с нескольких фундаментальных задач, которые госкорпорация «Роскосмос» взялась решить по поручению президента России, инициировав проект «Цифровая Земля» в рамках национальной программы «Цифровая экономика». Первая группа задач связана с модернизацией технологий. Было очевидно, что настало время качественно улучшить механизм поставки данных с российских аппаратов дистанционного зондирования Земли (ДЗЗ) из космоса и повысить качество их обработки. Эту часть взяли на себя наши коллеги из АО «Российские космические системы» (входит в Госкорпорацию «Роскосмос»): они создали и внедрили на базе современного комплекса вычислительных ресурсов технологию автоматической потоковой обработки спутниковых данных, благодаря которой высококачественная информация со спутников в максимально сжатые сроки может пополнять информационные системы заказчиков и потребителей данных ДЗЗ. Мы работаем с коллегами в тесном контакте, но сами фокусируемся на высокоуровневой обработке, анализе и применении космических данных.

Андрей Абросимов: Наша задача — разрабатывать и использовать технологии, направленные на отраслевое применение материалов космической съемки. У многих потребителей нет достаточной подготовки и квалификации, чтобы самостоятельно интерпретировать снимки со спутника. Поэтому родилась идея создать комплекс сервисов, способный обрабатывать и анализировать снимки и сразу формировать цифровые тематические карты, отчеты и инфографику.

- Какие задачи требовалось решить?

А.А.: Дальше мы будем говорить только о сервисах «Цифровой Земли», но хотелось бы обратить внимание на то, что вся эта работа была бы практически невозможна без технологий потоковой обработки снимков. А если говорить о сервисах, то у нас было довольно ясное видение того, какие задачи можно решать, используя снимки, и что для этого нужно. В России многие компании делают разного рода ГИС-порталы и создают средства обработки как на региональном, так и на федеральном уровне. Но для нас было важно сформировать универсальный набор продуктов, способный по максимуму закрыть потребности государственных организаций в масштабах всей страны, коммерческих заказчиков, а в будущем — и наших граждан.

- Какие этапы проходил проект? Что было самым сложным?

А.Б.: Мы начали с анализа потребностей потребителей по продуктам и составу информации. Уже до эскизного проектирования стало очевидно, что делать такие продукты классическими методами в больших объемах будет непросто. Встал вопрос автоматизации такой работы. Мы начали экспериментировать с алгоритмами искусственного интеллекта (ИИ), поскольку другие подходы не обеспечивали ни достаточной скорости, ни качества обработки. Потребовалось включить в команду специалистов в области data science, ИИ, облачных вычислений и нарастить соответствующие компетенции, чтобы результаты работы алгоритмов соответствовали заданным техническим заданием требованиям.

А.А.: Это верно. Я, например, первоначально не был доволен качеством результатов обработки, но, по мере увеличения обучающих выборок для различных регионов РФ, качество начало резко повышаться. Мы разработали 27 типовых продуктов по 7 основным направлениям народного хозяйства (деятельность в этих отраслях можно отслеживать из космоса). Есть отдельные продукты, формирование которых все же требует экспертного анализа, доработки оператором результатов первичной автоматической аналитики, однако многие продукты уже сейчас формируются без экспертного анализа.

- Что на данный момент представляет собой платформа? Из каких частей она состоит?

А.Б.: В комплекс «Цифровая Земля — сервисы» входят 7 геосервисов с 27 информационными базовыми и мониторинговыми продуктами. Сервисы интегрированы с другими подсистемами создаваемой «Цифровой Земли» и опираются на них в части вычислительных ресурсов и исходных данных, которые поступают напрямую из Федерального фонда данных ДЗЗ и других источников. Структура комплекса сервисов включает: подсистему ввода информации; подсистему обработки информации, включающую модуль искусственного интеллекта (ИИ); подсистему представления информации, включающую модули личных кабинетов, формирования отчетов, десктопный и мобильный интерфейсы. Разработан API (программный интерфейс приложения), позволяющий передавать результаты анализа непосредственно в сторонние информационные системы.

А.А.: Авторизация происходит по единой учетной записи доступа к ресурсам «Роскосмоса». Существует несколько групп пользователей с разными правами. Пользователь размещает заказ на определенный тип продукта, уточняет параметры подбора: область на карте, по которой нужно получить аналитическую информацию; период дат, которые интересуют; уровень детализации и т. д. Затем заявка попадает в электронную очередь, где проверяется на корректность. Если что-то не так, мы связываемся с потребителем для уточнения. Далее происходит подбор космической съемки, удовлетворяющей заданным критериям, и после этого производится ее автоматическая обработка в модуле ИИ. Пользователь получает уведомления по мере прохождения этапов обработки и анализа. Все результаты доступны для просмотра и скачивания в интерфейсе пользователя.

- На каких платформах реализована система?

А.Б.: В основе лежат облачные технологии. Для хранения, обработки, визуализации, управления данными используются протоколы AWS, докер-контейнеры, средства PostgresSQL, REST API, MongoDB, WMS, Flask, Nginx, uWSGI. Для работы с нейросетевыми технологиями применяются фреймоворки сверточных нейронных сетей Tensorflow, Keras, Pytorch.

- В чьих интересах система работает? Как осуществляется взаимодействие между заинтересованными сторонами?

А.Б.: «Цифровая Земля» — это сложный проект с множеством составных частей, не все из которых пока готовы. Одна из составных частей — комплекс геосервисов — сейчас работает для пилотных регионов и ряда федеральных органов власти. У нас очень активное сотрудничество с федеральными органами, поскольку мы проводим взаимную интеграцию информационных систем. Например, с НИИ «Восход» мы интегрировались для выявления объектов капитального строительства, требующих проверки в части постановки на кадастровый учет. Их система ТОР КНД получает из «Цифровой Земли» информацию о вновь выявленных на снимках объектах капитального строительства в муниципальном образовании и выдает сигнал надзорным органам, если информация в реестре и на снимке разная.

А.А.: Кроме того, мы плодотворно сотрудничаем с ФГБУ «Рослесинфорг», подведомственным учреждением Рослесхоза. Они проводят квалифицированную оценку результатов выделения вырубок на снимках и формируют требования по модернизации алгоритмов искусственного интеллекта. Совместными усилиями нам удалось повысить точность выделения лесоизменений более чем на 10% даже при использовании разносезонных снимков и данных с облачностью и снегом. Перспективной выглядит возможность предоставлять организациям Рослесхоза интерактивные инструменты для дальнейшего дообучения алгоритмов нейросетей на большом массиве лесных данных. В рамках промышленной эксплуатации геосервисов «Цифровой Земли» запланированы работы по массовой выдаче типовых тематических продуктов. В ходе этого процесса мы будем собирать обратную связь и планировать дальнейшую модернизацию системы. Сейчас «Роскосмос» рассматривает расширение охвата субъектов РФ.

- Как проходила отработка сервисов? Исходя из чего выбирались тестовые регионы и сервисы?

А.А.: В числе пилотных регионов у нас было 8 субъектов. Отработка сервисов проводилась в Республике Татарстан, в Самарской, Нижегородской, Тверской, Кемеровской и Свердловской областях, в Республике Крым и Красноярском крае. Суммарно в ходе пилотной эксплуатации комплекса «Цифровая Земля» представители профильных министерств и ведомств субъектов РФ отработали 1552 кейса по объектам интереса общей площадью более 3 млн кв. км. На территории всех этих субъектов были выполнены масштабные полевые работы для сбора информации о наземных эталонах распознаваемых объектов и проверки результатов автоматической аналитики. Поскольку в продуктах применяются технологии ИИ, очень важно правильно подбирать обучающие выборки. У нас очень большая страна с различными климатическими поясами, разнообразными природными ресурсами и большим количеством территориальных активов, поэтому мы очень хотели, чтобы эти субъекты были максимально разнообразными. Понятно, что 8 эталонных субъектов — это пока маловато для репрезентативной обработки всей территории РФ, но прелесть технологии как раз в том, что чем больше ее применяешь, тем лучше становятся результаты, потому что нейросети дообучаются по мере увеличения объемов «скормленных» им космических снимков.

- Приведите самые интересные и показательные примеры использования геосервисов.

А.А.: Сегодня очень большое внимание уделяется лесу и экологии. Буквально на днях (11 февраля 2022 года) «Терра Тех» посетили вице-премьеры Правительства РФ Виктория Абрамченко и Юрий Борисов вместе с генеральным директором «Роскосмоса» Дмитрием Рогозиным. По итогам рабочего совещания было принято решение провести в 2022 году силами Рослесхоза и «Роскосмоса» пилотный проект в двух субъектах — Иркутской и Архангельской областях — по применению геотехнологий в целях повышения скорости получения и точности информации о вырубке лесов на основе анализа материалов космической съемки с использованием нейросетей. Также мы провели много работ по выявлению и мониторингу карьеров добычи общераспространенных полезных ископаемых, мониторингу промышленного и жилого строительства, определению степени зарастания сельскохозяйственных земель. У «Цифровой Земли» здесь чисто информационная и аналитическая функция. Наша задача — выполнить идентификацию, подготовить отчет и предоставить информацию соответствующим надзорным органам, а дальше именно они решают, было или нет нарушение, и проводят необходимые контрольные мероприятия. Фактически шок-эффект произвел кейс с пожарами в Якутии и Иркутской области прошлым летом, когда нейросети за несколько часов с очень высокой точностью обработали миллионы квадратных километров территории, затронутой бедствием.

- Какое направление геосервисов приносит наибольшую пользу уже сейчас?

А.А.: В последнее время мы обращали особое внимание на вырубки — здесь наиболее очевидная польза. О результатах пока говорить преждевременно, но мы готовы предоставить Рослесхозу имеющиеся у нас технологии и решения для цифровизации лесного хозяйства страны. Тут важно повышать частоту выявления рубок, а это зависит от доступности данных, количества спутников и их характеристик. Но даже с теми данными, что имеются сейчас, можно многого добиться. Космические инструменты нужны и коммерческим предприятиям, которые ведут лесозаготовку и инвестируют в лесопромышленный комплекс страны. Например, по данным из космоса можно выявлять наиболее перспективные лесные участки на основе знаний о породном и возрастном составе. Большим спросом пользуется контроль соблюдения темпов строительства — особенно для масштабных проектов строительства линейной инфраструктуры, а также когда у заказчика одновременно строится множество объектов в разных концах страны и нужно отслеживать их все одновременно.

- Нацелен ли проект на окупаемость? И вообще, насколько эти сервисы могут быть востребованы бизнесом?

А.Б.: Прямой эффект от внедрения технологий ДЗЗ оценить непросто. Это уже много лет пытаются делать ведущие консалтинговые агентства мира. Можно посчитать хотя бы число нарушений и объем штрафов, которые будут выставлены на основе космической аналитики. Данные ДЗЗ применяются, когда рассчитывается объем причиненного экономического и экологического ущерба (например, почвам). В этих случаях всего нескольких крупных экологических взысканий хватит, чтобы окупить разработку. Конечно, помимо этого, есть еще вся инфраструктура, ее содержание, спутники и т. д. В то же время нельзя забывать о том, что один снимок можно использовать сразу для целого комплекса задач и не один раз — например, у нас 27 продуктов (не все делаются по одинаковым данным). Вот и консалтинговые агентства согласны с тем, что, хотя прямой эффект оценить сложно, польза очевидна на всех уровнях и на всех рынках для широкого спектра задач.

Тем не менее можно отметить, что «Роскосмос» нацелен на развитие коммерческого применения данных и сервисов. Поэтому проект изначально создавался для обеспечения государственных потребителей с планами потенциального масштабирования и на бизнес, польза для которого от такой системы тоже неоспорима. К нам регулярно поступают запросы от коммерческих компаний, которые тоже хотят использовать возможности системы. Однако тут есть ряд нюансов — как нормативно-правовых, так и технологических. Для бизнеса нужны несколько другие продукты, хотя изначальный состав информации может быть похожим. А над решением нормативно-правовых вопросов сейчас работают специалисты «Роскосмоса», чтобы иметь возможность предоставить к системе коммерческий доступ, когда она будет готова к масштабированию. Поэтому сейчас бизнесу мы оказываем услуги на базе наших коммерческих разработок, не связанных с «Цифровой Землей».

- Каковы направления развития платформы?

А.Б.: Прежде всего требуется повышать автоматизацию. Ближайшие месяцы покажут, какие направления приоритетны. Перейти с 8 регионов на 20 и далее на 85 — это большой вызов. Здесь нужно понимать, что космические снимки — это очень объемная информация, для обработки которой необходимы достаточно большие мощности, соответствующие инфраструктуре. Поэтому мы не исключаем, что придется дорабатывать систему оптимизации ресурсов.

А.А.: Кроме того, алгоритмы прошли обучение не для всех регионов РФ — нужно увеличивать объем выборки. Будем дообучать имеющиеся и разрабатывать новые нейросети. У нас даже есть специальный инструмент, который автоматизирует сам процесс обучения. А дальше будем расширять номенклатуру геосервисов, делать их доступными для коммерческих потребителей, работать над повышением гибкости системы для пользователя. В итоге хотелось бы сделать возможным прямой доступ пользователей различной квалификации к облачному «конструктору» алгоритмов и продуктов.

В последние годы все больше компаний говорят о создании экосистем. Этот путь становится одним из способов выживания и процветания как на рынке, так и в природе. Комплекс сервисов, выстроенных X5 Group вокруг клиентской миссии «Еда», является примером именно такого подхода. Для его реализации единые, унифицированные данные являются необходимым условием. X5 создала единую платформу для работы с данными внутри группы компаний, и одним из ключевых элементов этой платформы стал единый профиль клиента и сервис идентификации X5ID. Он позволяет работать с покупателем во всех сервисах группы с единой точкой входа и использованием «золотой записи». Тигран Саркисов, директор по управлению данными X5 Group и номинант на премию Data Award, рассказал о реализации этого проекта и синергетическом эффекте, который стал возможным лишь в результате совместной работы различных бизнес-единиц на единой платформе данных.

— У предприятий, всерьез смотрящих в будущее, есть два пути: сформировать собственную экосистему либо встроить свой бизнес в чужую. Почему был выбран именно первый путь, в чем он заключался?

X5 Group в данный момент не совсем корректно называть экосистемой, так как мы формируем все наши сервисы вокруг нашего клиента и его потребностей. Мы действительно расширяем свое присутствие вокруг клиента, стремясь присутствовать на каждом этапе выбора продуктов. Именно с этой целью компания в последние три года в рамках своей стратегии развивала большое количество сопутствующих бизнесов вокруг еды: Vprok.ru Перекресток – онлайн-гипермаркет по доставке еды, 5Post – доставка товаров в постаматы, сервис экспресс-доставки «Около», медиа-платформа для поиска рецептов food.ru. Мы развиваем комплементарные сервисы вокруг еды и смежных потребностей, а также ряд сервисов, которые помогут улучшить клиентский опыт – например, финансовые сервисы на базе X5 Банк. Мы понимаем, что зачастую выбор продукта начинается задолго до того, как клиент приходит в магазин, а сервис можно оказывать комплексно.

— Какие возможности должна дать единая платформа данных для всех сервисов X5, в чем синергия?

Синергия, например, видна от управления клиентскими данными в рамках всей группы компаний. Это хорошо видно на примере единого клиентского профиля и единого центра авторизации X5ID, который мы запустили в прошедшем году. Раньше взаимодействие осуществлялось изолированно различными сетями и бизнес-единицами, и, разумеется, клиентский путь был неоптимальным. С одной стороны, мы хуже представляли потребности клиента и не всегда могли своевременно оказывать удобный сервис, а с другой – на клиентском пути возникали неудобства. Единый центр авторизации позволяет быстрее получать доступ к нашим сервисам, быстрее переходить между ними – например, в будущем можно будет, найдя рецепт на сайте food.ru, перейти в мобильное приложение торговой сети и заказать ингредиенты. А мы можем видеть более полный портрет клиента в каждом бизнесе, его опыт взаимодействия. Разумеется, всё это при полном соблюдении политики хранения и обработки персональных данных.

Сегодня в едином профиле собрана фактически большая часть работоспособного населения нашей страны – у нас более 60 млн уникальных цифровых профилей. И для нас важны не столько их персональные данные и социально-демографический профиль, сколько покупательские привычки и предпочтения – это дает нам возможность соответствовать их ожиданиям.

X5ID и единый клиентский профиль являются ключевым элементом, соединяющим наши бизнесы и дающим возможность говорить о комплементарных сервисах. Всё, что мы делаем, должно быть взаимосвязано, интегрируемо и переиспользуемо. Даже новый запускаемый нами бизнес может быстро получить все необходимые данные и предоставить клиенту удобную авторизацию.

Кроме того, нам удалось построить аналитическую платформу, которая обезличено, на уровне идентификаторов пользователей помогает быстро работать с клиентским опытом. Это дает возможность таким нашим продуктовым командам как, например, Customer value management (CVM) и «Обратная связь», тратить меньше времени на сбор и подготовку данных, а больше фокусироваться на извлечении ценности из накопленных знаний. Наконец, без единого центра авторизации было бы невозможно и реализовать новые бизнес-модели, такие как подписка «Пакет». Мы первые, кто смог запустить подписку в российском ретейле.

— На чем базируется платформа по работе с данными и центр авторизации?

Преимущественно, это решения из комплекса Open Stack, размещенные в нашем облаке. Наша платформа состоит из множества различных функциональных компонентов (озера данных, хранилища данных, BI, интеграционная микросервисная платформа и другие), которые взаимосвязаны между собой. Если говорить про центр авторизации и профиль клиента, то он реализован на Open Stack и Tarantool.

— ИТ-платформа – это обычно только часть задачи. Как удается создавать и изменять data-культуру внутри компании?

Надо понимать, что бизнес-единицы и торговые сети под управлением X5 имеют разную степень зрелости и формы организации. Есть молодые бизнесы «цифровые с пеленок», но с низкой процессной зрелостью, как это обычно и бывает в любом стартапе. А есть сложившиеся, обладающие и зрелостью процессов, и определенной устоявшейся культурой. Их нужно обеспечить равными возможностями доступа к единым данным. И здесь критически важно использование не только единой платформы, но и такой организационной структуры, при которой можно, с одной стороны, быстро накапливать и обрабатывать данные без «бутылочного горлышка» в виде централизованных функций, а с другой стороны, не уйти в дата-изоляцию подразделений.

Для этого мы стараемся придерживаться всем уже достаточно хорошо знакомому подходу Data Mesh – доменно-ориентированной организации управления данными. Нами построен институт дата-партнеров, определяющих программы развития данных с учетом потребностей, текущего уровня зрелости и культуры конкретной бизнес-единицы. Благодаря этим изменениям мы видим высокий рост уровня проникновения аналитики в работу сотрудников. В том числе в тех функциях, которые ранее не уделяли этому достаточного внимания.

Наличие единой платформы также стимулирует к развитию аналитики в режиме самообслуживания (self-service). Это популярное направление, развивающееся во многих компаниях, – возможность пользователей самостоятельной готовить и анализировать данных.

— Какие действия предпринимаются в области формирования дата-культуры?

Мы активно развиваем self-service: мы хотели бы, чтобы все сотрудники стали ближе к данным и аналитике, что позволит в полной мере реализовать data-driven подход. Мы успешно завершили пилотные проекты в ряде регионов, в рамках которых бизнес-пользователи самостоятельно на существующей платформе управления данных смогли проверять гипотезы и получать инсайты. За короткое время сотрудники смогли самостоятельно решить и, что самое главное, переиспользовать более 20 бизнес-задач. Полученный опыт мы хотим тиражировать по всей компании. В рамках «Цифровой академии» X5 мы создаем отдельное направление – «факультет» дата-грамотности, в который входят курсы и обучающие материалы по работе с данными.

— Какие это принесло результаты, чем можно похвастаться?

Если оценивать прошедший год, то результаты представляются очень хорошими. Во многом это связано с переходом на доменно-ориентированную организацию работы и внедрением новых решений для работы с данными. Мы отмечаем более чем двукратный рост использования аналитики в компании.

Доменно-ориентированная организация и появление роли data-партнеров позволили повысить уровень доверия к данным со стороны пользователей до 80% – мы считаем, что это высокая цифра, и иногда она даже гораздо важнее, чем объективная оценка качества данных. Именно доверие к данным позволяет пользователям работать с ними, а не игнорировать.

Нам удалось консолидировать клиентский опыт. Мы собрали и очистили более 60 млн клиентских профилей, реализовали все это на микросервисной архитектуре внутри нашей интеграционной платформы. Сегодня благодаря единой авторизации во всех каналах коммуникаций – в мобильных приложениях, в магазинах, на сайте и даже в чат-ботах в телеграм – ежедневно наблюдается более 10 млн активных пользователей.

Наконец, достигнутые результаты позволяют запускать и тестировать новые бизнес-модели – годом ранее мы уже отмечались с продуктом Dialog.X5. Сейчас она дает еще более качественные инсайты благодаря использованию «золотой записи». В этом году появилась подписка «Пакет» — первый комплексный продукт, где собрано большинство привилегий сервисов и торговых сетей Х5.

Персонализация при работе с клиентами уже стала общепринятой практикой даже в офлайн-ретейле. Следующим шагом становится гиперперсонализация, когда компании переходят от групп клиентов к конкретным людям, обращая внимание на их индивидуальные потребности и привычки. «Утконос Онлайн» с ее помощью помогает покупателям не утонуть в океане товаров, а также серьезно повышает эффективность маркетинговых активностей. О роли гиперперсонального подхода к клиентам в бизнесе компании рассказывает Дмитрий Бодунов, директор управления данными «Утконос Онлайн».

— Какова идея создания интеллектуальных решений в вашей компании?

Наша цель – создавать автоматизированные системы, которые позволяют принимать правильные решения и зарабатывать деньги компании. Мы делим такие системы на несколько групп: первая группа систем принимает бизнес решения полностью самостоятельно, без участия человека, – например, какие товары отправить клиенту в рассылке. Вторая группа рекомендует решение, которое может быть принято или скорректировано ответственным менеджером – например, прогноз заказов на следующий день или список KVI-товаров. (Товары группы key value indicator влияют на восприятие покупателем уровня цен в магазине. Они являются важной частью ценовой стратегии, помогая привлекать чувствительных к ценам покупателей. – Прим. ред.). Наконец, третья группа сигнализирует о нестандартном поведении и должна предупредить ответственного менеджера о необходимости принять экспертное решение – например, в случае падения скорости сборки на складе.

— «Утконос Онлайн» осуществляет переход от обычной персонализации к гиперперсонализации. Что к этому привело?

В начале 2021 года мы решили, что одно из наших ключевых преимуществ — это сверхширокий ассортимент, и поставили себе цель — 150 тыс. наименований товаров. Однако при неправильно выстроенной работе рекомендаций и поиска сверхширокий ассортимент может стать не преимуществом компании, а головной болью клиента. Тогда стало понятно, что нужно помогать покупателям ориентироваться в этом «океане» товаров, — и мы начали уходить от обычной персонализации к гиперперсонализации, то есть персонализации на уровне отдельных клиентов, которая учитывает максимальное количество информации о каждом клиенте.

— Как была поставлена задача?

В каталоге и поиске необходимо было учитывать индивидуальные предпочтения, чтобы люди среди огромного количества товаров получали то, что им нужно и интересно. Сейчас у нас 90 тыс. наименований. Развивать персонализацию выдачи каталога, и поиска, и CRM нужно было сразу, так что задачи велись параллельно.

— За какое время и какими силами был реализован проект?

Мы начали этот проект в 2021 году. И это направление продолжает свое развитие — мы постоянно идем по пути улучшения. Нет точки, в которой мы бы решили, что больше не будем развивать нашу персонализацию.

В команде персонализации дата-офиса 5 человек — это дата-сайентисты и ML-инженеры. Есть еще владельцы продуктов поиска, сайта и CRM, а также разработчики, которые помогают встраивать сервисы внутрь сайта.

— В чем заключалась самая большая проблема?

Основная сложность — следить за очень большим количеством параметров. Это связано с выводом больших сложных проектов, относящихся к машинному обучению, в промышленную эксплуатацию. Это сложный многошаговый процесс, и небольшие трудности случаются на каждом этапе.

— Чем из последних разработок можно гордиться?

Наши CRM-рассылки — это уже поставленный на поток процесс. Несколько раз в неделю мы с бизнесом прорабатываем, кому и какие предложения требуется отправлять.

Раньше рассылку составлял эксперт, и отправлял, например, самые популярные товары, а теперь система сама индивидуально подбирает товары – эффект фантастический, втрое лучше, чем при работе эксперта. Отдельно следует сказать про персонализацию промо-рассылок. Раньше для промо, например, к 8 Марта, бизнес делил пользователей самостоятельно условно на две категории – мужчины и женщины, и каждая категория получала собственное предложение. Теперь же система делит сама, и не на пару сегментов, а каждому человеку предлагает индивидуально подобранные товары.

Персонализация CRM в 2,5 раза увеличила конверсии по новым товарам, также мы вдвое увеличили конверсии промо-предложений. Не менее важно, что за полгода нам удалось вернуть из оттока 20 тыс. клиентов. Это достигнуто именно за счет персонализации предложений на уровне каждого отдельного пользователя.

Еще один повод для гордости – онлайн-витрины. Во-первых, персонализация выдачи поиска и каталога. Мы сделали ранжирование списка товаров, которое подстраивается индивидуально под человека в зависимости от того, в каком сегменте он находится и какая у него история покупок. Этот сервис уже запущен и прошел A/B-тестирование, и сейчас задача – масштабировать его на всех пользователей. Эффект персонализации по результатам A/B-тестов составил 4% средней выручки на одного пользователя, это объективно много.

Кроме того, реализован функционал «Похожие товары», «Сопутствующие товары», а также определение ключевых слов и поисковые подсказки.

Наконец, в области ценообразования оптимизирован выбор KVI-товаров. Мы определяем их по своей методике: они не могут быть персонализированными, потому что цена едина для всех. Однако мы используем информацию о наших покупателях: смотрим периодичность покупок, как часто продукты встречаются в чеке, как часто этот товар используется среди людей — и на основании этого определяем список KVI-товаров.

— В каких направлениях планируется дальнейшее развитие?

Мы планируем использовать разные методы машинного обучения для улучшения персонализации. Важно построить «хранилище фич» (feature store), чтобы дата-сайентисты могли быстрее проверять гипотезы, выйти в «реальное время» взаимодействий на сайте.

Мы продолжаем заниматься и текущими задачами: улучшаем существующую модель поиска, а в CRM начинаем работать не только с теми, кто уходит в отток, и активными клиентами, но и с новичками — информацию о них приходится искать вовне. Согласно нашей стратегии, в 2022 планируем дальнейшее развитие онлайн-витрин, работу с оптимизацией ассортимента и массовым промо, построение цифровых двойников складов.

Данные о транзакционном поведении людей всегда были ценным источником информации. Компания QIWI в 2019 году запустила отдельное направление бизнеса, основанное на анализе больших данных. Предсказательная аналитика помогает оценить различные аспекты финансового поведения человека, для того чтобы предложить ему наиболее подходящий продукт с минимально возможной стоимостью риска, заложенной в цену. При этом зачастую речь идет о людях, информацию о которых невозможно получить из других источников. О причинах создания этого направления бизнеса и его особенностях рассказала Юлия Богачева, директор по управлению и анализу данных QIWI и номинант на премию Data Award.

— Как в компании появилось новое направление бизнеса, связанное с анализом больших данных?

Компания QIWI — лидер на рынке платежей в РФ. Наша продуктовая линейка представлена различными продуктами: кошелек, терминалы, платежные переводы Contact, различные решения для бизнеса, позволяющие осуществлять прием платежей и перечислять денежные средства клиентам. Этими сервисами пользуются более 30 млн человек, осуществляющих платежи в адрес более чем 13 тыс. продавцов товаров и услуг.

Так как за время существования мы накопили большой объем данных о транзакционной активности наших клиентов и достаточно успешно использовали данные для улучшения собственных сервисов, в 2019 году было принято решение попробовать запустить отдельное направление бизнеса, основанное на аналитике больших данных.

— Что собой представляют дата-продукты QIWI?

Наши продукты — это различные скоринги и рейтинги, которые позволяют нашим B2B-клиентам лучше узнать их B2C-клиентов (с согласия последних) и предложить им наиболее релевантный продукт или услугу на наилучших условиях.

— Вы заявляете о показателе хитрейта («шанс попадания» — вероятность того, что нужного клиента удастся найти) от 85% до 92% — это впечатляющие цифры. Как их удалось добиться?

В данном случае это исключительно заслуга основного бизнеса QIWI: теми или иными продуктами нашей компании пользуются практически 80% экономически активного населения РФ.

— Какова ваша «фишка», в чем уникальность собранных данных?

Мы имеем дело с такими сегментами клиентов, которых нет или очень мало у классических кредитных организаций. Это так называемые underbanked клиенты, то есть те, кто имеет ограниченный доступ к традиционным финансовым услугам. Причины могут быть разными: географическая отдаленность или просто отсутствие банковских услуг в отдельных регионах. Либо же это специфические возрастные категории — например, молодежь, которая только входит в экономическую жизнь, или технологически неграмотные люди, до сих пор использующие наличные. Скажем, студент хочет получить кредит в банке, и ему предложат очень высокий процент, поскольку о нем нет информации ни в кредитном бюро, ни в самом банке. Мы же про этого человека знаем достаточно много, потому что он совершал регулярные покупки в Интернете, используя сервисы QIWI. Благодаря этому, для таких категорий клиентов становятся доступными кредитные продукты.

— В чем ценность информации о платежном поведении людей, которую видит в своих системах QIWI? Что она может показать?

Объем и разнообразие накопленных нами транзакционных данных позволяют проанализировать поведенческую адекватность человека: как он распределяет свой доход, сколько тратит на развлечения, какими сервисами пользуется, что ему интересно.

— Что «под капотом» созданного решения? На каких платформах оно базируется?

В QIWI закреплен микросервисный подход к созданию продуктов, и наша платформа Big Data не исключение. Наши data-продукты — это отдельные микросервисы с понятным API, который легко интегрируется в систему заказчика, а нам такой продукт достаточно просто масштабировать. Наши основные инструменты при работе с данными — Python и Docker, также мы используем AirFlow, Hive, Spark, Kubernetes и другие компоненты open source.

— Какую долю бизнеса компании занимает новое направление?

Согласно внутренней политике компании, мы не раскрываем финансовую информацию по различным направлениям бизнеса. Но речь идет о выручке в размере десятков миллионов рублей, ожидаем ее кратного роста год от года.

— Какое место интеллектуальные сервисы способны занять в перспективе?

Совершенно очевидно, что в борьбе за потребителей будут выигрывать компании, которые умеют использовать продукты аналитики больших данных для эффективного взаимодействия с клиентом. Сегодня каждый человек получает огромный поток информации, которую он зачастую уже не способен обработать. Поэтому теперь, чтобы привлечь или удержать клиента, любому бизнесу необходимо вовремя предложить нужную услугу или товар по конкурентной цене — иначе предложение будет вне фокуса внимания или быстро забудется. И для выполнения этой задачи необходимы данные и сервисы, основанные на них.

— В каком направлении будут развиваться дата-продукты QIWI?

Локомотивом использования аналитики больших данных в России являются финансовый и технологический секторы. Однако мы видим рост уровня зрелости и в других направлениях бизнеса. Соответственно, мы планируем развивать наши дата-продукты для удовлетворения потребностей растущего рынка.

В столичной Госинспекции по недвижимости автоматизировали процесс выявления нарушений, связанных с землепользованием. Теперь особое внимание инспекторы уделяют «подсвеченным» алгоритмами объектам, имеющим признаки нарушений. Дарья Степанова, заместитель начальника Государственной инспекции по контролю за использованием объектов недвижимости города Москвы и номинант премии Data Award, рассказывает о роли и результатах этого проекта.

— Какова история: как и почему родилась идея этого проекта?

Москва – один из самых динамично развивающихся городов не только в России, но и в мире. В столице насчитывается около полумиллиона объектов капитального строительства, построек и сооружений различного назначения. Они регулярно видоизменяются, проводятся ремонтные и реконструкционные работы, возводятся новые объекты и демонтируются старые, расторгаются и заключаются договоры – все это приводит к изменению границ земельных участков. В наше поле зрения попадают все объекты недвижимости, и объем работы колоссален.

Мы проводим постоянную работу по совершенствованию и разработке новых инструментов контроля. Одним из таких шагов стало внедрение алгоритмов выявления признаков нарушений. Они позволяют нам расширять охват зоны постоянного мониторинга, а также снижать нагрузку на бизнес и предпринимательское сообщество за счет дистанционных объективных методов выявления признаков нарушений без взаимодействия с их правообладателями.

— Какие задачи требовалось решить?

В первую очередь, необходимо было преодолеть проблему различной семантики источников информации, предоставляющих большое разнообразие данных, что значительно осложняло процесс идентификации объектов. Также была проведена большая работа по выстраиванию самого алгоритма, поиску необходимых источников и верификации данных, хранящихся в них. Необходимо было учесть все факторы и риски и не допустить ошибок в логике работы алгоритмов.

— За какое время и какими силами была реализована система?

Проект мы начали в 2020 году, а в прошлом году уже запустили первый алгоритм. В его реализации участвовали сотрудники и группа разработчиков проектного офиса по развитию информационных систем Государственной инспекции по недвижимости, входящей в Комплекс экономической политики и имущественно-земельных отношений столицы.

— Кто и на каких условиях предоставляет информацию для анализа?

Большую часть сведений мы получаем из информационных систем Правительства Москвы, портала Отрытых данных города Москвы, портала Росреестра, также используем открытые источники – например, «Яндекс». Предметом анализа являются технические параметры объектов недвижимости, информация о выданной исходно-разрешительной документации, договорные отношения, параметры объектов по ранее проведенным проверкам, а также сравнение фактического и разрешенного использования объектов недвижимости.

— Какие решения для этого используются?

Алгоритмы построены на платформе Pentaho BI, представляющую собой последовательную систему принятия решений по определенным видам данных (дерево принятия решений).

— Что удалось сделать, какими результатами можно гордиться?

Мы разработали и запустили в работу пять алгоритмов выявления признаков правонарушения. Алгоритм «Отсутствие оформленных земельно-правовых отношений» направлен на выявление объектов без оформленных земельно-правовых отношений и их последующего оформления. «Выявление самостроя» проводит анализ изменения площадных характеристик объекта на предмет соответствия разрешительной документации на строительство. «Неосвоение земельных участков» отвечает за анализ использования территорий, предоставленных под проектирование или строительство. «Нецелевое использование земельных участков» выявляет соответствие разрешенного использования земельных угодий и использования объектов капитального строительства по фактическим данным из открытых источников. Наконец, алгоритм «Самозахват земельных участков» анализирует соответствие границ построек с границами земельных угодий.

Каждый алгоритм помогает сформировать перечень объектов с необходимой проблемной информацией о них и присвоить категорию риска. Далее наши специалисты начинают работу по объектам и в короткие сроки дают заключение о наличии или отсутствии нарушений. Так, с момента запуска программы подтверждено более 3,5 тыс. нарушений в сфере землепользования.

Алгоритмы помогли сократить в четыре раза время на поиск первичных признаков правонарушений. Мы проанализировали более 200 тыс. строений и более 3 млн технической, разрешительной документации и данных открытых источников. Точность выводов алгоритмов составляет 84%.

— В чем заключается важность проекта?

Стратегическая важность, и даже уникальность проекта заключается в том, что система автоматически сопоставляет все необходимые документы и проводит анализ объектов. При отсутствии или несоответствии технической, или разрешительной документации алгоритм выдает признак нарушения. С помощью алгоритмов возможно проанализировать тысячи объектов в кратчайшие сроки и выделить из них именно те, которые обладают наибольшим риском правонарушения.

— Насколько реален сценарий, при котором нарушения будут фиксироваться в полностью автоматическом режиме – как превышение скорости?

Во многом переход к автоматической фиксации выявленных алгоритмами признаков нарушений идет уже сейчас. Благодаря изменениям в федеральном законодательстве в нашем виде контроля можно использовать данные, полученные с использованием работающих в автоматическом режиме средств фото- и видеофиксации нарушений (ст. 74 248-ФЗ). Сейчас мы занимаемся модернизацией нашего вида контроля с еще большим внедрением таких механизмов и все большей автоматизацией принятия решений.

Наш подход, конечно, зависит от типа нарушения. Например, обращения, связанные с использованием объекта недвижимости без оформленных земельно-правовых отношений или захламления земельных участков, в ближайшем будущем можно проверять без участия человека. Сегодня мы видим, что выводы, которые делает алгоритм, объективны, и по ним не требуется дополнительная перепроверка и выезд на место.

Однако сложные нарушения, такие как нецелевое использование земельных участков или возведение объектов самовольного строительства, пока еще требуют сбора доказательной базы, в основном из архивных источников. В этих случаях для нас алгоритм выдает лишь признак правонарушения, он попадает специалисту для проведения камеральной проверки, запроса необходимой архивной разрешительной и технической документации. Решение принимается уже по итогу ручной обработки.

— В каком направлении будет развиваться проект?

Сегодня ведется разработка новых алгоритмов по новым типам правонарушений. Также не прекращается работа по совершенствованию текущих.

Объединить разные платежные системы в единое пространство, работать с любыми формами денег и сделать ненужными карты лояльности – всё это вопрос самого ближайшего будущего. О платформе, реализующей эти задачи, рассказывает Вячеслав Пивовар, директор по работе с экспертами и региональному развитию компании «Цифровые платежи» (торговая марка Joys) и номинант премии Data Award.

— Как родилась платформа Joys? На какие потребности рынка она отвечает?

Идея создания платформы родилась в процессе прохождения первого в России акселератора по большим данным Data Explorer при поддержке фонда «Сколково», Ассоциации больших данных и крупнейших игроков рынка больших данных.

На сегодняшний день на рынке преобладает тенденция построения корпоративных экосистем: это и экосистемы крупных банков, и частных компаний, и даже стартап-проекты часто развивают одновременно несколько продуктов, либо дополняющих друг друга, либо расширяющих продуктовую линейку. С 2018 года мы строили свою инновационную платежную цифровую инфраструктуру, интегрированную с программами лояльности, и уже тогда обратили внимание на то, что в процессе нашей работы формируются большие объемы финансовых и нефинансовых данных. Распространение цифровых денег дало нам возможность получать в режиме реального времени информацию о том, что, где, когда и кто покупает. Применяя современные технологии и методы обработки данных, стало возможным строить прогнозные системы с высокой точностью персональных рекомендаций.

Наш продукт призван повышать удовлетворенность и вовлеченность клиентов наших заказчиков за счет онлайн-предоставления данных по покупательскому портрету клиентов на основе большого числа источников данных и без необходимости интеграции с кассовым ПО; мы повышаем прибыльность клиента, его lifetime value. Говоря простым языком, наши заказчики знают, что у них происходит в рамках взаимодействия человека внутри экосистемы, но стоит ему оплатить товары и услуги за пределами экосистемы, другой картой или цифровым кошельком, эти данные становятся недоступными. Мы можем такие данные агрегировать, обезличивать, анализировать и давать рекомендации по включению продукта или услуги в экосистему, основанные на реальном спросе клиентов наших заказчиков.

Для компаний, производящих востребованные продукты или оказывающие услуги, мы даем возможность попасть на радары крупных экосистем. Для экосистемных компаний мы предлагаем с наименьшими затратами получить продукт или услугу, которая востребована у текущих клиентов, вне рамок их экосистемы.

— Что собой представляет платформа?

Это платежная экосистема нового поколения, посредством шлюзов объединяющая разные платежные системы и позволяющая работать с любыми формами денег, в том числе криптовалютами и цифровыми активами, при оплате товаров и услуг в соответствии с законодательством. Мы позволяем создавать и привязывать к средству платежа многоуровневые системы лояльности ретейла и производителей, работать с большими данными и стриминговой аналитикой. Таким образом, создается платежная инфраструктура, интегрирующая разные цифровые платежные системы: национальные, частные, фиатные, криптовалютные. Разрозненные системы объединяются в единое сквозное платежное пространство. Кстати, мы единственный в России легальный сервис оплаты за товары и услуги криптовалютами.

— Что принципиально иного вы можете предложить по сравнению, скажем, с операторами фискальных данных? Или это то же самое, только для альтернативных платежных сервисов?

Еще до закрытия чека оплаты процессинг Joys получает чек со всеми деталями, включая штрих-код товара. Это дает нам больше информации, чем данные операторов фискальных данных. Мы интегрируем программы лояльности и знаем, кто, что, где, когда и вместе с чем купил. Joys генерирует большие данные о потребительском поведении, позволяет формировать портрет потребителя, анализировать и использовать эти данные, прогнозировать спрос в реальном времени.

На сегодняшний день у нас более 500 компаний-клиентов программ лояльности. Мы сделали уникальный продукт, объединив программы лояльности и метод платежа СБП в одном действии. В момент оплаты по QR-коду происходит оплата и применение условий программ лояльности (начисление, списание и т.п.), это позволяет реализовывать программы лояльности не только торгового предприятия, но и производителей. В скором будущем различные решения, использующие карточки программ лояльности или идентификацию по номеру телефона на кассе, останутся в прошлом.

— Это все в песочницах, или есть продуктивные кейсы?

Наше решение находится на этапе внутреннего тестирования. Мы ведем активные переговоры с коммерческими заказчиками, инвестиционными фондами и частными лицами. Получена заинтересованность в совместной реализации проекта с крупными ИТ-компаниями и корпорациями. В качестве государственной меры поддержи в прошлом году мы получили грант от Фонда содействия инновациям на коммерциализацию нашего продукта с применением технологий искусственного интеллекта. Кроме того, нас поддержал «Яндекс», предоставив грант на использование облачной инфраструктуры и сервисов. В середине года планируем провести пилот с первым коммерческим заказчиком.

— Какова роль блокчейна в платформе?

Архитектура решения позволяет использовать любую блокчейн-сеть совместно с процессингом проекта, в том числе и смарт-контракты для решения различных задач при формировании платежей и формирования индивидуальных маркетинговых предложений, интегрироваться с банками, финансовыми институтами, системами лояльности или создавать новые.

Проект использует внутреннюю валюту, которая используется в процессах для смарт-контрактов и платежей, и это позволяет сформировать единый распределенный реестр платежей и чеков в блокчейне, когда покупатели расплачиваются разными криптовалютами. В блокчейн записывается не только, кто купил и где купил (номера кошельков), но и состав чека, что позволит проводить глубокий анализ потребительского спроса в том числе с использованием искусственного интеллекта, делать анализ уровня продаж, спроса, динамики цен и прочие аналитические исследования.

— Вы активно участвуете в различных акселераторах и программах развития…

Да, только в 2021 году у нас было несколько достижений. Например, мы заняли первое место в акселераторе РСХБ. Второе место по итогам программы развития технологических стартапов Skolkovo Data Explorer. Наша платежная экосистема получила грант 20 млн руб. от Фонда содействия инновациям. Наконец, мы — резидент Инновационного центра «Сколково». Направление экосистемы – платежная цифровая инфраструктура для умных городов на базе технологий блокчейна, больших данных и искусственного интеллекта. Имеем три заявки на патенты, улучшающие новые методы платежей, использование которых запланировано повсеместно в России с 2023 года.

— В чем роль проекта для российского рынка?

Стартапам и бизнесу мы предлагаем готовые финансовые решения экосистемы, доступные программы лояльности и самые передовые цифровые технологии. Для государства мы предоставляем инфраструктуру для перехода на цифровые платежи и возможность построения национальной цифровой платежной системы. С точки зрения социальной значимости, с использованием наших технологий и уникальных токенов мы также делаем искусство доступным широким массам населения, даем возможность обладания через цифровые инструменты, стимулирования и поощрения творческих личностей.

На наших платежных технологиях реализован ряд проектов социальной значимости – например, «Русская политология» (пожертвования ученым, авторам статей); NUTSon – соцсеть, помогающая авторам интересных идей находить средства для реализации своих проектов; Intelligent University – внутренняя бонусно-платежная система международного онлайн-университета непрерывного дополнительного образования.

— В каком направлении будет развиваться проект?

Мы продолжим развитие нашей цифровой инфраструктуры, до конца года планируем завершить интеграции с оставшимися производителями кассового ПО и получить 100-процентный охват рынка России. Это даст нам постоянный поток данных в реальном времени. Кроме того, планируем кратно увеличить количество компаний-клиентов программ лояльности, завершить интеграции с банками партнерами; для ряда банков мы предоставляем решение «последней мили». Нами сформирована стратегия по выходу на международные рынки Азии, Африки и ряда других стран. Совместно с Ассоциацией больших данных мы планируем получить от их партнеров актуальные финансовые датасеты для дальнейшего обучения и коммерциализации нашей технологии искусственного интеллекта.

Есть масса молодых специалистов, которые искренне желают, чтобы качество жизни людей в регионах России и других странах стало лучше за счет цифровых технологий, ребята хотят решать социально-экономические задачи с применением искусственного интеллекта и анализа данных. Осознание того, что можно повысить точность и эффективность принимаемых управленческих решений в социальных сферах, а в ряде случаем создание полезных сервисов для людей как в локальном, так и в международном масштабе, — весьма сильная мотивация. В реализации этих стремлений помогает Агентство стратегических инициатив и команда Центра цифрового развития с проектом Цифровые решения для регионов – DataMasters. Проект реализуется уже три года, и в разное время в его создание и развитие внесли большой вклад Вера Адаева, Михаил Дубцов, Яна Коваленко, Андрей Петров, Даниил Половинка, Валерия Хатян, Татьяна Заикина и Светлана Гиляровская. Международный конкурс по решению глобальных социальных задач World AI & Data Challenge стал площадкой для разработки множества решений, способных приносить реальную пользу людям. Об истории и развитии этого проекта рассказывает Яна Коваленко, директор проектов Центра цифрового развития АСИ, руководитель проекта DataMasters и номинант премии Data Award 2022 .

- Что собой представляет проект «Цифровые решения для регионов – Datamasters», какова его цель?

Проект направлен на решение социально-экономических задач за счет внедрения механизмов управления, основанных на данных. В его рамках развиваются практические компетенции в государственных органах по управлению, основанному на данных и компетенции в области технологий искусственного интеллекта и анализа данных среди дата-сообщества.

Проект нацелен на преодоление дефицита актуальных данных для принятия управленческих решений в органах власти, сокращение издержек в государственном секторе и улучшение качества жизни людей. Одним из основных инструментов формирования цифровых решений является Международный конкурс цифровых решений World AI&Data Challenge, направленный на объединение государств, сообществ, владельцев данных, ИТ- и дата-специалистов для решения глобальных социально-экономических задач и тиражирования лучших практик по всему миру.

- Как пришла идея создания проекта?

В рамках образовательного интенсива «Остров 10-21» команды органов государственной власти регионов обучались управлению на основе данных, где мы увидели запрос на создание цифровых решений. При этом у органов власти отсутствовали компетенции в части постановки задач на основе данных, разработки самих решений и их внедрения. Для развития этих компетенций и закрытия обнаруженных потребностей мы запустили в 2019 году «Конкурс цифровых решений», сначала только в России. Его основным элементом стало создание цифровых решений на открытом коде для решения социально-экономических задач регионов. Практика конкурса вызвала большой интерес со стороны партнеров, а также ряда зарубежных стран. В связи с этим в 2020 году АСИ совместно со Всемирным банком продолжило реализацию проекта как международный конкурс цифровых решений World AI&Data Challenge по решению социально-экономических задач.

- Каковы «фишки» конкурса, в чем его отличия от множества других?

Конкурс состоит из трех этапов. На первом этапе конкурса выявляются проблемы в регионах и странах, которые затем формулируются в задачи. Важным критерием постановки задачи является достаточность предоставленных данных для ее решения, либо возможность найти данные в открытых источниках.

На втором этапе команды ИТ-специалистов разрабатывают решения для отобранных наиболее качественных задач.

Финальный этап, который отличает конкурс от множества других соревнований и хакатонов – этап внедрения. Именно на этом этапе формируется качественный диалог между сообществами. Ведь когда решения разработаны, регионы совместно с командами разработчиков внедряют их с максимально заявленными социально-экономическими эффектами. От слаженности их работы зависит успех внедрения. На этом этапе осуществляются доработки под нужды заказчиков, и важно корректно определять требования, тестировать решения с профильными специалистами и устанавливать метрики эффективности.

Оптимизация размещения экипажей скорой медицинской помощи, рекомендательная система помощи врачам при назначении лекарственных препаратов, анализ потока посетителей общественных пространств по видео с помощью искусственного интеллекта, сервис составления школьных расписаний на основе генетических алгоритмов машинного обучения, анализ содержания загрязняющих веществ в водных объектах – только часть решений, которые уже используются или пилотно внедряются в регионах.

- Откуда берутся данные для решения актуальных задач регионов?

При постановке задач регионы загружают имеющиеся у них обезличенные данные согласно заявленной проблематике, а также прикрепляют ссылки на открытые источники – например, данные Росстата, региональные и международные источники, открытые библиотеки данных или данные из открытых репозиториев. Кроме того, по мере прохождения акселерации задач эксперты из ведущих компаний страны обогащают задачи данными (например, государственными наборами данных, данными операторов сотовой связи и прочими источниками информации). Создавая свои решения, команды разработчиков используют сервис GitASI, создают в нем репозитории, в которых размещают решения на открытом коде, инструкции по развертыванию и лицензии. Там же ребята хранят и дополнительные данные, которые нашли самостоятельно в рамках работы над решением на втором этапе конкурса.

Все данные, задачи и цифровые решения публикуются на платформе DataMasters – в библиотеке задач или библиотеке цифровых решений на открытом коде.

- Каких результатов уже удалось достичь?

C 2019 года регионы России и представители других стран подали на конкурс более 450 задач.

Решения нашего сообщества уже помогают снижать аварийность на дорогах, бороться с бедностью, повышать туристическую узнаваемость регионов, помогать слабовидящим в письменной коммуникации, развивать НКО, оперативно реагировать в период весеннего половодья.

Таким образом, готовые цифровые решения на открытом коде, разработанные с использованием собственных данных или данных, предоставленных крупными игроками отрасли и разработчиками, встраиваются и внедряются в административные и бизнес-процессы. Это влечет за собой прорывное развитие не только различных отраслей экономики, но и сферы государственного управления. На сегодняшний день уже более 30 регионов и несколько стран внедрили решения конкурса.

- Насколько велик охват проекта?

В рамках проекта мы активно развиваем дата-сообщество, в котором на сегодняшний день уже более 16 тыс. человек.

Всего в проект вовлечено более 90 российских и международных экспертов в сфере AI&Data, в том числе и из таких крупных компаний, как «Мегафон», «Яндекс», МТС, «Сбер», Microsoft, «Вымпелком», Промсвязьбанк и т.д. При этом мы развиваем и региональную сеть экспертов, которые участвуют в проведении хакатонов и помогают при внедрении решений.

На сегодняшний день в общей сложности проведено порядка 100 дата-хакатонов с участием более 500 команд разработчиков. В проекте уже участвуют порядка 70 регионов и семи стран (Узбекистан, Казахстан, Украина, Беларусь, Сингапур, Молдавия, Киргизия) в разных форматах от постановки задач до внедрения и тиражирования, в том числе разработчики из 82 регионов России и 26 стран.

В проект активно вовлекаются вузы страны. Это возможность «прокачать» компетенции студентов и выявить, каких компетенций не хватает. Кроме того, вузы могут использовать реальные задачи заказчиков проекта и решенные примеры для обучения студентов.

- Каков возрастной состав участников и роль молодежи в этом проекте?

Мы видим, как в проект вовлекаются участники различного возраста, уровня ИТ-навыков и специализации. В том числе этому способствует отсутствие жестких требований по формированию команд; главное требование – участникам должно быть больше 14 лет. Тем не менее, в проекте преобладает молодежь. Например, в этом году возраст участников преимущественно составлял 18-25 лет. При этом важно отметить, что девушки не отстают от парней в разработке – их более 40%. Самыми активными участниками остаются московские ребята, далее идут команды из Свердловской области, Санкт-Петербурга, Ростовской области и Чеченской Республики. В проекте участвует и вузовское сообщество – это команды из 175 вузов страны. Топ-5 регионов по вовлеченным студентам: Ростовская, Тамбовская, Астраханская, Липецкая, Свердловская области.

- Приведите пример наиболее значимых социальных задач, которые удалось решить.

Действительно, на конкурсе бывают как локальные задачи, так и более масштабные. Например, в 2019 году была решена задача по анализу профиля бедности. Результатом его внедрения в Ростовской области стал выход более 10 тыс. семей региона из группы людей с доходами ниже прожиточного минимума. У некоторых жителей региона после заключения социальных контрактов (договоров финансовой поддержки между малоимущими семьями и органами соцзащиты населения) даже появился свой бизнес. Кроме того, в результате использования решения был обнаружен еще один район с высоким присутствием малоимущих на северо-востоке региона. После этого министерство труда и социального развития Ростовской области внесло изменения в бюджет и увеличило сумму на социальные контракты практически вдвое, а также предусмотрело новые виды мер поддержки согласно портрету малоимущих семей. Это решение внедрено уже более чем в пяти регионах и показало хорошие эффекты.

Также в результате взаимодействия с представителями разных сообществ мы увидели, что есть ряд социальных задач, которые уже может решить искусственный интеллект – например, распознавание азбуки Брайля. Один из участников конкурса разработал решение, позволяющее сделать фото страницы с брайлевским текстом и получить ее расшифровку в виде обычного текста. Благодаря этому решению у преподавателей инклюзивных школ снизилась нагрузка на глаза и упростилась работа в период дистанционного режима образования. В семьях, у которых есть незрячие дети, появилась возможность у родителей проверять домашние задания и привлекать для детей репетиторов, не владеющих шрифтом Брайля. Самое главное, данное решение значительно расширило возможности письменной коммуникации незрячих людей с родственниками и обычными людьми. Это решение используется 84 регионами России, Узбекистаном и другими странами.

Важно отметить, что в рамках проекта мы не только ищем решения для конкретных задач – на местах формируется принципиально другая система управления, которая позволяет принимать более выверенные, глубоко просчитанные решения. Данные и разработанные на их основе инструменты позволяют повысить эффективность расходования бюджетных средств. Например, приоритезируются траты на дорожную инфраструктуру в местах аварийности для снижения ДТП.

Одно из наиболее перспективных решений по мониторингу аварийности на дорогах развернуто для всей страны, активно используется в 40 городах России и в Молдове. Сервис представляет собой интерактивную карту ДТП и позволяет выявлять очаги ДТП, подбирать меры по снижению факторов, влияющих на их возникновение (камеры, светофоры, лежачие полицейские), выявлять неочевидные закономерности и предсказывать аварийно-опасные участки, выявлять выполнение социального стандарта по обеспечению доступности территории общественным транспортом.

Еще одна любопытная практика, которую массово внедряют уже более 30 регионов – анализ цифрового следа туриста. Она позволяет отображать «цифровой портрет» туриста на основе анализа открытых данных, и любой субъект РФ сможет составить маркетинговую стратегию по привлечению туристов на основе анализа социальных сетей, таргетировать поток из других регионов, увеличить посещаемость действующих туристических объектов и гостиниц.

- В каком направлении планирует развиваться DataMasters?

Мы планируем и дальше развивать культуру разработки, применения и доработки решений на открытом коде как среди органов власти и разработчиков нашей страны, так и среди других стран. Нам важно, чтобы на платформе DataMasters появлялись решения, разработанные не только в рамках нашего проекта, но и созданные органами власти и командами разработчиков или крупным бизнесом с развитой ИТ-функцией. Примером может служить решение, разработанное Центром искусственного интеллекта МТС на основе технологий компьютерного зрения, которое помогает в сохранении и изучении дальневосточного леопарда.

Со своей стороны, мы будем валидировать и тиражировать такие решения – это будет способствовать быстрому росту их качества и эффективному использованию бюджетов на ИТ. Сегодня у разработчиков мало опыта монетизации решений на открытом коде, поэтому акселерация команд в этом направлении – одна из перспектив проекта. Мы также будем развивать библиотеку данных в социально-экономических сферах и расширять географию проекта.

Развитие экосистемы «Сбера» потребовало перехода на новый уровень организации управления данными: возникла необходимость предоставить к ним доступ широкому кругу пользователей внутри компании и реализовать работу с данными как сервис. Нужно было дать пользователям возможность самостоятельно искать и заказывать данные, а кроме того, обеспечить автоматизацию процессов data governance и безопасности. Речь идет о создании «единого окна» доступа к данным, объем которых уже превысил 100 Пбайт.

Решением проблемы стало внедрение разработанной системы «Супермаркет данных», в рамках которой пользователь, работая с каталогом данных «Сбера» с применением поиска на естественном языке, может заказывать данные разово или получать их в виде регулярной поставки. При этом пользователь освобожден от выполнения служебных рутинных операций, связанных с получением доступа, изучением инфраструктуры и структуры данных и т. п., — все процессы централизованы и лежат «под капотом» клиентского сервиса.

О создании «Супермаркета данных» рассказали номинанты премии Data Award 2022 Борис Рабинович, старший управляющий директор — директор Департамента управления данными Сбербанка, CDO «Сбера», и Мария Юшанова, начальник Управления распространения данных Сбербанка.

— Каким был процесс получения данных пользователями раньше? В чем заключались ключевые проблемы?

Борис Рабинович: Для того чтобы начать использовать данные, сначала требовалось понять, где они расположены. И в банке, и в любой другой крупной компании есть множество учетных, клиентских и прочих систем. Аналитики должны были выяснить, где можно раздобыть необходимые данные, и обратиться за доступом к ним. После оформления всех необходимых заявок и их согласования приходилось разбираться со структурой данных и разрабатывать ETL-процесс для загрузки информации в то место, где будут строиться бизнес-решения.

Одно дело, когда такая проблема касается десятка или даже сотни сотрудников, и совсем другое — когда их счет идет на тысячи. Поэтому появилась идея оптимизировать и автоматизировать этот процесс: создать описание данных, их структурированный каталог, облегчить заказ данных, упростить доступ к ним. Но самое важное — заменить разработку тысяч ETL-процессов на единый сервис поставки данных. В масштабах «Сбера» это кратно сокращает трудозатраты и время доступа к данным. Важно отметить, что данные собраны в полном соответствии с действующим законодательством, с разрешения клиентов, и хранятся и обрабатываются они только в обезличенном виде.

— В чем суть созданного решения?

Б.Р.: Цель реализации нашего дата-сервиса — радикальное сокращение времени на доступ к данным, а также упрощение их поиска и потребления. Все происходит аналогично тому, как мы создаем заказ в интернет-магазине: находим нужный «товар» через поисковую строку на портале или в каталоге, добавляем в «корзину» и оформляем разовую или регулярную доставку.

Если раньше для получения данных требовался опытный ИТ-специалист, то теперь процесс доступен любому сотруднику. Более того, прежде даже специалисту на поиск, доступ и выгрузку данных требовалось до 60 дней, а сейчас процесс занимает не более трех часов.

Пользователь может заказать данные в пакетном режиме (разовая поставка, регулярная поставка по времени или по событию) в виде снэпшота или инкремента. Кроме того, работает потоковая поставка данных в режиме, близком к реальному времени.

— Из каких компонентов состоит «Супермаркет данных»?

Мария Юшанова: Важно понимать, что «супермаркет» — не только магазин с данными, где осуществляется заказ и дистрибуция данных. Это конгломерат, который обеспечивает все сопутствующие сервисы.

Супермаркет состоит из трех крупных частей: портал, бэк-офис и ядро, где происходит выполнение и обработка поступающих заказов. Обычно клиентский путь таков: пользователь заходит в супермаркет, видит структурированный каталог либо пользуется поиском на естественном языке — и поисковик предлагает ему необходимые дата-сеты с описанием. После этого пользователь набирает себе «в корзину» необходимые данные, при необходимости накладывает на них фильтры. Если у пользователя еще нет доступа к этим данным, ему не нужно создавать заявку на доступ — и в этом ключевое изменение: она будет сформирована автоматически и обработана по соответствующим правилам, в зависимости от категории данных.

— Сколько времени потребовалось на реализацию проекта, какие этапы он включал?

М.Ю.: Мы начали этот проект еще в 2019 году — с сессии дизайн-мышления. Мы видели возможности для ускорения доступа к данным и думали над тем, как их можно оптимизировать, — именно так и родилась идея супермаркета данных. Далее мы разработали MVP, который работал сначала только на пакетные загрузки и лишь внутри платформы Hadoop. Следующим этапом шло усложнение функциональности: мы развивали доставку на разные площадки, подключали различные системы хранения, увеличивали частоту поставок, охватили потоковые данные. Третий этап включал развитие с точки зрения управления доступом и правил data governance.

В этих направлениях зачастую работа шла параллельно — у нас всегда амбициозные цели: требуется всё, сразу и качественно. Поэтому понадобился еще год после появления MVP.

Мы увеличиваем ассортимент данных, расширяем «зоны» доставки данных, повышаем вариативность поставок и оптимизирум многое другое. На данный момент у нас 57 интеграций, включающих логистику от поставщика до потребителя в разных режимах в сопровождении обеспечивающих сервисов, таких как сервисы защиты данных, федеративного доступа, сервисов поставки и так далее.

— Расскажите об этапе дизайн-мышления.

М.Ю.: Это наша нормальная практика, появившаяся с переходом на Agile и ставшая важнейшей частью всех проектов. Таким образом совместно с заказчиком мы проговариваем не только запуск крупных продуктов, но и любые достаточно крупные изменения в них. Это позволяет сделать сервисы правильнее и удобнее, учесть все возможные нюансы, взглянуть на проблему со всех точек зрения. Кстати, в таких сессиях участвуют не только бизнес-пользователи, но и сотрудники служб безопасности и сопровождения.

Основные пожелания были очевидны: чем быстрее доступ к данным, тем лучше, и при этом решение не должно обойтись слишком дорого. Но именно в процессе дизайн-мышления, в котором участвовали разные категории потребителей, был найден оптимальный вариант взаимодействия пользователя с сервисом — принцип самообслуживания. Кроме того, мы выявили потребность в поиске данных на естественном языке и в наличии рекомендательного сервиса.

— Какие организационные изменения потребовались?

Б.Р.: Функции CDO в банке уже много лет, все процессы и политики уже давно выстроены. Поэтому в SberData была просто выделена команда, отвечающая за этот инструмент.

— Как «Супермаркет данных» стыкуется со стратегией управления данными, какое место в ней занимает?

Б.Р.: Это ключевой элемент в стратегии управления данными, и подразделение кибербезопасности нас в этом поддерживает. «Супермаркет» — единая точка доступа к данным в контуре «Фабрики данных» (единой платформы для работы с данными), и нет никакого другого способа получить данные, кроме как через него. Здесь проходят все процессы, связанные с правами доступа, распространением данных.

В рамках платформы сам бизнес-заказчик может увидеть все, чем он владеет, какие у него есть подписки, каков их статус. Аналогично, все службы могут понимать, кто к каким данным обращается, какие у кого права. Это краеугольный камень работы с данными.

— Сколько людей работает над этим продуктом?

Б.Р.: В SberData за «Супермаркет данных» отвечают около 40 человек.

— Поиск на естественном языке в каталоге данных — действительно громадный шаг навстречу пользователям. Как это решение реализовано, что оно собой представляет?

М.Ю.: В первую очередь данные должны быть описаны, причем строго по стандартам. У нас есть продукт «Карта данных», в нем владельцы данных получают физическую модель данных, за которую отвечают, и описывают эти данные на естественном языке по определенным стандартам. Далее описание данных выгружается в «супермаркет», и через поиск, реализованный на ElasticSearch, становится доступным пользователям.

Обычно пользователи не вводят запрос полностью, а указывают, например, «кредиты юридических лиц». Этого достаточно для того, чтобы подтянуть информацию по всем необходимым таблицам и атрибутам.

— На какие результаты от «Супермаркета данных» рассчитывали, как они соотносятся с практикой?

Б.Р.: Важным эффектом стала демократизация данных, именно на нее мы рассчитывали больше всего. Как и в случае с любым хранилищем, вопрос финансового эффекта — очень спорный, на него вряд ли кто-то сможет ответить. Вероятно, его можно оценить через человеко-дни в «условных миллиардах» для банка. Но ведь речь идет не столько об экономии времени работы специалистов, сколько об ускорении процессов и сокращении времени вывода продуктов на рынок. Поэтому мы больше склонны рассматривать эффекты с точки зрения ресурсов, занятых в работе с данными, и задействованной в этом инфраструктуры.

У платформенного подразделения есть преимущество в том, что мы можем принять проактивное решение о развитии инструментов управления данными, которые, по нашим оценкам, должны быть востребованы бизнесом. И бизнес-подразделения (возможно, после некоторых колебаний) действительно впоследствии начинают их применять.

До реализации «Фабрики данных» мы использовали «озерца» данных. Они были плохо связаны между собой, имели собственную инфраструктуру и процессы загрузки данных, сопровождения и разработки. Когда внедряется централизованный инструмент, для меня как CDO, отвечающего за платформу, важна его востребованность. И я вижу, что на платформу приходят десятки, сотни, а затем и тысячи человек — все сообщество потребителей данных переходит на целевую инфраструктуру. Ключевой драйвер этого «великого переселения» — продукты, которые существенно упрощают жизнь пользователей. Этот комплекс автоматически затягивает в себя все наше комьюнити D-people — дата-сайентистов, аналитиков и инженеров. Мы на это рассчитывали и ровно это получили в итоге. Более того, возможно, мы недооценили востребованность «супермаркета» и сейчас видим рост потребления сервисов, существенно опережающий заложенные темпы.

— А какими количественными результатами можете похвастаться?

М.Ю.: На текущий момент через «Супермаркет данных» по подпискам осуществляется более 70 тыс. поставок данных ежемесячно для более чем 2700 пользователей, и рост продолжается. Мы добились огромных результатов в высвобождении времени наших сотрудников от рутинных операций. С внедрением тегирования данных мы автоматизировали доступ к ассортименту. А после добавления подписки в корзину и разрешенного доступа к данным можно получать данные с задержкой от 15 минут до 3 часов, в зависимости от их объема.

Важно отметить, что платформа «Супермаркета данных» обеспечивает потоковую поставку данных в режиме, близком к реальному времени. В планах — довести производительность системы до 10 млн операций в секунду, что позволит вывести, например, рекомендательные системы на качественно новый уровень.

— Насколько радикальным стало сокращение времени разработки продуктов?

М.Ю.: Поиск данных и доступ к ним занимал несколько недель, и еще полтора месяца — разработка процесса ETL. Это время могло различаться в зависимости от объема и вида данных, а также других факторов, но в среднем составляло около трех месяцев. Именно о таком сокращении сроков реализации проектов идет речь, и, с учетом количества запросов на данные, это гигантские объемы.

— В результате внедрения «Супермаркета данных» у всех пользователей появилась возможность попробовать себя в новой роли — специалиста по работе с данными. Насколько востребованным это оказалось в реальности?

Б.Р.: ИТ-специалисты могут сами извлечь необходимую часть данных с помощью SQL-запроса и проанализировать их. Но ведь большинство сотрудников не обладают такими знаниями. Поэтому было важно дать им инструмент, позволяющий без какого-либо программирования и чьей-либо помощи получить данные и заняться их анализом. Благодаря этому нам действительно удалось привлечь новые группы бизнес-пользователей.

Важность фактора удобства подтвердил резкий скачок объема потребляемых данных. Планируя инфраструктурные мощности для «супермаркета», наши специалисты проанализировали число потенциальных пользователей, наиболее востребованные данные и частоту их потребления. Однако почти сразу же мощностей перестало хватать. Пользователи стали заказывать кратно больше данных, чем делали это обычно. Анализ причины оказался прост: людям было интересно сделать заказ, положив данные в корзину легко и быстро.

— Было ли что-то еще, что вызвало ваше удивление?

М.Ю.: Все же процесс был выстроен так, что вначале мы пообщались с нашими пользователями, узнали их потребности и пожелания и лишь затем их реализовали. Поэтому других сюрпризов, помимо скачка потребления данных, не было.

— В каком направлении будет развиваться проект?

Б.Р.: В дальнейшем предполагаем развивать клиентские пути и повышать удобство сервисов. Например, мы планируем реализовать функционал «джойнов» — объединять данные из разных источников. Мы видим, что в этом есть потребность: многие агрегируют информацию в собственных витринах или лабораториях. Если сотрудник кладет в одну подписку бухгалтерскую информацию и данные о сделках, то понятно, что в дальнейшем он будет объединять их между собой. Мы можем брать это на себя и сразу формировать джойн при предоставлении подписки. Это качественное улучшение — доставлять не только сырые данные для анализа, но и полуфабрикаты, готовые к применению.

Кроме того, мы прорабатываем внедрение нескольких стримов, связанных с искусственным интеллектом, — например, по прогнозированию объемов нагрузки, производительности и надежности логистической цепочки. Это позволит существенно улучшить клиентский опыт, повысить доступность данных и расширить круг их потребителей.