Статьи

Внедрение «Платформы данных и глубокой аналитики» для групп «Уралхим» и «Уралкалий» является одним из этапов стратегии цифровой трансформации. Цель этого проекта — создание экосистемы данных, которая обеспечивает их сбор, обработку и хранение с целью поддержания бизнес-инициатив в части цифровизации, создания цифровых двойников и прогнозной аналитики для процессов и активов компании. О реализации проекта рассказывает Дмитрий Шведов, заместитель руководителя департамента цифровизации компании «Уралхим» и номинант на премию Data Award.

— Когда и почему был начат проект «Платформа данных и глубокой аналитики»?

«Уралхим» — большая производственная структура, где специалисты из множества подразделений постоянно занимаются расчетами и анализом информации. Каждый день коллегам поступают просьбы предоставить текущие данные по произведенной продукции, маржинальности, издержкам, подготовить финансовые сводки по проектам, ключевым финансовым показателям и пр. Именно поэтому было принято решение внедрить платформу данных и глубокой аналитики — чтобы снизить участие человека в процессе, сократить время коммуникации, необходимое для процесса «вопрос — обработка — ответ», и предоставить необходимую информацию в нужное время.

— Какие цели преследовало создание платформы? Какие проблемы были самыми острыми?

В первую очередь проект позволяет обеспечить получение данных из информационных систем благодаря их накоплению в корпоративном хранилище. Создание единой платформы снижает стоимость владения данными за счет того, что теперь их могут «переиспользовать» потребители из разных бизнес-направлений. С помощью компонентов платформы мы решаем задачу учета данных в компании, обеспечиваем их безопасность и защиту. Кроме того, решаем острые проблемы в части управления качеством данных, улучшаем их сопоставимость на базе НСИ, предоставляем корпоративную (интегрируемую) информацию за счет мастер-данных; обеспечиваем качественными корпоративными данными процессы интеграции между информационными системами. Также мы формируем витрины данных для сотрудников компании (для проведения аналитики) и предоставляем наборы данных для создания и обучения цифровых моделей.

— Как вы выбирали подходы? Каким принципам пытались следовать?

Для реализации проекта «Платформа данных и глубокой аналитики» был выбран подход на основе гибридного размещения компонентов платформы данных. Для каждой из подсистем сервисы могут размещаться как в облачной, так и в локальной инфраструктуре, что обеспечивает гибкость при распределении нагрузки и предоставлении сервисов по обработке и хранению данных. При создании платформы мы руководствовались несколькими ключевыми принципами. Например: принцип единого управления данными — реализация сквозного процесса в рамках всех операционных процессов компании; принцип вовлеченности — разработка и внедрение соглашений о качестве данных совместно с владельцами данных. Не менее важен принцип непрерывности: управление данными — это непрерывный процесс, нельзя допускать деградации моделей и структуры данных.

— Какие составляющие включает в себя платформа?

Платформа данных включает в себя подсистему сбора данных на основе экосистемы Apache, подсистему управления и описания данных на основе решений Informatica Axon и Atlassian, подсистему хранения на основе продуктов Microsoft, PostgreSQL и облачных сервисов Sbercloud, а также лабораторию ИИ — Jupyter и Sbercloud ML Space. При выборе решений в первую очередь учитывалась универсальность самих инструментов (возможность использовать их для различных типов и объемов данных) и, конечно, стоимость владения и поддержки инструментов и компонентов платформы. Важно, что компоненты платформы позволили обеспечить самостоятельную работу «гражданских» аналитиков из бизнес-функций. После прохождения обучения в школе аналитики данных они самостоятельно могут подготавливать данные с помощью пользовательских ETL-инструментов и разрабатывать аналитические приложения без участия ИТ-специалистов. А для «продвинутых» бизнес-аналитиков платформа дает возможность обучить простые прогнозные модели на основе накопленных наборов данных.

— Платформа сочетает «традиционную» и облачную части. В чем роль каждой из них, как они взаимодействуют?

Действительно, платформа данных строится на основе тесного взаимодействия облачных сервисов и локальной инфраструктуры. Локальные компоненты отвечают за сбор данных из внутренних информационных систем компании, обеспечивают хранение наиболее чувствительных данных и участвуют в интеграционных процессах компании. Облачные же компоненты позволяют гибко регулировать потребление вычислительных мощностей и использовать сервисы для сложных расчетов больших объемов данных, а также для разработки и обучения цифровых моделей. Кроме того, в облачной инфраструктуре оптимально размещать «холодное» хранилище и исторические данные компании.

— В чем роль этого проекта для компании?

Важно, что в ходе проекта не только создается инфраструктурная часть, но и формируются data-продукты — цифровые модели, такие как прогноз валютного риска, дебиторской и кредиторской задолженностей, роста цен на основании внешних факторов, объема запаса ТМЦ на складах, а также выполняется предиктивная аналитика по валковому прессу и производится автоматическое распределение заявок пользователей на первой линии поддержки. Отдельно можно выделить возможность построения цифровых двойников оборудования на основе исторических данных, что позволит заблаговременно обнаруживать проблемы в работе и оповещать о вероятности поломок оборудования.

— Насколько близко удалось подойти к созданию цифровых двойников? Каковы успехи в этом направлении?

В 2021 году мы подготовили и протестировали девять цифровых моделей, и некоторые из них уже в начале 2022 года были переведены в промышленную эксплуатацию. В 2022 году мы планируем реализовать более 20 пилотов по ключевым бизнес-направлениям «Уралхима».

— Приведите несколько показательных примеров, когда, благодаря построенной платформе данных, был достигнут заметный бизнес-эффект.

Например, благодаря качественным данным из платформы, бизнес-эксперты выявили некорректные данные, поступающие через интеграционную шину информационных систем. Теперь бизнес-функции полностью доверяют данным, накопленным в платформе, и используют ее как независимого «эксперта». При подготовке аналитических записок руководству бизнес-эксперты отмечают быстроту получения необходимой информации из платформы, что ускорило подготовку документов в разы.

— В каком направлении будет развиваться платформа?

В 2022 году мы продолжим работу над аналитическими показателями и постараемся вовлечь в нее еще больше коллег. Кроме того, сосредоточимся на развитии процессов проверки качества данных в корпоративном хранилище данных, а также на разработке прогнозных моделей по нашим ключевым показателям.

Для любой компании данные представляют значительную ценность. Рисковать их утечкой, и тем более делиться ими готовы немногие. Однако часто встречаются ситуации, когда объединение данных разных компаний позволяет улучшить создаваемые математические модели. Справиться с проблемой позволяет платформа конфиденциального совместного машинного обучения, реализованная компанией oneFactor. Платформа дает возможность безопасно провести обучение и исполнение моделей на данных нескольких поставщиков, сохранив данные владельцев в неприкосновенности. О реализации этого проекта рассказывает Виктор Стрелков, директор по разработке oneFactor и номинант на премию Data Award.

— В чем суть платформы конфиденциального совместного машинного обучения?

Эта платформа позволяет провести обучение на данных любого количества поставщиков без раскрытия этих данных. Мы предоставляем платформу, которая включает в себя набор инструментов, типовых для дата-сайентиста, и даем возможность подключить к ней произвольное количество поставщиков данных. При этом поставщиком данных может быть тот же самый клиент, который хочет обучиться на совместных данных: наших, своих и данных третьего лица. Данные при этом не раскрываются. Фактически они представляют собой набор хэшей — совершенно нечитаемую информацию для дата-сайентиста. Он сможет обучить модель и исполнить ее на этой же платформе, но при этом у него нет возможности ни сделать какие-либо выводы о данных, ни получить какие-то инсайты, не говоря уже о скачивании и сохранении.

— Почему это важно?

С одной стороны, повсеместно растет спрос на защиту данных — как частных, так и корпоративных. Каждый обладатель данных все яснее понимает, что информация — это большая ценность, которую демонстрировать в раскрытом виде не следует. С другой стороны, наблюдаются попытки использовать машинное обучение в процессах всех отраслей. Объединение данных из различных источников (и это доказано нашим исследованием) сильно повышает качество машинного обучения. Мы объединяем два этих тренда в своем решении.

— Как родилась идея платформы конфиденциального совместного машинного обучения?

Как это часто бывает в таких случаях, изначально это решение мы создавали для себя. Около пяти лет назад мы делали финансовый скоринг для сервисов финтеха. Сначала только на собственных данных, которые не надо было никому показывать: так было проще. Но аппетиты растут, все хотят повышать точность своих моделей: это напрямую отражается на затратах финансовых организаций, на количестве резервов, на размере прибыли и т. д. То есть точность используемых моделей напрямую влияет на эффективность бизнеса. Мы постоянно проводим исследования в части улучшения моделей и нашли поставщика данных, нового для нас, — это один из провайдеров финансовых услуг. Работы с данными провайдера проводили в закрытой переговорной на ноутбуке с запаянными USB-портами, под наблюдением камер, без допуска в туалет — высший уровень физической изоляции. После обучения модели на объединенных данных получили существенный прирост точности — до 10–15%, это очень много.

Но как запустить полноценное решение? И мы создали внутреннюю платформу, в которую партнер загружал данные в зашифрованном виде. На этих данных удалось обучить и запустить в эксплуатацию модель, дающую большой прирост точности скоринга. Накопив опыт внутреннего использования в 2020–2021 годах, мы признали, что это отличное решение, достойное вывода на внешний рынок. Такие запросы уже были: приобретая у нас скоринг, банки интересовались, можно ли для улучшения модели добавить собственные данные. В третьем квартале 2021 года мы создали MVP платформы с интерфейсами, возможностью подключения новых поставщиков, шифрованием данных и т. д. И сейчас мы готовы предложить ее рынку.

— Что технически представляет собой созданное решение?

Краеугольный камень защищенных вычислений — это технология Intel Software Guard Extensions, которая позволяет защитить область памяти от любого несанкционированного доступа, в том числе с привилегиями администратора. Даже получив физический доступ к серверу, нельзя получить доступ к данным. Было важно защититься от трех сценариев атаки: чтобы данные не мог получить ни администратор сервера, ни аналитик, который обучает модели, ни поставщик данных. Технология SGX закрывает все три вероятных сценария компрометации данных.

— Откуда берутся кросс-индустриальные данные, с которыми ведется конфиденциальная работа?

Кросс-индустриальные данные состоят из трех больших блоков. На предлагаемой нами платформе уже есть наши данные и данные провайдера финансовых услуг. Третья составляющая — это данные самого клиента.

Рассмотрим, например, лидогенерацию на платную подписку. Есть гипотеза, что платную подписку больше покупают люди, в окружении которых кто-то ее уже купил. У компаний, занимающихся электронной коммерцией, есть данные о купивших подписку, но у них нет данных о связях этих людей. А в других индустриях эти связи есть, но информацию о них ни в коем случае нельзя раскрывать. С согласия конечных пользователей клиент может загрузить свои данные, не раскрывая их, и путем объединения с этими данными на нашей платформе получить результат: с какой вероятностью новый человек купит платную подписку.

— Кто является целевой аудиторией вашего решения?

Пользователи платформы — дата-сайентисты, а клиенты — это крупные компании и иногда представители малого и среднего бизнеса. Это организации, которые уже разработали модели машинного обучения на собственных транзакционных данных и провели цикл оптимизации бизнеса с использованием Data Science и машинного обучения, а теперь хотят повысить эффективность процессов со встроенными в них моделями машинного обучения. Мы предоставляем этим компаниям новые для них данные, c помощью которых можно качественно улучшить точность моделей, и даем возможность проводить эксперименты.

— Каких результатов удалось достичь?

В первую очередь это наш проект «совместного скоринга»: мы с партнерами делаем новый продукт и продаем его. С одним из клиентов выходим на промышленную эксплуатацию. И в разной степени внедрения находятся проекты в нескольких крупных банках, два-три из них планируется запустить в эксплуатацию в этом году.

— Насколько сильный прирост качества моделей дает совместное машинное обучение?

Показательный пример: удалось увеличить точность модели банковского и рискового скоринга до 15%. Очень значимый результат, потому что это примерно три пункта коэффициента Джини. Повышение этого коэффициента хотя бы на один пункт — уже веский повод для внедрения системы. А когда речь идет о росте на три пункта Джини, заказчик часто готов даже на сложные и затратные проекты.

— Способно ли ваше решение повлиять на будущее рынка платформ машинного обучения?

Да, мы рассчитываем убрать барьер дата-паранойи и дать машинному обучению развиваться. Организации должны повышать эффективность без боязни раскрыть или потерять свои данные. Есть и другие компании, которые идут в схожем направлении, но используют другие подходы.

— Какие вы видите перспективы для развития платформы?

Суперрезультатом стало бы объединение всех решаемых нами задач (машинного обучения, Auto ML, подсистем лидогенерации и т. д.) на одной платформе — создание подобия «Единого окна маркетинговых коммуникаций».

Сценарий из недалекого будущего: к платформе подключается дата-сайентист, выбирает для себя любые источники данных, обучает модель, подключает каналы коммуникации, при необходимости проводит A/B-тест, видит эффективность модели, получает достаточную конверсию, ставит Auto ML. Далее каждый день эта модель переобучается и выполняет рассылку лидов. Мы приближаемся к этому будущему с двух сторон: с одной стороны развиваем платформу конфиденциальных данных, а с другой — систему лидогенерации и каналы коммуникации. Важно объединить их в единое решение, которое даст новые возможности для омниканальных маркетинговых коммуникаций.

Многие, особенно далекие от ИТ люди, воспринимают машинное обучение как нечто очень сложное, непонятное и не имеющее отношения к каждодневной жизни. Мы, как профессионалы, видим, с какой скоростью развиваются ML-решения, как быстро они проникают во все стороны нашей жизни и помогают получать именно ту информацию и те услуги, которые нам нужны. Мы гордимся, когда технологически передовые продукты делают наши инженеры — это гарантирует развитие отечественной ИТ-индустрии. Конечно, нахождение на переднем крае технологий в настоящее время ставит перед инженерными командами дополнительные требования, связанные с безопасностью. Но это делает создание продуктов для бизнеса еще более интересным для разработчиков, а сами продукты — востребованными рынком.

Webiomed стала первой российской системой искусственного интеллекта для здравоохранения, которая успешно прошла независимые клинические испытания и была зарегистрирована Росздравнадзором. Она может использоваться и врачами как система поддержки принятия врачебных решений, и руководителями для принятия управленческих решений в области управления здоровьем. Это дает увеличение потенциала профилактической медицины и сокращения предотвратимой заболеваемости. Историей создания платформы и ее нынешними успехами делится Александр Гусев, директор по развитию системы Webiomed.

— Что стало причиной появления платформы Webiomed?

Идея попробовать свои силы на новом для нас рынке искусственного интеллекта пришла к нам в 2017 году. В то время все наши усилия были посвящены работе в компании «Комплексные медицинские информационные системы» (К-МИС), которая к тому времени стала одним из лидеров рынка информатизации медицинских организаций. Несмотря на то, что наша команда развивала собственный стек самых разных программных продуктов для здравоохранения, мы стали понимать, что рынок информатизации России в целом сформирован, идет его консолидация и поэтому возможности дальнейшего развития бизнеса стали выглядеть не очень перспективными. Стало ясно, что с точки зрения технологий и интересов государства целесообразно поддерживать развитие только самых крупных разработчиков и переходить к централизованному продвижению продуктов на этом рынке.

Мы стали искать новую нишу и идею, которая потенциально могла бы открывать возможность для выхода на рынки других стран и пробовать применять новые технологии. Мы около года потратили на анализ различной аналитики, изучение глобальных рыночных тенденций и обсуждения возможных идей. На одном из таких обсуждений нам порекомендовали подумать над рынком искусственного интеллекта, который как раз стал заметно расти в США. Нам эта идея понравилась, и мы стали углубленно исследовать эту тему. Почти сразу мы отказались от идеи выхода в сектор анализа медицинских изображений, потому что уже тогда в мире было много сильных продуктов и конкуренция казалась слишком сложной. Мы нащупали идею прогнозирования возможных негативных проблем со здоровьем у пациентов. Именно в решении прогнозных задач алгоритмы машинного обучения показывали большие перспективы, а вариантов применения их было гораздо больше, чем у анализа изображений. Так и появилась идея создать сервис, который мог бы анализировать электронную медицинскую карту, извлекать из нее с помощью технологий обработки естественного языка (natural language processing, NLP) важную клиническую информацию и затем строить индивидуальные прогнозы возможного появления серьезных проблем со здоровьем в ближайшем будущем. Мы предположили, что такая предиктивная аналитика может быть полезна широкому кругу заказчиков, включая руководителей в области здравоохранения, страховые компании и конечно врачей.

— Каковы возможности решения?

Система умеет анализировать разнообразные данные о состоянии здоровья пациента с помощью интеллектуальных методов обработки больших данных. Она включает систему поддержки принятия врачебных решений, а также аналитическую систему для работы руководителей в области профилактики и управления здоровьем.

В настоящий момент система поддерживает 14 заболеваний в части оценки рисков их развития или ухудшения, 40 подозрений на наличие заболеваний. Основные нозологии: сердечно-сосудистые заболевания, сахарный диабет, хроническая болезнь почек, заболевания органов дыхания, патология при беременности, инфекционные заболевания (в том числе COVID-19), орфанные заболевания.

Webiomed – первая российская система искусственного интеллекта для здравоохранения, которая успешно прошла независимые клинические испытания и зарегистрирована Росздравнадзором как программное медицинское изделие. И мы стали первой ИИ-системой, получившей официальную регистрацию в качестве так называемой «Иной информационной системы», что дает нам правовые основания для взаимодействия с Единой государственной информационной системой здравоохранения (ЕГИСЗ).

— Что собой представляет бизнес компании? Кто основные заказчики?

За время реализации проекта мы несколько раз пересматривали стратегию и фокусировку проекта, поскольку шла проверка выдвигаемых командой гипотез и анализ обратной связи с рынка на предлагаемые нами идеи. Так была найдена текущая схема, согласно которой мы развиваем платформу, на которой одновременно могут работать врачи и руководители медицинских организаций. Применение этих продуктов позволяет платформе накапливать большие объемы обезличенных медицинских данных. Используя технологии NLP и ряд других возможностей, мы извлекаем и формируем большие массивы очищенных структурированных данных, на основе которых можем проводить исследования реальной клинической практики, заказные разработки алгоритмов и моделей машинного обучения и другие научно-исследовательские работы. Заказчиками таких услуг выступают научно-исследовательские организации, контрактно-исследовательские фирмы, а также фармацевтические компании.

— Какими вы видите перспективы рынка, какова ваша стратегия на нем?

Объективно российский рынок искусственного интеллекта для медицины недостаточно динамично развивается, выручка компаний невелика, мы пока не вносим ощутимую долю в ВВП. У многих компаний длительный цикл разработки продуктов. Отсюда и отставание от других стран, и сложности с решением финансовых проблем, и с поиском заказчиков и ростом инвестиций.

В 2020 году мы решили трансформировать проект Webiomed: вместо используемой в то время модели SaaS сосредоточиться на научно-исследовательских работах на базе обезличенных медицинских данных. Для этого разработали стратегию продвижения платформы на основе fremium. Мы предлагаем медицинским организациям и субъектам РФ подключение к платформе Webiomed бесплатно в обмен на право собирать обезличенные данные и выполнять коммерческие заказы от научных и исследовательских организаций на анализ данных, проведение научных исследований и т.д.

Следуя такому подходу, мы сумели накопить большое количество очищенных данных, пригодных для формирования датасетов и работы моделей машинного обучения.

— Каких результатов удалось достичь?

В настоящее время в платформе Webiomed содержатся обезличенные медицинские данные свыше 3 млн пациентов, свыше 130 млн медицинских протоколов, из которых извлечено больше 500 млн различных признаков. Эти данные можно использовать для автоматического выявления и анализа самых разных показателей, характеризующих население России, а также проводить исследования рутинной клинической практики для фармацевтических компаний, научных и образовательных организаций.

Результатами внедрения платформы в региональных медицинских организациях стало сокращение в 10 раз затраченного времени и трудоемкости обработки врачом медицинских данных пациента при диагностике, повышение до семи раз выявляемости пациентов высокого риска.

— Можете ли поделиться финансовыми результатами?

В прошлом году нам удалось увеличить свою выручку в 6,8 раза, что стало мощным драйвером для развития проекта. Минувший 2021 год также закончился существенным ростом – выручка проекта увеличилась в пять раз. Для технологического стартапа существенный рост основных показателей – таких как выручка и интеллектуальная собственность – являются жизненно важными. Они демонстрируют, что команда не просто способна создать интересный продукт, но и то, что этот продукт востребован рынком, а команда реально способна на активное продвижение на новых рынках.

— Что вы сами считаете главным эффектом использования Webiomed?

Самый главный результат, который мы пытаемся дать здравоохранению – это увеличение реального использования и потенциала профилактической медицины, сокращения предотвратимой заболеваемости, а значит – и сокращение неэффективных затрат. Анализируя электронные медицинские карты и развивая алгоритмы прогнозной аналитики, мы постоянно учим систему более точно выявлять пациентов высокого риска и обращать внимание врачей и руководителей на этих пациентов. Это очень важно, поскольку очень часто таким пациентам можно назначить точечное дополнительное обследование и эффективное лечение, которое будет предотвращать тяжелые осложнения: инфаркты, инсульты, госпитализации, а в итоге – и фатальные исходы.

— В чем роль проекта и его социальная значимость?

Платформа помогает врачам лучше понимать возможные негативные события со здоровьем пациента в будущем и обнаруживать заболевания на ранней стадии. Это дает возможность оказывать профилактическую медицинскую помощь, а также эффективно организовать профилактику хронических заболеваний и снижать уровень смертности от них.

Использование системы как «второго мнения» позволяет выявить факторы риска и высокую вероятность развития некоторых опасных заболеваний у 45% пациентов.

В целом, внедрение автоматизированных систем мониторинга пациентов позволит вести персональную профилактику, эпидемиологический мониторинг и принимать своевременные управленческие решения по сокращению заболеваемости и затрат на оказание медицинской помощи.

— Каковы направления развития платформы?

Мы видим, что в целом нашли эффективную схему монетизации, основанную на сборе и обработке больших данных с помощью технологий искусственного интеллекта и прогнозной аналитики. Результаты такого накопления и обработки позволяют нам предлагать все новые услуги и идеи, которые мы продолжим продвигать на рынке и проверять спрос и рентабельность масштабирования бизнеса компании на их основе.

Одним из самых перспективных направлений, которое мы выбрали для отработки в 2022 году, является привлечение пациентов к использованию результатов работы наших ИИ-алгоритмов. Мы хотим выпустить пациентское приложение, которое усилит эффективность инвестиций наших заказчиков в профилактику заболеваний. Не секрет, что именно вовлечение пациентов в собственную заботу о здоровье, повышение их осведомленности об имеющихся проблемах и рисках здоровья, а также улучшение приверженности подобранного врачами лечения – это ключевой вызов перед профилактической медициной сегодняшнего дня. С другой стороны, обогащение накапливаемых нами цифровых профилей пациентов их собственными данными, включая данные о соблюдении врачебных рекомендаций, приеме лекарств, достижении целевых уровней модифицируемых факторов – это крайней перспективное направление в повышении ценности самой платформы. Именно на проработке этой стратегии в данное время сосредоточена команда.

Традиционно выделялось два основных источника данных о клиентах: маршрут перемещения и транзакционные данные. Эти данные действительно полезны в различных сферах бизнеса, однако в них отсутствует подробная информация о предпочтениях клиентов. К каким брендам они лояльны? Какую долю своего бюджета они тратят на определенные товары? Какое у них хобби? Есть ли у них домашние животные? Чем точнее компания может ответить на эти вопросы, тем более персонализированными становятся ее отношения с каждым клиентом. Источником таких знаний о клиентах становятся их чеки, именно эти данные отражают их образ жизни и поведенческие привычки.

В «Сбере» разработали модели, которые с согласия клиента помогают обрабатывать и извлекать из чеков важные для лучшего понимания потребностей клиента данные. Так появился проект аналитики чеков для максимальной персонализации и адаптации клиентского опыта для экосистемы «Сбера». О реализации этого проекта и первых результатах рассказал Антон Золотухин, Data Protection Officer розничного бизнеса «Сбера».

— Анализом транзакционных данных занимаются все. С какого момента был сделан акцент на анализ чеков, дающий принципиально иные знания?

«Сбер» – больше, чем банк. На сегодняшний день в его экосистему входит более 100 компаний, удовлетворяющих основные жизненные потребности каждого клиента: вызов такси, доставка еды, совершение покупок и многие другие. У каждого из 103 млн наших клиентов свой уникальный опыт использования финансовых и нефинансовых продуктов экосистемы, поэтому одна из главных целей – найти индивидуальный подход к каждому клиенту. Чтобы достичь максимальной персонализации, мы стремимся использовать как можно большее количество различных источников и возможности искусственного интеллекта для аналитики данных.

В 2021 году нами было принято решение более детально посмотреть на транзакции клиента. Стало очевидно, что для получения уникальных знаний о клиенте недостаточно просто знать сумму покупки и наименование продавца. Неисчерпаемый источник данных содержит именно детальный чек со списком покупок, который позволяет глубже понять жизненную ситуацию и привычки клиента. При этом чеки в необработанном виде содержат много избыточной или искаженной информации. Но мы нашли решение и разработали модели на основе искусственного интеллекта, которые с согласия клиента помогают обрабатывать и извлекать из чеков важные для нас данные. Так появился проект по закупке чековых данных и их аналитике для максимальной персонализации и адаптации клиентского опыта для экосистемы «Сбера».

— Для обработки чеков требуется согласие клиента. Какой процент из многомиллионной армии клиентов «Сбера» дает его?

Сервисом чековой аналитики пользуется свыше 70 млн клиентов, что составляет более 90% от всех пользователей мобильного приложения «СберБанк Онлайн» – все эти клиенты дали согласие на подключение аналитики чеков. Никто из наших конкурентов на рынке не работает с таким объемом данных и не реализует проект аналитики клиентских чеков такого масштаба.

— Почему клиенты дают согласие на анализ чеков? В чем их выгода?

Для клиента важно иметь возможность детально анализировать структуру расходов для управления семейным бюджетом, а также получать другие инструменты анализа личных финансов. Он самостоятельно подключает сервис и видит подробную аналитику своих трат по товарам и категориям. Вместо категории с общим названием «расходы в супермаркетах» на экране онлайн-банка отдельно отображаются «расходы на продукты питания», «товары для дома», «товары для домашних животных» и так далее. Эти данные позволяют клиенту видеть полную картину своих расходов. Ранее получить такой результат было невозможно, так как при анализе использовались только транзакционные данные.

— Что стало самым сложным в реализации этого проекта?

Для проведения анализа чековых данных потребовалось решить целый ряд нетривиальных задач: научиться обрабатывать огромный объем данных, учитывать разнообразие названий продуктов (в том числе составные), опечатки, транслитерацию, сокращения и аббревиатуры в наименованиях. Из-за всех этих факторов практически невозможно решить задачу анализа чеков с помощью традиционных подходов. Например, невозможно определить по наименованию позиции в чеке «ФРУТ/.САД 1,5л ЯБЛ&ПЕР.», какой именно товар приобрел клиент. Применяя модели искусственного интеллекта, из указанного наименования можно выявить, что приобретен товар в категории «Продукты», продукт «Нектар», бренд «Фруктовый Сад», объем 1,5 л.

Решение на основе искусственного интеллекта способно автоматически распределять купленные клиентом товары более чем по 72 тыс. параметров: категории, бренды, продукты, меры. За счет использования семантических представлений из нейросетей и алгоритмов платформа способна находить схожие или идентичные продукты с похожими описаниями и предоставлять точную аналитику. В работе над проектом были использованы последние достижения в области искусственного интеллекта и обработки естественного языка: маскированные языковые модели с использованием механизма Self-Attention («внимание на себя») и архитектуры Transformer, трансферное обучение и др. Эти технологии позволяют нам создавать эффективные решения для автоматического анализа данных на естественном языке.

— В какие продукты банка и экосистемы «Сбера» в целом могут быть встроены знания о распределении расходов клиента?

Подробная информация о предпочтениях клиентов, которая содержится в электронных чеках, используется для формирования рекомендаций, аналитики, оценки рисков при выдаче кредитов, проведения маркетинговых кампаний и кампаний по стимулированию продаж. Благодаря уникальному решению нам удалось повысить персонализацию и точность таргетинга предложений, предоставляемых банком и другими участниками экосистемы. В перспективе это позволит удерживать позиции в борьбе за внимание и кошелек клиента, а также предоставлять лучший персонализированный сервис.

— Каких результатов удалось достичь?

Всего за год команде удалось разработать и запустить уникальную платформу для анализа клиентских чеков. Обучение модели происходило на 2 млн единиц открытых данных из каталогов интернет-магазинов. В конечном счете, удалось добиться точности распознавания данных электронных чеков на уровне 85%. И сейчас мы умеем распознавать 42 тыс. продуктов, 30 тыс. брендов, 260 категорий. За 2021 год было обработано 7 млрд чеков.

Такие показатели открывают новые возможности для развития бизнеса «Сбера». Результаты платформы по аналитике чековых данных используются при составлении персональных предложений и формировании рекомендаций, что повышает лояльность клиентов. Наблюдается прибавка 5% к росту количества уникальных пользователей за месяц (monthly active users, MAU) и 10% к показателю «кликабельности» (click-through rate, CTR).

Кроме того, мы ожидаем значительного повышения эффективности бизнес-процессов: увеличения выручки в сегменте маркетинга и продаж на 5%, а также увеличения выручки в области управления рисками на 3%. Это подтверждено пилотными проектами на стадии доказательства ценности.

Отдельно следует выделить помощь проекта аналитики чеков в реализации стратегии в области ESG.

— Насколько важна для «Сбера» повестка ESG? Какую роль этот проект может играть в ней, и вообще в «зеленых» инициативах?

ESG-повестка для «Сбера» чрезвычайно важна: в бизнес-стратегиях компаний ESG становится новым стандартом и гарантией успешного ведения бизнеса. Мы всегда уделяли значительное внимание вопросам устойчивого развития, корпоративной и социальной ответственности. Сейчас компания находится в активной фазе ESG-трансформации, основная наша цель — стать лидером системных изменений в области ESG для создания экономики процветания, эффективной для общества и сохранения окружающей среды.

Таким образом, одной из главных наших задач является повышение уровня ESG банка и клиентов. Благодаря аналитике клиентских чеков мы разрабатываем функции, позволяющие использовать обработанные данные для реализации стратегии в области ESG. Например, мы можем выявлять клиентов, которые делают покупки экотоваров и вознаграждать их за заботу о природе и обществе бонусами и скидками от экосистемы «Сбера». Также уже запущен пилот для наших сотрудников по отслеживанию своего углеродного следа в мобильном приложении «СберБанк Онлайн». Это стало возможным благодаря учету расходов на топливо и поездки на такси при анализе электронных чеков. С помощью этой функции мы сможем оценить уровень ESG каждого клиента и развить среди них культуру осознанного потребления.

— Есть ли возможности для развития этого проекта? В какие новые инициативы он может перерасти?

Использование решения на основе искусственного интеллекта для анализа чековых данных позволяет увеличить выручку и улучшить клиентский опыт за счет повышения уровня персонализации предложений и реализации новых возможностей для клиента. Проект вносит весомый вклад в достижение целей «Сбера» и повышает точность предсказания нашего лучшего следующего действия для клиента (Sber Next Best Action). Кроме того, решение позволяет лучше понять наших клиентов и предоставить им лучшее предложение на рынке в соответствие с их потребностями. Направлений использования структурированных данных из чеков – бесконечное множество: банк может и должен меняться вместе со своими клиентами.

Спутниковые снимки Земли являются ценнейшим источником информации. Применять ее для всеобщей пользы призван комплекс «Цифровая Земля — сервисы», реализуемый по заказу госкорпорации «Роскосмос» компанией «Терра Тех» (оператор по геотехнологиям «Роскосмоса», дочернее предприятие АО «Российские космические системы»). «Цифровая Земля» — это фабрика для обработки и анализа космических снимков с использованием искусственного интеллекта. Благодаря ее возможностям, контролирующие органы и бизнес на всех уровнях теперь могут получать аналитику на основе космической съемки в разы быстрее и удобнее, чем когда-либо до этого. Использование нейросетевых технологий дает существенное преимущество в плане быстроты и качества распознавания снимков, позволяет идентифицировать и классифицировать различные объекты и изменения на местности, вовремя уведомлять пользователей о критичных событиях на объектах мониторинга.

О реализации проекта рассказывают номинанты премии Data Award Андрей Абросимов, заместитель генерального директора «Терра Тех» по науке, и Алексей Беленов, заместитель генерального директора «Терра Тех» по производству.

- Немного об истории этого проекта. Когда и почему он был начат?

Алексей Беленов: Нужно начать с нескольких фундаментальных задач, которые госкорпорация «Роскосмос» взялась решить по поручению президента России, инициировав проект «Цифровая Земля» в рамках национальной программы «Цифровая экономика». Первая группа задач связана с модернизацией технологий. Было очевидно, что настало время качественно улучшить механизм поставки данных с российских аппаратов дистанционного зондирования Земли (ДЗЗ) из космоса и повысить качество их обработки. Эту часть взяли на себя наши коллеги из АО «Российские космические системы» (входит в Госкорпорацию «Роскосмос»): они создали и внедрили на базе современного комплекса вычислительных ресурсов технологию автоматической потоковой обработки спутниковых данных, благодаря которой высококачественная информация со спутников в максимально сжатые сроки может пополнять информационные системы заказчиков и потребителей данных ДЗЗ. Мы работаем с коллегами в тесном контакте, но сами фокусируемся на высокоуровневой обработке, анализе и применении космических данных.

Андрей Абросимов: Наша задача — разрабатывать и использовать технологии, направленные на отраслевое применение материалов космической съемки. У многих потребителей нет достаточной подготовки и квалификации, чтобы самостоятельно интерпретировать снимки со спутника. Поэтому родилась идея создать комплекс сервисов, способный обрабатывать и анализировать снимки и сразу формировать цифровые тематические карты, отчеты и инфографику.

- Какие задачи требовалось решить?

А.А.: Дальше мы будем говорить только о сервисах «Цифровой Земли», но хотелось бы обратить внимание на то, что вся эта работа была бы практически невозможна без технологий потоковой обработки снимков. А если говорить о сервисах, то у нас было довольно ясное видение того, какие задачи можно решать, используя снимки, и что для этого нужно. В России многие компании делают разного рода ГИС-порталы и создают средства обработки как на региональном, так и на федеральном уровне. Но для нас было важно сформировать универсальный набор продуктов, способный по максимуму закрыть потребности государственных организаций в масштабах всей страны, коммерческих заказчиков, а в будущем — и наших граждан.

- Какие этапы проходил проект? Что было самым сложным?

А.Б.: Мы начали с анализа потребностей потребителей по продуктам и составу информации. Уже до эскизного проектирования стало очевидно, что делать такие продукты классическими методами в больших объемах будет непросто. Встал вопрос автоматизации такой работы. Мы начали экспериментировать с алгоритмами искусственного интеллекта (ИИ), поскольку другие подходы не обеспечивали ни достаточной скорости, ни качества обработки. Потребовалось включить в команду специалистов в области data science, ИИ, облачных вычислений и нарастить соответствующие компетенции, чтобы результаты работы алгоритмов соответствовали заданным техническим заданием требованиям.

А.А.: Это верно. Я, например, первоначально не был доволен качеством результатов обработки, но, по мере увеличения обучающих выборок для различных регионов РФ, качество начало резко повышаться. Мы разработали 27 типовых продуктов по 7 основным направлениям народного хозяйства (деятельность в этих отраслях можно отслеживать из космоса). Есть отдельные продукты, формирование которых все же требует экспертного анализа, доработки оператором результатов первичной автоматической аналитики, однако многие продукты уже сейчас формируются без экспертного анализа.

- Что на данный момент представляет собой платформа? Из каких частей она состоит?

А.Б.: В комплекс «Цифровая Земля — сервисы» входят 7 геосервисов с 27 информационными базовыми и мониторинговыми продуктами. Сервисы интегрированы с другими подсистемами создаваемой «Цифровой Земли» и опираются на них в части вычислительных ресурсов и исходных данных, которые поступают напрямую из Федерального фонда данных ДЗЗ и других источников. Структура комплекса сервисов включает: подсистему ввода информации; подсистему обработки информации, включающую модуль искусственного интеллекта (ИИ); подсистему представления информации, включающую модули личных кабинетов, формирования отчетов, десктопный и мобильный интерфейсы. Разработан API (программный интерфейс приложения), позволяющий передавать результаты анализа непосредственно в сторонние информационные системы.

А.А.: Авторизация происходит по единой учетной записи доступа к ресурсам «Роскосмоса». Существует несколько групп пользователей с разными правами. Пользователь размещает заказ на определенный тип продукта, уточняет параметры подбора: область на карте, по которой нужно получить аналитическую информацию; период дат, которые интересуют; уровень детализации и т. д. Затем заявка попадает в электронную очередь, где проверяется на корректность. Если что-то не так, мы связываемся с потребителем для уточнения. Далее происходит подбор космической съемки, удовлетворяющей заданным критериям, и после этого производится ее автоматическая обработка в модуле ИИ. Пользователь получает уведомления по мере прохождения этапов обработки и анализа. Все результаты доступны для просмотра и скачивания в интерфейсе пользователя.

- На каких платформах реализована система?

А.Б.: В основе лежат облачные технологии. Для хранения, обработки, визуализации, управления данными используются протоколы AWS, докер-контейнеры, средства PostgresSQL, REST API, MongoDB, WMS, Flask, Nginx, uWSGI. Для работы с нейросетевыми технологиями применяются фреймоворки сверточных нейронных сетей Tensorflow, Keras, Pytorch.

- В чьих интересах система работает? Как осуществляется взаимодействие между заинтересованными сторонами?

А.Б.: «Цифровая Земля» — это сложный проект с множеством составных частей, не все из которых пока готовы. Одна из составных частей — комплекс геосервисов — сейчас работает для пилотных регионов и ряда федеральных органов власти. У нас очень активное сотрудничество с федеральными органами, поскольку мы проводим взаимную интеграцию информационных систем. Например, с НИИ «Восход» мы интегрировались для выявления объектов капитального строительства, требующих проверки в части постановки на кадастровый учет. Их система ТОР КНД получает из «Цифровой Земли» информацию о вновь выявленных на снимках объектах капитального строительства в муниципальном образовании и выдает сигнал надзорным органам, если информация в реестре и на снимке разная.

А.А.: Кроме того, мы плодотворно сотрудничаем с ФГБУ «Рослесинфорг», подведомственным учреждением Рослесхоза. Они проводят квалифицированную оценку результатов выделения вырубок на снимках и формируют требования по модернизации алгоритмов искусственного интеллекта. Совместными усилиями нам удалось повысить точность выделения лесоизменений более чем на 10% даже при использовании разносезонных снимков и данных с облачностью и снегом. Перспективной выглядит возможность предоставлять организациям Рослесхоза интерактивные инструменты для дальнейшего дообучения алгоритмов нейросетей на большом массиве лесных данных. В рамках промышленной эксплуатации геосервисов «Цифровой Земли» запланированы работы по массовой выдаче типовых тематических продуктов. В ходе этого процесса мы будем собирать обратную связь и планировать дальнейшую модернизацию системы. Сейчас «Роскосмос» рассматривает расширение охвата субъектов РФ.

- Как проходила отработка сервисов? Исходя из чего выбирались тестовые регионы и сервисы?

А.А.: В числе пилотных регионов у нас было 8 субъектов. Отработка сервисов проводилась в Республике Татарстан, в Самарской, Нижегородской, Тверской, Кемеровской и Свердловской областях, в Республике Крым и Красноярском крае. Суммарно в ходе пилотной эксплуатации комплекса «Цифровая Земля» представители профильных министерств и ведомств субъектов РФ отработали 1552 кейса по объектам интереса общей площадью более 3 млн кв. км. На территории всех этих субъектов были выполнены масштабные полевые работы для сбора информации о наземных эталонах распознаваемых объектов и проверки результатов автоматической аналитики. Поскольку в продуктах применяются технологии ИИ, очень важно правильно подбирать обучающие выборки. У нас очень большая страна с различными климатическими поясами, разнообразными природными ресурсами и большим количеством территориальных активов, поэтому мы очень хотели, чтобы эти субъекты были максимально разнообразными. Понятно, что 8 эталонных субъектов — это пока маловато для репрезентативной обработки всей территории РФ, но прелесть технологии как раз в том, что чем больше ее применяешь, тем лучше становятся результаты, потому что нейросети дообучаются по мере увеличения объемов «скормленных» им космических снимков.

- Приведите самые интересные и показательные примеры использования геосервисов.

А.А.: Сегодня очень большое внимание уделяется лесу и экологии. Буквально на днях (11 февраля 2022 года) «Терра Тех» посетили вице-премьеры Правительства РФ Виктория Абрамченко и Юрий Борисов вместе с генеральным директором «Роскосмоса» Дмитрием Рогозиным. По итогам рабочего совещания было принято решение провести в 2022 году силами Рослесхоза и «Роскосмоса» пилотный проект в двух субъектах — Иркутской и Архангельской областях — по применению геотехнологий в целях повышения скорости получения и точности информации о вырубке лесов на основе анализа материалов космической съемки с использованием нейросетей. Также мы провели много работ по выявлению и мониторингу карьеров добычи общераспространенных полезных ископаемых, мониторингу промышленного и жилого строительства, определению степени зарастания сельскохозяйственных земель. У «Цифровой Земли» здесь чисто информационная и аналитическая функция. Наша задача — выполнить идентификацию, подготовить отчет и предоставить информацию соответствующим надзорным органам, а дальше именно они решают, было или нет нарушение, и проводят необходимые контрольные мероприятия. Фактически шок-эффект произвел кейс с пожарами в Якутии и Иркутской области прошлым летом, когда нейросети за несколько часов с очень высокой точностью обработали миллионы квадратных километров территории, затронутой бедствием.

- Какое направление геосервисов приносит наибольшую пользу уже сейчас?

А.А.: В последнее время мы обращали особое внимание на вырубки — здесь наиболее очевидная польза. О результатах пока говорить преждевременно, но мы готовы предоставить Рослесхозу имеющиеся у нас технологии и решения для цифровизации лесного хозяйства страны. Тут важно повышать частоту выявления рубок, а это зависит от доступности данных, количества спутников и их характеристик. Но даже с теми данными, что имеются сейчас, можно многого добиться. Космические инструменты нужны и коммерческим предприятиям, которые ведут лесозаготовку и инвестируют в лесопромышленный комплекс страны. Например, по данным из космоса можно выявлять наиболее перспективные лесные участки на основе знаний о породном и возрастном составе. Большим спросом пользуется контроль соблюдения темпов строительства — особенно для масштабных проектов строительства линейной инфраструктуры, а также когда у заказчика одновременно строится множество объектов в разных концах страны и нужно отслеживать их все одновременно.

- Нацелен ли проект на окупаемость? И вообще, насколько эти сервисы могут быть востребованы бизнесом?

А.Б.: Прямой эффект от внедрения технологий ДЗЗ оценить непросто. Это уже много лет пытаются делать ведущие консалтинговые агентства мира. Можно посчитать хотя бы число нарушений и объем штрафов, которые будут выставлены на основе космической аналитики. Данные ДЗЗ применяются, когда рассчитывается объем причиненного экономического и экологического ущерба (например, почвам). В этих случаях всего нескольких крупных экологических взысканий хватит, чтобы окупить разработку. Конечно, помимо этого, есть еще вся инфраструктура, ее содержание, спутники и т. д. В то же время нельзя забывать о том, что один снимок можно использовать сразу для целого комплекса задач и не один раз — например, у нас 27 продуктов (не все делаются по одинаковым данным). Вот и консалтинговые агентства согласны с тем, что, хотя прямой эффект оценить сложно, польза очевидна на всех уровнях и на всех рынках для широкого спектра задач.

Тем не менее можно отметить, что «Роскосмос» нацелен на развитие коммерческого применения данных и сервисов. Поэтому проект изначально создавался для обеспечения государственных потребителей с планами потенциального масштабирования и на бизнес, польза для которого от такой системы тоже неоспорима. К нам регулярно поступают запросы от коммерческих компаний, которые тоже хотят использовать возможности системы. Однако тут есть ряд нюансов — как нормативно-правовых, так и технологических. Для бизнеса нужны несколько другие продукты, хотя изначальный состав информации может быть похожим. А над решением нормативно-правовых вопросов сейчас работают специалисты «Роскосмоса», чтобы иметь возможность предоставить к системе коммерческий доступ, когда она будет готова к масштабированию. Поэтому сейчас бизнесу мы оказываем услуги на базе наших коммерческих разработок, не связанных с «Цифровой Землей».

- Каковы направления развития платформы?

А.Б.: Прежде всего требуется повышать автоматизацию. Ближайшие месяцы покажут, какие направления приоритетны. Перейти с 8 регионов на 20 и далее на 85 — это большой вызов. Здесь нужно понимать, что космические снимки — это очень объемная информация, для обработки которой необходимы достаточно большие мощности, соответствующие инфраструктуре. Поэтому мы не исключаем, что придется дорабатывать систему оптимизации ресурсов.

А.А.: Кроме того, алгоритмы прошли обучение не для всех регионов РФ — нужно увеличивать объем выборки. Будем дообучать имеющиеся и разрабатывать новые нейросети. У нас даже есть специальный инструмент, который автоматизирует сам процесс обучения. А дальше будем расширять номенклатуру геосервисов, делать их доступными для коммерческих потребителей, работать над повышением гибкости системы для пользователя. В итоге хотелось бы сделать возможным прямой доступ пользователей различной квалификации к облачному «конструктору» алгоритмов и продуктов.

Искусственный интеллект – о нем говорят на конференциях, написано множество статей, запускаются образовательные программы в вузах, курсы повышения квалификации. Считается, что это самая перспективная технология ближайших лет. Множество абитуриентов, специалистов в ИТ ринулись в перспективную отрасль, сулящую хорошие зарплаты и перспективы. Но, как показывают исследования авторитетных агентств, доля успешных проектов мала и не превышает 10%. Почему так? Попытаемся разобраться, почему многие проекты в сфере ИИ «не взлетают».

Известно, что предиктивные модели создаются и обучаются на выборке данных, содержащих исходы – как положительные, так и отрицательные. Однако на конференциях обычно рассказывают лишь про успешные примеры применения, а про неудачные (которых более 90%) умалчивают. По аналогии с обучением математической модели, человеку для формирования полноценной картины мира также необходимы все примеры внедрения – как успешные, так и не очень. Поэтому рассказ о неудачах не менее важен, поскольку демонстрирует не только то, как надо делать, но и как делать не надо. Руководствуясь принципом «добро пожаловать, плохие новости», опишем причины неудач – это позволит сформировать адекватный подход внедрения ИИ и снизит вероятность неуспешного внедрения.

Причин неудач проектов ИИ можно выделить несколько. Самое главное — на волне хайпа многие не понимают целей таких проектов. Кроме того, существуют организационные причины, кадровый голод, технологические и методологические причины. Поговорим о них далее.

Decision Intelligence

Decision Intelligence – новый термин, и на мой взгляд удачный, поскольку подразумевает создание помощников и рекомендательных систем для принятия управленческих решений, используя математическое моделирование, data science, оптимизацию, process mining и ИИ. Decision Intelligence помогает вести бизнес умно, а не просто «много работать» – ведь конкуренция возросла и привычным масштабированием (открытием новых офисов, магазинов, наймом клиентских менеджеров) не достичь значимого эффекта. Стиль ведения бизнеса «катать квадратное, носить круглое» уходят в прошлое. Decision Intelligence позволяет создать систему принятия решения. То, кажется случайностью, иногда можно посчитать и предсказать — для этого нужно собрать и обработать правильные данные. Там, где цифры, уместны сравнения: «больше-меньше», «выгоднее-убыточнее», «быстрее-медленнее» и т.п., а, значит, применимы математика и оптимизация.

Приведу упрощенный пример на фондовом рынке для понимания. Допустим, мы наблюдаем траекторию котировок актива Y до момента времени t, и нами получен прогноз Y(t+1) на следующий период. Не имеет значения, какие методы применялись для получения прогноза: астрология, кофейная гуща, фундаментальный анализ или математика – главное, что прогноз есть. Если Y(t+1)>Y(t), то мы покупаем актив, рассчитывая на его рост, в противном случае – продаем (пренебрегаем стоимостью денег, комиссиями и т.п.). То есть наше действие сейчас зависит от прогнозного значения на завтра. Это значит, что прогноз – основа принятия решения, и чем точнее прогноз, тем эффективнее решение. В этом мы видим концептуальное отличие математического способа управления от ретроспективной отчетности.

В более общем случае строится рекомендательная система для Y (процесса или бизнес-сущности), зависящая от влияющих на нее параметров, к примеру Y = f(X1,X2,X3), которая и позволяет получать прогноз для принятия управленческих решений. Но функция применима не только для прогнозирования, но и для управления. Допустим, если мы имеем возможность манипулировать параметрами X1, X2, X3, значит имеем возможность влиять на значение Y. Прогнозная система превращается в предписательную систему – самую ценную, но и сложную. Приведем слова Сунь-Цзы – великого полководца III века до н.э.: «Сопоставление с идеальными моделями является основой правильного мышления».

Перечислим причины, по которым Decision Intelligence не взлетает. Часто отсутствует понимание разницы между традиционной аналитикой (BI, отчетность) и продвинутой аналитикой. Кроме того, мешает опора бизнес-лидеров на интуицию и традиционную практику принятия решений, в которой нет места формулам, а также сопротивление изменениям. Финансовый эффект аналитической инициативы часто не оценивается. Иллюзия того, что ИИ может решить любую задачу и без применения усилий, словно волшебная палочка, тоже наносит вред. Наконец, центр аналитической компетенции бывает изолирован от бизнеса: математики не знают предметной области или невостребованность бизнесом или заказчиками аналитических моделей.

Не поддаваться хайпу

Хайп — агрессивная и навязчивая реклама, целью которой является формирование предпочтений потребителя. Название её происходит от слова, означающего надувательство, обман или трюк для привлечения внимания (определение взято из Википедии). Вспоминается череда терминов, сотрясавших конференции: blockchain, big data, AI сменяются терминами ESG, «метавселенные». Кстати, можно заметить, что термин blockchain уже менее популярен, чем еще несколько лет назад.

Big data? Точного определения этому понятию до сих пор не дано, в качестве вариантов называются объемы данных, измеряемые петабайтами, или объем данных, не умещаемых в оперативной памяти. Однако ценность данных не измеряется их масштабом. Часто даже незначительная таблица может заключать больше информации, чем петабайты данных. Разумнее термин Big value of data, нежели big data. Big data – это высокая стоимость сбора, хранения и обработки данных. Данные имеют ценность тогда, когда их проанализировали и на основе информации, полученной из данных, совершают управленческие действия.

Искусственный интеллект? Сейчас принято считать, что подразумевается слабая форма искусственного интеллекта – интеллект, которые не имеет разума, ориентирован на решение прикладных задач, усиливает возможности человека в решении узких задач и не функционирующий без человеческого контроля. Скайнетов и терминаторов пока человечество не изобрело, или это не известно широкой общественности. Часто ИИ классифицируют на три области: обработка табличных данных, компьютерное зрение и обработка естественного языка.

Цифровые двойники

Цифровой двойник — это набор данных и связей между данными. Двойник позволяет осуществлять «виртуальный» эксперимент над объектом, а значит — формировать наилучшую траекторию развития и способ управления. Данными в этом случае является набор правильно упорядоченных по времени и характеристикам многомерных структур. К примеру, физический клиент в банке характеризуется транзакцией по дебету (X1), транзакцией по кредиту (X2), наличие кредита (X3) и обязательно осью времени T.

Если структуры данных, описывающие бизнес-сущность, в хранилище данных созданы неправильно, цифровой двойник не реализуем. Чаще всего оказывается, что модель данных описывает разрозненные характеристики сущности, несогласованные по структуре и динамике. В этом случае цифровой двойник невозможен, создание и поддержка множества витрин становится долгим и дорогим занятием, а служба управления данными необоснованно разрастается.

Связи между данными у финансовой организации бывают трех типов.

• Финансовая модель — самая общая и главная. Она оперирует производными показателями от абсолютных данных и содержит множество ручных смысловых настроек. Некоторые элементы финансовой модели связаны математически, а встроенный математический оптимизатор (симулятор) позволяет найти наилучшую траекторию управления.
• Математические связи применимы для моделирования абсолютных (количественных, объемных) показателей. Математические модели характеристик X1, X2, X3,…, Xn являются частью финансовой модели.
• Процессная связь не задается формулами, но описывает методы перетекания одних показателей в другие с помощью условных операторов и последовательностью преобразований. В процессной связи также применима оптимизационная математика, позволяющая найти наиболее эффективный процесс.

Данные – новая нефть?

В сравнении данных с нефтью много общего — больше, чем многие предполагают. Во-первых, извлечение. Нефть необходимо извлечь из недр и закачать в нефтеналивное хранилище, а данные необходимо взять из источников данных, очистить и скомпоновать в витрины данных в хранилище данных. На этом этапе ни у нефти, ни у данных нет самостоятельной ценности.

Далее следует переработка. Нефть необходимо переработать в бензин, а для этого необходимо построить нефтеперерабатывающий завод. Данные преобразуются в информацию и знания. Чаще всего это происходит в отделе, специализирующемся на интеллектуальном анализе данных. Ни бензин, ни знания пока еще не несут ценности.

Третий этап — подготовка к получению ценности. На предприятии формируется парк автомобилей и штат квалифицированных водителей. Аналогично, формируются новые бизнес-процессы в соответствии с новыми знаниями.

Наконец, создание ценности: оказывается услуга — перевозка на авто, а новый бизнес-процесс становится эффективнее прежнего.

Цепочка создания ценности подразумевает извлечение знаний из данных и формирование нового более эффективного бизнес-процесса. Создание ценности требует наличие компетенций в хранилищах данных, математике, а также знание бизнес-процесса. Многие организации стартуют с построения хранилища данных, внедряют управление данными и уже называют себя data-driven. Однако хранилище данных – расходная составляющая, желательное и удобное (даже не необходимое, можно обойтись и без него), но явно не достаточное условие монетизации.

Еще одна известная фраза Сунь-Цзы: «Реальный мир дает начало данным, которые нужно собирать и соотносить. Сбор и соотнесение данных дает начало оцениванию данных. Оценивание данных дает начало подсчету и сортировке данных. Подсчет и сортировка данных дают начало взвешиванию данных. Взвешивание данных дает начало победе».

Последовательность действий для достижения целей с помощью ИИ

Цель «внедрить ИИ» – ложная; правильная цель – решить задачи, имеющие измеримую выгоду, с помощью технологий, называемых ИИ. Вспоминается фраза Антуана де Сент-Экзюпери «Если хочешь построить корабль, не учи людей пилить деревья, научи их мечтать о море». Перефразируя эту фразу в контексте проекта ИИ, можно рекомендовать: представляйте конечную цель – монетизацию, или иную измеримую ценность, посредством действия, направляемого знаниями, полученной аналитикой из данных.

Хранилище данных или аналитика? Очевидно, что данные сами по себе не имеют ценности, но имеют измеримые затраты на хранение и сбор. Аналитика – тоже не самоцель, а провайдер ценности данных. Аналитика позволяет обрести знания, которые сами по себе тоже не имеют ценности. Зато действие, направляемое знаниями, позволяет ценности получить. Не надо строить корпоративное КЛАДБИЩЕ данных.

Монетизация проекта ИИ достигается именно с постановки целей: сначала определяется потребность бизнеса, которая формулируется математически. Для математического подхода определяется архитектура данных, которая реализуется в хранилище со всеми атрибутами правильного хранилища – архитектура, качество данных, глоссарий, метаданные и т.п. Создание «кладовки данных» без понимания логической формы и аналитического инструмента может привести к созданию именно корпоративного КЛАДБИЩА данных, пусть тщательно задокументированного и сопровождаемого ордой службы управления данными. Самый сложный этап – переход от бизнес цели к математике, т.е. математическая формулировка цели с помощью формул. На этом этапе необходимы математики, глубоко погруженные в бизнес-задачу; бизнес-пользователи без математического бэкграунда в редком случаем смогут преодолеть этот этап.

Как оценивать Chief Data Officer

Почему директора по данным (Chief Data Officer, CDO) чаще ограничиваются технологической составляющей – хранилищем данных? Потому что куда проще бесконечно наполнять и описывать хранилище данных, чем менять бизнес-процесс. Главный бенефициар бесконечной стройки кладовки данных — CDO, а не организация, которая скорее пожинает расходы. Поэтому роли CDO заполнили проектные менеджеры, специалисты по базам данным. Бизнес-пользователи бесконечно заказывают новые витрины данных, потом покидают организацию, витрины становятся невостребованными. Новые бизнес-пользователи заново заказывает новые витрины данных — тем самым служба управления данными загружена, разбухает, а ценность для организации под большим вопросом.

В то время как математические методы, с помощью которых процесс оптимизируется, требуют навыков и математического специализированного образования – такие навыки присутствуют далеко не у каждого CDO. Математические рекомендации и изменение процессов накладывают ответственность и подсвечивают финансовую эффективность CDO.

Каковы критерии оценки CDO рынком? Чаще всего, это размер штата и количество технологий управления данными. Оба критерия подстегивают агентскую проблему и приводят к необоснованному росту затрат на раздутый штат и зоопарк избыточных технологий. Будьте готовы, что такой CDO будет постоянно выклянчивать новые ставки и размахивать рекламными брошюрами новых технологий.

Когда CDO некомпетентен в части выбора технологий и хочет размазать ответственность за выбор технологий, он может пойти за следующий трюк: предложить потенциальным пользователям отпилотировать разные инструменты и проголосовать за понравившийся. Если уж CDO не обладает компетенцией в этой части, то рядовые пользователи и подавно не могут провести корректное сравнение. Выбор при таком подходе имеет шансы осуществиться на уровне симпатий к интерфейсу и рекламной раскрученности, а вовсе не на функциональном и стоимостном сравнении. Последствия неправильного выбора выливаются в завышенную стоимость эксплуатации, оплату труда обслуживающих инфраструктуру людей и аналитиков, тратящих избыточное время на работу в неэффективном ПО. Последний компонент самый весомый.

Как должно быть? Следует оценивать чистый экономический эффект, равный приращению стоимости или сокращению затрат за вычетом затрат на содержание офиса CDO, включая стоимость оборудования, ПО и фонд оплаты труда.

О ловушке self-service

Идея self-service очень заманчива – действительно, загружаешь данные в ПО и оно «само все делает». Эта идея нравится всем: и вендору ПО, который сможет продать лицензии большему числу пользователей, и менеджеру, который децентрализует аналитические задачи и не несет персональной ответственности за результат, и сотрудникам, которым другие средства недоступны по причине отсутствия профильной квалификации. Они ощущают свою причастность к инновациям, к ранее недоступным и сложным методикам, имея чудо инструмент. Теперь нет нужды делегировать свои задачи профессионалам и терять свою значимость. И главное, это «выгодно» организации, в которой экспертиза развивается на местах.

Однако на практике часто приходится наблюдать другое. Сотрудники, использующие self-service, продолжают делегировать чуть более сложные задачи профессионалам в центре компетенции, требуя подготовить дашборд или построить математическую модель. А интерпретировать результаты, выдаваемые чудесным ПО, они не умеют, так как не понимают алгоритмы, зашитые «под капотом». В итоге организация несет затраты и на self-service ПО, и на центр компетенций, а корректность аналитических выводов не всегда близка к желаемому уровню.

Сопротивление изменениям

Ценность проекта ИИ достигается посредством настройки нового бизнес- или технологического процесса. Новое подразумевает перечеркивание старого, и у старого процесса есть владельцы и адепты. Внедрение нового всегда приводит к изменению процессов, нарушению обычаев. Права инноватора расширяются, а значит чьи-то права уменьшаются. А это ведет к переделу зон ответственности, изменению значимости и авторитетов.

Часто владельцы прежних процессов боятся признать, что инновационная идея — не их, и теперь их фронт работ будут выполнять другие. А значит, теряется значимость, снижается незаменимость и репутация. Владельцы прежних процессов боятся потерять место в организации, так как часто неспособны воплотить новую технологию (проекты ИИ требуют значимой экспертизы) и даже эксплуатировать уже внедренную и отпилотированную инновацию.

Поэтому владельцы прежних процессов, на смену которым пришел ИИ, сопротивляются. Используют уловки вроде «для нас это черный ящик», «мы не понимаем», «научите нас своей науке, иначе не дадим ход новому процессу», придираются к незначительным или вымышленным недостаткам. Не всегда владельцы устаревших неэффективных процессов способны сделать работу на своем участке эффективно с применением новейших технологий и методологий, поэтому не способны или не хотят оценить чужой труд достойно, могут не побрезговать и вандализмом. Порой, они сами пробуют реализовать подобие методов ИИ, и поскольку сами же являются владельцами и заказчиками, им удается пустить пыль в глаза и не допустить на свою поляну квалифицированных в ИИ специалистов. Более того, бывали случаи, когда владельцам процессов удавалось выжить инноватора из организации, особенно когда инновация попадает на оценку и волю владельцу неэффективного устаревшего процесса.

В качестве компромисса можно попробовать передать разработанную технологию и методологию на поддержку владельцу прежнего процесса. Но стоит задаться двумя вопросами: почему владельцы прежнего процесса не внедрили инновацию сами, и смогут ли они корректно эксплуатировать инновацию? Если не хотели или не умели — обе причины достаточны чтобы уменьшить их права. Ответ на второй вопрос также скорее отрицательный, иначе бы внедрили инновацию сами. Уместно вспомнить фразу «Не способный создать не достоен обладать».

Перефразируя фразу Натана Ротшильда, кто владеет информацией (и умеет ею пользоваться), тот владеет миром. Практика показывает, что даже умение извлечь знания из данных не приводит к их применению в бизнесе – и часто тому сопротивление инновациям и организационные препятствия.

Психология имеет значение

Ошибочно сбрасывать со счетов и психологические аспекты. Стиль менеджмента, не учитывающий психологии, ущербен. Так же, как неправильно считать бонусы и зарплаты единственными и доминирующими мотивациями. Неденежные мотивы часто перевешивают, и поэтому проекты ИИ могут разбиваться. Представьте пример, когда чат-бот может заменить толпу сотрудников колл-центра. Будет ли руководитель колл-центра поддерживать эту инициативу? Или продвинутые алгоритмы обработки данных проведут анализ быстрее и лучше резервации аналитиков, чьим главным инструментом по-прежнему являются Excel, SQL или в лучшем случае BI.

Что делать? Привлекать третью, независимую сторону для валидации эффективности инновации, а также приказами «пригвоздить» участников, обеспечив совместную ответственность за результат с целью снижения риска саботажа. Целесообразно критически важные процессы выводить в централизованное подразделение с целью исключения зависимости от локальных групп, особенно, если они не годны поддерживать инновационные механизмы.

Организационная структура

В последнее время наблюдается тенденция к выделению подразделений, ответственных за цифровизацию, и внедрение ИИ в том числе, в отдельное юридическое лицо – 100% дочку. Постфикс этого юрлица обычно «цифра» или digital. Подразделение, ответственные за внедрение ИИ, находится либо в составе digital-подразделения, либо также выделяется в отдельное юридическое лицо с постфиксом вроде DataLab. Реорганизация позволяет выявить экономическую эффективность подразделения, локализовать экспертизу, а также не позволить адептам устаревших процессов уничтожить инновационное подразделение.

Руководитель проекта – кто он

При выборе руководителя проектов ИИ часто возникает дилемма: эксперт-математик или менеджер-универсал. Хочется отметить, что ИИ, математика, data science, управление данными – экспертные области, где здравого смысла, общих соображений и только лишь финансового мышления недостаточно. Поэтому у руководителя должна быть экспертиза.

Нетехнические навыки, которыми в избытке обладает менеджер-коммуникатор, не должны сглаживать несовершенство организационной структуры, иначе рано или поздно случится сбой. Организационная структура, регламенты, персональная ответственность – важны, успех не должен зависеть от чудес коммуникации. Поэтому приглашайте на эту роль состоявшегося эксперта с развитыми менеджерскими навыками, и настраивайте правильную организационную структуру – те рельсы, по которым проекты ИИ идут прямо и гладко.

В математики — за 24 часа?

Проекты ИИ требуют сильной математической подготовки. Доступность технологий, книг из категории «искусственный интеллект для чайников», а также обучающих курсов по ИИ, вовсе не делает новоявленного математика профессионалом. Смотрите, кого нанимаете, и будьте профессионалами сами, иначе сценарий «неуч не распознает неуча» и ожидаемый печальный результат настигнут и вас.

Зоопарк технологий

Набор технологий хранения и анализа данных столь велик, что может вести в ступор даже опытного проектного менеджера. Организации в погоне за модными технологиями несут затраты на владение, имеют проблемы с наймом сотрудников – специалистов в этих технологиях. Не пытайтесь угнаться за технологическим стеком – решайте свои задачи. Стремление иметь технологию, а не решить задачу – одна из наиболее частых причин неудач проектов. Не питайте иллюзий найти на рынке специалистов в этих технологиях и методиках, давайте время им освоить ваш стек.

Автор – Юрий Сирота, эксперт в области данных и искусственного интеллекта

В последние годы все больше компаний говорят о создании экосистем. Этот путь становится одним из способов выживания и процветания как на рынке, так и в природе. Комплекс сервисов, выстроенных X5 Group вокруг клиентской миссии «Еда», является примером именно такого подхода. Для его реализации единые, унифицированные данные являются необходимым условием. X5 создала единую платформу для работы с данными внутри группы компаний, и одним из ключевых элементов этой платформы стал единый профиль клиента и сервис идентификации X5ID. Он позволяет работать с покупателем во всех сервисах группы с единой точкой входа и использованием «золотой записи». Тигран Саркисов, директор по управлению данными X5 Group и номинант на премию Data Award, рассказал о реализации этого проекта и синергетическом эффекте, который стал возможным лишь в результате совместной работы различных бизнес-единиц на единой платформе данных.

— У предприятий, всерьез смотрящих в будущее, есть два пути: сформировать собственную экосистему либо встроить свой бизнес в чужую. Почему был выбран именно первый путь, в чем он заключался?

X5 Group в данный момент не совсем корректно называть экосистемой, так как мы формируем все наши сервисы вокруг нашего клиента и его потребностей. Мы действительно расширяем свое присутствие вокруг клиента, стремясь присутствовать на каждом этапе выбора продуктов. Именно с этой целью компания в последние три года в рамках своей стратегии развивала большое количество сопутствующих бизнесов вокруг еды: Vprok.ru Перекресток – онлайн-гипермаркет по доставке еды, 5Post – доставка товаров в постаматы, сервис экспресс-доставки «Около», медиа-платформа для поиска рецептов food.ru. Мы развиваем комплементарные сервисы вокруг еды и смежных потребностей, а также ряд сервисов, которые помогут улучшить клиентский опыт – например, финансовые сервисы на базе X5 Банк. Мы понимаем, что зачастую выбор продукта начинается задолго до того, как клиент приходит в магазин, а сервис можно оказывать комплексно.

— Какие возможности должна дать единая платформа данных для всех сервисов X5, в чем синергия?

Синергия, например, видна от управления клиентскими данными в рамках всей группы компаний. Это хорошо видно на примере единого клиентского профиля и единого центра авторизации X5ID, который мы запустили в прошедшем году. Раньше взаимодействие осуществлялось изолированно различными сетями и бизнес-единицами, и, разумеется, клиентский путь был неоптимальным. С одной стороны, мы хуже представляли потребности клиента и не всегда могли своевременно оказывать удобный сервис, а с другой – на клиентском пути возникали неудобства. Единый центр авторизации позволяет быстрее получать доступ к нашим сервисам, быстрее переходить между ними – например, в будущем можно будет, найдя рецепт на сайте food.ru, перейти в мобильное приложение торговой сети и заказать ингредиенты. А мы можем видеть более полный портрет клиента в каждом бизнесе, его опыт взаимодействия. Разумеется, всё это при полном соблюдении политики хранения и обработки персональных данных.

Сегодня в едином профиле собрана фактически большая часть работоспособного населения нашей страны – у нас более 60 млн уникальных цифровых профилей. И для нас важны не столько их персональные данные и социально-демографический профиль, сколько покупательские привычки и предпочтения – это дает нам возможность соответствовать их ожиданиям.

X5ID и единый клиентский профиль являются ключевым элементом, соединяющим наши бизнесы и дающим возможность говорить о комплементарных сервисах. Всё, что мы делаем, должно быть взаимосвязано, интегрируемо и переиспользуемо. Даже новый запускаемый нами бизнес может быстро получить все необходимые данные и предоставить клиенту удобную авторизацию.

Кроме того, нам удалось построить аналитическую платформу, которая обезличено, на уровне идентификаторов пользователей помогает быстро работать с клиентским опытом. Это дает возможность таким нашим продуктовым командам как, например, Customer value management (CVM) и «Обратная связь», тратить меньше времени на сбор и подготовку данных, а больше фокусироваться на извлечении ценности из накопленных знаний. Наконец, без единого центра авторизации было бы невозможно и реализовать новые бизнес-модели, такие как подписка «Пакет». Мы первые, кто смог запустить подписку в российском ретейле.

— На чем базируется платформа по работе с данными и центр авторизации?

Преимущественно, это решения из комплекса Open Stack, размещенные в нашем облаке. Наша платформа состоит из множества различных функциональных компонентов (озера данных, хранилища данных, BI, интеграционная микросервисная платформа и другие), которые взаимосвязаны между собой. Если говорить про центр авторизации и профиль клиента, то он реализован на Open Stack и Tarantool.

— ИТ-платформа – это обычно только часть задачи. Как удается создавать и изменять data-культуру внутри компании?

Надо понимать, что бизнес-единицы и торговые сети под управлением X5 имеют разную степень зрелости и формы организации. Есть молодые бизнесы «цифровые с пеленок», но с низкой процессной зрелостью, как это обычно и бывает в любом стартапе. А есть сложившиеся, обладающие и зрелостью процессов, и определенной устоявшейся культурой. Их нужно обеспечить равными возможностями доступа к единым данным. И здесь критически важно использование не только единой платформы, но и такой организационной структуры, при которой можно, с одной стороны, быстро накапливать и обрабатывать данные без «бутылочного горлышка» в виде централизованных функций, а с другой стороны, не уйти в дата-изоляцию подразделений.

Для этого мы стараемся придерживаться всем уже достаточно хорошо знакомому подходу Data Mesh – доменно-ориентированной организации управления данными. Нами построен институт дата-партнеров, определяющих программы развития данных с учетом потребностей, текущего уровня зрелости и культуры конкретной бизнес-единицы. Благодаря этим изменениям мы видим высокий рост уровня проникновения аналитики в работу сотрудников. В том числе в тех функциях, которые ранее не уделяли этому достаточного внимания.

Наличие единой платформы также стимулирует к развитию аналитики в режиме самообслуживания (self-service). Это популярное направление, развивающееся во многих компаниях, – возможность пользователей самостоятельной готовить и анализировать данных.

— Какие действия предпринимаются в области формирования дата-культуры?

Мы активно развиваем self-service: мы хотели бы, чтобы все сотрудники стали ближе к данным и аналитике, что позволит в полной мере реализовать data-driven подход. Мы успешно завершили пилотные проекты в ряде регионов, в рамках которых бизнес-пользователи самостоятельно на существующей платформе управления данных смогли проверять гипотезы и получать инсайты. За короткое время сотрудники смогли самостоятельно решить и, что самое главное, переиспользовать более 20 бизнес-задач. Полученный опыт мы хотим тиражировать по всей компании. В рамках «Цифровой академии» X5 мы создаем отдельное направление – «факультет» дата-грамотности, в который входят курсы и обучающие материалы по работе с данными.

— Какие это принесло результаты, чем можно похвастаться?

Если оценивать прошедший год, то результаты представляются очень хорошими. Во многом это связано с переходом на доменно-ориентированную организацию работы и внедрением новых решений для работы с данными. Мы отмечаем более чем двукратный рост использования аналитики в компании.

Доменно-ориентированная организация и появление роли data-партнеров позволили повысить уровень доверия к данным со стороны пользователей до 80% – мы считаем, что это высокая цифра, и иногда она даже гораздо важнее, чем объективная оценка качества данных. Именно доверие к данным позволяет пользователям работать с ними, а не игнорировать.

Нам удалось консолидировать клиентский опыт. Мы собрали и очистили более 60 млн клиентских профилей, реализовали все это на микросервисной архитектуре внутри нашей интеграционной платформы. Сегодня благодаря единой авторизации во всех каналах коммуникаций – в мобильных приложениях, в магазинах, на сайте и даже в чат-ботах в телеграм – ежедневно наблюдается более 10 млн активных пользователей.

Наконец, достигнутые результаты позволяют запускать и тестировать новые бизнес-модели – годом ранее мы уже отмечались с продуктом Dialog.X5. Сейчас она дает еще более качественные инсайты благодаря использованию «золотой записи». В этом году появилась подписка «Пакет» — первый комплексный продукт, где собрано большинство привилегий сервисов и торговых сетей Х5.

Персонализация при работе с клиентами уже стала общепринятой практикой даже в офлайн-ретейле. Следующим шагом становится гиперперсонализация, когда компании переходят от групп клиентов к конкретным людям, обращая внимание на их индивидуальные потребности и привычки. «Утконос Онлайн» с ее помощью помогает покупателям не утонуть в океане товаров, а также серьезно повышает эффективность маркетинговых активностей. О роли гиперперсонального подхода к клиентам в бизнесе компании рассказывает Дмитрий Бодунов, директор управления данными «Утконос Онлайн».

— Какова идея создания интеллектуальных решений в вашей компании?

Наша цель – создавать автоматизированные системы, которые позволяют принимать правильные решения и зарабатывать деньги компании. Мы делим такие системы на несколько групп: первая группа систем принимает бизнес решения полностью самостоятельно, без участия человека, – например, какие товары отправить клиенту в рассылке. Вторая группа рекомендует решение, которое может быть принято или скорректировано ответственным менеджером – например, прогноз заказов на следующий день или список KVI-товаров. (Товары группы key value indicator влияют на восприятие покупателем уровня цен в магазине. Они являются важной частью ценовой стратегии, помогая привлекать чувствительных к ценам покупателей. – Прим. ред.). Наконец, третья группа сигнализирует о нестандартном поведении и должна предупредить ответственного менеджера о необходимости принять экспертное решение – например, в случае падения скорости сборки на складе.

— «Утконос Онлайн» осуществляет переход от обычной персонализации к гиперперсонализации. Что к этому привело?

В начале 2021 года мы решили, что одно из наших ключевых преимуществ — это сверхширокий ассортимент, и поставили себе цель — 150 тыс. наименований товаров. Однако при неправильно выстроенной работе рекомендаций и поиска сверхширокий ассортимент может стать не преимуществом компании, а головной болью клиента. Тогда стало понятно, что нужно помогать покупателям ориентироваться в этом «океане» товаров, — и мы начали уходить от обычной персонализации к гиперперсонализации, то есть персонализации на уровне отдельных клиентов, которая учитывает максимальное количество информации о каждом клиенте.

— Как была поставлена задача?

В каталоге и поиске необходимо было учитывать индивидуальные предпочтения, чтобы люди среди огромного количества товаров получали то, что им нужно и интересно. Сейчас у нас 90 тыс. наименований. Развивать персонализацию выдачи каталога, и поиска, и CRM нужно было сразу, так что задачи велись параллельно.

— За какое время и какими силами был реализован проект?

Мы начали этот проект в 2021 году. И это направление продолжает свое развитие — мы постоянно идем по пути улучшения. Нет точки, в которой мы бы решили, что больше не будем развивать нашу персонализацию.

В команде персонализации дата-офиса 5 человек — это дата-сайентисты и ML-инженеры. Есть еще владельцы продуктов поиска, сайта и CRM, а также разработчики, которые помогают встраивать сервисы внутрь сайта.

— В чем заключалась самая большая проблема?

Основная сложность — следить за очень большим количеством параметров. Это связано с выводом больших сложных проектов, относящихся к машинному обучению, в промышленную эксплуатацию. Это сложный многошаговый процесс, и небольшие трудности случаются на каждом этапе.

— Чем из последних разработок можно гордиться?

Наши CRM-рассылки — это уже поставленный на поток процесс. Несколько раз в неделю мы с бизнесом прорабатываем, кому и какие предложения требуется отправлять.

Раньше рассылку составлял эксперт, и отправлял, например, самые популярные товары, а теперь система сама индивидуально подбирает товары – эффект фантастический, втрое лучше, чем при работе эксперта. Отдельно следует сказать про персонализацию промо-рассылок. Раньше для промо, например, к 8 Марта, бизнес делил пользователей самостоятельно условно на две категории – мужчины и женщины, и каждая категория получала собственное предложение. Теперь же система делит сама, и не на пару сегментов, а каждому человеку предлагает индивидуально подобранные товары.

Персонализация CRM в 2,5 раза увеличила конверсии по новым товарам, также мы вдвое увеличили конверсии промо-предложений. Не менее важно, что за полгода нам удалось вернуть из оттока 20 тыс. клиентов. Это достигнуто именно за счет персонализации предложений на уровне каждого отдельного пользователя.

Еще один повод для гордости – онлайн-витрины. Во-первых, персонализация выдачи поиска и каталога. Мы сделали ранжирование списка товаров, которое подстраивается индивидуально под человека в зависимости от того, в каком сегменте он находится и какая у него история покупок. Этот сервис уже запущен и прошел A/B-тестирование, и сейчас задача – масштабировать его на всех пользователей. Эффект персонализации по результатам A/B-тестов составил 4% средней выручки на одного пользователя, это объективно много.

Кроме того, реализован функционал «Похожие товары», «Сопутствующие товары», а также определение ключевых слов и поисковые подсказки.

Наконец, в области ценообразования оптимизирован выбор KVI-товаров. Мы определяем их по своей методике: они не могут быть персонализированными, потому что цена едина для всех. Однако мы используем информацию о наших покупателях: смотрим периодичность покупок, как часто продукты встречаются в чеке, как часто этот товар используется среди людей — и на основании этого определяем список KVI-товаров.

— В каких направлениях планируется дальнейшее развитие?

Мы планируем использовать разные методы машинного обучения для улучшения персонализации. Важно построить «хранилище фич» (feature store), чтобы дата-сайентисты могли быстрее проверять гипотезы, выйти в «реальное время» взаимодействий на сайте.

Мы продолжаем заниматься и текущими задачами: улучшаем существующую модель поиска, а в CRM начинаем работать не только с теми, кто уходит в отток, и активными клиентами, но и с новичками — информацию о них приходится искать вовне. Согласно нашей стратегии, в 2022 планируем дальнейшее развитие онлайн-витрин, работу с оптимизацией ассортимента и массовым промо, построение цифровых двойников складов.

Данные о транзакционном поведении людей всегда были ценным источником информации. Компания QIWI в 2019 году запустила отдельное направление бизнеса, основанное на анализе больших данных. Предсказательная аналитика помогает оценить различные аспекты финансового поведения человека, для того чтобы предложить ему наиболее подходящий продукт с минимально возможной стоимостью риска, заложенной в цену. При этом зачастую речь идет о людях, информацию о которых невозможно получить из других источников. О причинах создания этого направления бизнеса и его особенностях рассказала Юлия Богачева, директор по управлению и анализу данных QIWI и номинант на премию Data Award.

— Как в компании появилось новое направление бизнеса, связанное с анализом больших данных?

Компания QIWI — лидер на рынке платежей в РФ. Наша продуктовая линейка представлена различными продуктами: кошелек, терминалы, платежные переводы Contact, различные решения для бизнеса, позволяющие осуществлять прием платежей и перечислять денежные средства клиентам. Этими сервисами пользуются более 30 млн человек, осуществляющих платежи в адрес более чем 13 тыс. продавцов товаров и услуг.

Так как за время существования мы накопили большой объем данных о транзакционной активности наших клиентов и достаточно успешно использовали данные для улучшения собственных сервисов, в 2019 году было принято решение попробовать запустить отдельное направление бизнеса, основанное на аналитике больших данных.

— Что собой представляют дата-продукты QIWI?

Наши продукты — это различные скоринги и рейтинги, которые позволяют нашим B2B-клиентам лучше узнать их B2C-клиентов (с согласия последних) и предложить им наиболее релевантный продукт или услугу на наилучших условиях.

— Вы заявляете о показателе хитрейта («шанс попадания» — вероятность того, что нужного клиента удастся найти) от 85% до 92% — это впечатляющие цифры. Как их удалось добиться?

В данном случае это исключительно заслуга основного бизнеса QIWI: теми или иными продуктами нашей компании пользуются практически 80% экономически активного населения РФ.

— Какова ваша «фишка», в чем уникальность собранных данных?

Мы имеем дело с такими сегментами клиентов, которых нет или очень мало у классических кредитных организаций. Это так называемые underbanked клиенты, то есть те, кто имеет ограниченный доступ к традиционным финансовым услугам. Причины могут быть разными: географическая отдаленность или просто отсутствие банковских услуг в отдельных регионах. Либо же это специфические возрастные категории — например, молодежь, которая только входит в экономическую жизнь, или технологически неграмотные люди, до сих пор использующие наличные. Скажем, студент хочет получить кредит в банке, и ему предложат очень высокий процент, поскольку о нем нет информации ни в кредитном бюро, ни в самом банке. Мы же про этого человека знаем достаточно много, потому что он совершал регулярные покупки в Интернете, используя сервисы QIWI. Благодаря этому, для таких категорий клиентов становятся доступными кредитные продукты.

— В чем ценность информации о платежном поведении людей, которую видит в своих системах QIWI? Что она может показать?

Объем и разнообразие накопленных нами транзакционных данных позволяют проанализировать поведенческую адекватность человека: как он распределяет свой доход, сколько тратит на развлечения, какими сервисами пользуется, что ему интересно.

— Что «под капотом» созданного решения? На каких платформах оно базируется?

В QIWI закреплен микросервисный подход к созданию продуктов, и наша платформа Big Data не исключение. Наши data-продукты — это отдельные микросервисы с понятным API, который легко интегрируется в систему заказчика, а нам такой продукт достаточно просто масштабировать. Наши основные инструменты при работе с данными — Python и Docker, также мы используем AirFlow, Hive, Spark, Kubernetes и другие компоненты open source.

— Какую долю бизнеса компании занимает новое направление?

Согласно внутренней политике компании, мы не раскрываем финансовую информацию по различным направлениям бизнеса. Но речь идет о выручке в размере десятков миллионов рублей, ожидаем ее кратного роста год от года.

— Какое место интеллектуальные сервисы способны занять в перспективе?

Совершенно очевидно, что в борьбе за потребителей будут выигрывать компании, которые умеют использовать продукты аналитики больших данных для эффективного взаимодействия с клиентом. Сегодня каждый человек получает огромный поток информации, которую он зачастую уже не способен обработать. Поэтому теперь, чтобы привлечь или удержать клиента, любому бизнесу необходимо вовремя предложить нужную услугу или товар по конкурентной цене — иначе предложение будет вне фокуса внимания или быстро забудется. И для выполнения этой задачи необходимы данные и сервисы, основанные на них.

— В каком направлении будут развиваться дата-продукты QIWI?

Локомотивом использования аналитики больших данных в России являются финансовый и технологический секторы. Однако мы видим рост уровня зрелости и в других направлениях бизнеса. Соответственно, мы планируем развивать наши дата-продукты для удовлетворения потребностей растущего рынка.

В столичной Госинспекции по недвижимости автоматизировали процесс выявления нарушений, связанных с землепользованием. Теперь особое внимание инспекторы уделяют «подсвеченным» алгоритмами объектам, имеющим признаки нарушений. Дарья Степанова, заместитель начальника Государственной инспекции по контролю за использованием объектов недвижимости города Москвы и номинант премии Data Award, рассказывает о роли и результатах этого проекта.

— Какова история: как и почему родилась идея этого проекта?

Москва – один из самых динамично развивающихся городов не только в России, но и в мире. В столице насчитывается около полумиллиона объектов капитального строительства, построек и сооружений различного назначения. Они регулярно видоизменяются, проводятся ремонтные и реконструкционные работы, возводятся новые объекты и демонтируются старые, расторгаются и заключаются договоры – все это приводит к изменению границ земельных участков. В наше поле зрения попадают все объекты недвижимости, и объем работы колоссален.

Мы проводим постоянную работу по совершенствованию и разработке новых инструментов контроля. Одним из таких шагов стало внедрение алгоритмов выявления признаков нарушений. Они позволяют нам расширять охват зоны постоянного мониторинга, а также снижать нагрузку на бизнес и предпринимательское сообщество за счет дистанционных объективных методов выявления признаков нарушений без взаимодействия с их правообладателями.

— Какие задачи требовалось решить?

В первую очередь, необходимо было преодолеть проблему различной семантики источников информации, предоставляющих большое разнообразие данных, что значительно осложняло процесс идентификации объектов. Также была проведена большая работа по выстраиванию самого алгоритма, поиску необходимых источников и верификации данных, хранящихся в них. Необходимо было учесть все факторы и риски и не допустить ошибок в логике работы алгоритмов.

— За какое время и какими силами была реализована система?

Проект мы начали в 2020 году, а в прошлом году уже запустили первый алгоритм. В его реализации участвовали сотрудники и группа разработчиков проектного офиса по развитию информационных систем Государственной инспекции по недвижимости, входящей в Комплекс экономической политики и имущественно-земельных отношений столицы.

— Кто и на каких условиях предоставляет информацию для анализа?

Большую часть сведений мы получаем из информационных систем Правительства Москвы, портала Отрытых данных города Москвы, портала Росреестра, также используем открытые источники – например, «Яндекс». Предметом анализа являются технические параметры объектов недвижимости, информация о выданной исходно-разрешительной документации, договорные отношения, параметры объектов по ранее проведенным проверкам, а также сравнение фактического и разрешенного использования объектов недвижимости.

— Какие решения для этого используются?

Алгоритмы построены на платформе Pentaho BI, представляющую собой последовательную систему принятия решений по определенным видам данных (дерево принятия решений).

— Что удалось сделать, какими результатами можно гордиться?

Мы разработали и запустили в работу пять алгоритмов выявления признаков правонарушения. Алгоритм «Отсутствие оформленных земельно-правовых отношений» направлен на выявление объектов без оформленных земельно-правовых отношений и их последующего оформления. «Выявление самостроя» проводит анализ изменения площадных характеристик объекта на предмет соответствия разрешительной документации на строительство. «Неосвоение земельных участков» отвечает за анализ использования территорий, предоставленных под проектирование или строительство. «Нецелевое использование земельных участков» выявляет соответствие разрешенного использования земельных угодий и использования объектов капитального строительства по фактическим данным из открытых источников. Наконец, алгоритм «Самозахват земельных участков» анализирует соответствие границ построек с границами земельных угодий.

Каждый алгоритм помогает сформировать перечень объектов с необходимой проблемной информацией о них и присвоить категорию риска. Далее наши специалисты начинают работу по объектам и в короткие сроки дают заключение о наличии или отсутствии нарушений. Так, с момента запуска программы подтверждено более 3,5 тыс. нарушений в сфере землепользования.

Алгоритмы помогли сократить в четыре раза время на поиск первичных признаков правонарушений. Мы проанализировали более 200 тыс. строений и более 3 млн технической, разрешительной документации и данных открытых источников. Точность выводов алгоритмов составляет 84%.

— В чем заключается важность проекта?

Стратегическая важность, и даже уникальность проекта заключается в том, что система автоматически сопоставляет все необходимые документы и проводит анализ объектов. При отсутствии или несоответствии технической, или разрешительной документации алгоритм выдает признак нарушения. С помощью алгоритмов возможно проанализировать тысячи объектов в кратчайшие сроки и выделить из них именно те, которые обладают наибольшим риском правонарушения.

— Насколько реален сценарий, при котором нарушения будут фиксироваться в полностью автоматическом режиме – как превышение скорости?

Во многом переход к автоматической фиксации выявленных алгоритмами признаков нарушений идет уже сейчас. Благодаря изменениям в федеральном законодательстве в нашем виде контроля можно использовать данные, полученные с использованием работающих в автоматическом режиме средств фото- и видеофиксации нарушений (ст. 74 248-ФЗ). Сейчас мы занимаемся модернизацией нашего вида контроля с еще большим внедрением таких механизмов и все большей автоматизацией принятия решений.

Наш подход, конечно, зависит от типа нарушения. Например, обращения, связанные с использованием объекта недвижимости без оформленных земельно-правовых отношений или захламления земельных участков, в ближайшем будущем можно проверять без участия человека. Сегодня мы видим, что выводы, которые делает алгоритм, объективны, и по ним не требуется дополнительная перепроверка и выезд на место.

Однако сложные нарушения, такие как нецелевое использование земельных участков или возведение объектов самовольного строительства, пока еще требуют сбора доказательной базы, в основном из архивных источников. В этих случаях для нас алгоритм выдает лишь признак правонарушения, он попадает специалисту для проведения камеральной проверки, запроса необходимой архивной разрешительной и технической документации. Решение принимается уже по итогу ручной обработки.

— В каком направлении будет развиваться проект?

Сегодня ведется разработка новых алгоритмов по новым типам правонарушений. Также не прекращается работа по совершенствованию текущих.