Data Award

В X5 Group запускают AI-RUN Business Platform – платформу, позволяющую внутренним командам быстро внедрять решения на основе искусственного интеллекта. Она предоставляет доступ к широкому спектру ИИ-сервисов, и ее помощью можно создавать, тестировать и масштабировать ИИ-приложения, не тратя время и ресурсы на разработку с нуля. Также пользователи в рамках платформы получают поддержку экспертов в области искусственного интеллекта. О реализации и первых результатах проекта рассказывает Артем Ерохин, ведущий менеджер по работе с большими данными X5 Group и номинант на премию Data Award.

- Как пришла идея создания AI-RUN Business Platform?

Мы давно работаем с продуктами и сервисами, основанными на данных. В X5 Group уже большая экспертиза по различным ML-решениям, создано множество сервисов, построенных на данных. Однако пару лет назад мы стали наблюдать новый взрыв интереса к передовым технологиям, и, в частности, к большим языковым моделям (Large Language Model, LLM).

Сначала мы экспериментировали отдельными командами, но быстро поняли, что для того, чтобы централизованно накапливать экспертизу и помогать компании работать с наиболее современными достижениями в сфере анализа данных, нужна единая точка входа, одно общее решение. Так и родилась идея создания платформы, которая позволила бы работать с самыми актуальными алгоритмами и моделями.

- В чем заключаются основные проблемы, связанные с внедрением ИИ-решений?

Конечно, это зависит от области применения и типов алгоритмов. В компании уже пройден большой путь, и есть экспертиза внедрения решений на основе классического машинного обучения. Но для тех же LLM есть особенности. Например, для самых крупных открытых моделей подойдет не каждая машина. Плюс, есть особенности работы с этими моделями, отдельные «фишки», которые не всегда работают в классическом ML.

Если же брать в целом, то основные проблемы внедрения достаточно типичные. Первое – человека на месте нужно убедить, что ИИ-решение будет лучше, чем «ручной привод». Второе – внедрение новых подходов меняет процессы. Соответственно, появляются новые сущности, новые запросы и новые вызовы, которые нужно решать именно на процессном уровне. И третье – нужна реализация и отслеживание процесса разработки моделей от начала и до конца. В отличие от четко заложенной программистом бизнес-логики, у ИИ-решений все полагается на накопленный опыт и статистику. Оттого возможны предсказания, которые человеку покажутся как минимум необычными. Но модели пока не обладают здравым смыслом в человеческом понимании и не могут сами исправить возможные недочеты.

- Как платформа должна помочь их решать?

Работа ведется по нескольким фронтам. Во-первых, чем проще человеку что-то «пощупать», тем легче для него будет понять, что за инструмент ему предлагают и проще показать преимущества нового подхода. Кроме того, платформенное решение предполагает не только техническую сторону вопроса. Одновременно с разработкой создаются новые и меняются существующие процессы в компании. Люди могут понять, как работают наиболее современные технологии на своем опыте, предложить изменения процессов и подсказать, как именно ИИ будет полезен в их повседневной работе. Наконец, если мы делаем платформенное решение, то сразу охватываем весь процесс разом и, значит, можем его лучше контролировать. Ну, и иметь максимальную скорость реакции и адаптивность, конечно.

- Какой подход был выбран при создании платформы?

Мы решили пойти от частного к общему. Кажется, что именно так мы сможем получить более полную картинку, а не навязывать инструмент сверху. Провели несколько воркшопов, выделили целевые области, в которых можем принести как можно больше пользы компании. Тогда же начали проявляться повторяющиеся запросы. А это как раз одна из целей такого платформенного решения – удовлетворение повторяющихся запросов от совершенно различных бизнес-функций неким автоматизированным решением.

Как только появились первые идеи, мы начали их проработку в техническом плане. При этом, прорабатывали в двух плоскостях: как мы можем сделать это сейчас и как мы видим это в идеальном будущем. Так получилось заниматься и разработкой, и формулировать видение. И даже больше – проложить мостик между тем, что мы делаем сейчас, и куда мы придем в итоге.

- Что представляет собой платформа, в чем ее суть? Какие элементы она включает?

Сейчас это набор сервисов, процессов и экспертизы, которые позволяют создать конкретное решение для заказчика. Пока это только решения, которые требуют LLM, – например, вопрос-ответные системы или системы помощи в создании и редактуре тех или иных документов. Но мы активно работаем над добавлением составляющей, связанной с компьютерным зрением, так как это может дать сильный синергетический эффект.

Ключевыми элементами являются сервис-шина доступа, сервис с моделями, база данных и соединяющие их потоки данных.

- Какие ИТ-инструменты использовались при создании решения?

Сервисы мы реализуем на языке Python, который можно считать своеобразным lingua franca в мире машинного обучения и работы с ИИ. Кроме того, используем достаточно большое множество разнообразных библиотек из области работы с ML. Общаются сервисы между собой с помощью Kafka.

Если рассматривать именно работу с LLM, то для базы данных мы пока выбрали Quadrant, но, возможно, изучим и альтернативы. В качестве моделей используем открытые Llama и Mixtral, а также проприетарные модели от внешних компаний.

- Как фактически изменяются благодаря платформе процессы работы с новыми решениями на базе ИИ?

Если говорить коротко, то сокращается цепочка от автора до итогового решения и упрощается процесс взаимодействия с ИИ-решениями. Например, инициатору уже не нужно пытаться поднимать свою LLM на собственных мощностях, он пользуется готовым решением. Кроме того, единая точка входа позволяет не только создать некое техническое решение, но и получить достаточно редкую и ценную экспертизу специалистов в области ИИ. Ведь не всегда для решения бизнес-задачи требуется самое современное решение, а если и требуется, то вариантов использования такого решения может быть немало. Неспециалисту в этом, конечно, будет сложно разобраться.

- Какие категории сотрудников являются основными пользователями? Это все-таки айтишники или бизнес-заказчики?

Мы стремимся к тому, чтобы пользоваться решением могли не только айтишники, но и люди от бизнеса. Конечно, это скорее целевое состояние, и сейчас некая техническая экспертиза все же требуется. Но мы вкладываем много усилий в обучение бизнес-пользователей, просвещение и упрощение понимания современных инструментов, их особенностей работы и областей применения.

- С охвата каких ИИ-решений решили начать и почему?

LLM в какой-то момент «взорвали» информационное поле, более того, они реально могут быть полезными. При этом решения, которые создаются на базе LLM, для простого пользователя будут восприниматься как магия. Получается, мы решаем сразу несколько целей: не отстаем от рынка (и даже пытаемся идти среди первопроходцев), исследуем новую перспективную технологию и приобщаем пользователей к современным инструментам.

Но работа с данными не ограничивается только LLM. Очевидно, что если привнести и достижения в других доменах (обработка изображений, звука и т.д.), то можно получить синергетический эффект. Например, записанные от руки данные можно будет распознать, обработать и выдать ответ. Или делать гораздо более «живых» виртуальных операторов, которые будут общаться неотличимо от человека. А там, глядишь, и мультимодальные модели еще раз «взорвут» рынок.

- Каких результатов уже достигли? А что ожидается в перспективе?

Думаю, что хорошим результатом можно считать настроенный процесс получения идей от бизнеса и их приоритизации. Если говорить о технических аспектах, то, например, мы весьма неплохо ищем нужную информацию. Например, среди трех верхних найденных документов с вероятностью 95% окажется именно тот, который искал пользователь.

Тем не менее, нам все еще нужно улучшать работу наших моделей. Те же LLM имеют одну неприятную особенность: они очень хорошо пишут абсолютный бред. Соответственно, под это нужно дорабатывать методы детекции некорректных ответов и способы справляться с такими проблемами. Как вариант, запустить так называемый процесс Human-in-the-Loop, где люди участвуют как в обучении, так и в тестировании алгоритма. Его суть заключается в том, что в постоянном циклическом процессе человек корректирует работу моделей, привнося свет человеческого знания в те области, где модель блуждает в потемках.

На данный момент нами обрабатывается 150 входящих идей, из которых 20-30 получили первичную проработку со специалистами. Уже на этапе пилотов находятся 10 идей, которые запускались с конца лета до нынешних времен – то есть находятся в работе около четырех-шести месяцев. Запуск первой версии платформы намечен на конец 2024 года.

- Чем можно гордиться, а над чем еще предстоит поработать?

Думаю, что основные поводы для гордости – это наша команда X5 Tech, а также возникшие новые процессы и, конечно же, скорость получения первых результатов. Идеал недостижим, но, чтобы максимально к нему приблизиться, нам нужно будет улучшить визуальную составляющую платформы. И, конечно же, продолжать доносить до новых пользователей преимущества новейших достижений инженерной мысли.

- Какие первые ИИ-продукты уже родились благодаря новой платформе?

Сейчас мы работаем над вопрос-ответными системами по накопленным в X5 базам знаний, а также сервисами генерации документов и помощи в работе над документами. Мы называем это «умной редактурой».

Но развитие идет динамично. К нам каждый месяц поступает множество идей о применении ИИ в наших процессах. Так что, думаю, продуктов станет кратно больше.

- Каковы перспективы развития AI-RUN Business Platform?

Самые позитивные. Сейчас сфера ИИ развивается очень быстро. Чуть ли не каждую неделю выходят все более «умные» модели, появляются новые подходы, упрощается техническая реализация существующих подходов. И я думаю, что такое платформенное решение позволит как можно быстрее доносить эти достижения до обычных бизнес-пользователей. И, конечно же, чем больше разных доменных областей будет в платформе, тем лучше будет проявляться синергетический эффект от разных источников данных и их объединения для решения единой бизнес-задачи.

Умение слышать своих клиентов и приглядывать за их отношением к конкурентам – очень важный навык для любой компании. И в условиях нынешнего разнообразия и обилия информации из различных источников важно поставить работу с обратной связью «на поток», стандартизовав ее, как операции на заводе Генри Форда. О создании решения «Napoleon IT Отзывы» и его роли в выстраивании процессов работы с отзывами клиентов рассказывает Константин Прайс, коммерческий директор Napoleon IT и номинант на премию Data Award.

- В чем суть решаемой проблемы? Почему это важно?

Работа с обратной связью критически важна на современном рынке. Технология «Napoleon IT Отзывы», основанная на ИИ, помогает понять, какие сильные и слабые стороны есть у продукта, за что его ценят потребители, а что можно исправить или улучшить, чтобы его покупали еще больше. Анализ конкурентов осуществляется таким же путем, как и анализ собственного продукта – можно собрать источники на различных маркетплейсах, картах и т.д. и добавить их в систему. После этого мы начинаем трекинг отзывов и их аналитику, а на выходе компания получает точно такой же дашборд и отчеты.

Также можно провести исследования по конкретному сегменту рынка. Здесь проводится точно такая же работа, как и по отдельному продукту. Но на выходе компания может получить отчеты как по отдельным продуктам, так и срез по всему сегменту.

Для наших клиентов доступно агентское сопровождение. Наша команда аналитики готовит еженедельные резюме об изменениях и рекомендации, а также месячные статусы, в которых делятся анализом ситуации и динамики в области продажи товаров, услуг, работы приложений, магазинов, ресторанов и т.д.

- Какими методами обычно компании решают эту задачу?

Существует три варианта решения проблемы. В первом случае компании вовсе не работают со своими отзывами. Это очень часто встречается в сегментах малого и среднего бизнеса, потому что у таких компаний не хватает времени либо ресурсов. Для них «Napoleon IT Отзывы» – это легкий способ начать анализировать и оценивать обратную связь, обращаясь за рекомендациями и поддержкой к экспертной команде.

Второй вариант применяется в том случае, когда речь идет о больших компаниях и торговых сетях. В основном они работают с отзывами двумя способами. Первый способ – регулярный, и для этого нанимают штат людей напрямую или через агентство. Но наемные сотрудники обрабатывают лишь часть отзывов, так как человек способен качественно изучить не более одного-двух отзывов в минуту, или до 1 тыс. отзывов в день. При этом стоимость разметки одного отзыва для компании обходится в 10-15 руб., и за 2023 год эта сумма увеличилась в результате роста стоимости сотрудников и нехватки персонала. Для таких компаний мы предлагаем возможность мониторить одновременно множество источников и добавлять новые позиции буквально за 30 секунд, а анализ всех отзывов проводится в среднем за 20 минут.

Второй способ «серьезной» работы с отзывами – периодическое проведение количественных и качественных сравнительных исследований своих товаров с товарами конкурентов. В данном случае мы пользуемся аналогичной методикой и позволяем компаниям видеть не только дискретные отрезки, а ежедневные и еженедельные изменения, которые помогают быстрее отловить изменения и нивелировать различные отрицательные моменты: ошибки в логистике и систематические повреждения товаров, брак или нарушения режима доставки, в которых товар теряет основные характеристики, реакцию на рекламу и многое другое.

Третий вариант решения проблемы применим, когда часть компании использует оцифрованную количественную обратную связь для управления контрактами и мотивацией партнеров: дистрибьюторов и сетей, сотрудников и управляющих магазинов или ресторанов и многое другое. Здесь мы выступаем надежным партнером и независимой третьей стороной для предоставления непредвзятой машинной оценки обратной связи с минимальным влиянием субъективного фактора.

- В чем заключается предлагаемый вами подход?

Мы используем, с одной стороны, математический аппарат для количественных исследований и выявления статистически значимых изменений, с другой – нейролингвистический подход анализа данных. Кстати, ИИ в виде лингвистических данных мы начали использовать одними из первых в России. Это позволяет оцифровать и обработать большой объем текстовой информации в числах и предоставить важные данные. На их основе руководитель компании или индивидуальный предприниматель может принимать взвешенные решения и пользоваться всеми преимуществами, которые дает позитивная обратная связь на его товары или услуги и вовремя отслеживать негативную.

- Почему такой подход лучше?

Есть три основных преимущества, которые позволяют нам быть лучше текущей практики. Первая – это стабильность качества интерпретации информации. Здесь можно привести следующий пример. Когда мы делаем разметку обратной связи самостоятельно при помощи асессоров (людей), один и тот же отзыв разные люди могут отнести ко многим факторам, что искажает картину, снижает качество получаемой информации и принимаемых решений. Автоматизация операций и стандартизация, как на заводе Генри Форда, повышает качество и стабильность получаемого результата.

Второе преимущество заключается в том, что автоматизация снижает себестоимость обработки отзывов. Она позволяет небольшим компаниям и предпринимателям использовать все преимущества работы с обратной связью без необходимости больших инвестиций и успешно конкурировать на рынке за внимание клиента и удовлетворение его потребностей.

Третье преимущество состоит в том, чтобы «слышать своего клиента». Оно позволяет большим компаниями единым способом обрабатывать все источники обратной связи и оценивать эффекты из разных каналов: отзывы с карт, отзывы из магазинов мобильных приложений, собственная обратная связь, отзывы с маркетплейсов и других площадок. Автоматизация приводит к снижению временных и операционных затрат, что повышает прибыль компании.

- Что представляет собой созданное решение? Какие технологии применялись?

В «Napoleon IT Отзывы» применяются две технологии. Первая – технология проведения количественных исследований и оценки статистической значимости фактора для анализа. Вторая – прорывная технология, которая вмещает в себя механизмы машинного обучения и лингвистические модели в различной интерпретации для всесторонней обработки отзывов.

- Где именно и с какой целью в решении используется ИИ?

Искусственный интеллект используется для многослойной обработки лингвистической информации и ее классификации – там, где используется до пяти слоев и до трех различных моделей.

- Какие были сложности при создании продукта, и как вы их решали?

Сложностей было несколько. Во-первых, неточность модели. Ее мы решали с помощью ручной кросс-валидации и разметки данных, пользовательского тестирования и дообучения модели.

Вторая сложность была связана со взаимодействием с моделью. Изначально она работала по принципу автогенерации тем, о которых пишут пользователи. Но это во многих случаях не устраивало бизнес, так как компании уже имели внутренние шаблоны тем, по которым привыкли обрабатывать пользовательскую обратную связь в своих BI-системах. В результате было разработано три алгоритма разметки данных: автогенерация без заранее заданных тем, разметка данных по заданным темам и гибридный подход объединяющий первый и второй варианты.

- Что в решении удалось наиболее удачно, чем можно гордиться?

Во-первых, у нас высокое качество разметки данных: 92% точности в определении темы и тональности, 94% покрытия одного отзыва (процент выявления всех упомянутых тем внутри отзыва). Во-вторых, высокая скорость разметки данных. В-третьих, доступная итоговая цена за один обработанный отзыв.

- Каков портрет типичного клиента? Кто может быть заинтересован в решении?

Основное направление для использования «Napoleon IT Отзывы» – это ретейл и FMCG-компании. Также это решение подойдет частным предпринимателям на маркетплейсах и компаниям, проводящим маркетинговые исследования на рынке. Кроме того, продуктом могут пользоваться заведения общественного питания и блоггеры для отслеживания информации о себе и конкурентах, сравнения характеристик своих продуктов и продукции других компаний на основе обратной связи.

- Приведите примеры уже реализованных проектов. Каких результатов удалось достичь, какую пользу бизнесу они принесли?

Мы стараемся сохранять высокий уровень конфиденциальности клиентов, так как чаще всего лучший результат достигается именно в тех случаях, когда подсвечиваем «ошибки» в оказании услуг. Показательный пример – это рост конверсии у одной из компаний в три раза после выявления ключевой ошибки в оказании услуги или выявлении партии брака, где удалось избежать репутационных рисков.

Кроме того, есть публичный кейс с производителем натуральных лимонадов Lapochka. Компания с помощью нашего решения провела конкурентный анализ отзывов за 20 минут и выяснила, что 77% клиентов довольны вкусовым разнообразием и качеством продукции, а 65% положительно оценивают натуральный состав напитков. В то же время основными причинами негативных отзывов являлась упаковка и цена (около 15%), нарушения по срокам доставки (около 26%). Чтобы снизить количество отрицательных отзывов, компания Lapochka взяла в разработку применение более устойчивой к повреждению упаковки товара. Кроме того, на основе анализа отзывов бренд запустил новый вкус лимонада, о котором просили покупатели.

- А каких результатов вообще можно добиться?

С помощью интеллектуального анализа отзывов можно поднять рейтинг товара или услуги, что влияет в свою очередь на конверсию в покупку либо посещение ресторана, центра оказания услуг – салона красоты, парикмахерской и т. д., – и ее выручку. Также наше решение помогает моментально реагировать на качество оказания своих услуг или конкурентов, увеличивает LTV пользователей (lifetime value — «пожизненная ценность клиента»), выручку и прибыль.

- В каком направлении будет развиваться проект?

«Napoleon IT Отзывы» будет улучшать качество анализа отзывов и предоставлять услугу по лучшей цене на рынке. Кроме того, мы планируем сделать наше решение еще более доступным, чтобы даже небольшим предпринимателям в сфере продаж товаров и предоставления услуг можно было эффективно конкурировать на развивающемся рынке.

Голос человека может рассказать многое о своем владельце. Его изменение может служить симптомом некоторых заболеваний, в том числе связанных с дегенерацией нейронов головного мозга, к которым относится болезнь Паркинсона. Сервис BRAINPHONE призван выявлять людей даже на ранней стадии болезни на основе анализа их голоса, являясь массовым и доступным инструментом диагностики. О создании решения рассказывает Ильдар Хасанов, исполнительный директор BRAINPHONE и номинант на премию Data Award.

- В чем суть решаемой BRAINPHONE проблемы? Почему это важно?

По данным ВОЗ болезнь Паркинсона занимает первое место в мире по темпам инвалидизации среди всех неврологических заболеваний. На сегодняшний день в России и мире лишь треть пациентов с болезнью Паркинсона имеют корректный диагноз. При этом большинству из них он выставляется поздно – на продвинутых стадиях, когда гибнет до двух третей черной субстанции мозга, гибель нейронов которой ассоциирована с развитием болезни. Такая ситуация имеет место в первую очередь за счет отсутствия скрининговых инструментов для выявления признаков болезни Паркинсона.

- Какими методами обычно решается задача выявления болезни Паркинсона?

Сейчас ситуация такова, что диагностика болезни Паркинсона осуществляется только с непосредственным участием врача на основе, в первую очередь, неврологического осмотра пациента. Рутинные методы визуализации (МРТ, КТ и др.) и лабораторные методы используются лишь в качестве вспомогательных – в первую очередь, исключающих – при постановке диагноза. На сегодняшний день и в России, и в мире нет внедренных в рутинную клиническую практику скрининговых инструментов для выявления болезни Паркинсона.

- В чем заключается предлагаемый вами подход? Почему он лучше?

Наш сервис предназначен для скрининговой диагностики людей с факторами риска развития нейродегенераций. Ведущим из них, конечно же, является возраст. Так, люди старше 55 лет даже в отсутствие других факторов риска имеют повышенную вероятность развития болезни Паркинсона. Наш сервис позволяет большому количеству людей быстро, эффективно и недорого пройти скрининговое исследование на наличие признаков заболевания. Это, в свою очередь, позволяет людям раньше попасть к профильному врачу и начать соответствующее лечение.

- Как пришла идея создания решения, выявляющего болезнь Паркинсона по голосу?

Мы давно занимаемся этой проблемой и имеем большой опыт в поиске и изучении биомаркеров заболеваний мозга, в том числе болезни Паркинсона. Наше решение – это веяние нового времени в виде использования инновационных технологий для решения запросов, уже давно выдвигаемых международным медицинским сообществом. И подобные продукты меняют подход системы здравоохранения к диагностике и лечению пациентов. Так, Международным обществом по изучению болезни Паркинсона и других расстройств движений (International Parkinson and Movement Disorders Society) в прошлом году даже была создана отдельная рабочая группа Technology Study Group по изучению инновационных стратегий и способов применения диджитал-продуктов.

- Что «под капотом»? Какие технологии и методы ИИ применялись?

В основе нашей технологии лежит оптимизированная нейронная сеть, обученная на мел-спектрограммах голосов пациентов с болезнью Паркинсона и группы контроля.

- Какие данные использованы?

Для обучения нейросети используется уникальный собственный датасет аудиозаписей голосов пациентов с болезнью Паркинсона и группы контроля. Датасет сформирован из нескольких тысяч аудиозаписей голосов, записанных при выполнении различных заданий (методики заданий разработаны учеными, неврологами и логопедами). Датасет релевантный, размечается при участии опытных врачей-паркинсонологов, постоянно пополняется. Для сбора и хранения датасета разработаны собственный чат-бот и платформа.

- Что собой представляет созданное решение?

Сервис BRAINPHONE призван использоваться в качестве скринингового инструмента, который легко и недорого может охватить большое количество людей с факторами риска. Он реализуется в виде нейросетевой модели, интегрированной в «оболочку» – контакт-центр, чат-бот, приложение и др. – в зависимости от бизнес-потребности. Это массовый, доступный и легко осуществимый, без привязки пациента к местонахождению врача и специализированного оборудования, инструмент для диагностики и мониторинга болезни Паркинсона на любых, в том числе ранних, стадиях.

- Какие были сложности при реализации проекта, как их решали?

Трудной, но в то же время интересной задачей, как и в любом MedTech-проекте, было получение релевантного датасета для обучения искусственного интеллекта. При этом хорошо, когда есть возможность объективизировать диагноз – например, с помощью методов нейровизуализации, как это происходит при диагностике опухолей, инсультов и др. В случае с болезнью Паркинсона, к сожалению, такой возможности нет.

Так, когда дело касается анализа медицинских изображений, это изображение могут посмотреть 2-3 и более врачей для оценки и разметки. Этим можно повысить уверенность в используемой выборке. Когда речь идет о клиническом диагнозе, как при болезни Паркинсона, оценить правильность выставленного диагноза можно только при непосредственном контакте врача с пациентом. Поэтому большим вызовом был изначально правильный, даже академичный, подход к сбору данных, чего мы и смогли добиться благодаря нашим многолетним наработкам.

- Какие результаты достигнуты и ожидаются?

Сервис успешно прошел первый этап клинических испытаний и готовится к регистрации в качестве медицинского изделия. Чувствительность сервиса 80%, а специфичность – 92%. В сравнении с общепризнанными клиническими способами диагностики чувствительность сервиса сопоставима с ними, а специфичность даже превосходит их.

На сегодняшний день готовятся пилоты в нескольких регионах России. Кроме того, по результатам бизнес-миссии под эгидой Агентства стратегических инициатив в королевстве Марокко была достигнута предварительная договоренность с президентом Совета Национального объединения врачей о пилоте в одной из крупнейших клиник Касабланки.

- Речь идет только о работе с пациентами медицинских учреждений, или решение может встраиваться в любые крупные контакт-центры для выявления людей, даже не подозревающих о своей болезни?

Да, все верно. Решение может использоваться как в медицинских учреждениях, так и быть интегрированным в другие сервисы. Например, сейчас обсуждается внедрение продукта в колл-центр, объединяющий все медицинские учреждения региона.

- В чем роль и социальная значимость проекта?

Внедрение в рутинную клиническую практику сервиса BRAINPHONE приведет к нескольким важным эффектам. Первый из них – своевременное выявление болезни Паркинсона у пациентов вне зависимости от места жительства и удаленности от медицинских центров – например, центров экстрапирамидной патологии, или специализированного оборудования. То есть станет доступен массовый скрининг. Второй эффект – массовый мониторинг, то есть возможность осуществления адекватного мониторинга состояния пациентов с болезнью Паркинсона, в том числе оценка эффективности лечения. Своевременная постановка диагноза и качественный мониторинг позволят улучшить качество жизни пациентов и отсрочить их инвалидизацию, сохранить их работоспособность. По экспертным оценкам, ранняя установка диагноза позволит снизить прямые и непрямые расходы на пациентов со стороны семьи и государства более чем в 10 раз при лучшем качестве жизни.

Наконец, повышение выявляемости болезни Паркинсона потенциально увеличит объем рынка противопаркинсонических препаратов до трех раз и сместит фокус фармацевтических компаний в сторону поиска наиболее эффективных решений для ранних стадий.

- В каком направлении будет развиваться проект?

Мы не останавливаемся на достигнутом – работа кипит, проект растет, развивается. Мы нацелены как на повышение точности диагностики, так и на расширение списка диагностируемых заболеваний.

В Х5 Tech разработали и интегрировали систему по модельному риску, позволяющую эффективно отслеживать и управлять многочисленными ML-моделями, детектировать и реагировать на возможные риски, связанные с моделями. Это позволяет минимизировать потенциальные убытки и улучшать качество принимаемых на основе моделей решений. Модельный риск был встроен в процессы компании, и уже предотвращены реальные случаи, когда модель приносила значительные финансовые убытки. О реализации этого проекта рассказывает Святослав Орешин, руководитель команды модельного риска Х5 Tech и номинант на премию Data Award 2024.

- В чем суть проблемы? Почему управление рисками моделей машинного обучения стало важным для X5?

Чтобы лучше понять проблему, давайте начнем с аналогии. Допустим, вы запускаете стартап и работаете в небольшой компании друзей-коллег. Вы общаетесь каждый день и в курсе всех событий, которые у вас происходят в команде. Но с ростом команды вы нанимаете больше персонала, делаете больше проектов, и у вас возникает естественная потребность в HR-специалистах, менеджерах и системе управления персонала в целом.

Отсюда и возникает проблематика модельного риска – если у вас не так много моделей машинного обучения и на них не завязаны критичные для бизнеса решения, то за модельным риском можно следить и вручную. Однако в случае больших компаний обрабатываются терабайты данных ежедневно, а количество ML-моделей может исчисляться сотнями, и они участвуют практически во всех процессах. Если не поддерживать актуальность моделей и качество входных данных, не следить за динамикой их работы, то вы столкнетесь с финансовыми убытками и нецелевым расходованием бюджета. Контроль за модельным риском направлен на минимизацию возможных убытков и предотвращение нецелевого расходования бюджета.

- Каковы типичные риски, связанные с ML-моделями?

Основной риск – это то, что модель может работать неточно или непредсказуемо. Это может быть следствием некорректности входных данных, необходимости переобучить модель, изменением бизнес-логики или просто влиянием внешних факторов. Далее каждая из «крупных» категорий рисков раскладываются на более частные, которые отражают специфику той или иной модели. Есть ML-модели, которые делают предсказания каждую минуту, а есть те, которые делают предсказания раз в месяц. Соответственно, для каждой из них свойственны разные риски с разной критичностью, исходя из специфики данных, архитектуры и других вводных.

- Приведите примеры случаев, когда «отбившиеся от рук» модели приносили реальные убытки. О каких масштабах потерь идет речь?

Конкретные случаи я привести не могу из-за NDA, однако можем провести теоретическую оценку. Представим, что у нас есть модель Х, стоимость разработки и поддержки которой составляет примерно 10 млн руб. в год. Для простоты расчетов предположим, что все модели приносят компании одинаковое количество выручки и риски распределены нормально. Применим правило «одной сигмы» для распределения рисков и получим, что при оптимистичном сценарии мы несем в среднем около 20% убытков, а при пессимистичном – более 50% убытков. Получается, что если в компании есть 50 моделей со средней стоимостью 10 млн руб. в год на каждую, то компания терпит от 100 до 250 млн руб. убытков каждый год из-за реализации модельных рисков.

Мы рассматривали сценарий, при котором модельные риски приводят только к нецелевому расходованию бюджета, но в реальности компания терпит дополнительные убытки, так как часто предсказания моделей переиспользуются в разных процессах, и убытки могут суммироваться и приводить к дополнительной нагрузке на персонал.

- Что включает управление моделями и их рисками?

Если максимально упростить решение, то в модельном риске мы решаем три основные задачи. Во-первых, это централизация – появляется централизованный верхнеуровневый мониторинг над моделями: все модели регистрируются в единой системе. Во-вторых, актуализация – информирование продуктовых и проектных менеджеров, дата-сайентистов и ML-разработчиков, а также прочих заинтересованных лиц о состоянии и изменениях в работе моделей. Наконец, мониторинг – единое место, где все участники процессов, связанных с моделью, смогут отслеживать все доступные модели и их метрики.

- Что представляет собой созданное в X5 решение?

Решение состоит из разных компонент. Во-первых, это веб-сервис и интерфейс, в котором владельцы модели могут ее зарегистрировать и внести основную информацию о ней. Во-вторых, это ядро системы – ключевая логика для сбора и анализа различных данных, связанных с работой модели, оценкой входных данных, по итогу работы которой рассчитываются и оцениваются риски. И, наконец, это система мониторинга и уведомлений, которая позволяет получать актуальную информацию о работе и состоянии каждой модели и своевременно оповещать всех, кого следует, о возникающих рисках и предлагать возможные действия для их ликвидации.

- Как, по каким признакам, определяется, что модель работает не так, как должна?

Для начала надо четко понимать, на каких данных работает модель, какую задачу решает, как проводится ее валидация, какие у нее целевые значения прокси-метрик и на какие бизнес-метрики влияет работа модели. Далее, совместно с владельцем модели под нее настраиваются риски и оценивается их критичность. Например, для одной модели критично, если она не производила предсказания в течении одного часа, а для другой – в течении одной недели. Наш сервис получает логи работы моделей и протоколирует их, оценивает входные данные и рассчитывает релевантные для модели риски. Затем по совокупности всех выявленных рисков модели присваивается статус. Все это происходит в реальном времени с минимальными задержками.

- Как решение встроено в процессы, кто и на какой основе занимается управлением ML-рисками?

При интеграции подобной системы крайне важно не нагружать команды дата-сайентистов дополнительной работой. Поэтому в ходе разработки мы активно общались с владельцами и разработчиками моделей, а также бизнес-стейкхолдерами, и таким образом приоритезировали функционал, который действительно нужен командам. Оптимизируя нагрузку на команды, мы добились того, что процесс регистрации и подключения модели занимает в среднем не более, чем 15 минут.

Таким образом, мы не просто встраиваемся в процессы, но и решаем задачи команд, снимая с них дополнительную нагрузку, связанную с мониторингом моделей. Помимо этого, мы интегрировались в процесс передачи моделей на поддержку, и все ML-модели, которые передаются и находятся на поддержке подключены к нашему сервису.

Продуктом пользуются как разработчики и владельцы моделей, так и руководители подразделений, заказчики со стороны бизнеса, финансовый отдел и другие команды.

- Как измеряются результаты в случае управления модельными рисками?

Оценить вклад модельного риска в финансовые показатели – достаточно сложная задача. Модельный риск – это превентивное решение, поэтому основные показатели на текущий момент заключаются в уровне покрытия системой мониторинга всех моделей компании, а также количество срабатываний на одну модель. Очень важно оценивать и качественные показатели – получать обратную связь от пользователей системы, а также проводить «работу над ошибками» – анализировать случаи, когда модель работала неточно, и понимать, как сервис может предотвращать такие случаи в будущем.

- Что удалось лучше всего, чем больше всего довольны?

Основной наш результат – это то, что нам удалось найти соответствие созданного решения потребностям внутри компании. Продукт достаточно молодой, мы начали им заниматься только в мае 2023 года, и тогда переживали, что наше решение может стать еще одним «регулятором», создать дополнительную нагрузку на команды ML-разработчиков. Однако за этот год мы смогли найти путь, в котором мы не только разработали и внедрили систему мониторинга рисков, но и решили множество смежных задач.

- Что с финансовыми эффектами?

Модельный риск направлен на предотвращение убытков для уже имеющихся моделей, поэтому даже спустя какое-то время работы системы будет крайне сложно оценить финансовый вклад именно модельного риска.

Мы сейчас развиваем большое инфраструктурное направление по MLOps, и модельный риск – часть этого направления. Ведь модельный риск не только предотвращает убытки от работы самих моделей, но также оптимизирует работу ML-команд за счет предотвращения дублирования работы при решении схожих задач, выполняет задачи мониторинга и интегрируется с внутренней инфраструктурой. Поэтому более корректно будет оценивать общий эффект от совокупности всех решений MLOps.

- В каком направлении будет развиваться проект, на какие результаты рассчитываете?

Проект будет развиваться как «вширь» – будем расширять список возможных рисков и подключать новые модели, так и «вглубь» – сможем учитывать более специфичные риски и предлагать «точечное» реагирование на них. Кроме того, планируем подключать не только отдельные модели, но и полноценные процессы разработки, состоящие из разных шагов по обработке данных и работы разных моделей.

Также мы решаем задачу составления единого реестра всех моделей компании. Таким образом, разработчики смогут делиться опытом не только внутри своей команды, но и с другими командами.

Оператор сотовой связи в Казахстане Tele2/Altel запустил проект оптимизации размещения базовых станций 5G с помощью машинного обучения и многокритериального анализа принятия решений (MCDA). Это должно позволить компании снизить капитальные затраты, повысить энергоэффективность, улучшить качество услуг и в целом усилить устойчивость сетей связи. Проект направлен на обеспечение баланса между потребностями текущих абонентов 4G и ожиданиями новых пользователей 5G, а также на поддержку устойчивого развития в соответствии с Целями устойчивого развития ООН. О его реализации рассказывает Станислав Стрельцов, CDO Tele2/Altel и номинант на премию Data Award 2024.

- В чем заключалась бизнес-проблема, которую решали?

Наша основная задача заключалась в оптимизации размещения базовых станций 5G, учитывая потребности текущих абонентов 4G и ожидания новых пользователей 5G. Баланс между потребностями существующих абонентов и развитием сети 5G критически важен: мы работаем в условиях ограниченного CAPEX/OPEX. Компании необходимо эффективно управлять ресурсами и размещением базовых станций для обеспечения плавного перехода от 4G к 5G и обеспечения высокого качества обслуживания для всех пользователей.

- Какие требования предъявлялись к создаваемому решению?

Решение должно было снизить капитальные затраты, повысить энергоэффективность, улучшить качество услуг и обеспечить устойчивость сетей связи.

- Какие данные и платформы используются?

Для анализа и принятия решений мы собираем статистику трафика 4G станций, данные о подключениях абонентов, метрики подключений устройств 5G, время активности пользователей, а также трафик, генерируемый устройствами 5G. Эти данные собраны с использованием существующих телекоммуникационных инфраструктур и инструментов мониторинга сети. Кроме того, обращаемся к внешним источникам, таким как карты и информация о застройке.

Используемые платформы для работы с данными включают реляционные и не реляционные СУБД (Oracle, ClickHouse, PostgreSQL), а также специализированные системы анализа данных и машинного обучения собственной внутренней разработки, использующие решения open source. Для визуализации результатов и поддержки бизнеса используется платформа Tableau.

- Что представляет собой созданное решение, какие технологии использованы?

Решение представляет собой систему оптимизации размещения базовых станций 5G с использованием машинного обучения, инструментов Big Data и многокритериального анализа.

- Какими силами реализовывалась система?

Над проектом работала команда аналитиков данных, дата-сайентистов и инженеров данных, ее размер составлял примерно 14 человек. На реализацию потребовалось 12 месяцев.

- Что в ходе проекта было самым сложным?

Сложность заключалась в балансировке требований текущих абонентов – было важно держать качество связи на определенном уровне, – и ожиданий новых пользователей. Кроме того, речь шла обработке и анализе больших объемов данных: прогнозы на уровне базовой станции охватывают данные более 20 тыс. временных рядов.

- Каких результатов уже достигли, а какие ожидаются в будущем?

На несколько процентов увеличился ROI. По мере продвижения проекта ожидается, что данные результаты будут пересматриваться и адаптироваться в соответствии с динамикой рынка и потребностями пользователей.

Кроме того, ожидаемые результаты включают снижение на 20% капитальных затрат (CAPEX) за счет оптимизированного размещения и снижение жалоб клиентов относительно проблем с сетью на 25%. Снижение потребляемой энергии должно дать рост энергоэффективности на 15%.

Эти показатели будут служить критическими факторами успеха и повлияют не только на экономическую выгоду для компании, но и на общую устойчивость, способствуя достижению Целей устойчивого развития ООН (Sustainable Development Goals, SDG).

- Какой результат стал главным, что именно дало наибольшую отдачу?

На данный момент оптимальное распределение CAPEX оказалось ключевым результатом, обеспечивающим наилучшую отдачу.

- Цели устойчивого развития – насколько это важно, и в чем их влияние?

Оптимизация потребления энергии и уменьшение воздействия на окружающую среду играет для нас важную роль. В частности, речь идет про SDG 7 (Доступная и чистая энергия), SDG 11 (Устойчивые города и общины) и SDG 13 (Действия по изменению климата). Мы уделяем особое внимание энергопотреблению, необходимому для питания базовых станций, минимизируя количество строек.

- Каков экономический эффект?

Даже находясь в пилотной версии, реализация проекта снизила капитальные затраты и повысила нашу эффективность, что привело к увеличению ROI.

- Каковы планы развития проекта?

Мы планируем дальнейшее совершенствование системы, учет изменений в технологическом пространстве и потребностей пользователей. Планируем добавить функционал на базе геопространственной аналитики, а также реализовать инструмент в виде продукта для монетизации его вовне.

Переход платформы персонализации «Сбера» с Teradata на связку Hadoop и GreenPlum планировался еще до санкционного кризиса, но весной прошлого года приобрел особую актуальность. Помимо устранения технологических рисков, у группы появились новые возможности для оперативного выявления потребностей клиентов. Про реализацию проекта рассказали Игорь Зарубинский, директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента и Алексей Смирнов, управляющий директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента – номинанты на премию Data Award.

— Какова предыстория проекта? Что привело к его реализации?

Игорь Зарубинский: «Сбер» работает над созданием полностью интегрированной системы удобных онлайн-сервисов в самых разных сферах для любых жизненных ситуаций: от покупки продуктов на маркетплейсе до оформления ипотечного кредита. С помощью новой стратегии мы переходим от прогнозирования покупки продукта к созданию предложения, адаптированного под жизненную ситуацию и потребность клиента в конкретный момент времени. Точно предугадывая потребность клиента, «Сбер» обеспечивает долгосрочное взаимовыгодное сотрудничество с ним. Основная цель – выявить релевантную в данный момент времени потребность клиента и подобрать наиболее удобный продукт или сервис для удовлетворения этой потребности.

Для решения этой задачи мы стали создавать платформу данных, которая содержит информацию о клиенте и его действиях в контуре «Сбера». При этом для выявления текущих потребностей клиента требуется оперативная и гибкая работа как с онлайн-, так и с офлайн-потоками данных о действиях клиента.

— В чем заключалась проблема?

Алексей Смирнов: Изначально в качестве основной платформы для работы с данными использовалась Teradata. В связи с ростом количества источников и объема данных появилась проблема доставки этих данных до хранилища с актуальностью не хуже, чем на вчерашний день (Т–1 день). Вместе с этим обнаружилась проблема с хранением большого массива данных: данные в «сыром» слое, с которыми мы работаем, занимают десятки петабайт. Весь этот объем информации необходимо оперативно обрабатывать: от момента попадания данных в «сырой» слой до обновления витрины должно проходить не более нескольких часов, так как данные нужны максимально быстро для использования в бизнес-процессах.

Кроме того, для оперативного выявления потребностей клиентов было реализовано большое количество стриминговых потоков с триггерами о действиях клиентов в контуре группы «Сбера». Возник вопрос об эффективной обработке и создании витрин данных, которые обновляются в реальном времени и используют как информацию из онлайн-потоков, так и из витрин, которые обновляются пакетом.

На платформе Teradata реализация подобной задачи становилась крайне дорогой или невозможной, поэтому «Сбер» принял решение изменить технологическую платформу и перейти на использование связки платформ Hadoop и GreenPlum. Задача миграции стала особенно актуальна в 2022 году, так как Teradata приняла решение уйти с российского рынка. Из-за прекращения поддержки возник риск прекращения работы всех бизнес-процессов, что могло привести к потерям в сотни миллиардов рублей.

— То есть миграция планировалась заранее? Насколько сильно планы откорректировались в связи с санкционным кризисом?

А.С.: Да, миграция планировалась заранее и была инициирована недостатком функциональности предыдущей платформы и дороговизной ее масштабирования. Планы реализации проекта поменялись незначительно, так как к моменту появления санкционных рисков большая часть проекта уже была реализована. Когда ушли иностранные вендоры, мы уже имели на 70% импортозамещенный продукт, и нам пришлось действовать еще быстрее, чтобы компенсировать оставшиеся 30% решений до конца 2022 года.

— Что стало самым сложным в процессе миграции? Как решали эти проблемы?

А.С.: Самым сложным в реализации проекта было изменить модель мышления пользователей платформы: перейти на другой технологический стек и новую модель данных, переосмыслить процессы, которые были сделаны на базе технологии Teradata и реализовать новые, по сути, процессы на новом стеке технологий. Также большим вызовом для нас было доказать преимущества новой платформы для работы дата-инженеров, дата-аналитиков, дата-сайентистов: ее работоспособность, надежность, масштабируемость, скорость работы вычислений для больших объемов данных.

— Сколько времени и ресурсов потребовалось на реализацию проекта?

А.С.: Проект был инициирован в конце 2020 года и завершен в конце 2022 года. За это время мы мигрировали более 300 бизнес-процессов с Teradata на новую платформу.

— Какие данные используются для построения персональных предложений?

А.С.: Мы используем информацию из всех банковских систем, а также данные из систем компаний-партнеров, что позволяет сформировать полный профиль клиента: его финансовые и социально-демографические характеристики, данные об интересах, его предпочтениях в кино, еде, музыке. Разумеется, при этом в обязательном порядке учитывается согласие клиентов на сбор, обработку и использование данных.

Витрины данных являются основой для ключевых задач формирования персональных предложений клиентам. С их помощью создаются модели искусственного интеллекта для работы с данными, аналитика и отчетность, формируются персональные предложения с индивидуальными условиями для клиентов. При этом мы создаем не только витрины «холодного вектора», которые обновляются ежедневно с актуальностью Т–1 день, но и витрины «горячего вектора», которые основаны на потоковой обработке данных.

Новые технологические платформы позволяют нам хранить петабайты данных, быстро обрабатывать десятки терабайт данных в инкременте, а также работать с данными в режиме реального времени.

— Какие изменения в бизнес-процессах породили новые возможности?

И.З.: Новые возможности стали базой для построения SberNBA – платформы персональных рекомендаций. SberNBA обеспечивает расчет персональных предложений, коммуникацию в релевантный момент времени на каждом этапе жизненного пути клиента и максимизирует долгосрочную ценность сотрудничества «Сбера» с клиентом. В основу архитектуры платформы заложены алгоритмы машинного обучения, которые позволяют анализировать события в жизни каждого клиента и реагировать на них в режиме реального времени.

— Какие результаты достигнуты и ожидаются?

А.С.: На текущий момент решение содержит более 300 витрин, которые, в свою очередь, содержат более 15 тыс. атрибутов общим объемом более 9 Пбайт. Самая крупная витрина занимает 1 Пбайт с ежедневным инкрементом в 5 Тбайт. Самая большая витрина содержит более 1 тыс. атрибутов.

Витрины данных имеют актуальность Т–1 день уже к началу следующего рабочего дня. Таким образом, решение позволяет обрабатывать десятки терабайт данных инкремента и за 4,5 часа ежедневно формировать более 300 витрин, существенная часть из которых — это сложные витрины типа SCD2 (медленно меняющиеся измерения, Slowly Changing Dimensions).

Вместе с тем, реализованы десятки онлайн-потоков, которые умеют «на лету» определять потребность, исходя из комбинации совершенных действий клиента. Плотность потока стриминговых данных составляет более 10 тыс. транзакций в секунду. Для определения потребности клиентов при работе с потоками мы не только пользуемся готовыми потоками из систем «Сбера», но и донасыщаем их дополнительной информацией из параллельных стриминговых потоков и витрин, которые обновляются в пакетном режиме. В ряде случаев требуется создание онлайн агрегатов для выявления аналитических триггеров в потоковом режиме.

Также решения, построенные на онлайн-потоках, позволяют предсказывать вопросы и проблемы, которые могут возникнуть у клиента при взаимодействии со «Сбером». Благодаря этому появилась возможность заранее сформировать соответствующую коммуникацию или настроить персональный ролик в канале телемаркетинга по актуальной проблеме и быстро решить вопрос клиента, не привлекая к этой задаче оператора горячей линии контакт-центра.

После перехода на новую платформу обработки данных более 500 наших D-people –дата-инженеров, дата-аналитиков, дата-сайентистов – ежедневно стоят свои решения как на базе платформенных решений, так и на базе реализованных потоков данных. Что немаловажно, во все процессы встроены инструменты контроля качества данных, в том числе с использованием моделей искусственного интеллекта, которые позволяют проверять сложные зависимости в данных для предоставления наилучшего результата.

— В чем роль проекта для «Сбера»?

А.С.: Переход на новую платформу, состоящую из Hadoop и GreenPlum, позволил выполнить ряд крупных задач для B2C-бизнеса «Сбера». Нам удалось добиться непрерывности работы бизнеса за счет отказа от зарубежного вендорского решения. Появилась возможность хранить огромные массивы данных в десятки петабайт, необходимые для реализации предиктивной аналитики и отчетности. Специалисты смогли настроить процесс ежедневного быстрого применения инкремента в 10 Тбайт и реализовать системы потоковой обработки данных.

И.З.: Все это позволило уменьшить временной лаг между совершаемым клиентом действием и реакцией бизнеса на это действие. Благодаря переходу на новую платформу для работы с данными «Сбер» намного раньше узнает о текущих потребностях клиента. Это позволяет формировать наиболее актуальный пул персональных предложений, что было невозможно при использовании предыдущей платформы для работы с данными.

Точно предугадывая потребность клиента, мы обеспечиваем долгосрочное взаимовыгодное сотрудничество с ним. Это подтверждают бизнес-результаты. Например, количество жалоб на коммуникации уменьшилось на 12%. Чистая приведенная стоимость по некоторым коммуникационным кампаниям увеличилась на 20% по сравнению с месяцем, когда в процессе участвовали данные с актуальностью Т–1 день.

Девелоперская компания «Самолет» повысила производительность труда на своих стройках за счет интеллектуальной системы мониторинга, позволяющей оперативно реагировать на любые отклонения от планов. Решение уже показало эффективность в сокращении сроков строительства на 5%, а снижение себестоимости строительства может достигнуть 1,5%. О реализации проекта рассказывает Екатерина Линкевич, директор по данным компании «Самолет» и номинант на премию Data Award.

- В чем заключалась бизнес-проблема?

Производительность труда в строительной отрасли в мире не растет с начала 1990-х годов. Расходы, связанные со строительством, составляют 13% от мирового ВВП, что в денежном эквиваленте оценивается в 1,6 трлн долл. В России этот показатель на уровне 6% от ВВП или 5,5 трлн руб. Ежегодный прирост производительности сектора составлял в среднем 1% за последние 20 лет.

Группа «Самолет» — одна из крупнейших девелоперских компаний в России, с портфелем текущего строительства 3,3 млн кв. м и земельным банком в 34,2 млн кв. м реализуемой площади. Перед нами стояла непростая задача: по производительности труда приблизиться к показателям Китая и США, которые в полтора раза выше российского. Ключевым моментом в повышении эффективности стройки является выполнение плановых показателей и соблюдение техники безопасности, контроль за выполнением строительно-монтажных работ и подготовка квартир к сдаче.

В первую очередь нас интересовала автоматизация контроля и своевременного реагирования на отклонения от плановых показателей во время всего хода строительства жилых домов. На группу «Самолет» работает большое количество подрядных организаций, поэтому довольно сложно самостоятельно контролировать фактически выполненные объемы стройки, и приходится доверять статистке подрядчиков. Не меньшую роль играет контроль отделочных работ – чистовой и черновой отделки, наличия санфаянса и мебели, наличия мусора внутри квартиры после завершения работ. Необходимо создание системы, которая повысит качество контроля и исключит возможность пропуска специалистами тех или иных помещений. Наконец, нужна автоматизация мониторинга наличия ограждений на открытых участках на протяжении всего хода строительства. Строительная площадка – территория повышенной опасности, несоблюдение правил техники безопасности может стоить жизни. И здесь наша задача – создать решение, которое может автоматически выявлять факты нарушения и с помощью системы штрафов исключить прецеденты.

- Как пришла идея мониторинга с помощью видеоаналитики?

Мы стремимся к тому, чтобы стать data-driven компанией, где 100% бизнес-процессов автоматизированы, а решения принимаются на основании данных. С учетом большого количества процессов, мы приоритезировали наши активности по доле трудозатрат в соотношении к потенциальному эффекту для компании и их реализуемости. Себестоимость стройки занимает 60-75% всех затрат компании, поэтому данное направление стало одним из приоритетных. Далее, в рамках анализа инициатив и потенциальных эффектов, мы поняли, что замена ручного труда при управлении стройкой может привести не только к росту производительности, но и к повышению безопасности, существенно повлиять на снижение себестоимости. Так мы выбрали список инициатив, которые приводят компанию к заявленным бенчмаркам эффективности и начали их параллельную разработку и внедрение.

- Какие требования предъявлялись к решению?

Все требования можно разделить на несколько верхнеуровневых блоков. Основными из них были сокращение времени фиксации прогресса и нарушений для каждого корпуса на 95%, сокращение количества нарушений и штрафов до 65%, сокращение инцидентов на стройке до 50%, сокращение времени строительства до 20%.

Нам нужно было создать решение, позволяющее передавать данные в текущие мастер-системы, которые уже используются командой ведения эффективного процесса строительства, и реализовать ролевую модель своевременного оперативного информирования и реагирования задействованных сотрудников на стройке (включая топ-менеджмент компании) через оперативные каналы коммуникаций.

Для внешнего мониторинга стройки требовалось обеспечить ежедневный мониторинг прогресса строительства за счет получения видеопотока с камер, его обработки, и автоматического сравнения с плановыми показателями по монолиту, кладке и окнам, наличию защитных сеток. Для мониторинга внутренних отделочных работ был нужен еженедельный мониторинг прогресса черновых и чистовых работ за счет получения данных с переносных камер сотрудников. Подразумевается фиксация этажа, корпуса, здания в специальном приложении и обработка видеопотока с последующим автоматическим сравнением с плановыми показателями по отделке – пол, потолок, двери, сантехника, радиаторы, электрика и т.п. При этом время обработки видео с одного этажа не должно превышать 30 секунд.

- Какие технологии использованы при разработке?

Все решение можно разделить на несколько компонентов. Внешняя оболочка – это панель администратора с настроенными отчетами, оповещениями и метриками, построенная на Python, Flask и шаблонизаторе Jinja. Этот сервис включает в себя мониторинг хода строительства с настроенными отчетами, алертами и метриками, а также инструментарий для возможности расширения количества объектов для внедрения системы мониторинга. Мониторинг поддерживает прием данных с фото-ловушек, дронов, камер видеонаблюдения. Выполняемые алгоритмы решения реализованы на Pytorch, MMDetection, Numpy, Pandas, OpenCV и Timm. Мобильное приложение для сбора данных о внутренней отделке – Javascript и Capacitor. Бэкенд продукта построен на Airflow, SQLAlchemy, FFmpeg, Minio, PySpark, Flask и Telegram. Он представлен в виде конвейера, который по расписанию собирает изображения с источников, отдает их на обработку модели машинного обучения, сохраняет и перемещает все изображения и метаданные на всех этапах, формирует и отправляет отчеты.

- Что потребовалось сделать, чтобы обеспечить систему данными?

Нашей главной задачей было получение корректного видеопотока для дальнейшей обработки.

Если говорить о внешнем мониторинге, то одной из самых сложных проблем было обеспечение бесперебойного канала получения видеопотока со строительных площадок. Как вы понимаете, стройка – это постоянно развивающаяся и меняющаяся среда, в процесс работы на площадке вовлечено очень большое количество сотрудников разных профилей. На каждом проекте работает своя команда, у них свои правила и особенности. И вот в таких условиях, наверное, самым тяжелым было выстроить организованную работу всех команд на всех площадках. В перечень таких работ входило составление плана по монтажу устройств, замер необходимого расстояния, обеспечение точек энергопитанием, непосредственно сам монтаж устройств, корректировка ракурсов, заведение данных в систему обработки и много всего прочего.

Для некоторых объектов установка дополнительных камер и создание соответствующей инфраструктуры было дорогим мероприятием, а иногда и вовсе невозможным – например, когда нет физической возможности повесить камеру. В таких условиях мы решили пойти немного дальше, и поэкспериментировать с альтернативными каналами получения видео, такими как фотоловушки и дроны. Фотоловушка – это простое в установке устройство, которое не требует скрупулезной настройки и поддержания работоспособности, она может долгое время работать в автономном режиме без какого-либо контроля, в том числе, в период экстремальных перепадов температуры.

Дроны нам очень помогли в получении видеопотока в тех местах, где невозможно установить ни камеры, ни фотоловушки. Например, в ситуациях, когда архитектурная форма здания не позволяет установить камеру на достаточном расстоянии. Но этот канал получения данных является альтернативным в силу своей высокой стоимости.

Внутренний мониторинг тоже имеет свои особенности. Сбор данных происходит с камер сотрудников, которые совершают обход. Для анализа корректности работы и подтверждения, что все этажи действительно пройдены, требуется автоматизация распознавания дома, корпуса, этажа. В идеале было бы хорошо иметь данные мониторинга квартиры «до», но это задача на будущее. Ключевая проблема заключается в том, что в ходе отделки, особенно черновой, этажи никак не обозначены, и это затрудняет разметку сплошного видеопотока. Для этих целей мы разработали схему с QR-кодами, которые размещаются на каждом этаже. Чтобы исключить случаи недобросовестного выполнения контроля, прорабатываем размещение специальных меток, которые могут быть нанесены под штукатурку для автоматического считывания.

- Что представляет собой созданное решение?

Модель внешнего мониторинга состоит из нескольких нейросетей и алгоритмов. Во-первых, стоит упомянуть алгоритм исправления искажений объектива. Была задача создать максимально универсальное решение для разных типов камер. Некоторые модели видеокамер имеют искажающий эффект объектива, называемый «рыбий глаз». Необходимо рассчитать матрицу коэффициентов, которая произведет линейное преобразования изображения так, что искажение будет нивелировано.

Вторая важная составляющая – алгоритм перспективной трансформации здания. При установке камеры, которая будет мониторить строительный объект, важным требованием является соблюдение ракурса относительно строительного объекта – он должен быть фронтальным. От того, как будет произведена установка, напрямую зависит качество обработки модели и итоговые результаты – это имело особенно сильное влияние на алгоритм подсчета этажей. К сожалению, во время установки камер стало ясно, что соблюсти данное требование не представляется возможным. В качестве решения был реализован алгоритм перспективной трансформации, суть которого заключается в том, чтобы любой ракурс приблизить к фронтальному. Стоит отметить, что данный алгоритм решает еще одну важную проблему – попадание в кадр нескольких однотипных зданий в случае, когда камеру ставят далеко от наблюдаемого строительного объекта.

Детектор основного здания – еще один важный компонент решения, так как часто на фоне нужного объекта строятся и другие здания. Если не заниматься «чисткой», то можно получить большое количество ложно-детектированных ячеек, что приведет к зашумлению и ошибкам в отчетах. Кроме того, можно упомянуть детектор и классификатор строительных ячеек, алгоритм подсчета этажей, детектор строительной сетки и классификатор нарушений установки ограждений.

- Модель внутреннего мониторинга устроена иначе?

Все квартиры проходят несколько этапов жизненного цикла после завершения строительных работ от черновой до чистовой отделки, до ремонтно-монтажных работ, например, таких, как установка сантехники или кухонного гарнитура. С целью оптимизации затрат на вычислительные ресурсы, администрирование и поддержку мы приняли решение сгруппировать классы и научить одну нейронную сеть правильно детектировать их. Простым языком, мы показываем модели изображение, а она выдает все классы, которые на нем видит. Мы выделили следующие группы классов: классификация помещений (коридор, ванная, кухня и т.д.), классификация частичной отделки (черновая и чистовая, пол, потолок, стена, коридор, общественное место, классификация предметов (батарея, унитаз и т.д.)

Мы отошли от идеи покадровой обработки, так как в рамках задачи поступает огромный поток видео. Вместо этого мы добавили процесс нарезки видео на кадры. То есть берем каждый N-ный кадр, а дальше данные группируются вместе и обрабатываются разом. Нейросеть выдает «сырые» данные, в которых указаны классы, которые она увидела на изображениях. На выходе мы получаем таблицу, в которой для каждого класса помещений, указывается количество раз, сколько в этом помещении модель увидела классы из групп частичной отделки и предметов. Например, в комнате мы можем 10 раз увидеть, что стены отштукатурены, и пять раз – что установлены розетки. Далее на основании этих данных строится процентное соотношение готовности отделки помещения и рассчитывается процент выполнения плановых показателей.

- Какими силами реализовывалась система, сколько времени потребовалось?

Наша задача – развивать внутренние компетенции и масштабировать их на рынок. Продукт реализован силами внутренней команды с привлечением внешних сотрудников. Вся команда состоит из шести человек, включающей двух дата-сайентистов и двух бэкенд-разработчиков.

Если говорить про сроки реализации, то продукт находится в постоянной модификации, постоянном улучшении. Мы приступили к созданию решения в мае 2022 года, и к концу года уже увидели практические результаты от его применения. Мы постоянно работаем над повышением точности моделей, над разработкой новых алгоритмов для мониторинга эффективности, над оптимизацией и улучшением клиентского пути.

- Каких результатов достигли?

Что касается контроля сроков строительно-монтажных работ и соблюдения правил и техники безопасности, то на сегодняшний день наше решение установлено на 25 строящихся объектах, и уже показало эффективность в сокращении сроков строительства на 5%, сокращение количества инцидентов до нуля и сокращения количества штрафов за отсутствие оградительных сооружений в три раза.

Если говорить про направление по мониторингу внутренней отделки, то текущая точность алгоритма в данном направлении составляет не менее 85% по любому из указанных классов. В настоящий момент алгоритм проходит финальную стадию стабилизации, и уже в ближайшее время будет также работать на ускорение сроков завершения работ по внутренней отделке.

В следующем году мы планируем провести масштабирование продукта абсолютно на все проекты нашей компании не только в Москве и Московской области, но и в других городах присутствия. Также мы постоянно работаем над повышением точности алгоритмов и расширением функциональных возможностей, чтобы обеспечить наших клиентов качественным жильем в максимально короткие сроки, и при этом гарантировать нашим сотрудникам должный уровень безопасности.

- За счет чего произошло повышение производительности труда строительного цикла и целевое снижение сроков рабочего проектирования и строительства?

Основным фактором повышения производительности труда послужила возможность проактивного реагирования на отклонения от плановых значений в реализации. Что из себя представляет процесс строительства? Это огромные площадки, множество зданий, которые все нужно обойти, по которым нужно физически зафиксировать прогресс строительства, а затем предоставить полученные результаты топ-менеджменту, по пути пройдя ряд согласований линейного руководства. Иными словами, традиционный процесс мониторинга прогресса в строительной индустрии весьма трудозатратный, небыстрый и с возможностями человеческих ошибок. Наше решение минимизировало вероятность ошибок, и в разы сократило сроки предоставления понятной прозрачной картины хода строительства.

На сегодняшний день все руководство компании, начиная от линейных руководителей на проектах, и заканчивая топ-менеджментом, ежедневно получает информацию о том, на каком проекте идет отставание, и на каком происходят нарушения техники безопасности. Это дает, во-первых, возможность быстро выявить причины таких отставаний и принять меры по их исправлению, а во-вторых, является дополнительным мотивационным аспектом, который побуждает команды не выходить за рамки запланированных сроков реализации.

- Каков экономический эффект?

В «Самолете» цифровизация позволила увеличить производительность труда на 60% за полтора года. Этот показатель был достигнут, в том числе, благодаря и проекту по мониторингу процесса строительства с использованием искусственного интеллекта. Сложно выделить влияние какого-то одного элемента, потому что это комплексное решение, в которое входят все цифровые инструменты управления стройкой, эффективные проектные решения, минимизация изменений, эффективная организация работ и обучения.

Решение было полностью внедрено в августе 2022 года, и мы рассчитываем выйти на 1,5-процентное снижение себестоимости строительства. Сюда входит эффект от ускорения работ, сокращения штрафов за срыв сроков и оплаты инцидентов.

- Каковы планы развития платформы?

Основными задачами на ближайшее время мы ставим повышение точности текущих алгоритмов и разработку новых моделей, способных повысить эффективность и качество строительства. Например, речь идет о мониторинге качества материалов во внешней отделке фасадов и их соответствия архитектурному плану. Также работаем над улучшением опыта внутренних пользователей продукта.

Долгосрочная цель, к которой мы идем, – оцифровать абсолютно все процессы на стройке, поделиться продуктами наших наработок с клиентами, а также масштабировать решения на внешний рынок. Мы хотим быть полезными и эффективными не только нашим сотрудникам и клиентам, но и делиться всеми наработками с рынком, тем самым развивая его и мотивируя на новые достижения.

Компания «Интеко», один из ведущих девелоперов страны, запустила систему динамического ценообразования от компании «Иннодата», позволившую оптимизировать процесс реализации квартир. В результате средняя выручка по проектам увеличилась на 5-7% без учета рыночных факторов. О построении решения и его роли для бизнеса рассказывает Полина Балашова, директор по аналитике и ценообразованию компании «Интеко» и номинант на премию Data Award.

— Каковы были «головные боли» бизнеса? Какие проблемы пытались решить с помощью системы динамического ценообразования?

Со временем в компании увеличивалось количество проектов, и оперативная работа по корректировке цен, оценке новых объемов, построению отчетов и анализу спроса начала занимать очень много времени. Мы понимали, что на формирование стоимости влияет огромное количество факторов, в том числе не всегда очевидных. Учет всех этих факторов для максимизации цены реализации квартиры без снижения темпов продаж невозможен при ручном ценообразовании. Так появилась идея использовать технологии машинного обучения.

— Почему это было важно для вас?

Максимизация прибыли, цифровизация процессов и прозрачность принятия решения дает бизнесу понимание, что мы движемся в сторону развития и совершенствования.

— Какие варианты решения проблемы рассматривали? Какие требования предъявлялись?

Изначально была идея сделать динамическое ценообразование на базе CRM-системы, но сложность разработки, трудозатраты и отсутствие необходимых знаний у внутренних специалистов заставили отказаться от такого решения. Важным требованием была точность прогнозирования, выполнение системой заданных целей.

— Что в итоге было выбрано и почему?

Мы выбрали систему динамического ценообразования от компании «Иннодата», так как они представили наиболее гибкое и подходящее решение для бизнеса.

— Что в итоге представляет собой созданное решение?

Это несколько моделей машинного обучения, предсказывающих вероятность продажи квартиры на разный горизонт времени, то есть ее ликвидность, а также сложная алгоритмическая цепочка бизнес-правил компании для формирования итоговой стоимости каждой конкретной квартиры с обоснованием ее изменения. Модель облечена в дружественную для бизнес-пользователя оболочку, которая понятна аналитикам на интуитивном уровне.

— Что в ходе проекта оказалось самым сложным?

Наиболее сложным процессом оказалось сведение множества данных из различных систем в единую структуру. Для каждого из источников были разработаны отдельные процедуры обработки данных. В дальнейшем данные обогащают общую витрину, которая является основой для визуализации всех отчетов и дашбордов системы. При этом хотелось бы заметить, что наша система – это не просто калькулятор, который дает фиксированный процент изменения стоимости на каждое бизнес-правило, а интеллектуальный механизм автоматического расчета оптимального изменения в каждый момент времени. То есть для одного и того же правила в зависимости от рыночных изменений может рассчитываться разный оптимальный коэффициент изменения стоимости.

— Как изменились подходы и бизнес-процессы, связанные с ценообразованием, в результате реализации проекта?

Компании удалось полностью отказаться от ручного труда в рамках ценообразования, создана панель дашбордов для руководства компании, обновляемая в режиме реального времени. В разы сокращены затраты на анализ данных и увеличена скорость принятия решений.

— Каких результатов удалось достичь? Какие из них самые важные?

Точность прогнозирования цен составляет 85-90%, в среднем выручка по проектам увеличилась на 5-7% без учета роста цен на строительную готовность и рыночных факторов.

— Какова роль этого проекта для бизнеса компании?

Проект дал компании понимание, что ручной фактор ограничивает возможности формирования оптимальных цен на недвижимость, а динамическое ценообразование снимает эти риски.

— Есть ли у этого проекта какие-то перспективы развития?

Система постоянно совершенствуется и дорабатывается, обрастает новыми опциями. Чем больше данных поступает, тем она активнее адаптируется к новым непростым условиям рынка. Планируется дальнейшее расширение функционала с точки зрения автоматизации новых бизнес-процессов, связанных с ценообразованием. Например, оценка земельного участка с использованием генетического алгоритма или расширение функциональности по требованиям, возникшим в ходе эксплуатации системы. Предполагается также дополнительная визуализация рыночных данных, подключение новых источников к модели машинного обучения и многое другое.

Сегодня в основе практически всех современных услуг и сервисов лежат персональные данные. Узнать клиента лучше, чтобы своевременно предложить ему качественные сервисы, услуги и товары в зависимости от его потребностей – это интерес любой компании. Несоблюдение правил работы с персональными данными и их недостаточная защищенность неминуемо приводит к утечкам, следствием которых является использование полученной информации злоумышленниками в различных мошеннических схемах.

Конфиденциальность личной информации, «приватность», является не только одной из базовых потребностей человека, но и безусловным приоритетом Сбера. Осознавая свою роль в совершенствовании отрасли персональных данных с целью защиты интересов наших граждан, Сбер принял решение поделиться своей экспертизой в данной области с широкой публикой. В этом году журнал Sber Privacy Journal, издание Сбера о защите персональных данных и приватности, перестал быть исключительно внутренней инициативой и теперь публикуется в интернете на сайте «Кибрарий» (онлайн-библиотека знаний по кибербезопасности, которую развивает Сбер). Его содержание может быть полезно не только специалистам по защите персональных данных (ПДн), но и специалистам по управлению данными. О первых результатах проекта рассказывает Евгений Калинин, руководитель Центра DPO «Сбера» и номинант на премию Data Award.

— В чем вы видите свою миссию?

В России Сбер – один из крупнейших операторов персональных данных: банк обрабатывает данные более чем 100 млн клиентов и 250 тыс. сотрудников. У команды Сбера самая широкая экспертиза в области обработки персональных данных.

Миссия нашей команды – защита персональных данных клиентов и безусловное обеспечение прав граждан как субъектов персональных данных. В целях реализации этой миссии мы непрерывно занимаемся экспертизой и контролем соответствия банковских процессов законодательству РФ, повышением privacy-культуры клиентов и наших работников, чтобы помочь им избежать мошеннических схем злоумышленников, и многими другими смежными направлениями деятельности.

— Какие шаги для этого предпринимаются?

Для выполнения поставленных перед нами задач мы формируем требования к банковским процессам, в которых происходит обработка персональных данных, проводим экспертизу всех продуктов и сервисов согласно принципам privacy by design, уделяем повышенное внимание проведению обучающих мероприятий для работников и клиентов.

При лидирующей роли нашей команды в банке внедряются бизнес-процессы, реализуются пилоты различных продуктов и сервисов в соответствии с требованиями законодательства, выстроена единая методология и мощная экспертная поддержка бизнеса – фактически наша команда стала надежным помощником в организации банковских процессов.

Privacy-учения для дочерних компаний, ежегодные конференции, активные дискуссии в рабочих группах по развитию законодательства, десятки мероприятий по повышению privacy-культуры как для сотрудников, так и для широкой аудитории, информационный канал о приватности «Ничего личного» в мобильном приложении Сбербанк Онлайн – это только «вершина айсберга», внешние проявления той огромной работы, которую мы выполняем.

В 2022 году мы запустили Sber Privacy Journal – первое регулярное корпоративное издание, посвященное актуальным вопросам обработки персональных данных и в целом проблеме приватности. С января 2023 года журнал доступен в библиотеке знаний о кибербезопасности «Кибрарий».

В мире давно существует традиция выпуска профильных изданий, формируемых международными организациями, крупнейшими аналитическими и научно-исследовательскими центрами, финансовыми институтами. Нам кажется правильной концепция, когда организация, специализирующаяся на определенной сфере, например, на международном гуманитарном праве, финансовом секторе или юриспруденции, публикует свой анализ, свой взгляд на происходящее в мире в данной области. Если говорить о России и о нашей деятельности, у нас достаточно много журналов, посвященных информационной безопасности, но нет по сути ни одного издания, чьим основным фокусом являются персональные данные.

— На какую аудиторию вы нацелены в первую очередь?

С самого начала мы исходили из того, что журнал должен быть интересен и полезен как профессионалам в данной сфере, так и обывателю, не погруженному в сферу персональных данных. Мы стараемся держать баланс, чтобы отойти от излишнего формализма, но вместе с тем сохранить экспертность и практическую пользу публикуемого материала. Поэтому в журнале можно найти как практические статьи, рассматривающие, например, вопросы правоприменения или виды мошенничества с данными, так и научно-популярные материалы об истории становления концепции приватности, о влиянии технологий на общество и т. д. В Sber Privacy Journal можно узнать много интересных фактов, которые расширяют кругозор и дают лучшее понимание того, чем и для чего мы занимаемся. Наш журнал – это не «методичка», а сборник авторских размышлений и исследований на тему приватности, её роли в современном обществе.

— А может быть, многим специалистам нужна именно «методичка»?

Мы выступаем за системный подход и осмысленность в работе. Комплаенс в области защиты и обработки данных «для галочки» нам не интересен. Убеждены, что каждый специалист в области защиты персональных данных должен быть глубоко погружен в четыре области («домена», как мы их называем): доскональное знание законодательства и права в области персональных данных, знания требований к защите и обеспечению безопасности персональных данных, навыки проектирования и анализа качества описания бизнес-процессов, а также знания основ передачи и обработки данных в компьютерных сетях, и, безусловно, уверенное понимание того, что происходит в мире информационных технологий.

Именно глубокое, осмысленное погружение в вопросы безопасности позволит чувствовать себя уверенно в условиях непрерывного развития технологий сбора и анализа данных перед лицом новых вызовов со стороны киберпреступности.

— Разве для закрытия внутренних потребностей не хватает более простых и менее затратных мероприятий – например, периодических тренингов?

Безусловно, такие мероприятия мы тоже проводим. В качестве фундаментальной базы мы разработали онлайн-курс «Основы работы с персональными данными», который проходит каждый сотрудник банка. Помимо этого, мы с регулярной периодичностью «точечно» определяем круг слушателей, собираем интересующие вопросы и проводим встречи офлайн и онлайн, общаемся с бизнесом и ИТ-подразделениями. Если у коллег остаются волнующие нерешенные проблемы – оказываем индивидуальную поддержку. Журнал – это проект, который изначально задумывался «для себя», для внутренних потребностей и для всех энтузиастов в области приватности и конфиденциальности, которые довольно часто, надо сказать, встречаются среди банковских работников.

— Какие темы охватываются в журнале?

В журнале рассматривается широкий спектр тем, начиная от использования технологий биометрического распознавания и заканчивая требованиями к обработке персональных данных в зарубежных юрисдикциях. К примеру, мы подробно рассматривали регулирование сферы персональных данных в разрезе правоприменения Китая и Индии. Изучали феномен дипфейков и правовые основания их использования в рекламных интеграциях, исследовали вопросы приватности в контексте разных исторических эпох и многие другие темы.

— Работа ориентирована исключительно на специалистов? Планируется ли обучать теме приватности и защиты данных клиентов?

Назову одну цифру – 20 миллионов. В 2022 году наши мероприятия по повышению privacy-культуры граждан охватили более 20 миллионов человек. Мы регулярно проводим обучающие мероприятия совместно с государственными органами и ведущими вузами страны. Особое внимание мы уделяем детям, людям пожилого возраста, студентам. Так, например, рамках 2-й Международной олимпиады по финансовой безопасности мы провели обучение основам безопасного хранения и передачи персональных данных для более чем 550 студентов из 12 стран СНГ и БРИКС.

В канале Сбербанк Онлайн «Ничего личного», о котором я упоминал выше, только за прошлый год было опубликовано свыше 40 образовательных статей и материалов с полезными рекомендациями о защите личных данных, направленных, в том числе, на повышение бдительности наших сограждан в вопросах, связанных с использованием их данных.

Также в прошлом году на сайте Сбера мы запустили информационную страницу sberbank.ru/privacy, на которой простыми словами рассказываем посетителям о том, как Сбер обрабатывает и защищает персональные данные.

— Если вернуться к изданию Sber Privacy Journal, то какие результаты достигнуты?

23 января мы опубликовали на «Кибрарии» свежий номер журнала, а заодно и два предыдущих, и практически сразу получили большое количество положительных отзывов. И, что не менее важно, – увидели пожелания и профессиональные рекомендации. Обратная связь особенно приятна с учетом того, что подготовка Sber Privacy Journal – не наша основная работа, а, можно сказать, «факультативная». Ведь по сути все это создавалось и версталось в свободное от основной работы время, которого остается не так много. Здесь действительно стоит поблагодарить наших коллег за их время, инициативность и проявленный интерес к общему проекту.

Мы считаем, что нам удалось заинтересовать российское экспертное сообщество, а если наши наработки будут внедряться на практике – значит, наша задача выполнена на 100%.

— Каковы ваши планы развития?

В числе ближайших планов развития – получить номер ISSN, благодаря чему журнал попадет в международную базу периодических изданий, упростится его распространение и поиск. Будем однозначно расширять авторский состав, привлекать внешних экспертов, включая зарубежных специалистов. Кроме того, мы прорабатываем создание полноценного информационного онлайн-портала Sber Privacy с новостями и аналитикой из мира приватности, запуск англоязычной версии журнала, а также тесное сотрудничество с крупнейшими вузами и ассоциациями в части публикации их материалов.

«Сбер» запустил графовую платформу, позволяющую объединить возможности методов графовой аналитики и технологий больших данных. Ее использование позволило на порядок ускорить разработку моделей и снизить количество затрачиваемых ресурсов при их промышленном запуске. О значении созданного решения для бизнеса и его перспективах рассказывает Алексей Булавин, исполнительный директор управления развития технологий искусственного интеллекта и машинного обучения департамента управления данными Сбербанка и номинант на премию Data Award.

— Какие задачи решает платформа?

В бизнес-практике все чаще встречаются комплексные задачи, для решения которых невозможно использовать традиционные методы и инструменты аналитики, поскольку они требуют обработки информации, которая характеризуется неоднородной структурой и глубокой связанностью.

Если необходимо проанализировать не только объекты и их свойства, но также их связи с другими объектами различных уровней и характеристик, необходимо использовать методы графовой аналитики. Она применяется для получения дополнительных знаний об объекте за счет извлечения знаний о его окружении, выявления наиболее значимой информации, центров влияния, групп связанных объектов, цепочек и многого другого. К задачам графовой аналитики можно отнести как нахождение новых молекулярных соединений, так и более привычные для бизнеса задачи – построение портрета клиента «360 градусов», оптимизацию логистических цепочек или таргетирование.

— Почему это важно?

Сейчас мы наблюдаем взрывной рост объема данных из различных источников во всех сферах деятельности человека. Связанность данных между собой также быстро растет. Это означает, что все больше и больше задач решаются уже не просто на данных, а на больших данных. На российском рынке сегодня нет технологических решений – а тем более платформ – для работы с графами, представляющими большие данные, которые смогли бы объединить эффект от использования Graph Analytics и big data для бизнеса.

— Каков ваш подход?

«Сбер» разработал собственные технологии хранения и обработки данных, представленных в виде больших графов, и за счет инновационных подходов и архитектурных решений добился их высокой производительности на внутреннем аналитическом хранилище, где собрано более 17 Пбайт плотно связанной между собой неоднородной информации.

Для того чтобы возможности наших технологий можно было применить для бизнес-задач различной природы (разработка и внедрение витрин, моделей, нейросетей, создание онлайн-сервисов, BI-инструментов и др.), мы объединили их в технологическую платформу, состоящую из семи сервисов.

Сервис лаборатории графов – интерактивный инструмент для исследования графов, разработки новых графовых моделей (ML). Сервис графовых расчетов – механизм выполнения массовых регулярных расчетов на больших графах для исполнения графовых моделей. Сервис единого графа клиентских связей (ЕГКС) – актуальные витрины данных о полной связанности между собой всех клиентов банка. Сервис онлайн-доступа к графу – средство доступа к графам класса big data через API в режиме вопрос-ответ в режиме реального времени. Сервис визуализации графов – интерактивный BI-интерфейс для решения прикладных задач на графах в реальном времени. Сервис встраиваемой графовой базы данных – производительная встраиваемая графовая база данных для нестандартных решений. Наконец, сервис графовых нейронных сетей (GNN) – готовый пошаговый механизм обучения нейросети для конкретной бизнес-цели на базе графа. Эти сервисы платформы унифицированы для взаимодействия между собой и позволяют как конструктор собрать любую конфигурацию в зависимости от решаемой бизнес-задачи.

— Что представляет собой решение, запущенное в «Сбере»?

Созданный нами Единый граф клиентских связей – это сервис графовой платформы «Сбера», который создает из 15 источников данных различных видов: txt, csv, parquet и ежедневно обновляет витрину данных, содержащую граф класса big data. Он содержит 17 млрд связей, 390 млн узлов, 187 типов связей и 374 типа атрибутов узлов. Это один из самых крупных графов в России.

Сервис горизонтально масштабируется, поэтому количество источников и данных в графе растет.

— На каких технологиях построена платформа?

Наша графовая платформа не использует в своей основе другие платформы. Она имеет в своем ядре собственную высокоэффективную графовую базу данных FastGraph, написанную с нуля, а также open source технологии стека Hadoop: HDFS, Spark, Solr, Hbase. Таким образом, это 100% российская разработка.

— Как принципиально новые возможности отразились на бизнес-процессах?

У специалистов, разрабатывающих собственные витрины, модели, нейросети и сервисы на больших графах, появилась возможность делать это эффективнее, причем на порядок. Например, в 10 раз ускорилась разработка графовых моделей за счет использования сервисов лаборатории графов и графовых нейронных сетей. Также в 10 раз уменьшилось время работы, либо количество затрачиваемых ресурсов кластера при промышленном запуске графовых моделей за счет использования сервиса графовых расчетов. Примерно в 20 раз уменьшились затраты на внедрение в промышленную эксплуатацию разработанных графовых моделей.

— Пытались ли оценить экономический эффект?

На старте внедрения данной технологии команда оценивала показатели экономической эффективности от использования графовой платформы и графовых данных на пилотных проектах. Результаты исследования показали, что выросла эффективность управления бизнес-процессами и скорость выдачи кредитов. Экономический эффект от внедрения платформы, безусловно, очень значим, поскольку изменения затронули портфель потребительских кредитов.

— Какую роль этот проект играет для банка?

Для банковского бизнеса крайне важно эффективное управление рисками, в том числе кредитным портфелем. Своевременное выявление инсайтов об изменениях в потребительской и деловой активности клиентов позволяет осуществить прогноз дефолта по кредиту на ранней стадии и зачастую предотвратить его. Также понимание потребностей и особенностей деятельности клиентов позволяет правильно настроить кредитный процесс и сделать клиенту наилучшее для него предложение при сохранении требуемого уровня управления рисками.

Наша графовая платформа уже встроена в бизнес-процессы корпоративного и розничного кредитования, что позволяет быстро, взвешенно и с оптимальными затратами принимать решения о выдаче кредитов и их параметров. Сервисы платформы уже используются в десятках автоматизированных бизнес-процессов «Сбербанка». BI-инструментами и данными платформы пользуются порядка 6,5 тыс. специалистов, и их число продолжает активно расти.

— А может ли созданная платформа иметь влияние на рынок в целом?

Думаю, да, поскольку данная платформа вполне может использоваться и в качестве технологической основы других компаний, открыть для них новые возможности по обработке больших данных.