Data Award

«Ростелеком» запустил собственную систему управления данными, которая не только обеспечила компании технологическую независимость, но и дала возможность повысить собственную эффективность. О реализации проекта рассказывает Андрей Телюков, директор управления развитием платформы больших данных «Ростелеком» и номинант на премию Data Award.

— Как и почему у «Ростелекома» появился собственный продукт для управления данными?

«Ростелеком» – крупнейший в России интегрированный провайдер цифровых услуг и решений, который присутствует во всех сегментах рынка и охватывает миллионы домохозяйств, государственных и частных организаций. Это оказывает влияние и на структуру компании, в которую входит несколько больших региональных филиалов. Мы почувствовали потребность обладать всеми необходимыми данными в едином месте, и данный факт сподвиг нас к реализации проекта по созданию единого корпоративного хранилища – «Платформы управления данными».

Во время работы над этим большим проектом собралась сильная дата-команда, компетенции которой позволяли решать сложные, нетривиальные задачи. Это уже выходило за классические рамки дата-офиса – речь шла о проектировании и разработке собственных инструментов по работе с данными.

Сначала мы делились своим опытом в группе компаний «Ростелеком», но потом пошли дальше и стали предлагать свои наработки рынку. О правильности такого решения свидетельствует нынешний высокий спрос на наш продукт.

— Когда начинался проект, никто не мог представить мощного санкционного кризиса. Что было первичным при разработке решения: импортозамещение, минимизация стоимости владения, технологические преимущества и т.п.?

Все перечисленные аргументы комплексно повлияли на принятие решения о разработке «Платформы управления данными». При этом все же можно выделить первичные причины и посмотреть, как решались задачи хронологически.

В первую очередь перед командой, конечно же, стояла задача минимизации совокупной стоимости владения. Переход на продукт собственной разработки позволяет отказаться от лицензионных затрат на решения других компаний. Это позволило расширить нашу команду и выделить группы специалистов по отдельным направлениям.

Сильное влияние оказало и движение в сторону отказа от зарубежных вендоров. Силами команды мы выполнили необходимые регистрационные и сертификационные действия для подтверждения того, что продукты «Платформы управления данными» – собственная разработка и созданы на базе открытых решений. Это позволило нам получить регистрацию в реестре отечественного ПО.

И, наконец, самая сложная и важная часть – получить технологические преимущества. Мы внимательно следим за рынком, изучаем запросы от внутренних и внешних заказчиков, анализируем потребности и формируем вектор развития наших продуктов. В результате удобный, качественный и надежный сервис получает не только «Ростелеком», но и другие наши клиенты.

— Каких принципов придерживались при создании платформы?

В нашей команде большинство специалистов в прошлом были пользователями подобных систем, то есть «по ту сторону баррикад». Поэтому основной принцип – разработка качественного и удобного решения, которая позволила бы экономить время и силы всем многочисленным участникам процесса работы с данными, и тем самым давать экономическую выгоду бизнесу. Кроме того, мы стараемся подходить к каждой задаче критически, чтобы процесс разработки был выстроен эффективно и можно было избежать лишних и ненужных затрат.

Еще один важный принцип, особенно актуальный в последнее время, – это безопасность разработки. Мы уделяем этому вопросу большое внимание. Работаем и выстраиваем процесс, разработки, сборки и тестирования таким образом, чтобы в наш продукт не попадали уязвимые и сомнительные зависимости.

И в заключение хочется обозначить мой личный принцип. Я как руководитель команды много внимания уделяю развитию и росту сотрудников. Нам удалось собрать в одну команду сильных технических специалистов, и мы продолжаем расти и дальше, что позволяет говорить, что наша техническая команда – одна из лучших в этой отрасли в стране.

— Что собой представляет разработанная платформа?

Наша платформа управления данными – это 14 продуктов, которые охватывает полный жизненный цикл работы с данными: от подключения системы источника до искусственного интеллекта. В «Ростелекоме» внедрены следующие компоненты, о сути которых можно догадаться из названий: RT.DataLake, RT.Warehouse, RT.Streaming, RT.ClusterManager, RT.DataLoader, RT.DataSync, RT.DataGovernance, RT.MDM.

Хранилище данных содержит около 7 Пбайт данных, в том числе аналитический контур объемом более 400 ТБайт. Хранилище охватывает данные из 450 внутренних источников компании, а также 30 внешних источников (СМЭВ, ФНС, СПАРК, 2ГИС, «Яндекс» и др.).

— Есть ли «фишки» платформы, которыми в «Ростелекоме» особенно гордятся?

В первую очередь, это несколько наших сборок Hadoop под названием RT.DataLake. У нас есть набор для миграции с зарубежных аналогов «один в один» по версиям, а также сборки с более свежими версиями сервисов и компонент. Мы достаточно быстро движемся за комьюнити и при этом продолжаем набирать скорость, благодаря автоматизации. И наши процессы сборки и тестирования – это несомненно, отдельная фишка.

Кроме того, мы много инвестировали в работу над UX/UI нашей собственной разработки RT.ClusterManager. Это решение, которое сильно упрощает работу со сложными системами наподобие Hadoop и Greenplum и позволяет из одного места удобно собрать хранилище данных любой сложности, а также интегрироваться с облачными провайдерами «Ростелекома».

В разработке у нас еще немало «секретных» решений, о которых предстоит рассказать в ближайшем будущем.

— Сразу ли ориентировались на вывод решения на внешний рынок?

Как упоминал ранее, это было последовательное развитие, которое привело нас к текущему состоянию дел. При этом, так или иначе, когда почти три года назад мы вывели «Платформу управления данными» в отдельное направление, мы уже были ориентированы и на внешний рынок.

— Вообще насколько востребованной на рынке оказалась «Платформа управления данными»? И какими видятся дальнейшие перспективы?

Сейчас наблюдается наличие постоянного спроса. Компании пытаются адаптироваться к новым реалиям, но надо понимать, что такой спрос носит вынужденный характер, и поэтому он будет ограничен во времени. Дальнейшие перспективы «Платформы управления данными» могут быть обеспечены только технологическим лидерством. Уникальные идеи и решения позволят развиваться нам – как команде платформы, клиентам и компании «Ростелеком» в целом.

— Какие результаты достигнуты?

Мы исключили лицензионные риски и продолжили эффективно управлять данными в условиях ухода западных вендоров. Повышены доступность, актуальность и качество данных для бизнеса. Увеличена скорость подготовки отчетности и, как следствие, скорость принятия управленческих решений. На новой платформе уже выполнено более 300 бизнес-проектов. Сокращены затраты на поддержку и развитие витрин данных и отчетности, появилась возможность быстрого анализа, построения пилотных моделей за счет наличия песочницы для бизнеса с доступом ко всем аналитическим данным.

Достигнута экономия около 600 млн руб. за счет отказа от использования стороннего ПО и перехода на решение собственной разработки. На пятилетнем горизонте экономия должна составить более 1 млрд руб.

— Какова роль проекта для бизнеса компании и рынка?

Можно выделить несколько видов эффектов. Во-первых, направление B2G. Построена экосистема управления данными на отечественных продуктах в крупнейшем телеком-операторе страны. Это дает надежность и независимость решения, устойчивость к валютным рискам и политическим изменениям. Обеспечена эффективная работа по национальной безопасности и антитеррористической деятельности – исключена возможность предоставления услуг связи запрещенным организациям.

Во-вторых, достигаются B2С-эффекты. Речь идет о планировании строительства и модернизации сети, а также об эффективном обслуживании клиентов. Инструменты платформы позволяют выявлять закономерности в поведении клиентов и оптимизировать инфраструктуру и ресурсы, внедрять чат-боты, оперативно устранять проблемы. Наконец, есть кадровые и ESG-эффекты.

— В числе эффектов вы отдельно упоминаете ESG. Насколько эта повестка сохраняет актуальность, с учетом изменения политической обстановки?

«Платформа управления данными» в целом предназначена для того, чтобы удовлетворять запросы быстрорастущего рынка. Тенденция последних лет транслирует многократное увеличение объема данных, с которыми приходится иметь дело нашим клиентам. Мы как команда, которая работает над платформой, можем и должны предлагать рынку оптимальные решения для работы с данными.

Новые технологии, доработки платформы, различные алгоритмы сжатия позволяют оптимизировать хранение и организовать эффективную обработку данных. В свою очередь, это оказывает влияние на количество закупаемого оборудования и потребление энергии, что в конечном итоге позитивно влияет на экологию. Безусловно, мы продолжим работать над данным направлением, так как в этом часть нашего бизнеса и одно из конкурентных преимуществ.

— Каково будущее платформы, куда она движется?

В ближайшем будущем мы планируем объединить все наши продукты в единую платформу. Мы уже движемся в этом направлении, но на текущий период все же остается некая разрозненность.

Ключевая цель – предоставить пользователю некий «комбайн», с помощью которого можно будет решить весь спектр задач по работе с данными – от хранения до построения BI-отчетности. Это позволит убрать лишние накладные расходы и дублирование при сопровождении огромного числа разрозненных сервисов.

Возможности оценки эффективности всегда были слабым местом наружной рекламы. С появлением новых технологических возможностей у этого направления появились инструменты, которые являются классическими в случае размещения рекламы в Интернете. О создании такого комплекса, выводящего на новый уровень эффективность взаимодействия компаний с аудиторией, рассказывает Евгений Краснов, директор департамента управления дата-продуктами «ГПМ Дата» – единого центра компетенций по сбору и обработке больших данных «Газпром-Медиа Холдинга», и номинант на премию Data Award.

- В чем суть решаемой проблемы?

Для таргетирования наружной рекламы на определенные аудиторные сегменты необходимо определить, какая именно аудитория находится рядом с рекламной конструкцией в каждый момент времени, вычленив только ту часть потока, которая движется навстречу ей, а также разделяя аудиторию на пешеходную и автомобильную. При этом также необходимо выявить сам факт просмотра рекламного креатива, и это сделать не так просто, как определить факт просмотра рекламного креатива в интернете. Наружная реклама на цифровых поверхностях (Digital Out of Home, DOOH) изначально нацелена не на одного человека, а на аудиторию, поэтому решение задачи улучшения эффективности рекламных размещений – это комбинаторная задача, которую мы решаем, обрабатывая большие массивы данных из нескольких источников и применяя современные алгоритмы.

- Почему это важно?

Решение задачи таргетирования наружной рекламы на аудиторные сегменты значимо повышает эффективность рекламных размещений, так как в сочетании с аукционной моделью выкупа рекламных слотов позволяет выявить наиболее эффективные слоты и выкупить их по оптимальной стоимости.

- В чем суть предлагаемого решения?

Мы разработали комплекс технологических решений для рынка наружной рекламы, включающий в себя инструменты медиапланирования и таргетирования, а также набор аналитических инструментов для анализа результатов рекламных кампаний по всем этапам маркетинговой воронки, включая анализ бренд-метрик и заканчивая этапами по развитию клиентской базы рекламодателя. Решение предоставляет инструменты коммуникации как с новой аудиторией – для решения задач расширения клиентской базы, так и для развития существующей клиентской базы рекламодателя.

- Какова история этого проекта?

Основой продукта является система аукционной закупки инвентаря (Demand Side Platform, DSP) компании Qvant – дочернего предприятия «Газпром-Медиа Холдинга», а также опыт в аналитике online-to-offline (O2O) команды, перешедшей из «МаксимаТелеком». Qvant поставляет технологическое решение рекламодателям для возможности закупки инвентаря по аукционной модели в реальном времени (Real-Time Bidding, RTB) как для DOOH, так и для случая баннерной рекламы в рамках программатик-платформы GetIntent. Поставку таргетингов и аналитики обеспечивает «ГПМ Дата».

- Какие технологии используются?

Благодаря данным с Wi-Fi-сенсоров и цифровизации рекламных поверхностей мы отчетливо понимаем профиль аудитории, которая имела возможность видеть рекламу. Это означает, что мы можем выделить те рекламные конструкции и временные слоты, где больше целевой аудитории – по сути, сделать таргетинг в DOOH.

Для сбора и обработки больших объемов данных используется достаточно классический стек технологий: Kafka, Clickhouse, aerospike, а также собственная платформа клиентских данных CDP Scout (Customer Data Platform), которая передает данные для таргетинга в рекламную платформу DSP DOOH Qvant, либо непосредственно в плеер DOOH.

Для построения полной маркетинговой воронки используются данные с собственной панели опросов для анализа бренд-метрик. Также есть возможность проанализировать взаимодействие пользователя с рекламными сообщениями (в рамках дополнительной коммуникации с помощью push-уведомлений и sms) и данные по конверсиям с рекламной активности, включая конверсии в посещение точек продаж.

- Как оценивается конверсия в случае DOOH?

Оценка эффективности рекламных размещений производится по ряду метрик. Одни из наиболее важных – это общий аудиторный охват: Reach, а также Target Reach (целевой охват). При размещении рекламодателю важно получить определенное количество контактов с целевой аудиторией.

Конверсию возможно измерить по изменению бренд-метрик (Brand lift): Brand Awareness, Brand Consideration, Ad Recall и другие. Их измерение производится после проведения рекламной кампании.

Там, где это применимо, проводится измерение O2O-конверсии. Оно осуществляется за счет установки Wi-Fi-сенсора в локацию рекламодателя. То есть оценивается конверсия «доходимости» аудитории в локацию рекламодателя с проведенной рекламной компании. Для измерения конверсии в продажи (Sales lift) замер может производиться как по картам лояльности, так и по данным ОФД.

Для измерения эффективности рекламного размещения по той или иной метрике по факту выделяют тестовую и контрольную группы, балансируют их друг относительно друга и определяют наличие статистически значимого отличия конверсионных показателей по классическим статистическим критериям.

- Какие результаты достигнуты?

Уже проведены более 10 исследований и реализовано более 30 рекламных кампаний с крупными рекламодателями в рамках прямых размещений и аукционов в реальном времени. Мы продолжаем работать над автоматизацией бизнес-процессов по предоставлению аналитических отчетов, расширения набора таргетингов и предоставления различных вариантов триггерных размещений сразу на нескольких видах инвентаря: СМС, пуш-уведомления, DOOH, баннерная реклама на инвентаре «Газпром-Медиа Холдинга»). Для этого ведем активную совместную работу с сейлз-хаусом «Газпром-Медиа» и крупнейшими рекламными агентствами России.

- Как оценивают результаты сотрудничество сами рекламодатели? Ожидания оправдываются?

Да, есть ряд публичных кейсов, в рамках которых были получены положительные результаты по эффективности самих размещений, так и по части предоставления услуг в целом. При этом нужно отметить, что есть ряд потребностей рекламодателей, которые еще предстоит закрыть.

- Каков финансовый эффект от этого направления, в том числе вклад в бизнес компании?

Данное решение дает значимый эффект в бизнес компании, но также требует инвестиций в продвижение продукта и развития функциональности.

- Какова роль проекта?

Создание и поставка комплекса решений позволила предоставить рекламодателям инструменты, которые являются классическими и привычными в случае размещения рекламы в Интернете, но ранее были не доступны в DOOH: таргетирование рекламы, инструменты медиапланирования в рамках RTB-размещений, комплексный анализ рекламных поверхностей и отдельных рекламных активностей, различные вариант A/B-тестов.

- То есть он может изменить рынок рекламы?

Это большая работа, которая может быть решена при слаженной работе с владельцами DOOH-инвентаря и бизнес-заказчиками в лице рекламных агентств и рекламодателей. Вместе с операторами наружной рекламы нами были построены первые оценки Sales lift в DOOH в России, развивается аукционная модель закупки. Это значимые изменения, которые явно влияют на рынок DOOH-рекламы.

- Каковы направления развития проекта?

Текущие задачи по развитию проекта направлены на автоматизацию построения и предоставления аналитических отчетов, увеличение количества доступных таргетингов, а также предоставления более гибких инструментов медиапланирования.

Для рекламодателей также интересна возможность построения мультиканальной атрибуции по всем видам рекламного инвентаря, включая DOOH-инвентарь. Это амбициозная задача, но вполне решаемая как в рамках взаимодействия с партнерами в «ГПМ Дата», так и в рамках «Газпром-Медиа Холдинга» в целом.

«Ростелеком» запустил в контакт-центре чат-бота со встроенным искусственным интеллектом, который охватывает более 20% поступающих обращений. При этом удовлетворенность клиентов выросла, и далеко не все из них способны отличить «нейросетевого» сотрудника от живого. О подходах к реализации проекта и достигнутых эффектах рассказывает Андрей Зима, директор департамента развития решений искусственного интеллекта «Ростелеком» и номинант на премию Data Award.

— Какова история проекта? Как компания пришла к его реализации?

Клиенты «Ростелекома» исчисляются десятками миллионов. Ежемесячно мы получаем более 3 млн обращений как в голосовом, так и в текстовых каналах.

Безусловно, любой бизнес, чтобы развиваться, должен становиться более эффективным, и «Ростелеком» не исключение. Мы приняли решение максимально систематизировать отработку обращений, сделать ее единой и унифицированной, что и привело к созданию чат-бота.

В итоге, в условиях увеличения трафика в дискретном канале, не наращивая количество операторов, нам удалось обработать больший объем обращений. Попутно снизилось время ожидания клиентов в чате, ведь чат-бот не знает усталости, работает без обеда и выходных.

— В чем суть разработанного решения?

Мы запустили чат-бот, который работает в нашем решении «Омничат» – оттуда мы получаем обращения клиентов. С помощью технологий искусственного интеллекта мы понимаем, чего хочет клиент: бот распознает его запрос и смысл текста. Для того, чтобы качественно ответить на вопрос клиента, нам потребовались интеграции с внутренними системами. Например, из биллинга мы можем получить баланс счета, а из CRM – информацию об авариях и сроках окончания ремонтных работ на линии.

— Какие технологические принципы закладывались в создаваемое решение?

Мы разработали решение, основанное на собственном технологическом стеке, которое позволяет нам автоматизировать сценарии любой сложности и не требует специальных знаний, особенно программистов. Разработка ИИ-движка внутри чат-бота обеспечивает обучение нейросетей на основании различных выборок данных из ИТ-систем.

— В чем инновационность разработанного решения?

Чат-бот – оригинальное решение, реализованное с помощью современных инструментов, базирующееся на компонентах собственной разработки и открытых языках программирования. Интеллектуальные нейросети, скрипт-менеджер и бот на микросервисной архитектуре обеспечивают гибкое и динамичное масштабирование системы в условиях изменяющихся требований бизнеса, а также оптимизацию стоимости владения инфраструктурой. Ядро бота поддерживает автоматизацию и текстового, и голосового каналов. Сценарии базируются на скриптах, используемых в контакт-центре, что обеспечивает единый подход к обслуживанию клиентов в разных каналах.

— Что в ходе проекта было самым сложным? Как решали проблемы?

Трудно выделить что-то одно – для нас это был новый процесс, требующий большого количества интеграций. К тому же он реализовывался в крупной ИТ-компании с большим количеством сложных бизнес-процессов и подразделений со своими целями. Поэтому процесс в целом был непростым.

— Какова интеллектуальная начинка?

Для определения намерений клиента, ответа на различные вопросы используются BERT-like модели, адаптированные под задачу и требования.

— Сколько времени и каких ресурсов потребовали работы?

К текущим результатам мы шли на протяжении полутора лет небольшой командой. Но итоги подводить еще рано – мы считаем, что у нас все впереди.

— Что удалось особенно хорошо, чем в созданном решении можно гордиться?

Мы гордимся тем, что получился проект, ценный и для нас, и для клиентов. С одной стороны, мы смогли решить цели, которые перед собой ставил бизнес, с другой – предоставили клиентам удобный и современный сервис. Мы достигли нужного экономического эффекта, а наши пользователи теперь получают ответы на свои запросы быстрее. А еще люди даже не всегда понимают, с кем они общаются в чате – с электронным помощником или с живым. Вот это, я считаю, настоящий успех.

— Каких результатов уже удалось достичь, а что еще можно ожидать?

Приведу несколько ключевых цифр. Для консультации клиента чат-бот использует более 150 скриптов, внутри одного диалога задействовано около 100 нейросетей. Нами реализовано более 150 тематик обслуживания клиента, это не менее 65% тематик от общего объема. Чат-бот потенциально может обслуживать одновременно более 5 тыс. клиентов, на текущий момент зафиксирован максимум в пике – более 500 обращений. При этом чат-бот обслуживает клиента примерно в 2,5 раза быстрее, чем живой сотрудник.

Более 20% всех обращений, которые поступают в чат «Ростелекома» в месяц, обрабатываются полностью автоматически. И при этом удовлетворенность клиентов, обслуженных ботом, более 80%. Это выше, чем было до внедрения чат-бота.

— Какие тематики обращений закрываются наиболее полно, а какие пока еще не отдают роботу, и почему? Автоматизация каких именно обращений приносит наибольший эффект?

У нас большое количество различных продуктов: это и «Домашний интернет», и наш онлайн-кинотеатр Wink – по ним с обращениями работает бот. При этом есть продукты с чуть меньшей базой клиентов, такие как умный дом от «Ростелеком», видеонаблюдение – обращения от клиентов этих продуктов обслуживают пока живые люди. Но и тут все просто: мы пошли от большего, чтобы сразу получить крупный эффект, автоматизировав

сложные сценарии с большим количеством проверок, проходящих незаметно для клиента: от финансовых блокировок до проверки сети и оборудования при решении вопросов технической поддержки.

При этом мы не собираемся останавливаться на достигнутом. Мы продолжим внедрять бот в неохваченные продукты и в другие, в том числе внутренние, процессы компании – например, при взаимодействии между подразделениями.

— За счет чего повышается удовлетворенность клиентов? Далеко не все горят желанием общаться с машиной…

Да, согласно исследованиям, сейчас пользователи не очень любят общение с ботом. Но при общении с нашим «нейросетевым» сотрудником они далеко не всегда понимают, что общались не с живым человеком.

Высокий уровень удовлетворенности клиентов связан, в первую очередь, со скоростью и точностью решения их вопросов, ведь скорость обработки запросов и решение их «в одно касание» – одни из ключевых параметров для наших пользователей. В случаях, когда оператору нужно кликать мышкой, чтобы проверить баланс пользователя и напечатать ответ на клавиатуре, чат-бот благодаря интеграциям получает ответы от систем почти мгновенно и сразу выдает ответ пользователю. Нагрузка на операторов снизилась, и у сотрудников появилось больше времени, чтобы решать действительно сложные вопросы.

— Ирония жизни: по-настоящему «человеческое» отношение к клиенту зачастую может обеспечить только робот. В этом будущее клиентского сервиса?

«Роботы», как вы говорите, – это будущее во многих сферах жизни. Нейросети уже пишут музыку, рисуют картины и занимаются еще очень многим. Поэтому без проникновения тренда на роботизацию в клиентский сервис, особенно в высокотехнологических отраслях и крупных компаниях, было не обойтись. В нашей компании много достаточно стандартных операций, которые можно и нужно автоматизировать. Поэтому – да, клиентский сервис и далее наверняка будет развиваться в этом направлении.

— Проект имеет ярко выраженную бизнес-направленность. Каковы экономические результаты?

Мы не можем раскрывать полные данные об экономическом эффекте решения, при этом отмечу, что у нас получилось достигнуть уверенного уровня автоматизации при сохранении, и даже увеличении, уровня удовлетворенности наших пользователей. Все прогнозируемые эффекты на текущий момент исполняются – проект вышел на самоокупаемость.

— В чем роль проекта для компании?

Во-первых, удалось добиться улучшения обслуживания клиентов. Чат-бот позволяет оказывать быструю и эффективную помощь клиентам, отвечая на их вопросы и решая их проблемы в режиме реального времени. Это повышает уровень качества услуг связи в стране и снижает затраты на поддержку пользователей для компании.

Во-вторых, крайне важна персонализация. Чат-бот использует методы обработки естественного языка и машинное обучение. Это позволяет лучше понимать потребности клиентов и быстрее предоставлять персонализированные рекомендации, сохраняя личное время клиентов на решение других вопросов.

Наконец, повышенная эффективность. Чат-бот автоматизирует повторяющиеся задачи, такие как запросы баланса счета и обработка платежей, высвобождая менеджеров технической поддержки. В конечном итоге, это позволяет повысить уровень вовлеченности персонала и их технические компетенции.

— В каком направлении будет развиваться проект?

Для себя мы обозначаем два направления развития: увеличение количества автоматизированно отработанных обращений, и удовлетворенность пользователей – как внешних, так и внутренних.

Агентство «Полилог» разработало и внедрило в подведомственном учреждении Минпромторга России информационную систему для автоматизации проверок иностранных производителей лекарственных средств. Решение позволило автоматизировать нормативные процессы проведения инспекций. О реализации проекта рассказывает Людмила Богатырева, руководитель департамента цифровых решений агентства «Полилог» и номинант на премию Data Award.

— Что стало предпосылкой реализации проекта?

С 2015 года в России проводятся инспекции иностранных производителей лекарственных средств. Их осуществляет подведомственное учреждение Минпромторга России (далее – учреждение).

В рамках инспекций сотрудники проверяют соответствие производственных площадок требованиям к организации производства и контроля качества продукции (Good manufacturing practice, GMP). По итогам проверки формируется и направляется в Минпромторг соответствующее заключение, на основании которого ведомство принимает решение о выдаче сертификата GMP, необходимого для поставки лекарств в Россию.

Объем импорта лекарств на протяжении многих лет рос, поэтому каждый год нагрузка на сотрудников учреждения увеличивалась. Количество инспекций росло с каждым годом. Например, в 2018 году было проведено в 3,5 раза больше инспекций, чем в 2016 году. Поэтому профильным сотрудникам стало сложно справляться с большим объемом бумажной работы и хранить большинство данных в Excel-файлах.

— Какой был выбран подход?

В рамках решения проблемы в период 2018-2023 годах агентство «Полилог» разработало, внедрило и развивало информационную систему для автоматизации проверок иностранных производителей лекарственных средств.

— Что включали проведенные работы?

Работа над автоматизацией проверок шла в два этапа – проектирование и внедрение. На первом этапе мы изучили систему менеджмента качества в учреждении, ознакомились с нормативно-правовыми актами, описали процесс на основе этих документов и согласовали его с рядовыми сотрудниками. Затем мы составили интерактивные карты процессов и документов для навигации по операциям и данным, а также разработали архитектуру данных.

В период внедрения на основе полученной информации мы автоматизировали бизнес-процессы на базе программной платформы Polycode, осуществили миграцию ранее накопленных данных и подготовили обучающие инструкции для сотрудников.

— Какие проблемы возникали?

Одной из самых сложных задач была миграция данных. Они велись без учета последующей автоматизации наряду с распространёнными проблемами: дублирование, ссылки на несуществующие данные, неконсистентность, неформализованная информация в сносках, примечаниях, цветовой индикации. Нашей задачей было устранить неточности и привести все данные к общему виду.

— Как и с помощью каких инструментов происходила миграция данных?

В основном, данные хранились в Excel, но не были однозначно формализованы. При подготовке данных для загрузки в разрабатываемую систему использовались алгоритмы нечеткого поиска и инструменты нормализации данных: алгоритм Левенштейна, расширения выборки, хеширование.

— Что собой представляет созданное решение?

Система ведет исполнителей по настроенным маршрутам бизнес-процессов. Например, пользователи могут формировать проекты документов на основе сведений, которые ранее были заведены в систему, формировать инспекционные группы и их график с учетом информации о занятости сотрудников, их компетентности и расположения производственных площадок, ставить задачи и оповещать сотрудников о переходе процесса в их зону ответственности.

Решение позволяет автоматически обмениваться информацией с «1С», системой документооборота и системой управления финансами.

— Чем помогли непосредственно в работе с данными?

В ходе проекта нами был реализован процессный подход управления жизненным циклом данных об инспектировании производителей лекарственных средств для медицинского применения. Одной из ключевых задач на пути реализации проекта стала разработка бизнес-процесса, учитывающего текущую ситуацию при внесении данных в систему. Достаточно однократного ввода информации для машинной интерпретации данных и их автоматического распределения в нужную сущность, в зависимости от конфигурации других данных. Системой учитываются такие данные, как занятость инспекторов, близость инспекторов к площадке, наличие визы и вакцины и др.

Специализированные платформы данных при этом не использовались, а в качестве основного инструментария обработки данных задействовались скриптовые расширения российской BPM-платформы Polycode, зарегистрированной в Едином реестре отечественного ПО. Также в проекте использовались возможности языков PHP, JavaScript, CSS и HTML.

— Каких результатов удалось достичь?

В ходе проекта было автоматизировано 60% процессов – в основном, связанных с подготовкой к инспекции. В результате удалось справиться с увеличением количества инспекций без увеличения штата. У каждого сотрудника учреждения появилось автоматизированное рабочее место для сопровождения процессов инспектирования иностранных производителей лекарственных средств.

— В чем значимость этого проекта?

Российский фармацевтический рынок динамично растет, однако зависимость от импортных поставок все еще достаточно высока. Так, по данным ФТС, объем импорта лекарственных средств в Россию в 2021 году превысил 1 трлн руб., а в 2022 году вырос еще на 3%. Лекарства из года в год входят в топ-3 товаров с наибольшим объемом импорта в денежном выражении. Поэтому успешные поставки зарубежных лекарственных средств в Россию – по-прежнему одно из ключевых направлений функционирования этого рынка.

Автоматизация проверок зарубежных фармацевтических компаний позволила справиться с ростом количества проверок без наращивания кадровых ресурсов. И если раньше 80 сотрудников проводили за год чуть более 200 проверок, то теперь могут провести более 600. Это позволило сократить организационные процедуры, которые могли стать препятствием к быстрому выводу иностранных лекарств на территорию России и ЕАЭС.

— Есть ли перспективы развития этого проекта?

Планируется погружение в систему всех бизнес-процессов инспектирования, полный отказ от бумаги и достижение максимальной автоматизации. Кроме того, результаты проекта могут быть использованы в других отраслях, таких как проверки по охране труда, сертификация продукции и менеджмента, строительные инспекции, проведение различных экспертиз и т. д.

Банк ВТБ разработал и внедрил комплексный процесс подготовки управленческой отчетности в сегменте средний и малый бизнес в формате Analytics-as-a-Service. На основе детальных массивов информации бизнес-пользователи принимают решения с целью повышения эффективности бизнес-процессов. О реализации проекта рассказал Иван Уколов – вице-президент, начальник управления «Аналитика и отчетность продаж СМБ» департамента Анализа, координации и продуктового развития Блок среднего и малого бизнеса Банка ВТБ, и номинант на премию Data Award.

— Что вы понимаете под Analytics-as-a-Service применительно к потребностям пользователей ВТБ?

Основная идея – максимально облегчить процесс получения отчетности сотрудниками банка, минимизировать количество точек контакта пользователя с разработчиками в процессе подготовки. Тем самым мы оптимизируем ресурсы, дополнительно сокращаем время создания аналитических продуктов и обеспечиваем end-to-end процесс от запроса данных до его трансформации в концепцию, а также техническую реализацию финального продукта с исполнением всех бизнес-требований.

— Какие проблемы пользователей решали, реализуя этот проект?

Проблем было несколько. Во-первых, у пользователей не было полного знания о продукте в каждый конкретный момент времени и статистики о своем продукте, которые критично необходимы для принятия бизнес-решений. Во-вторых, мешало отсутствие единого центра компетенций по реализации и дальнейшему сопровождению готовой отчетности. Наконец, нас не устраивал длительный процесс разработки, сложные и многоуровневые форматы взаимодействия с кросс-функциональными командами.

— Какие рассматривали возможности и альтернативы?

Первый альтернативный вариант – оставить текущие процессы без изменений, при этом принимая явные риски отсутствия оперативной информации и отчетности как для бизнес-подразделений, так и для руководства. Второй – отложить собственное решение до появления в банке успешной реализации систем отчетности другими подразделениями. Они оба нас не устраивали.

— Какие требования предъявлялись к решению, как формулировались его задачи?

Блоку Средний и малый бизнес Банка ВТБ требовалось создать систему оперативной релевантной отчетности и аналитики, обеспечивающей повышение эффективности бизнес-решений на основе комплексной информации по основным показателям, характеризующим бизнес всего блока – в том числе продукты, каналы, продажи.

Еще одно важное требование – масштабируемость решения на большую филиальную сеть и адаптивность к изменениям бизнес-процессов.

— Что было выбрано в качестве платформы?

Хранилище данных построено с использованием следующего технического стека: Hadoop, Airflow, Kafka, QlikSense, Informatica MDM, Spark, Scala, Arenadata.DB, Git, Яндекс.Метрика.

— Что решение представляет собой с точки зрения пользователя?

У пользователя появились дашборды, а также понятная система поддержки и развития их функциональности с прозрачным SLA.

— Что, с вашей точки зрения, удалось особенно удачно?

За счет оптимизации релизного процесса удалось в разы сократить время создания платформы, сохранив при этом основную ценность для пользователей, когда каждая поставка несет в себе бизнес-ценность.

Как отметили коллеги из технологического блока, участвовавшие в проекте, задача по созданию платформы отчетности имела ряд интересных особенностей: разные классы отчетности – оперативная, аналитическая, ad-hoc, совершенно разные источники данных (более 50), начиная от ключевых систем банка и аналитических хранилищ, заканчивая целым рядом внешних аналитических сервисов. То есть платформа должна была удовлетворять не только требованиям по возможности загрузки и преобразования больших объемов гетерогенных данных, но и отвечать высоким SLA с точки зрения оперативности данных, отказоустойчивости и производительности. По совокупности факторов для реализации была выбрана платформа Hadoop. Проект выполнен в кратчайшие сроки для задач такой сложности и объемов функционала благодаря максимальному вовлечению бизнес-заказчика и совместной работе всех участвующих команд на результат.

— В платформе для работы с данными остаются западные продукты (Informatica, QlikSense). Почему, и какие планы?

В банке запущена программная инициатива импортозамещения, которая предполагает постепенную замену западных продуктов аналогами решений, которые существуют на нашем рынке. Одно из обязательных условий, имеющих наибольший вес при принятии решения о выборе продукта, – сохранение текущей функциональности.

— Какие достигнуты результаты?

Усовершенствована система мотивации Банка ВТБ в сегменте СМБ для более чем 6 тыс. сотрудников сети продаж за счет внедрения новых витрин данных и отчетных форм. Нами сформирован центр компетенций по продуктовой и канальной аналитике за счет внедрения BI-инструментария для динамично развивающихся продуктовых направлений и каналов продаж, а также каналов обслуживания клиентов. С использованием современных инструментов (Kafka) выстроен процесс стриминга данных из систем на омниканальной архитектуре в озеро данных банка.

— Пытались ли оценить экономический эффект?

Да. Эффект отражается как на финансовом результате отдельно взятых продуктов, так и на Блоке СМБ в целом.

— В чем роль проекта для бизнеса ВТБ?

Внедрена система принятия решений, выстроенная на основе data-driven подхода с использованием реальных данных о клиентах и объемах бизнеса. Банк в целом теперь знает своего клиента лучше, а подразделения, которые взаимодействуют с клиентами, обеспечены аналитикой для максимального фокуса на потребностях клиента.

— В каком направлении будет развиваться проект?

Дальнейшее совершенствование проекта напрямую связано с развитием продуктового предложения Блока СМБ. Кроме того, технологическая трансформация процессов в Банке ВТБ требует загрузки в хранилище новых систем-источников данных и развитие на их базе всесторонней аналитики.

В Tele2 изначально уделяли большое внимание возможностям бизнес-подразделений по самостоятельному созданию необходимых им дата-продуктов. Именно такой подход позволил успешно провести оперативную миграцию на новый BI-инструмент и развивать аналитическую экспертизу внутри подразделений. О реализации проекта рассказывает Алевтина Тинас, руководитель департамента по управлению данными Tele2 и номинант на премию Data Award.

— Участвуя в премии Data Award 2022, вы рассказали о формировании платформы управления данными. Что изменилось за прошедший год, какие были ключевые успехи?

За прошедший год нам пришлось существенно пересмотреть планы развития в связи с изменившимися условиями. Около половины года мы, как и многие компании, работали над тем, чтобы стабилизировать работу всех систем и определить, какие компоненты нашей платформы данных мы сможем развивать дальше, а от чего придется отказаться. Планы развития, которые мы строили изначально, пришлось существенно пересмотреть, так как приоритетным стало обеспечение стабильной работы платформы в изменившихся условиях. Тем не менее мы поняли, что выстроенная нами платформа управления данными достаточно устойчива, что мы знаем, как с ней работать, и понимаем, как ей управлять. Во второй половине года мы уже вернулись к тому, что планировали ранее – наращиванию функциональности и развитию.

— Что из решений осталось, а что пришлось менять?

У нас остались практически все компоненты платформы управления данными, кроме нашего ключевого BI-решения. В начале года мы провели полный аудит, оценили, какие решения находятся в зоне риска. В первую очередь мы старались сохранить возможность работы всех наших компонентов системы, чтобы минимизировать затраты на повторное внедрение. Таким образом, BI-инструмент Tableau стал единственным самым критичным элементом нашей системы, использование которого мы не могли продолжить, соответственно, здесь нам требовалась срочная миграция.

— Дальнейшие перспективы по замене остальных решений тоже есть?

Естественно, мы будем внимательно анализировать ситуацию и принимать соответствующие решения. Мы видим, что современные решения по управлению данными достаточно динамично развиваются: если мы не сможем развивать компоненты нашей платформы, мы прекрасно понимаем, что через какое-то время они уже не будут отвечать новым задачам и вызовам. Тогда нужно будет искать какую-то альтернативу.

Мы начали с того, что было наиболее срочным, так как не могли оставить наш бизнес без инструмента визуализации данных. Мы, в первую очередь, ориентированы на то, чтобы продолжать предоставлять нашему бизнесу возможность проводить анализ данных, создавать новые продукты и одновременно с этим обеспечивать непрерывность работы платформы. Мы стараемся предоставить максимальные возможности с минимальными усилиями.

— Понятно, что любое «отключение рубильника» – это шоковая ситуация для компании...

Весной мы оказались в ситуации, когда у нас осталось меньше полугода работы ключевого решения, в развитие которого мы инвестировали практически три года. Нужно было срочно найти что-то новое и одновременно с этим обеспечить стабильность работы остальных систем, оставшихся без поддержки, и непрерывность получения информации для бизнеса.

— Полгода – это много или мало?

Нас абсолютно устраивало решение Tableau, и мы не рассматривали альтернатив, поэтому ситуация оказалась для нас неожиданной. Конечно, полгода – это мало для обстоятельного исследования рынка, выбора и реализации полноценного проекта внедрения, но, если бы наши лицензии заканчивались, скажем, в апреле, ситуация была бы гораздо сложнее. Таким образом у нас было время, поэтому мы составили план, крайне амбициозный и сжатый: буквально в течение месяца посмотреть на то, что есть на рынке, и принять решение.

— Как выбирали новое решение?

Основная задача заключалась в обеспечении непрерывности бизнес-процессов и предоставлении бизнес-заказчикам удобного решения, сопоставимого по функциональности с тем, что у нас было на данный момент. В этот момент нам очень помогло то, что мы изначально вкладывались в развитие культуры data-driven. Благодаря высокой вовлеченности аналитиков со стороны бизнеса нам без труда удалось собрать кросс-функциональную команду из ключевых пользователей BI-системы со стороны бизнес-подразделений и специалистов офиса данных. Я считаю, что это было очень правильным подходом, потому что, по сути, бизнес стал непосредственным участником выбора решения. Мы проанализировали около 20 решений, а больше 10 из них даже развернули во внутреннем контуре, чтобы реализовать пилотные проекты. Мы анализировали возможность оперативного погружения, порог входа наших разработчиков в новый инструмент, – нам было важно, чтобы наши аналитики от бизнеса могли оперативно начать разрабатывать дашборды. В результате совместная команда выбрала китайское решение – Fine BI, которое позволило быстро приступить к работе и по скорости разработки было сопоставимым с предыдущим решением.

— Насколько вы удовлетворены достижением поставленных целей?

Наш цель-минимум – обеспечить работоспособность отчетов, наиболее критичных для бизнеса, остановка которых была бы неприемлема. Цель-максимум – не потерять ничего из работающей функциональности и перенести все наше наследие. Мы понимали, что без привлечения самих бизнес-разработчиков справиться с миграцией такого количества отчетов в сжатые сроки нам не удастся. Мы договорились о том, что, отчетность, которая была разработана бизнес-подразделениями в Tableau в режиме self-service, они перенесут самостоятельно, а это основная часть работы. Мы поддерживали их во всех вопросах в части консультаций и обучения работе в новой системе. Благодаря привлечению всей компании к этому процессу, мы действительно добились поставленных целей, не приостановили работу никаких критичных дашбордов. За несколько месяцев удалось перевести в новое решение несколько десятков бизнес-функций, сотни бизнес-пользователей и дашбордов, а также организовать внутреннюю экспертизу с компетенциями по Fine BI.

— Насколько важен подход self-service в использовании инструментов анализа данных?

Продвижение подхода self-service в использовании инструментов анализа данных у нас началось с появлением дата-офиса. Мы изначально делали ставку на то, чтобы давать возможность бизнес-подразделениям самостоятельно создавать необходимые для них инструменты, дата-продукты, дашборды. Мы прекрасно понимали, что необходимую скорость и релевантность требованиям крайне сложно обеспечить централизованной командой. Если дашборды создают аналитики внутри бизнес-подразделений, им не нужен длительный и трудоемкий этап бизнес-анализа. Они сами находятся внутри бизнес-процесса и лучше кого бы то ни было понимают, каким образом нужно визуализировать данные для наиболее эффективного их использования. Поэтому мы изначально делали ставку на self-service, а сервис централизованной разработки оставляли только для реализации нестандартных, сложных отчетов, а также для консультаций разработчиков от бизнеса. Именно наличие подобных децентрализованных компетенций позволило нам оперативно осуществить миграцию на новый BI-инструмент.

— Что такое, с вашей точки зрения, культура data-driven?

В общепринятом смысле культура data-driven – это принятие решений на основании данных. Но мы для себя определяем культуру data-driven несколько глубже – это некий критический подход ко всей информации, которая используется для принятия решения. Это понимание того, на основе каких данных принимается решение, откуда они получены, каково их качество, кто ими владеет. Решения должны приниматься осознанно, и в момент их принятия необходимо четко понимать, что используется наиболее релевантная, корректная информация.

Есть различные элементы ее проявления и использования. Как раз к ним относится подход self-service, когда каждый сотрудник имеет возможность понять, какие данные у компании есть, где они находятся и как получить к ним доступ. А если это какой-то сложный расчетный показатель, то по какой методологии он считается и кто отвечает за его расчет. Чем больше людей пользуются этой возможностью в рамках своей ежедневной работы, тем выше та самая культура data-driven.

— Какие у вас планы по развитию инфраструктуры работы с данными?

Предыдущие три года мы активно занимались внедрением инструментов, обеспечивающих управление данными. Сейчас мы наполняем их контентом. Когда мы поняли, что многие системы остаются без поддержки и обновления, у нас появилась задача определить, какие бизнес-процессы находятся в зоне риска и что из этого наиболее критично. Проводя эту работу, мы выявили основную взаимосвязь между данными и бизнес-процессами компании. Это крайне важная информация, она нам помогает не только при проработке негативных сценариев, но и в ситуациях, когда мы реализуем изменения или сталкиваемся с проблемами качества данных.

Собрав всю эту информацию, мы разместили ее в нашем каталоге данных, определили связь с данными для основных, наиболее критичных процессов компании и дальше планируем развивать эту практику. Создавая новые объекты данных, аналитику, показатели, крайне важно фиксировать их описание, привязывать их к конкретным бизнес-процессам.

Сейчас наша платформа управления данными содержит все необходимые компоненты: каталог данных, бизнес-глоссарий, реестр отчетов, каталог предоставляемых сервисов, единый портал доступа, инструменты управления качеством данных, которые позволяют получить полную информацию о том, какие информационные активы есть в компании, кто является их владельцем, каким образом можно получить к ним доступ, какого качества данные и как мы это проверяем, а также в каких процессах компании эти активы используются. Теперь нашей ключевой задачей становится дальнейшее наполнение и поддержание актуальности всей этой информации.

— Внутри бизнес-подразделений появляются полноценные аналитические команды. Это уже не те «гражданские» аналитики, о которых повсеместно говорят, а что-то более серьезное?

Да, наши аналитические команды в бизнес-подразделениях – это не просто «гражданские» аналитики. Мы работаем в технологичном бизнесе, и у нас практически все бизнес-подразделения обладают достаточно глубокой технической экспертизой. Мы очень долго взвешивали: сможем ли мы эффективно выстроить управление разработкой и использованием данных со стороны бизнес-подразделений? Либо мы должны пресекать такие действия и давать в использование только те данные, которые получены централизованно и за которые мы готовы нести ответственность?

В итоге мы решили, что не хотим ограничивать бизнес, а наоборот будем стремиться предоставлять им как можно больше возможностей для анализа и работы с данными. У наших бизнес-подразделений есть возможность не только анализировать данные в витринах, разработанных централизованно, но и пользоваться «песочницами» и инструментами self-service. Они полноценно разрабатывают витрины, отчеты и потоки данных, могут ими делиться со всей компанией, а также имеют возможность эти потоки передать на поддержку в центральную команду.

На самом деле, образовавшиеся команды стали самостоятельными дата-офисами внутри бизнес-подразделений, которые обладают всеми возможностями для полноценной автономной работы с данными. Наша задача – предоставлять им необходимый инструментарий и организовывать процесс их работы, в том числе в части поиска источников необходимых данных, а также информации о качестве данных в этих источниках.

— Как это поддерживалось с организационной точки зрения?

С организационной точки зрения самое сложное и важное – внедрить единые подходы и инструменты, правильно донести информацию о действующих процессах и имеющихся возможностях.

У нас с самого создания дата-офиса активно развивается направление обучения и коммуникации. В рамках этого направления мы проводим регулярные информационные мероприятия, на которых рассказываем о возможностях инструментов, которые внедрены в нашей компании. Также у нас есть регулярные коммуникации, рассылки, в которых мы информируем всех заинтересованных о новых аналитических продуктах, витринах и показателях, которые мы разрабатываем централизованно, об инструментах, которые мы внедряем.

Мы создаем обучающие программы и курсы по инструментам и процессам качества данных, работе с дата-каталогам, подходам по управлению данными, инструментам BI и публикуем их на общекорпоративном обучающем портале.

Используем и другие подходы к обучению – например, при миграции BI-инструмента нам нужно было одномоментно обучить большое количество пользователей работе в незнакомом для них решении. Мы запустили марафон по данным, на котором в течение 10 дней рассказывали о возможностях нового инструмента. Этим марафоном мы охватили абсолютно всю компанию и достигли сразу нескольких целей: с одной стороны, обучили пользователей работе в новом для них инструменте, а с другой – привлекли новых разработчиков и пользователей BI-инструментов. Еще мы дали возможность разработчикам self-service BI рассказать о продуктах, которые они создают с помощью предложенных нами инструментов. В результате проведенных мероприятий у нас появилось внутреннее сообщество, где пользователи нового инструмента активно обсуждают актуальные вопросы работы в системе и делятся друг с другом полезными открытиями из личного опыта.

На данный момент, через полгода после внедрения нового решения, число пользователей, которые просматривают отчетность, увеличилось на 60% по сравнению с предыдущим решением, а количество разработчиков, которые создают дашборды в новом инструменте, увеличилось вдвое. Это значит, что появляются новые подразделения, которые раньше не пользовались современными инструментами анализа данных. Они понимают, что это легко, доступно, они самостоятельно начинают анализировать данные, создавать отчеты и дашборды для своих подразделений и принимать решения, основываясь на данных.

— Что из результатов дата-офиса вы считаете самым важным?

Если говорить о результатах дата-офиса в целом, то самое важное – это внедрение нашей платформы управления данными и активное ее распространение среди пользователей информационными активами в компании. Вся информация доступна, находится в едином месте, проверена и подтверждена со стороны централизованного офиса данных. Если говорить про прошедший год, то самое важное – мы ничего не «уронили», и наш бизнес продолжил получать сервисы по данным в полном объеме. Из непростой ситуации мы вынесли очень много полезного. Во-первых, мы начали самостоятельно разбираться с теми системами, которые у нас были на внешней поддержке, и поняли, что часто делаем это лучше. Во-вторых, при миграции BI-инструментов мы в полтора-два раза увеличили количество пользователей благодаря привлечению новых сотрудников регулярными коммуникациями и обучением. Из-за подготовки к негативным сценариям и стремления оценить их влияние на бизнес компании мы стали лучше понимать, как используются данные в бизнес-процессах компании, осознали, что это крайне важная информация, которую нужно хранить и развивать. Сложности рождают новые возможности.

— Каковы дальнейшие планы дата-офиса?

Мы не останавливаем развитие наших процессов и инструментов, однако понимаем, что какой-то длительный период нам придется работать в режиме экономии ресурсов, оборудования и ПО. Здесь на первый план выходит обеспечение эффективного использования данных. Важно уметь считать экономический эффект от имеющихся информационных активов – если одни и те же данные используются в нескольких бизнес-процессах, то затраты на их получение и хранение мы несем один раз, а эффект будет многократным. Мы планируем развивать такую аналитику и учитывать показатель экономической эффективности разных потоков данных при принятии решений об изменениях и развитии наших аналитических платформ. Конечно же, мы будем продолжать развивать инструменты и процессы self-service для предоставления новых возможностей нашему бизнесу в работе с данными. Дополнительно мы планируем еще больше внимания уделять вопросам безопасности данных – это направление сейчас особенно актуально.

Компания Lamoda создала персонального fashion-помощника, с помощью которого улучшает клиентский опыт и делает онлайн-покупки проще. Этот инструмент должен помочь в выполнении миссии компании – стать лидирующей fashion & lifestyle платформой в России и странах СНГ. О реализации проекта рассказывает Александра Пургина, руководитель отдела развития продуктов на основе данных Lamoda и номинант на премию Data Award.

- Какова история создания продукта fashion-помощник? Как к нему пришли?

Персональный помощник – это набор сервисов, улучшающий опыт клиента в покупке. Мы шли к нему не один год, сначала занимались развитием алгоритмов ранжирования каталога и поиска. Затем обратили внимание на одну из ключевых проблем при покупке в онлайне – выбор размера, и начали заниматься еще и ей. Сейчас это набор различных сервисов, которые в сумме дают пользователю хороший опыт покупки и незримо помогают человеку.

Персональный помощник включает в себя несколько сервисов: ML-ранжирование каталога, модель предсказания рекомендуемого размера для каждого пользователя, модель подбора образов к якорному товару, алгоритмы подбора похожих товаров, в том числе по визуальной схожести.

- В чем заключались проблемы, которые пытались решить?

Мы знаем, что покупка одежды, обуви, аксессуаров онлайн все еще вызывает ряд сложностей. Покупателям приходится ориентироваться в интерфейсах разных платформ, находить нужный товар среди тысяч предложений, выбирать подходящий размер у конкретного товара, так как разные размерные сетки и лекала приносят неопределенность. В результате далеко не все доходят до стадии оформления заказа, примерки и покупки вещи.

Набор сервисов персонального fashion-помощника позволяет экономить ресурс клиента, облегчая поиск нужных товаров внутри платформы. Это влияет как на создание лучшего опыта взаимодействия с Lamoda, так и на финансовые показатели компании. Чем точнее рекомендация, тем выше вероятность, что дальше она конвертируется в покупку. Также для компании это важное конкурентное преимущество перед другими маркетплейсами.

- Почему вы считаете, что «помощник» – это действительно важно и в эту работу имело смысл вкладываться? Может, покупателям Lamoda было бы более полезно что-то другое и силы можно было потратить с большей пользой?

Мы создаем продукты, полагаясь на запрос наших пользователей, цели бизнеса и ориентируемся на исследования рынка. Контекст наших покупателей таков: у человека возникают различные потребности в течение года – например, купить базовые вещи, обновить гардероб для летнего сезона, подготовиться к особому событию и т. д. Они сопровождаются запросом на эффективность и приятные эмоции. В одной ситуации у покупателя ограниченное время на покупку, ему хочется быстро сделать выбор без сложностей поиска среди большого количества альтернатив. В других ситуациях шопинг для наших покупателей – это способ расслабиться, приятно провести время и найти что-то новое для своего самовыражения. Именно эти задачи мы и решаем нашими сервисами, позволяя совершать и запланированные, и спонтанные покупки.

- Вы считаете, что для компании fashion-помощник – важное конкурентное преимущество. В чем его отличие от традиционных рекомендательных систем других компаний?

Отличие – в связке глубокого понимания запроса и ожиданий клиентов от fashion-платформы вместе с персонализацией предложения под этот запрос. Мы обеспечиваем более качественные и проработанные под нашу аудиторию решения, в отличие от стандартных рекомендательных систем. Благодаря этому аудитория Lamoda может получать уникальный опыт покупки, основанный на их действиях на сайте.

- Что «под капотом»? Какой математический аппарат используется?

Под капотом большие данные, алгоритмы машинного обучения и их эффективное применение в высоконагруженных сервисах. Мы используем доступные данные о действиях пользователей на сайте и в приложениях Lamoda: какие товары смотрели и добавляли в избранное, какие делали покупки. На основании данных ежедневно рассчитывается несколько сотен признаков, описывающих предпочтения наших пользователей: к брендам, стилям, ценовому диапазону, размерам и многим другим характеристикам.

По части алгоритмов машинного обучения мы применяем как подходы из классического машинного обучения (градиентный бустинг на деревьях), так и нейросетевые подходы для эффективной работы и использования сигнала из фотографий товаров. Используемый стек технологий: Big Data (Hadoop, PySpark, Hive), Python, Golang, Catboost, PyTorch, Airflow, Docker.

- Сколько ресурсов потрачено на проект?

В этом году над сервисами fashion-помощника работало 25 человек – это несколько команд, состоящих из дата-сайентистов, бэкенд- и мобильных разработчиков, QA-инженеров, продуктовых и проектных менеджеров, аналитиков и тимлидов.

- Что в ходе проекта было самым сложным?

Техническая сторона вопроса занимает много времени: подготовка технического стека, чтобы перейти в ранжировании каталога сначала на машинное обучение, а потом и на персонализированное ранжирование, подготовка инфраструктуры для дальнейших экспериментов.

Наиболее сложным был переход от ежедневного пакетного получения прогноза ML-модели для всех товаров и крупных сегментов пользователей к новой архитектуре с применением ML-модели в режиме реального времени в высоконагруженных сервисах, без которой эффективная и качественная персонализация под каждого клиента была бы невозможна.

- Что получилось особенно удачно? Чем вы гордитесь?

Особенно гордимся персональным ранжированием каталога и подборкой образов к товару. С помощью искусственного интеллекта мы научились предсказывать, какие товары будут интересны конкретному пользователю, и теперь показываем их вверху выдачи. Для такой персонализации анализируется и используется информация о том, какими брендами, цветами, в каком ценовом диапазоне и в каком размере клиент интересовался, что он покупал или искал.

В мобильных приложениях на странице товара запущен A/B-тест подборки образов «С чем носить». Учитывая то, с чем наши пользователи покупали якорный товар, ML-алгоритм предлагает несколько образов к каждому товару, то есть «учится стилю» напрямую у наших пользователей. А чтобы к летним балеткам не предлагались пуховики, стилисты Lamoda составили формулы образов, которые также используются в алгоритме. Получилось очень красиво — и с точки зрения дизайна, и по содержимому образов. Ожидаем, что наши рекомендации вдохновят людей собирать, заказывать модные образы и больше покупать на Lamoda.

- Какими численными результатами можете похвастаться?

В каждом A/B-тесте мы отслеживаем изменения конверсий по всей воронке продаж: стали ли люди больше добавлять товары в избранное, в корзину, стало ли людям проще совершать заказ, выросло ли число заказанных и купленных товаров. В рамках сервисов fashion-помощника все эти показатели также выросли. Например, если говорить о нашем последнем успешном запуске, то новый алгоритм ранжирования каталога увеличил метрики воронки: добавление в избранное выросло на 3%, добавление в корзину — на 3%, заказы — на 2%.

- В каком направлении будет развиваться fashion-помощник?

Миссия Lamoda – стать лидирующей fashion & lifestyle платформой в России и странах СНГ. Персональный fashion-помощник – один из инструментов, который способствует достижению этой задачи.

Наша разработка упрощает процесс онлайн-покупок и делает моду доступной для миллионов пользователей. Lamoda – это площадка не только для поиска нужного товара, но и для вдохновения. Сервисы fashion-помощника позволяют пользователям находить товары даже по самым необычным запросам (например, «сумка-банан»), определять подходящий размер и даже подбирать дополняющие товары к образу.

Мир постоянно меняется, появляются новые технологии и новые задачи для компаний. Вместе с этим меняется клиент и его потребности и ожидания от онлайн-сервисов. Мы хотим быть рядом, когда человек проходит через все эти изменения, и помогать адаптироваться в меняющемся мире, делать его жизнь чуточку проще.

Компании HFLabs и Platforma предлагают использовать синергетический эффект от объединения данных разных компаний безопасным образом – так, чтобы партнеры смогли получить дополнительную информацию о профиле своего клиента за счет сведений, которые есть у других игроков. Что важно, данные клиентов при этом не раскрываются. О подробностях проекта безопасного мэтчинга рассказывает Никита Назаров, технический директор HFLabs.

— Сопоставление и сведение воедино разных баз данных – не такая простая задача даже в рамках одной организации. Каким образом вы предлагаете обеспечить решение подобной задачи для разных организаций, причем с соблюдением требований регуляторов?

Наша компания накопила большой опыт в области работы с данными. Так, мы уже 17 лет занимаемся формированием эталонных клиентских баз для банков, страховых компаний, телеком-операторов. Крупный бизнес на протяжении многих лет активно собирает информацию о клиентах и, по сути, узнал о них уже практически все в рамках своих возможностей. Тем не менее, есть способ улучшить понимание клиента – за счет информации, которая есть у компаний других отраслей.

Мы, например, применяем такой подход. Каждый из участников экосистемы наших партнеров с помощью одного из разработанных нами программных модулей обезличивает имеющиеся у него клиентские данные, а затем передает их в федеративный узел (hub) данных. Некая третья сторона (в нашем проекте в этом качестве выступает Platforma – разработчик решений для бизнеса на основе больших данных) предоставляет так называемую «чистую комнату», где происходит сопоставление, объединение данных и формирование межотраслевого суперпрофиля клиента. Например, мы выясняем, что клиент компании 1 с идентификатором 01 и клиент компании 2 с идентификатором 02 – один и тот же человек. И так далее. Основываясь на полученных результатах, специалисты по данным каждой из организаций могут обучать свои скоринговые модели.

Регулятор сам активно ищет способы, как обеспечить участникам рынка «песочницу», где они могли бы безопасно обмениваться данными. В нашем проекте предусмотрен обмен только обезличенными данными – для статистических и аналитических целей. В этом, собственно, и состоит ключевая идея безопасного мэтчинга данных, которая легла в основу вашего проекта: компании могут получить дополнительную информацию о портрете своего клиента за счет сведений, которые есть у других игроков, при этом данные клиентов не раскрываются.

— В каких организациях и в каких сценариях применения безопасный мэтчинг данных будет иметь важное значение?

Безопасный мэтчинг данных могут использовать компании из любых отраслей. Но наибольший эффект он даст крупным B2C-игрокам, которые уже исчерпали возможности работы с собственными данными. В бизнесе есть термин «красный океан», он описывает конкурентную борьбу на рынке, насыщенном игроками. Для компаний, находящихся в условиях «красного океана», приоритетом становится не привлечение новых, а удержание постоянных клиентов, поэтому они и стремятся понять их как можно лучше.

— Какие цели ставили перед собой участники вашего проекта в самом начале? Пришлось ли переформулировать цели по ходу проекта?

Нет, не пришлось. Мы изначально понимали, что нам нужно сформировать платформу, выстроить сквозной процесс для безопасного мэтчинга и отладить схему взаимодействия между участниками пилотного проекта. Все работы шли в рамках двух треков: технического и организационного. Мы взяли на себя техническую сторону, компания Platforma – организационную.

— Какие подходы и технологии – инструменты и платформы вы выбрали для реализации безопасного мэтчинга данных?

В основе безопасного мэтчинга данных лежат локальные модули хеширования, которые передаются конкретным участникам проекта. Именно эти модули хранят в себе бизнес-логику обезличивания. Они приводят базу участников пилотного проекта к единому формату, нормализуют данные, дедуплицируют их и специальным образом обезличивают. Разработчиком модуля выступила наша компания HFLabs, а транспортный, интеграционный слой реализовали коллеги из Platforma.

«Сердце» мэтчинга – федеративный узел данных внутри ИТ-контура компании Platforma. Он сопоставляет и объединяет деперсонализированные хешированные выгрузки участников проекта, руководствуясь при этом определенными критериями. Федеративный узел данных – также собственная разработка HFLabs. Сами приложения написаны на языках Java и Kotlin, ключевая библиотека – Spring, а в качестве хранилища данных используется объектное хранилище S3 в частном облаке.

Первым шагом нашего проекта стала организационная фаза: нужно было договориться со всеми участниками проекта. На следующей стадии мы сфокусировались на подготовке локальных модулей. Наконец, в ходе третьей фазы был создан федеративный узел данных.

— С какими сложностями пришлось столкнуться в ходе проекта и как их удалось преодолеть?

Как показал пилотный проект, сразу приступить к хешированию данных невозможно. Даже внутри одной компании один и тот же человек может быть записан по-разному (например, в одной системе имя записано как «Наталья», а в другой – «Наталия»). Кроме того, участники могут использовать разные модели данных.

При подготовке к хешированию мы сначала провели поиск схожих данных с помощью механизмов дедупликации и алгоритмов, учитывающих синонимы, опечатки, взаимозаменяемые слова, устаревшие наименования населенных пунктов – эти процедуры помогли выявить неявное дублирование данных.

— Каковы результаты вашего проекта безопасного мэтчинга данных на текущий момент?

Главным результатом можно считать то, что к платформе обмена уже подключены два первых участника. Процесс безопасного мэтчинга поставлен на промышленные рельсы: по команде одного из участников формируется запрос на мэтчинг, после чего актуальные базы двух компаний загружаются, сопоставляются и объединяются. Наш узел данных может в любой момент принять новых игроков.

Мы уже работаем с крупнейшими представителями телекома и банковской отрасли. На этапе пилота мы специально эмулировали рост объема объединяемых данных и убедились, что производительность при этом не деградирует.

— Какие результаты проделанной вами работы способны обеспечить повышение эффективности бизнеса организаций, которые воспользуются вашими технологиями? За счет чего оно произойдет?

Представим, что я – банк. Я никогда не узнаю, какую страховку покупает мой клиент, как часто он путешествует по России, есть ли у него дети и пр. У меня нет полной картины о жизни клиента, следовательно, обеспечить соответствие его ожиданиям и сделать ему релевантное предложение мне будет довольно трудно.

Если мы вместе с телеком-оператором найдем общих клиентов, то сможем предложить им новые совместные программы лояльности. Кроме того, ускорится доступ клиентов к новым услугам. Например, банк охотнее выдаст кредит, зная, что человек исправно оплачивает мобильную связь.

При этом не нужно путать безопасный мэтчинг с классическим обогащением данных – участники проекта не получают никаких новых контактов потребителей.

— Какое влияние на рынок способен оказать безопасный мэтчинг данных? В чем оно будет заключаться, на каких рыночных показателях сможет отразиться?

Как я уже говорил, безопасный мэтчинг открывает перспективы в работе с действующими клиентами. Компании смогут лучше их понимать, более точно оценивать их поведение, а значит, генерировать для своих потребителей релевантные приложения и снижать вероятность их оттока. Все это повышает пожизненную ценность клиента (Customer Lifetime Value, CLV) – прибыль, которую компания может получить от одного клиента за все время сотрудничества с ним. Именно здесь, на наш взгляд, для крупного бизнеса открывается новая возможность роста.

— Каковы дальнейшие перспективы вашего проекта?

Прежде всего мы планируем подключить новых участников обмена данными. Главная задача состоит в том, чтобы участники рынка поверили, что обмениваться данными можно безопасным образом.

Среди инженерных вызовов, которые предстоит решить, – работа с большими объемами данных и использование большего количества критериев, чтобы принимать решение об идентичности клиентских записей разных участников. Например, в качестве одного из критериев сопоставления мы планируем использовать вложения (embeddings).

Система мониторинга промышленного оборудования «Диспетчер» от ГК «Цифра» получила масштабное внедрение на предприятиях «Атомэнергомаша» – машиностроительного дивизиона «Росатома». Реализация проекта заложила фундамент для развития цифрового производства и повышения его управляемости. О проекте рассказывает Сергей Бондаренко, заместитель генерального директора АО «Атомэнергомаш» и номинант на премию Data Award.

— Каковы были предпосылки реализации проекта?

Машиностроительный дивизион «Атомэнергомаш» уже на заре цифровизации промышленности России – в 2010-ые годы – начал проявлять интерес к системам контроля эффективности работы производственных активов, а именно дорогостоящего промышленного оборудования. Мы пробовали внедрять различные решения на нескольких единицах оборудования, в том числе от Siemens и OMATIVE. Локальные внедрения первых цифровых технологий давали необходимую информацию, но при этом требовалась ручная обработка данных и отсутствовала консолидация. К началу 2020-х уже было понятно, что для производства нужны инструменты автоматизации, и не только локальные.

Мы стали смотреть на российские решения, которые бы обеспечили синергию всех активов с возможностью управления от Корпорации и связку с планом производства, технологией выполнения, логистическими цепочками и отказоустойчивостью оборудования. Два с половиной года назад совместно с фондом «Сколково» мы решили принять участие в пилотном проекте федеральной программы по внедрению отечественных аппаратно-программных комплексов при софинансировании государства. Это предложение удачно совпало с комплексной программой цифровизации, которую проводит «Атомэнергомаш». Наши предприятия протестировали технологию, сравнили «Диспетчер» от ГК «Цифра» с другими АИС по удобству, функционалу и возможностям, и согласились, что эта система полностью соответствует нашим запросам.

— Какие были поставлены цели, чего хотели достичь?

Предприятиям «Атомэнергомаша» требовалось обеспечить контроль работы основного технологического оборудования в режиме реального времени. Для этого на наших станках были установлены специальные блоки и датчики, непрерывно снимающие показания с оборудования. Данные, собранные со всех производственных площадок, позволяют анализировать производительность и загруженность станков, точно планировать производство, устранять причины простоев, получать оповещения о внештатных ситуациях и оперативно реагировать на них. Если смотреть шире, то теперь у нас есть вся информация о статусе работы станков, чтобы своевременно принимать и корректировать управленческие решения для повышения эффективности, а также гарантировать высокий уровень координации между площадками.

Растущий портфель заказов предприятий «Атомэнергомаша» потребовал высокоточного управления загрузкой оборудования, находящегося на критически важном пути производства. Для этого был инициирован данный проект. Используя данные из системы мониторинга, можно определить время полезной работы станка, оценить доступные резервы, а также в целом управлять производством и повышать его эффективность.

— Какие решения были использованы?

Для реализации проекта использовался комплекс ИТ-продуктов «Диспетчер». «Диспетчер MDC» – крупнейшая в России система мониторинга работы промышленного оборудования и производственного персонала на предприятии. Мы выбрали этот продукт, потому что он полностью соответствует концепции импортонезависимости – программное обеспечение и вся аппаратная часть произведены в Российской Федерации компанией «Цифра». При этом уровень отечественной разработки полностью соответствует потребностям современных производств. В ходе внедрения разработчики модифицировали «Диспетчер» под запросы предприятий дивизиона, так что в итоге его стали называть системой мониторинга производственного оборудования — СМПО.

— Что было сделано в рамках проекта?

К мониторингу были подключены более 400 станков на семи производственных площадках «Атомэнергомаша».В связи с высокой значимостью проект вошел в число приоритетных и был реализован вместо запланированных двух лет за один год.

«Диспетчер» запустили в пяти российских городах: на производственных площадках «ЗиО-Подольск» и «Гидропресс» в Подольске, «Атоммаш» и «Атомтрубопроводмонтаж» в Волгодонске, на предприятии «Петрозаводскмаш» в Петрозаводске, а также в «Опытном конструкторском бюро машиностроения имени И. И. Африкантова» в Нижнем Новгороде и «Центральном конструкторском бюро машиностроения» в Санкт-Петербурге.

— Какие результаты достигнуты?

Раньше данные о загрузке, выработке и простоях оборудования были субъективными, так как замеры производились нашими специалистами вручную на каждом участке. Теперь на подключенных к системе предприятиях еженедельно автоматически формируются отчеты по каждому цеху, станку и сотруднику. В них обозначены все ключевые показатели работы, а у простоев зафиксированы причины и время. Дополнительно в цехах установлены мониторы, где в реальном времени транслируется ключевая информация о состоянии оборудования. После внедрения СМПО вся цепочка работ стала прозрачной.

Если говорить о цифрах, мы увеличили производственную загрузку ключевого оборудования на 7%. А вот, например, на участке обработки деталей из силицированного графита на ЦКБМ, загрузка возросла с 40 до 67%.

При этом общий важный результат – создание фундамента для цифрового производства, повышение его управляемости. Еще один косвенный эффект – формирование культуры открытости, ведь теперь все прозрачно и у рабочих нет возможности скрывать факты рабочего процесса, а значит они вынуждены вовлекаться в оптимизацию производственной деятельности.

— А если говорить о финансовых результатах?

Оценки осторожные, прямой эффект оценить сложно, так как СМПО лишь оперативно формирует объективную информацию. Без своевременного реагирования персонала, без эффективного решения выявленных проблем эффектов бы не было. В Росатоме на высоком уровне зрелости функционирует производственная система – ПСР. Вот совокупность этих инструментов в части загрузки станочного парка в 2022 году принесла нам более 80 млн руб.

— Были ли в результате анализа данных об оборудовании сделаны какие-то неожиданные открытия?

Неожиданных открытий не было. Были выявлены на ряде площадок так называемые «узкие места», а также определены их причины. Сама суть внедренной системы не в открытии «неожиданностей», а в правильном применении полученных данных и повышении эффективности работы всех производственных переделов на всех площадках.

— Что было самым сложным в ходе проекта?

«Атомэнергомаш» имеет высокопроизводительное сложное оборудование, выполняющее важные стратегические заказы. Одним из вызовов в ходе проекта было согласование графика отключения производственного оборудования для его адаптации и подключения к комплексу «Диспетчер».

Вызов для поставщика – масштабность проекта, реализованного в короткие сроки. Проект охватывал сразу несколько производственных площадок, на которых параллельно велась работа команд внедрения.

— Каково значение проекта для бизнеса компании?

Достигнуто несколько важных целей. В первую очередь, это точное управление загрузкой оборудования, стоящего на критическом пути производства. Кроме того, важна интеграция данных, собираемых со станочного оборудования, и переход к безбумажному сквозному производственному планированию. Это позволило повысить производительность труда и упростить процедуру выявления возможных производственных проблем.

Еще один аспект – мы научились использовать данные СМПО для принятия инвестиционных решений. Сейчас ни один инвестиционный проект не открывается, пока на основании данных СМПО не доказано, что все действующие станки задействованы максимально.

Наконец, можно отметить рост культуры производства и обеспечение технологического суверенитета.

— В каком направлении будет развиваться система, внедренная на «Атомэнергомаше»?

Безусловно, останавливаться на первом этапе мы не планируем. Мы видим эффекты от СМПО, и эти эффекты постоянны. Будем расширять количество подключенного оборудования. В этом году мы запускаем проект по формированию методологии использовании данных СМПО в задачах повышения эффективности, уточняем и совершенствуем динамическую отчетность. Далее, в наших планах связать систему с данными видеоаналитики, позиционирования персонала и интегрировать в систему оптимизатор планирования производства. Это позволит объединить данные о работе станков с данными о работе операторов и автоматизировать принятие управленческих решений.

В Государственной инспекции по контролю за использованием объектов недвижимости города Москвы продолжают практику использования нейросетей для автоматического выявления признаков нарушений в области землепользования. Дарья Казакова, заместитель начальника отдела мониторинга вовлечения земельных участков Госинспекции по недвижимости Москвы и номинант на премию Data Award, рассказала о новых проектах, позволяющих оптимизировать надзорную деятельность.

— В прошлом году, участвуя в Data Award, Госинспекция по недвижимости рассказала об использовании алгоритмов для автоматического выявления нарушений по пяти сценариям. Какова судьба этих проектов, каковы итоги, как вы сами оцениваете их результаты?

Алгоритмы применяются в деятельности Госинспекции по недвижимости для автоматического выявления признаков нарушений в области землепользования. В настоящий момент проводится работа по совершенствованию их работы, а также ведется разработка новых алгоритмов по новым типам нарушений.

Поскольку для ряда алгоритмов сохраняется потребность в анализе архивных источников, нами в настоящий момент апробируется технология по распознаванию постобработки архивной разрешительной и технической документации. В рамках пилотного проекта, который мы проводили в 2022 году, проведена оценка точности распознавания текста документов и выявления атрибутов. Ее основными преимуществами являются быстрая проверка на наличие штампов и печатей, распознавание рукописных дат и номеров документов, качественное извлечение данных из таблиц с четкими линиями, а также точное извлечение машинописных атрибутов, имеющих фиксированный формат.

— Что произошло за последний год? Появились ли новые приоритетные задачи или корректировка направления работ?

Мы ведем активную работу по совершенствованию и разработке новых инструментов контроля. В рамках достижения стратегической цели по использованию городского пространства с максимальной экономической эффективностью, одной и приоритетных задач является внедрение и увеличение количества алгоритмов получения информации для повышения объективизации процессуальных решений.

— Новые представленные вами решения направлены на сферу строительства: стройплощадки, летние кафе, мусор. Почему эта задача важна для вас?

На территории столицы зарегистрировано огромное количество объектов недвижимости, они все различны по своему назначению и фактическому использованию. Мы считаем важным убедиться, что объекты соответствуют градостроительным нормам, а при выявлении нарушения – привести эти объекты в соответствии с регламентами.

— Одним из источников данных являются городские камеры ЕЦХД. Неужели кому-то еще приходит в голову «нарушать» под камерами?

Тут необходимо уточнить, что городские камеры ЕЦХД не фиксируют нарушение. В рамках информационного взаимодействия мы получаем скриншоты объектов, которые передаются на анализ искусственной нейронной сети (ИНС). Ее задача – определить по фотографии наличие признака нарушения. Для реализации такой нейросети совместно с ДИТ города Москвы была проделана большая методическая и технологическая работа по ее обучению.

— Другой источник данных – БПЛА. О каких именно аппаратах идет речь, в чьих интересах они работают?

В нашем распоряжении мульти-роторные системы DJI maviс 2 и DJI mavic 3. В ведомственной системе реализован функционал по формированию и согласованию полетов, а также автоматической передаче изображений на анализ ИНС из системы АИС Госинспекции по недвижимости.

— Есть ли какая-нибудь особенность у данных видов нарушений и практики их выявления?

Для детектирования событий с помощью ИНС разрабатываются альбомы нарушений, которые содержат описание признаков нарушений и их примеры на изображениях. Это четкий набор критериев и условий, по которым обучается нейронная сеть.

— Каких результатов удалось достичь? Как это соотносится с ожиданиями?

По результатам внедрения технологии ИНС можно сделать вывод, что точность и эффективность этого метода в обнаружении событий составляет более 90%. По итогам 2022 года около трети (30,4%) нарушений в области землепользования было выявлено Госинспекцией при помощи нейросети.

— А чего можно ожидать в дальнейшем?

В настоящий момент мы апробируем новые источники получения данных для анализа нейронной сетью, такие как камеры, установленные на транспортные средства, и анализ спутниковых снимков. В 2022 году совместно с ДИТ мы провели пилотный проект по выбору оптимального решения для автоматического обнаружения изменений в городской среде на основе космоснимков. По итогу проведения сравнительного тестирования было определено лучшее программное обеспечение, которое путем сравнения географически привязанных снимков одной и той же местности, сделанных за разные периоды времени, обнаруживает с точностью более 90% следующие события: появление объекта капитального строительства, временных строений и строительных площадок, исчезновение объекта капитального строительства и временных строений, а также пространственное изменение объекта капитального строительства, временных строений или строительных площадок на более чем 20 кв. м.

— Что показывает практика – каких из видов нарушений больше? А с какими из них бороться сложнее всего и почему?

Статистика обработанных ИНС изображений по камерам БПЛА и ЕЦХД, на которых зафиксированы объекты контроля, по итогам 2022 года следующая: строительные площадки – 37,5 тыс. с БПЛА и 49 тыс. с ЕЦХД, навалы – 43,5 тыс. и 65 тыс., летние кафе – 6 тыс. и 6,5 тыс. соответственно. Объемы датасетов для анализа ИНС по каждому детектору различны. Приведены лишь сводные данные о количестве изображений, проанализированных данной технологией.

— Вы считаете, что нивелирование человеческого фактора позволяет выстроить доверительные отношения между Госинспекцией по недвижимости и подконтрольными ей субъектами. Чем это помогает в работе и почему является целью?

Применение той или иной технологии не говорит о том, что человеческий труд будет полностью заменен. Целью цифровизации является внедрение цифровых технологий в конкретный бизнес-процесс организации, направленное на его оптимизацию и приводящее к росту продуктивности. Поэтому, применяя цифровые технологии, мы обеспечиваем автоматизацию и оптимизацию деятельности, которые способствуют производительности и стандартизации производственных процессов.