Data Award

Розничные компании, находящиеся в условиях серьезной рыночной конкуренции, вынуждены непрерывно искать способы повышения своей конкурентоспособности и устойчивости на рынке. Но как понять, поможет ли реализация очередного предложения изменить бизнес к лучшему и стоит ли вкладываться в эту инициативу.

Чтобы ответить на эти вопросы, крупные интернет-проекты нередко применяют A/B-тестирование. Его суть заключается в том, что предложенные инициативой изменения вводятся только для части пользователей, тогда как для другой части все остается по-прежнему. По истечении некоторого времени данные по этим двум группам сравнивают, оценивают, а затем делают вывод о том, позволили эти изменения улучшить нужные показатели или нет. Масштабирование инициативы на всех пользователей происходит лишь в том случае, когда показатели действительно улучшились.

Работает ли метод A/B-тестирования в розничной компании с большим числом офлайн-точек? Опыт X5 Group свидетельствует о том, что работает, причем успешно: практически любая выдвинутая в компании бизнес-инициатива на самом старте «упаковывается» в дизайн-эксперимент с гипотезами и методикой оценки, а затем по итогам проведенной работы проходит проверку A/B-тестированием. Если результаты пилота признают полезными, его масштабируют на весь бизнес. О том, как A/B-тестирование работает в условиях X5 Group, какую пользу оно приносит и какая работа с данными за этим стоит, рассказывает Михаил Неверов, директор по анализу данных компании и номинант на премию Data Award 2022 .

- A/B-тестирование широко применяется в электронной коммерции. Как можно объяснить то, что оно достаточно редко используется в традиционном ретейле? И почему ваши коллеги посчитали, что оно им необходимо?

Традиционно в ретейле используют подход like-for-like (LFL) с разного рода усложнениями. Это базовый показатель, но он не всегда полностью отображает картину мира — особенно для узких бизнес-пилотов. Ситуация в ретейле динамично меняется, причем влияют на нее множество факторов. A/B-тестирование позволяет лучше, чем LFL, отслеживать границы случайных и неслучайных изменений. Оно редко применяется в «классическом» ретейле, вероятно, потому, что для проведения A/B-тестирования нужен достаточно большой объем данных — это необходимо для статистической значимости результатов. Поэтому если, например, розничная сеть охватывает всего 10 магазинов, то ей придется использовать именно LFL, поскольку для проведения A/B-тестирования имеющегося у нее объема данных будет недостаточно.

- В чем видят пользу A/B-тестирования бизнес-пользователи X5 Group ?

Процесс A/B-тестирования предоставляет компании общий подход к оценке разных бизнес-инициатив, что повышает ее точность. Он позволяет схожим образом оценивать и инвестиционные инициативы, и внедрение изменений (например, замену кассового оборудования на новое), и продуктовые инициативы. Компания получает возможность одинаковым образом получать ответ на поставленные вопросы: приносит ли та или иная инициатива деньги, какова ее выгода, следует ли ее продолжать? При проведении A/B-тестирования не нужно каждый раз изобретать новый велосипед — это универсальная форма проверки бизнес-гипотез.

A/B-тестирование — удобный и полезный инструмент принятия решений в отношении инвестиций. Каждый год компания проводит около 400 A/B-тестов. С их помощью мы получаем возможность уже на ранних этапах выявлять невыгодные инициативы и прерывать их финансирование, что позволяет более разумно распорядиться средствами.

- Кто явился непосредственным заказчиком платформы A/B-тестирования в X5 Group? Какие заинтересованные лица выступили в качестве спонсоров проекта по ее созданию?

Вся наша компания заинтересована в том, чтобы решения на основе статистических данных применялись на всех уровнях, потому что это делает процессы прозрачными как для сотрудников, так и для менеджмента.

Амбассадорами применения A/B-тестирования в компании стали специалисты из бизнес-единицы «Х5 Технологии» — центра компетенций по ИТ и большим данным для всех бизнесов и торговых сетей группы. Мы начинали с экспериментов на ИТ-продуктах, затем распространили идею на все торговые сети и теперь развиваем подход вместе с ними. До создания платформы мы проводили анализ данных фактически вручную. Когда пользователи убедились в том, что подход работает, а количество тестов перевалило за сотни, мы, чтобы не наращивать штат аналитиков, решили автоматизировать A/B-тестирование. Так, собственно, платформа и появилась.

- Как происходит сбор данных для A/B-тестирования, из каких источников они поступают и как их используют при проведении тестов?

Исходные данные для A/B-тестов — это чеки наших покупателей с указанием времени и места, где они были оплачены. Чеки обрабатывают, агрегируют, с помощью различных приемов сокращают статистические выбросы, после чего оценивают эффект. Большая часть первичных данных хранится в Hive. Разумеется, в платформе есть своя витрина данных, и в ней происходит некоторое упрощение исходных данных.

- Какие виды обработки и анализа используют в ходе A/B-тестирования в вашей компании? Как формулируют гипотезы и выбирают методы для проведения очередного исследования?

Исходной точкой для проведения A/B-тестирования является некая инициатива, в отношении которой бизнес хочет принять решение об инвестициях. Мы формулируем дизайн эксперимента: выбираем метрики, определяем, в частности, что будем проверять (розничный товарооборот или средний чек), фиксируем ошибки первого и второго рода. Затем происходит подбор контрольной пилотной группы, а по окончании A/B-теста — оценка результатов.

Из методов применяем медицинское тестирование, а также более современные подходы и основанные на них собственные разработки, отражающие специфику офлайн-бизнеса. Помимо этого, используем дерево принятия решений, нейронные сети, дискриминантный анализ, бустинг, байесовские классификаторы. Эти методы не являются чем-то принципиально новым для рынка, но мы как раз сторонники того, чтобы использовать проверенные подходы.

- Как проводят эксперименты, а затем оценивают и интерпретируют результаты исследований на основе A/B-тестирования?

Процесс организован следующим образом. Бизнес-сотрудники — пользователи нашей платформы формулируют гипотезу и вместе с adhoc-аналитиками «закрепляют» ее, то есть проводят предварительную оценку эффекта. Затем берется нужный объем данных, и в кластере A/B-тестирования его разделяют на две группы: в первой изменения происходят, а во второй — нет. Потом, по прошествии времени, проводится сравнение экспериментальной и контрольной групп. Если изменения есть, мы их оцениваем, интерпретируем (в частности, объясняем, можно ли считать их статистически значимыми) и выносим вердикт относительно гипотезы. После этого наши выводы валидируются специалистами из финансового блока. Дело в том, что при работе с финансовыми показателями в ретейле есть специфика: здесь применяются сложные методики расчета и аудита. И чтобы быть уверенными в правильности наших выводов в отношении инвестиций, мы проводим оценку результатов совместно с коллегами из финансового департамента. Это особенно важно, когда попадаются пограничные значения. Всего в A/B-тестировании принимают участие четыре стороны: бизнес, аналитики, специалисты по рискам и финансам.

- Можно ли говорить о том, что в компании выстроен процесс A/B-тестирования?

Да, процесс есть, он работает. Если вы придете на работу в X5 Group и предложите какую-нибудь бизнес-инициативу, то непременно станете участником этого процесса.

- И много ли в нем творческой или субъективной составляющей?

Если в процессе участвуют люди, доля субъективности тоже может быть. Инициативы очень разные, поэтому нередко приходится придумывать дизайн эксперимента и формализовывать его вплоть до стандартного процесса. Субъективная составляющая здесь, скорее, в экспертных оценках: мы часто привлекаем экспертов, чтобы они помогли ответить на вопрос, следует ли считать изменение того или иного показателя в ходе эксперимента индикатором того, что этот эксперимент прошел удачно.

- Удалось ли избавиться от влияния человеческого фактора на A/B-тестирование?

Мы избавились от него ровно в той мере, в какой это было эффективно. В зависимости от дизайна эксперимента мы можем использовать разные модели (у нас их большое количество). Обычно их выбор — это либо коллегиальное решение, либо выбор на основе предыдущего опыта. Кроме того, мы, естественно, привлекаем экспертов, чтобы они помогли интерпретировать полученные результаты.

- Какое место занимает платформа A/B-тестирования в общем ландшафте аналитики и управления данными в X5 Group?

У платформы обособленное место. Она выведена в отдельный контур, потому что отвечает на чувствительные для бизнеса вопросы. Было бы странно, если бы команда, которая выдвинула инициативу и готова взяться за ее реализацию, имела возможность полностью самостоятельно и независимо от других коллег принимать решение о ее успешности. У нас более 100 инициатив и продуктов, которые прорабатываются и реализуются в постоянном режиме, не говоря уже о больших стримах или экспертных направлениях. Чтобы компания могла одинаковым образом получать ответы на вопросы о целесообразности инвестиций в инициативы, их команды были отделены от процессов принятия решений по таким предложениям. A/B-тестирование — это, если угодно, самый независимый инструмент для оценки инициатив.

- В каких направлениях планируете развивать платформу A/B-тестирования в обозримом будущем?

У нас три основных направления развития. Первое — расширение количества вариаций экспериментов. Иногда встречаются очень сложные кейсы, для которых в библиотеках моделей нет соответствующего решения. В таких случаях нам приходится что-то дописывать или как-то улучшать базу экспериментов. Второе направление — повышение их точности. Иногда даже дополнительные полпроцента точности могут полностью изменить оценку инициативы. И третье — сокращение времени на получение результатов оценки, что, очевидно, ускорит принятие решений в отношении инициатив.

Работа с просроченной задолженностью не только давно вышла в правовое поле, но и стала технологичным бизнесом, напрямую зависящим от аналитических инструментов. Анализ качества приобретаемых портфелей задолженности напрямую влияет на прибыльность компании и эффективность процессов взыскания, а скоринг должников становится основой для персональной работы с ними.

Сервис по возврату проблемной задолженности ID Collect, являющийся частью международной финтех-группы IDF Eurasia, создавался с пониманием того, что работа с данными важна для общего успеха бизнеса. Андрей Савгуров, директор по анализу данных ID Collect и номинант на премию Data Award 2022 , рассказывает об истории реализованных в компании проектов и достигнутых результатах.

— Как в компании зарождалась работа с данными?

Еще изначально, только запуская компанию, мы делали ставку на технологичный подход. С самого начала было ясно, что для принятия правильных управленческих решений по покупке портфелей задолженностей нужно основываться на точных количественных данных по сборам, поведению должников, операционным показателям, обработке долгов и т. д. Поэтому требуется хорошо понимать, чем одни портфели отличаются от других; почему какие-то долги взыскиваются лучше других; чем банковские должники отличаются от должников сервисов альтернативного кредитования; в чем различия при взыскании задолженности по разным кредитным продуктам.

— С чего и когда вы начали? Что было сделано за это время?

Мы начали в 2018 году, когда было принято решение создать аналитическое хранилище данных. В нем мы собирали клиентские данные, статистически значимые показатели по должникам, по их поведению, по сборам. За это время провели большую работу: собрали все исторические данные по приобретенным портфелям, поработали над качеством данных, частично обогатили их. Кроме того, провели аналитику самой эффективности взыскания. Нам удалось понять, как эта эффективность зависит от разных типов портфелей с разными параметрами. Проанализировали, какие параметры сильнее всего влияют на собираемость, и, наконец, разработали скоринговую систему, которая эту собираемость прогнозирует.

— Какова цель реализуемых в компании проектов в области работы с данными?

У нас две большие цели по работе с данными. Первая — как можно точнее давать оценку прогнозов перед покупкой портфеля, чтобы точнее оценить доходность и максимальную цену, которую мы можем дать. Вторая цель — правильно отслеживать и анализировать эффективность уже сделанных вложений. Это позволяет нам улучшать процесс взыскания, повышать прибыльность.

— Как решается вопрос качества данных? С этим традиционно возникают большие проблемы…

На качество данных мы сразу обратили пристальное внимание, так как без этого эффективную аналитику и вообще скоринговую модель создать невозможно. Поэтому у нас есть выделенный аналитик по качеству данных, который занимается контролем качества информации, поиском ошибок и постановкой задач по их устранению, обогащением базы данных и т. д.

— В чем заключалась наболевшая проблема бизнеса? В чем суть реализованного проекта?

Основная проблема заключалась в необходимости прогнозировать доходность портфелей просроченной задолженности. Главная цель — не сработать себе в убыток при покупке портфеля и максимизировать прибыль. То, что мы сделали, позволяет заранее оценивать рентабельность каждого портфеля и понимать, какую маржу мы получим, какую максимальную цену можем дать по тому или иному портфелю, чтобы в итоге сделка оказалась экономически выгодной. Вообще, цессионные портфели приобретаются на специализированных площадках по принципу аукциона. Поэтому всем участникам, которые торгуются на них, важно понимать, где проходит граница цены, которую они готовы дать по тому или иному портфелю, чтобы покупка в итоге стала прибыльной. И еще более важно сразу отсеивать низкорентабельные и тем более убыточные предложения.

— Что собой представляет решение?

На данный момент это скоринговая модель, написанная на Python. Перед торгами к нам приходит реестр с данными по должникам. По каждому портфелю, еще до покупки, в обезличенном виде доступен определенный набор данных: социально-демографические параметры (возраст, пол, образование, социальный статус), сумма задолженности, платежная дисциплина должника, сумма процентов по основному долгу, сведения о передаче задолженности в коллекторское агентство и пр.

Мы прогоняем эти данные через скоринг и оцениваем, какую сумму денег мы можем взыскать в итоге. Наша финансовая модель берет прогнозы сборов, считает приблизительные расходы, которые мы понесем, добавляет маржу. В зависимости от этих параметров высчитывается максимальная цена, которую мы можем дать за портфель.

— Какие источники данных использовались в ходе проекта? И как в целом определяется, какая информация нужна?

Источников данных несколько. Основной источник — наша CRM-система. В ней мы храним всю информацию по долгам, портфелям, клиентскую информацию по должникам. Там же находится история работы с должниками, сведения об их платежном поведении, в том числе данные от предыдущего кредитора, анкетная информация и т. д. Проведя анализ, мы понимаем, какие параметры имеют высокую информативность.

— Какие инструменты применяются и почему именно они?

У нас есть несколько инструментов. С точки зрения баз данных используются Microsoft SQL Server, Oracle и Mongo DB, все это сливается в корпоративное хранилище ClickHouse. Для визуализации отчетности мы применяем Tableau, для разработки скоринга — модели Python. Это весьма популярные инструменты, с ними работают многие, и для решения наших задач они весьма эффективны. Ну и еще одна из причин: эти инструменты применяются во всей финтех-группе IDF Eurasia.

— Какие ресурсы потребовались для реализации проекта?

В ходе проекта команда несколько трансформировалась, но над последней моделью работали пять человек: два дата-сайентиста непосредственно разрабатывали скоринговые модели; два дата-инженера готовили дата-сеты, анализировали весь наш цессионный портфель и предлагали гипотезы по улучшению; один эксперт занимался качеством данных. По времени создание последней модели заняло около 4–5 месяцев.

— В чем заключалась самая большая проблема в ходе работ?

Как это обычно бывает, главная проблема — с качеством данных. Но стоит отметить и отсутствие достаточного количества данных для обучения. Со временем эта проблема решается. В дальнейшем уровень точности прогнозов будет планомерно повышаться по мере обогащения модели все большим объемом исторических данных.

— Какие эффекты удалось получить и за счет чего?

Нам удалось существенно повысить точность прогноза сборов по портфелям за счет разработки отдельных моделей по разным типам продуктов, сегментов, а также секторов — кредитных организаций и банков. Кроме того, мы смогли ощутимо улучшить качество нашего совокупного портфеля, находящегося в работе, за счет более точного анализа. Делая оценку перед покупкой, мы приобретаем портфели с более высоким уровнем собираемости.

Если говорить о наших показателях в цифрах, то после запуска скоринговых моделей мы уменьшили издержки почти на 25%, снизили ошибочность прогнозов примерно на 40%, а также повысили собираемость минимум на 15%.

— А каких результатов вы ожидали сами?

Нам удалось не только достичь желаемых результатов, но и в какой-то мере даже превзойти их. Мы не останавливаемся, постоянно совершенствуемся, пробуем новые модели, новые подходы, новые методы. Тут нет предела совершенству.

— Удалось ли показать экспертам из бизнеса что-то новое?

Разумеется, опытные коллеги, работающие с взысканием задолженностей, прекрасно понимают, какие параметры портфеля сильнее всего влияют на собираемость и эффективность. Но все же скоринговая система выявила некоторые неожиданные параметры, которые на деле оказались одними из самых важных и серьезно повысили качество модели. Эксперты не предполагали, что они так важны.

— Что дальше? Какими вы видите дальнейшие направления развития своей работы?

Мы активно работаем над разработкой поведенческих скоринговых моделей. Они позволяют анализировать поведение клиентов уже после покупки их задолженности, после начала взаимодействия с ними.

Кроме того, мы работаем над оптимизацией процессов по линии взыскания (реструктуризация, soft, legal и hard collection), основываясь на анализе данных, применяя машинное обучение для оптимизации издержек и увеличения сборов. Важно понимать, что у всех должников могут быть свои обстоятельства, и мы используем индивидуальный подход, помогая каждому подобрать оптимальные для него условия погашения долга. В частности, мы планируем создать модель по реструктуризации задолженности, которая бы позволяла оценивать наш портфель и определять клиентов, которым можно сделать скидку или реструктуризировать долг. Снизив свои требования, но подняв процент взыскания, мы работаем на максимизацию прибыли компании. И конечно, мы планируем улучшать и точечно донастраивать уже существующие модели.

Сократить время приезда скорой помощи на вызовы к больным — это самая важная задача для сферы экстренного здравоохранения. Сокращение времени даже на несколько минут, достигнутое при помощи анализа данных, становится дополнительной возможностью сохранить жизнь. Очевидно, что время реагирования скорой существенно зависит от того, как расположены точки базирования экипажей по отношению к основным районам, из которых приходят обращения.

В Рязани реализовали проект по оптимизации размещения экипажей скорой медицинской помощи для сокращения времени приезда на вызов. Он стал одним из победителей в конкурсе World AI&Data Challenge 2021 года. Результатами внедрения этого проекта стали оптимизация расположения подстанций, формирование расписания с указанием количества размещаемых экипажей и, как следствие, сокращение времени приезда экипажей на вызов. О выполнении проекта рассказывает Кирилл Поляков, руководитель департамента реализации проектов АНО «Цифровой регион» (Рязань) и лауреат премии Data Award 2022 .

— В чем заключалась проблема?

Пандемия 2020 года еще больше обострила ситуацию с нехваткой экипажей скорой помощи в Рязани. Если в условиях привычной сезонности станция еще справлялась с прогнозируемым количеством вызовов и соблюдала регламентные сроки, то после увеличения числа обращений в несколько раз это стало уже невозможным. При этом на существенное изменение в размещении самих подстанций или кратное увеличение количества бригад и автомобилей, конечно, рассчитывать не приходилось. Мы поняли, что надо искать решение в условиях имеющихся ограничений.

— Как решалась задача размещения экипажей скорой помощи до запуска цифровой платформы?

До того как началась разработка решения, размещение выполняли исходя из опыта руководства и основываясь на примерном количестве жителей в определенных районах (по данным переписей населения).

— Как родилась идея создать систему для оптимизации работы скорой?

Как известно, если не получается менять что-то физически, то необходимо поменять организацию. Мы исходили из того, что подход, предполагающий зависимость количества экипажей от числа граждан, зарегистрированных по адресам, закрепленным за подстанциями, зачастую неэффективен: фактическое проживание не всегда соответствует месту регистрации. Таким образом, мы решили, что, имея набор данных о фактических вызовах по различным адресам, можно создать гораздо более точную модель размещения экипажей, которая будет учитывать не прописанных граждан, а вероятность поступления вызова из конкретного района, причем с высокой точностью.

— Какие варианты решения этой задачи рассматривались? Или подача на конкурс World AI&Data Challenge была единственным вариантом?

Варианты всегда есть. Мы планировали решать задачу самостоятельно — например, договориться с региональным ИТ-вузом и дать им задачу на проработку или найти подрядчика и попробовать сформировать решение с ним. Но когда пришло предложение участвовать в конкурсе, организованном АСИ, мы поняли, что именно это — оптимальный способ. Во-первых, помимо того, что задачей занимались профессиональные разработчики, можно было выполнить экспертные оценки качества кода, эффективности решения и возможности его расширения. Конечно, оценить столько параметров самостоятельно нам было бы сложно. Поэтому конкурс стал для нас наилучшим выходом.

— Как была сформулирована задача для конкурса?

По требованиям конкурса, в задаче надо было обязательно указать имеющуюся проблему, критерии оценки качества решения и допущения. Поэтому задача была сформулирована следующим образом: по нанесенным на карту точкам вызовов скорой помощи (на основе имеющихся маршрутных листов) с помощью алгоритмов машинного обучения спроектировать оптимальную модель размещения и наполнения бригад в различных точках города, которая позволит максимально быстро и эффективно реагировать на вызовы в зависимости от складывающихся условий. При этом главным требованием было максимальное сокращение прогнозируемого времени ожидания приезда бригады.

— Какие данные использовались и откуда добывались?

Обезличенные данные были предоставлены коллегами со станции скорой помощи. Информация о поступивших вызовах включала маршрутный лист бригады (адрес, дата, время, тип жалобы), время приезда, принявшую подстанцию, а также лечебное учреждение, если помощь была оказана не на дому.

— Что в итоге представляет собой созданное решение?

Сейчас это веб-сервис, который позволяет загружать в установленном формате информацию о прошлых вызовах и формировать расписание для подстанций — количество экипажей, которое должно быть размещено по определенному адресу.

— Перечислите сильные стороны созданной платформы.

Это реально удобное и простое решение. Оно не требует специальных знаний и размещено в облаке. Подгрузка данных осуществляется в том же формате, в котором они выгружаются из системы скорой помощи. Интерфейс ведет пользователя по процессу, и, что немаловажно, реализована максимально эффективная «защита от дурака». Поначалу, когда мы только начали общаться с коллегами из скорой, они испугались и решили, что им навязывают очередную громоздкую и сложную систему. Но когда мы очно продемонстрировали, как работает решение, то они сказали, что с ним справится даже не слишком уверенный пользователь ПК.

— В чем заключалась самая большая проблема при запуске решения?

Конечно, в первую очередь проблема в людях. Благодаря политической поддержке АСИ проблем с запуском сервиса не было. Но убедить людей в том, что система не создает новые проблемы, а решает текущие, очень сложно. Существует некоторое недоверие к цифровым технологиям, искусственному интеллекту и т. д. Однако, когда коллеги увидели, что выводы, сделанные программой, в принципе соответствуют их предположениям и только больше их конкретизируют, они однозначно признали эффективность решения.

— Назовите основных пользователей системы.

Это руководство скорой помощи и Министерство здравоохранения.

— Что выяснилось в результате запуска решения?

После запуска подтвердилась гипотеза о том, что необходимы изменения в размещении экипажей. Скажем, в новый, активно застраивающийся район надо больше бригад, хотя люди там не регистрируются, предпочитая сохранять прописку в других районах — например, у родителей. Подтвердилось и предположение о том, что при размещении необходимо учитывать сезонность: весна и осень в «молодых» районах более критичны. Сейчас мы продолжаем работать и анализировать — может быть, получится выявить новые закономерности.

— Какие факторы теперь учитываются при размещении экипажей?

Самое главное — сейчас учитывается фактически поступившее количество вызовов, а не число жителей, прописанных в районе.

Коллеги из скорой помощи — довольно опытные специалисты, поэтому каких-то неожиданностей для них не было. А мы, например, узнали, что количество вызовов в праздники увеличивается. Еще интересно то, что зачастую в отдаленные районы скорая приезжает быстрее, чем в центр, — скорее всего, из-за пробок: иногда быстрее добраться до другого района, чем проехать пару кварталов.

— Какие достигнутые результаты вы можете отметить?

Сейчас идет тестирование решения: нам необходимо подготовить нормативные документы, провести апробацию в условиях, более-менее соответствующих тем, что были в эталонном периоде. Но с учетом того, что сокращение времени приезда даже на пару минут уже является огромной победой — спасенными человеческими жизнями, я думаю, что достижения будут очевидны всем.

— Есть ли возможность развития созданного решения? В каком направлении?

Конечно, такие возможности существуют. Например, можно обеспечить синхронизацию с базой вызовов в режиме реального времени. Следует доработать анализ маршрутных листов и донастроить маршрутизацию. Наконец, можно попробовать промоделировать распределение экипажей на большее количество подстанций по другим адресам, чтобы оценить эффективность такого решения.

Осенью 2021 года X5 Group первой из ретейлеров запустила свой собственный подписочный сервис. Подписка «Пакет» сочетает в себе опыт развития программ лояльности, создания собственных экосистем и стимуляции качественного спроса. Наличие этого продукта способно качественно изменить взаимоотношения между торговыми сетями и покупателями: ключевыми приоритетами становятся уровень обслуживания и сохранение лояльности подписчиков. К тому же такой подход формирует более осмысленное покупательское поведение и формирование инвестиционного подхода к повседневным тратам.

Технологическим фундаментом продукта стала платформа X5ID, формирующая «золотую запись» данных покупательского поведения для всех бизнес-единиц и торговых сетей X5. О реализации проекта рассказывает Евгений Галимский, директор по развитию сервиса идентификации в экосистеме и номинант на премию Data Award 2022 .

— Как появилась идея создания сервиса «Пакет»? Каковы его цели?

Ключевая цель проекта — за счет экосистемного подхода укрепить лояльность существующих клиентов X5 Group, нарастить розничный торговый оборот (РТО) внутри торговых сетей и бизнесов группы, привлечь новых клиентов благодаря выгодному и новаторскому для России набору сервисов. Идея с подпиской без конкретных предложений по ее содержанию появилась в рамках трехлетней стратегии компании.

— Что собой представляет решение?

Подписка «Пакет» — это проект, направленный на привлечение и удержание клиентов в контуре Х5 Group, программа лояльности нового поколения, полностью обеспечивающая базовые потребности клиентской миссии «Еда» и предоставляющая наборы привилегий за ежемесячный платеж. «Пакет» включает в себя не только гарантированные кешбэки, но и бесплатную доставку, бесплатный доступ к медиаконтенту и скидки от компаний-партнеров.

— Что принципиально нового привносит сервис во взаимодействие ретейлера с покупателями?

Принципиально новой является рекуррентная модель: купи что-то (подписку), а далее получай повышенные выгоды в течение месяца.

— Какие задачи требовалось решить при создании этого продукта?

Задачи можно разделить на три типа. Во-первых — технологические. Требовалось сделать так, чтобы предложения внутри продукта «Подписка» были технически исполнимы, в том числе с учетом корневых систем каждого бизнеса.

Следующая категория задач — продуктовые. Требовалось понять, как эта подписка должна выглядеть для клиента и какие драйверы существуют внутри нее.

Наконец, маркетинговые задачи — объяснить людям, что такое «подписка на еду», как она связана с базовой программой лояльности и чем отличается от нее.

— Какие проблемы возникали, как их решали?

Основная проблема — необходимость быстрой интеграции решения с множеством внутренних сервисов (Comarch, мобильные приложения и т. п.). Для этого потребовалось создать отдельную процессную схему и обеспечить постоянную коммуникацию рабочих групп со смежными командами.

Самым сложным на этапе запуска MVP было сформулировать первый драфт (составные части подписки) и найти компромисс с каждой из бизнес-единиц для тестирования гипотез. Мы стартовали с 28 вариантами подписки, предлагая каждый из вариантов разным группам клиентов Х5. Основными динамическими параметрами были ценовое предложение, скидка или кешбэк и размер предлагаемой скидки и кешбэка. В результате оценивали реакцию аудитории, модель потребительского поведения и обратную связь.

— Какова роль данных в реализации этого проекта? Что является ИТ-фундаментом сервиса «Пакет»?

ИТ-фундаментом стал собственный разработанный сервис со своим набором данных о пользователях. При этом основным идентификационным модулем является платформа X5ID, которая в том числе представляет персональные данные о пользователе, номерах карт лояльности и т. п. Она формирует «золотую запись» данных покупательского поведения для всех бизнес-единиц и торговых сетей в контуре группы компаний. Благодаря платформе клиентских данных (customer data platform, CDP) профиль пользователя обогащается идентификаторами пользователей в Интернете (cookies), что обеспечивает возможность не только построить сквозную маркетинговую воронку для последующей аналитики, но и обеспечить персонализированную автоматизированную медийную и CRM-коммуникацию. Значимая роль в проекте отведена разработанной нами платформе Dialog.X5.

— В прошлом году X5 участвовала в конкурсе с платформой Dialog.X5, которая стала основой аналитических сервисов для партнеров. Какова ее роль в нынешнем проекте?

Благодаря Dialog.Х5 (а конкретно — модулю Targeting) мы можем формировать сегменты клиентов по определенным признакам и делать им таргетированные предложения в платных медиа на основе имеющихся данных. Допустим, мы собрали сегмент клиентов торговой сети «Пятерочка», которые делают покупки всех категорий товаров, кроме бытовой химии. Мы предполагаем, что если предложить таким пользователям подписку с визуальным креативом и сообщением с фокусом именно на бытовой химии, то они могут осознать потенциальную выгоду и воспользоваться нашим предложением.

В качестве еще одного примера использования Dialog.X5 можно привести работу с сегментами клиентов и чеками в разрезе РТО за месяц. Мы нашли сегмент гостей Х5, которые находились «на грани» окупаемости подписки. За основу взяли стоимость подписки и собрали сегмент клиентов, траты которых находились в диапазоне 3,5–4 тыс. руб. в месяц. С помощью креатива мы доносили до клиента мысль о том, что, немного увеличив РТО в месяц, он не просто окупит подписку, но и получит еще бонусы от партнеров: бесплатный доступ к онлайн-кинотеатру и музыке на тот месяц, когда активна его подписка.

Такие сегменты и гипотезы можно формировать сотнями и тысячами.

— С какими данными работает сервис, помимо информации, предоставляемой клиентом при регистрации? Чем они обогащаются и как используются?

В первую очередь это данные, предоставляемые X5ID: регистрационные, контактные, данные о лояльности. Кроме того — собственные данные пользователя: статус оплаты, начало и завершение действия подписки и т. п. Больше пока никакие дополнительные данные не используются.

В перспективе нам будет интересно наблюдать за поведением нашего клиента за пределами ретейла. Сейчас мы понимаем о клиенте всё в ситуации, когда он планирует закрыть свою потребность в еде. Но ведь, помимо этого, существует и его обычная жизнь, где у него есть хобби, интересы, семья и другие потребности, которые влияют на качество жизни. Именно подобные обогащения будут нас интересовать в ближайшей перспективе.

— Лучшее понимание потребностей клиентов и их поведения имеет ценность только для ретейлера? Или для покупателей тоже есть польза?

Х5 системно работает с данными, и это позволяет не только получать экономический эффект от продуктов для офлайн-магазинов (алгоритмы для спроса, промо или работы с ассортиментом). Если ретейлер хорошо понимает своего клиента, это помогает формировать оптимальное предложение для него в зависимости от изменения его предпочтений. А это означает, что клиент будет получать необходимый продукт в самом удобном для него канале.

— Каков на данный момент процент заказчиков сервиса от общего количества клиентов X5? Что ожидается в дальнейшем, есть ли целевой показатель?

Продукт показал свою востребованность. Хотя проект является новым для России и в тестовом формате был запущен лишь осенью 2021 года, уже более 100 тыс. подписчиков регулярно пользуются возможностями «Пакета». 80% подписчиков остаются в активном статусе более четырех месяцев. Более того, мы видим рост объема ежемесячных покупок в торговых сетях и сервисах Х5.

До конца года планируем увеличить число подписчиков в несколько раз.

— Что с финансовым эффектом? И вообще, насколько серьезной может быть доля доходов от таких сервисов?

Мы рассчитываем на значимый финансовый эффект от реализации проекта. Пока говорить о конкретных показателях рано — это только первый год существования подписки. На горизонте 2–3 лет выручка может вырасти в несколько раз.

— Каковы планы по развитию сервиса, основой для каких новых продуктов он может стать?

Основные планы в 2022 году — это продуктовые доработки и фичи, которые упрощают знакомство с продуктом и максимизируют конверсию в его использование. При этом подписка может стать дополнительным инструментом для любого бизнеса Х5 в плане привлечения новой аудитории (например, за счет перетоков пользователей между бизнесами), а также использоваться как часть собственной программы лояльности.

— Ожидаете ли вы, что в будущем подобные сервисы станут массовыми на российском рынке?

На мой взгляд, подписочная модель актуальна в тех сферах бизнеса, где есть высокочастотное потребление услуг и товаров. Допустим, для застройщиков подписочная модель слабо реализуема, так как человек за жизнь может позволить себе купить в среднем одну квартиру. В сегменте же продуктового ретейла она более чем жизнеспособна.

Отдельно следует сказать о социальной значимости подобного проекта. Можно сказать, что мы стимулируем более осмысленное покупательское поведение и формирование инвестиционного подхода к повседневным тратам. Как следствие, это способно повысить общий уровень жизни, финансовой грамотности и благосостояния покупателей в средне- и долгосрочной перспективе.

Год назад в Нижнем Новгороде запустили платформу «Лобачевский», которая дает возможность принимать решения на основе интегрированных данных.

Как рассказал номинант на премию Data Award 2022 Марат Фатхуллин, директор департамента цифровой трансформации администрации Нижнего Новгорода, это не только помогло повысить эффективность работы городского руководства, но и стало стимулом для команды проекта поставить перед собой новую амбициозную цель — создать полноценную информационную модель города.

- Как вы стали директором по цифровой трансформации?

По образованию я программист, окончил Нижегородский государственный технический университет им. Р. Е. Алексеева (Учебно-научный институт радиоэлектроники и информационных технологий). Некоторое время работал программистом, затем был ИТ-консультантом крупного регионального медиахолдинга, главным редактором, создавал интернет-телевидение. Когда в 2018 году был объявлен конкурс на должность заместителя главы администрации по ИТ, принял в нем участие и вошел в число финалистов. Хотя победителем я не стал, мне предложили возглавить управление развития ИТ. Позже в результате структурных преобразований был создан департамент цифровой трансформации, и я стал его руководителем.

- Чем занимается ваш департамент?

Задача департамента — выстроить логику взаимодействия между информационными системами (как внутренними, так и внешними) в периметре администрации и понять, какие данные можно получить из них не механическим, а именно киберфизическим путем и как лучше их представить, чтобы было удобно анализировать. Например, департаменту, который занимается коммунальной техникой, необходимо видеть количество коммунальной техники по дням. Для этого он использует свою систему мониторинга. Подрядчики для таких целей применяют свои решения. Мы объединяем данные всех систем, включая системы подрядчиков и субподрядчиков. Выбираем из всех GPS-точек информацию по выходу, пробегу, скорости и визуализируем ее на дашбордах, глядя на которые можно оценить ситуацию по городу в целом.

- Как родилась идея платформы «Лобачевский»?

Если 2000 год можно обозначить как начало компьютеризации администрации Нижнего Новгорода, то 2018-й — как начало цифровизации. Тогда же стартовал проект «Умный город», а в структуре администрации появилась позиция заместителя главы города по ИТ. В 2018–2019 годах было создано несколько информационных систем для департаментов, которые ранее работали только «на бумаге».

В 2020-м, с приходом команды мэра Юрия Шалабаева, начался новый виток развития — цифровая трансформация. Использование систем города перешло от анализа процессов к анализу имеющихся в них данных. Мы поставили перед собой цель — обеспечить принятие решений на основе данных.

Получив первые данные, мы захотели принимать решения на основе моделей и сейчас идем к тому, чтобы выстроить информационную модель города на основе данных из профильных информационных систем.

Идеология, которую мы закладываем в будущую модель, — экосистема «Лобачевский». В центре экосистемы — интеграционная шина, а любая новая информационная система в периметре города является дополнением единой картины данных.

- Что представляет собой платформа?

«Лобачевский» — это целый стек технологий для визуализации, хранения и аналитики данных. Основная составляющая платформы — построенная на технологии Apache NiFi интеграционная шина, которая осуществляет обмен данными между системами без участия человека. Это инструмент подключения к другим системам, который позволяет и загружать файлы Excel, и делать различные запросы REST API, и выстраивать очереди запросов.

В системах города находятся сотни терабайт данных, поэтому всю эту информацию в платформу мы не «тянем». Производим калькуляцию в тех профильных системах, где работают сотрудники, а собираем и складируем на платформе статистические исторические срезы, чтобы выстраивать ретроспективу в дашбордах. Таким образом формируется витрина данных. У нас есть OLAP-кубы в системе Saiku, также используем Keycloack, который позволяет, единожды авторизовавшись, получить доступ ко всем информационным системам. Вместе с компанией «Горький AI» мы построили нейросеть, которая помогает обрабатывать поступающие по всем каналам обращения граждан, подсказывая модераторам, куда их следует направить. В числе интегрированных каналов — сервис «Вам решать», платформа обратной связи «Госуслуги. Решаем вместе», «Инцидент-менеджмент», а также Instagram губернатора и горячая линия главы города.

- Планируете ли в будущем отказаться от модераторов?

Сначала необходимо довести точность нейросети до 98–99%, тогда останется один модератор, чтобы обрабатывать оставшийся 1% ошибок. Пока мы подняли точность с 80% на старте до 86%.

- Такие экосистемы, как у «Яндекса» или «Сбера», образуют среду, которая буквально окружает пользователя. А что такое экосистема в вашем понимании?

В нашем понимании платформа «Лобачевский» является именно такой экосистемой. Витрина данных всех информационных систем (парковки, обращения, ордера и т. п.) создает связанную модель процессов, происходящих в городском управлении. Здесь все собрано в одном месте, чтобы управлять городом и принимать решения, получая объективную информацию и обратную связь. Глава города имеет доступ ко всем системам — так же, как мы работаем в системах условного «Яндекса» (от «умного дома» до «Яндекс.Музыки»), имея в руках только смартфон как средство доступа.

- Данные каких систем уже интегрирует «Лобачевский»?

К шине уже подключены системы, имеющие внешние интерфейсы: система обратной связи, парки, централизованная бухгалтерия, управление муниципальным реестром, единое парковочное пространство, система контроля дорожной техники, система согласования разрешительной документации, система автоматизации контрольно-надзорной деятельности, система контроля и управления доступом и система оплаты питания в образовательных учреждениях. Кадровую систему, написанную еще на Perl, переведем на «1С» в этом году и тоже подключим.

Обращения граждан, а точнее большое количество источников этих обращений, — проблема для любого органа исполнительной власти. «Лобачевский», объединив множество источников обращений в едином окне, позволил ее решить. Сообщения приходят из множества источников, обрабатываются в едином интерфейсе, а ответ направляется автоматически в ту систему, откуда поступило обращение.

Интеграция систем обратной связи стала первой быстрой победой, показав эффективность выбранного подхода. Все системы обратной связи интегрированы каждая по своему интерфейсу. В региональной платформе «Вам решать» нет своего API, поэтому применили RPA: раз в сутки робот выгружает поступившие обращения в Excel, переносит на файловый сервер и дальше распознает, что внутри. А «Инцидент-менеджмент», ГИС ЖКХ и платформа обратной связи работают c «Лобачевским» через API.

Исполнители в районах и департаментах получают назначенные им заявки через веб-интерфейс, а мы через выстроенную систему контроля видим, с какой скоростью накапливаются и отрабатываются обращения.

- Какие решения помогает принимать «Лобачевский»?

Например, на основании данных СКУД о проходе детей через школьный турникет и об их питании можно сделать вывод о начинающейся эпидемии. По данным централизованной бухгалтерии можно увидеть пики «текучки» и выявить наметившиеся проблемы в работе с кадрами в конкретных учреждениях.

В двух городских парках видеокамеры считают входящих и выходящих посетителей. Нейросеть, работающая на данных системы видеонаблюдения, присваивает каждому входящему свой «вес» и по этому параметру отслеживает его на выходе. Платформа дает возможность наложить эти данные на информацию о мероприятиях, чтобы проанализировать их посещаемость с учетом погодных условий и сделать вывод об эффективности и нужности мероприятий, выяснить, дает ли проведение мероприятия прирост посещаемости парка в конкретный день.

Четверть всех остановок в городе сделали «умными»: на каждой из них установлены четыре камеры видеонаблюдения, Wi-Fi, табло, кнопка SOS, функционал вызова такси. По данным с камер система мониторинга обнаруживает переполненные урны, забытые вещи, граффити, снежные накаты. Пока это пилотный проект, но совместно с правоохранительными органами мы уже так находили оставленный пассажирами рюкзак.

- Опирались ли вы на чей-то опыт при создании платформы?

Первую версию системы, обрабатывающей обращения граждан, мы делали сами. И как только получили первые результаты, стало ясно, что все получится. Мы побывали в Москве в павильоне «Умный город» на ВВЦ, были в Казани, но подобного интегрированного решения для руководства города нигде не увидели.

- Как изменилась жизнь городской администрации с появлением платформы «Лобачевский»? Какие результаты получены за первый год ее работы?

Существенно изменилась. Тематические совещания теперь проходят не на основе докладов ответственных департаментов, а на базе реальных цифр. Поэтому обсуждение проблем идет предметное, и в этом случае проще принимать решения и управленческие, и порой даже кадровые.

Переданные «Лобачевскому» данные мы структурируем так, чтобы по ним можно было принимать решения. Например, этой зимой были сильные снегопады, поэтому очень важен контроль работы подрядчиков и субподрядчиков, обеспечивающих выход снегоуборочной техники. Соответственно, регулярно проводятся совещания с дорожниками по вопросам уборки снега с использованием конкретных данных. Раньше, для того чтобы глава района на совещании озвучил какую-то цифру, минимум два сотрудника должны были потратить время на сбор и распечатку этих данных. Диспетчер должен был записать, сколько техники вышло в первую смену и сколько — во вторую, собрать тахометром примерный пробег или выписать такие данные из разных систем, скалькулировать и сделать отчет. Теперь все это не требуется.

Все машины с GPS передают данные — контроль стал простым. Одно дело, когда руководителю приносят бумажную выписку о том, что на улицы вышло 30 машин, и совсем другое — когда он в системе видит фактическое число 25. Раньше проблему формулировали так: почему плохо убирается район? А сейчас — по-другому: почему выходит только 30 из 50 машин? Проблема становится осязаемой, и мы разбираемся уже с причинами ее возникновения.

На примере обращений граждан результат виден лучше всего: сейчас стандартное время закрытия заявки — два дня, в то время как раньше это могло занять и 15, и 30 дней. До недавнего времени обработка происходила следующим образом: обращение поступало на почту, потом отправлялось в районную администрацию, оттуда писали: «Это не к нам, это в департамент транспорта», пересылали в департамент, а там — когда увидят, тогда и ответят. Сегодня, если обращение где-то зависло, разрешить ситуацию — задача модератора. Говоря языком бизнеса, происходит сокращение транзакционных издержек процесса. И оценка работы с обращениями теперь не сводится к умозрительному заключению: «Район не дорабатывает по обратной связи с жителями». Есть конкретное число поступивших и отработанных сообщений.

- Каким вы видите дальнейшее развитие проекта?

Цель — построение информационной модели города. Как будет выглядеть решение, пока не знаю. Нам хочется создать модель, которая покажет, к примеру, насколько с ростом количества обращений увеличится среднее время ответа, насколько упадет доход муниципального учреждения, поставляющего питание в школы, c уменьшением количества детей, посещающих школу, и т. д. Принятие решений на основе модели должно привести к тому, что мы не будем смотреть даже в дашборды — модель сама проанализирует прогнозируемый уровень осадков, предскажет увеличение числа заявок от жителей города, а уведомление департаменту транспорта о необходимости увеличить количество техники отправится автоматически. Мы хотим перейти от ручного управления к автоматизации.

Но чтобы этот план осуществить, нужно как минимум подключить больше систем. Тут сложностей немало. С системой «Безопасный город» мы уже выстроили интеграцию, осталось подтвердить на уровне постановлений, что мы используем эту информацию. В данный момент интегрируем огромную бухгалтерскую программу, но, поскольку она находится в защищенном секторе, забрать все данные во внешнюю систему мы пока не можем. В системе управления городским имуществом есть персональные данные, что делает процесс сложнее, однако интеграция с ней необходима, так как это источник доходов городского бюджета. И будет очень полезно протестировать на модели различные управленческие гипотезы и сравнить, к примеру, финансовый эффект от аренды и продажи имущества в разные периоды времени.

Кроме того, предстоит более тесная интеграция с федеральными системами, в связи с этим Нижний Новгород недавно вошел в рабочие группы по «Умному городу».

Один из открытых вопросов — получение данных из федеральных информационных систем: налоговой службы, ГИБДД, МВД, ЗАГС. Муниципалитеты не могут получать оттуда информацию, так как для региональных и федеральных органов власти они являются третьей стороной при передаче персональных данных. А информация из этих систем является существенным дополнением для экосистемы контура городского управления. Например, для получения льготной парковки человек присылает сканы документов, и для их проверки мы отправляем запрос в ГИБДД России, однако вынуждены ждать ответа до месяца. Мы работаем над решением этой проблемы, но без изменения нормативной базы «цифрового чуда» не произойдет.

- Можно ли назвать вашу целевую модель цифровым двойником?

Думаю, можно. Или же она очень близка к тому, что мы понимаем под термином «цифровой двойник». Многие регионы заявляют, что у них есть цифровой двойник, но данные с ГИС-подложкой — это еще не цифровой двойник. Двойник — это когда все или большая часть городских процессов представлены в виде модели. Когда видимыми становятся показатели состояния городского хозяйства в оцифрованном виде.

- Дашборды платформы предназначены только для управленцев или для жителей города тоже?

Если цифровая модель города — наша стратегическая цель, то прикладная задача — создание дашборда для жителя города. Уже есть внешние ресурсы, с которыми жители взаимодействуют: например, транспортная карта, баланс которой пополняется через мобильное приложение. Но существуют и другие запросы. Скажем, родителям школьников было бы удобно видеть в городском приложении, что их ребенок пришел в школу в такое-то время и получил такие-то оценки. Наша задача — выдать жителю информацию о нем в экосистеме городских информационных систем. Сейчас мы готовимся реализовать функционал, позволяющий жителю увидеть в дашборде все его обращения, отправленные по любым каналам взаимодействия, и стадии рассмотрения, на которых они находятся.

Пока предназначенный для жителей функционал «Лобачевского» в публичной части портала тривиален: обращения, голосования, афиша, инициативы. Но мы идем к «единому окну» для получения информации и услуг от города и в первую очередь будем разрабатывать мобильные приложения.

В 2021 году в Самарской области на участке автомагистрали М-5 протяженностью около 240 км была запущена Система мониторинга автомобильных дорог на базе распределенного акустического сенсора. Это первое подобное решение, применяемое для обеспечения контроля дорожной обстановки, и оно может стать неотъемлемой частью интеллектуальной транспортной системы.

Акустический мониторинг позволяет контролировать ситуацию на дороге на участках протяженностью до 100 км без подключения к энергетической инфраструктуре и с высокой точностью геопозиционирования событий на карте даже в условиях ограниченной видимости. Система способна в режиме реального времени распознавать дорожные события и визуализировать на картах обстановку. О создании этого решения и его перспективах рассказал Константин Голец, руководитель проекта «Цифровые дороги» компании «СМАРТС» и номинант премии Data Award 2022 .

- Какие проблемы решались при создании системы акустического мониторинга, почему они важны?

Для организации стабильной работы транспортно-логистического коридора через Самарскую область, сбора аналитических данных, моделирования положения на дороге в режиме реального времени и, конечно, оповещений о нештатных ситуациях необходима система, которая способна осуществлять мониторинг автодороги на всей ее протяженности. С ростом трафика будет увеличиваться и число инцидентов на автодорогах, приводящих к коллапсам и негативно влияющих на социально-экономическую обстановку в регионе. В связи с этим необходимо оперативно выявлять и устранять причины возможных происшествий.

При авариях и нештатных ситуациях на автодорогах необходимо как можно быстрее передавать информацию о месторасположении транспортных средств в диспетчерский или ситуационный центр для последующего анализа и принятия необходимых мер — организации выезда на место происшествия служб экстренного реагирования: МЧС, ГИБДД, скорой помощи, пожарной службы.

Для решения этих задач, в 2020 году мы приступили к созданию автоматизированной системы сбора данных и аналитики транспортного автомобильного потока. Такая система требуется для своевременного реагирования, принятия решений, моделирования ситуаций.

- Что такое акустический мониторинг, зачем он нужен?

Упрощенно можно сказать, что волоконно-оптический кабель, расположенный в теле автомобильной дороги, является своеобразным микрофоном, который «слышит» низкочастотные вибрации на участке длиной 70–100 км. При этом на всем протяжении не требуется наличия электропитания, оно необходимо только для оборудования распределенного акустического сенсора. Система акустического мониторинга работоспособна в любое время суток, в том числе в условиях ограниченной видимости. Этим она принципиально отличается от комплексов фотовидеофиксации, которые контролируют небольшой участок дороги и работа которых зависит от условий видимости. Таким образом, акустический мониторинг и фотовидеофиксация гармонично дополняют друг друга.

- Какова история этого проекта? Как он задумывался, как появилась идея?

История проекта началась в 2019 году, и изначальная задумка заключалась в контроле состояния линейно-кабельных сооружений, находящихся в теле автомобильной дороги. Поскольку АО «СМАРТС» занимается строительством телекоммуникационной инфраструктуры в автомобильных дорогах, мы задались вопросом, какова интенсивность вибраций, действующих на волоконно-оптический кабель в дороге. Нас интересовало, не приведут ли они к ускоренной деградации оптического волокна.

Для проведения измерений мы применили технологию виброакустического мониторинга. Полученный результат натолкнул нас на мысль о создании целой системы мониторинга автодорог. В ноябре 2019 года мы подали заявку в Российский фонд развития информационных технологий на внедрение «Системы мониторинга автомобильных дорог на базе распределенного акустического сенсора». Она оказалась в числе победителей, и, заключив соглашение с РФРИТ, мы приступили к ее внедрению.

- То есть это тот случай, когда «побочный» эффект может быть важнее основного?

Действительно, помимо первоначальной задачи — выявления проблем в работе линейно-кабельных сооружений транспортной многоканальной коммуникации и предупреждения аварий, связанных с механическим повреждением волоконно-оптических линий, система может быть задействована в работе сразу над несколькими важнейшими направлениями.

Самое очевидное из них — снижение аварийности на дорогах и реализация механизмов своевременного реагирования на события дорожного движения. Кроме того, появляется возможность визуально моделировать ситуацию на контролируемых участках в режиме реального времени и анализировать трафик на определенных участках дорог для подготовки рекомендаций по оптимизации дорожного движения. Наконец — повысить качество управленческих решений в области организации дорожного движения за счет оперативного предоставления данных, их полноты, достоверности и удобства отображения информации.

- В чем суть созданного решения, что оно собой представляет?

Решение соответствует Дорожной карте развития сквозной цифровой технологии «Компоненты робототехники и сенсорика» и является комплексной системой, включающей в себя не только методы измерения физических величин, но и методы обработки сенсорной информации. Решение включает три уровня: периферийный (оборудование распределенного акустического сенсора, комплексы фотовидеофиксации, чувствительный волоконно-оптический кабель, система передачи данных), серверный (средства хранения и обработки данных) и автоматизированную информационную систему «Акустический мониторинг» (АИС АМ).

АИС АМ получает и хранит информацию из распределенных акустических сенсоров, комплексов фото- и видеофиксации, обрабатывает ее в режиме реального времени, формирует отчеты в различных форматах по запросам пользователей и других подсистем.

Функционал системы достаточно богат. Например, есть возможность работы с картами и HD-картами местности, доступна визуализация ситуации на дороге: на картах отображаются все классифицированные транспортные средства, технические средства организации дорожного движения, а также другие объекты и события. У каждого объекта и события есть наименование, координаты, визуальный индикатор и т. п. Операторы системы могут переходить к просмотру детальной информации по представленным на карте объектам. Весь перечень объектов можно фильтровать по различным критериям или выполнять по нему полнотекстовый поиск. Для пользователей доступна навигация: переключение между разными слоями карт, изменение масштаба, фокусировка на выбранных объектах или событиях. Карта местности и список объектов и событий автоматически обновляются в режиме реального времени. Можно настраивать уведомления о событиях (например, об обрыве кабеля или вскрытии колодца) и их параметры, хранить исторические события, разграничивать роли пользователей.

Система способна выявлять такие события, как движение техники, выход на дорогу пешеходов, проведение дорожных работ, проникновение в колодцы кабельной канализации, затор, съезд транспортных средств на обочину и т. д. При помощи математических алгоритмов и нейросетей решение может выделять в общем потоке событий конкретный автомобиль и траекторию его движения.

- Кого можно отнести к потенциальным пользователям системы? Это только ГИБДД или кто-то еще?

На наш взгляд, это прежде всего ГИБДД. Кроме того, система может быть полезна региональному ситуационному центру для последующего анализа и принятия необходимых мер (выезд на место происшествия служб экстренного реагирования), а также организациям, осуществляющим эксплуатацию автомобильной дороги.

Очевидны и перспективы использования данной технологии в кооперации с другими системами. Например, в 2020 году мы реализовали участок «умной дороги» на Московском шоссе в Самаре. На протяжении примерно 1,5 км была развернута сеть V2X (vehicle-to-everything communications — система беспроводной связи, делающая возможным обмен информацией между транспортными средствами и другими объектами инфраструктуры без участия человека) в стандарте ITS G5. В ходе этого пилотного запуска мы отработали ряд сценариев с участием акустического мониторинга: предотвращение опасных ситуаций, связанных с переходом людей через нерегулируемый пешеходный переход, с работой уборочной техники, с открытым люком колодца.

Перспективы взаимодействия акустического мониторинга с инфраструктурой V2X прежде всего важны для функционирования высокоавтоматизированного и беспилотного автотранспорта. Поэтому в настоящий момент мы сконцентрировались на подготовке проекта внедрения такой сети на автодороге, связывающей два крупнейших города Самарской агломерации — Самару и Тольятти. Результатом проекта станет полноценная инфраструктура для отработки технологий и запуска высокоавтоматизированных транспортных средств.

- Какие именно практические задачи решаются? Что реализовано уже сейчас, что планируется делать в дальнейшем?

Система предназначена для работы в основном вне городских условий. Она умеет идентифицировать события, влияющие на безопасность дорожного движения: выявляет превышение скорости транспортных средств; выделяет места внепланового снижения скорости, что может указывать на вероятное препятствие на дороге; обнаруживает съезд автомобиля на обочину, в том числе в неположенном месте. Система может фиксировать движение пешеходов на определенных участках вдоль трассы, что особенно актуально в ночное время суток и в периоды ограниченной видимости. Отдельное направление — движение тяжелой техники вдоль дороги и проведение дорожных работ. Техника перемещается со скоростью, значительно меньшей средней скорости потока, и создает повышенную опасность для других транспортных средств. Наконец, существенное снижение скорости сразу нескольких транспортных средств подряд может свидетельствовать о заторе.

В дальнейшем планируем работать с потенциальными потребителями и расширять функционал системы с учетом их требований.

- Что «под капотом»? Из каких основных частей состоит решение?

Мы полагались на экспертизу нашего партнера — «Холмонт БР», который являлся исполнителем проекта по разработке и внедрению решения.

При создании АИС АМ использовались несколько платформ с открытым кодом. Подсистема сбора данных базируется на Hadoop, Hive, PostgreSQL, Kafka и Zookeeper; подсистема бизнес-анализа — на ClickHouse и Grafana; модуль мониторинга — на Grafana, Prometheus и AlertManager. В качестве геоинформационной системы применяется платформа GeoServer.

- Какие этапы включало создание решения, сколько времени потребовала их реализация?

Проект был рассчитан на два года: 2020-й и 2021-й. Мы закончили внедрение в декабре и в настоящий момент ведем переговоры с потенциальными заказчиками.

- В чем состояли основные проблемы в ходе проекта, как они решались?

В ходе реализации системы главными сложностями стали организация обработки, многоуровневое хранение и отображение большого количества событий от источников данных. В сутки система обрабатывает порядка 100 млн событий с перспективой увеличения. Каждое событие обогащается дополнительными данными системы; генерируются вторичные события и оповещения; события записываются в архив, в систему визуализации для оперативной работы и в OLAP для статистической обработки.

- Как появляющиеся новые объемы данных влияют на процессы управления компанией?

В настоящий момент в компании происходит цифровая трансформация. Мы переходим на облачную инфраструктуру, оцифровываем бизнес-процессы с целью использования data-ориентированного подхода, обучаем персонал.

- Какие результаты уже достигнуты, чем можно похвастаться? И что еще ожидается в будущем?

В режиме реального времени мы «слышим» 240 км автомобильных дорог Самарской области. Вам не кажется, что это фантастика?

В настоящее время установлено удаленное рабочее место в ГИБДД Самарской области. Ожидается, что в результате внедрения системы появится механизм, который позволит своевременно принимать управленческие решения за счет оперативного предоставления данных, их полноты, достоверности и удобства отображения информации. Это даст возможность значительно снизить аварийность и смертность на дорогах.

Конечно, мы не стоим на месте. Ключевое направление работ — взаимодействие акустики с V2X.

- Как будете развивать это решение?

Внедрение распределенного акустического сенсора в полотно автомобильной дороги позволяет развивать сквозную цифровую технологию дальше — уже с применением огромной базы дата-сетов, записываемых на реальной дороге. С помощью этих данных можно будет обучать нейросети распознавать новые события. Решение является масштабируемым, и опыт, полученный в Самарской области, мы будем распространять на другие регионы страны. И уже страны из ближнего зарубежья проявляют заинтересованность во внедрении нашей системы.

В феврале 2021 года вышел Указ Президента РФ № 68 «Об оценке эффективности деятельности высших должностных лиц субъектов Российской Федерации и деятельности органов исполнительной власти субъектов Российской Федерации». Согласно Указу, деятельность глав регионов и органов исполнительной власти субъектов будут оценивать по 20 пунктам, среди которых доверие к власти и другие социально-экономические показатели, а также качество городской и окружающей среды и «цифровая зрелость» органов власти. Для выполнения указа требуется обеспечить высших должностных лиц субъектов необходимой инфраструктурой и данными. Однако либо таких данных у регионов нет, либо требуется организовать их сбор, очистку и анализ. В числе прочего этим занимается АНО «Лаборатория Цифровой Трансформации», учрежденная Международным Союзом неправительственных организаций «Ассамблея народов Евразии». О ее создании было объявлено на ПМЭФ в июне 2021 года.

О построении системы сбора государственных и коммерческих отраслевых данных и о работе по созданию математических моделей на их основе рассказал Павел Басин, и. о. директора АНО «Лаборатория Цифровой Трансформации», ставший номинантом на премию Data Award 2022. Одна из главных задач организации — обеспечить готовность регионов к обмену информацией, готовыми моделями и процессами через «цифровые мосты», что позволит создать достоверную базу знаний, компетенций и наборов данных.

- «Лаборатория Цифровой Трансформации» появилась летом 2021 года. Каковы ее цели и задачи?

Идея ее создания родилась в 2019 году, когда Минцифры проводило проект по цифровизации контрольно-надзорной деятельности. Мы работали по соглашению с одним из банков и хотели определить, какого эффекта для государства и бизнеса можно достичь, анализируя весь поток данных, которым оперируют контрольно-надзорные органы в своей работе. Появилось видение структуры организации и проектов, которые можно реализовать через государственно-частное партнерство, концессию или контракты жизненного цикла. Например, стало ясно, что инфраструктура для сбора данных сама по себе может окупаться, однако, для того чтобы обосновать регионам необходимость создания таких систем, в любом случае потребуются расчеты эффективности, основанные на данных. Мы оценили разные отраслевые направления и увидели, что данных хватает далеко не везде и можно создать новый рынок по их «добыче», очистке и анализу.

После переговоров с одним из фондов появилась задача сформировать рабочую повестку с точки зрения расчета индексов инвестиционной привлекательности регионов. Такую же задачу мы рассматривали, организуя консалтинг по автоматизации госуправления на международных рынках в 2015–2016 гг. Позже она стала еще более актуальной с появлением «зеленого рейтинга» ESG (Environmental, Social and Corporate Governance). Затем коллеги из Минцифры добавили к нашим проектам и исследованиям искусственный интеллект, и мы поняли, что имеет смысл создавать тот самый рынок данных — не «открытых данных», о которых сейчас часто приходится слышать, а достоверных данных, пригодных и для расчета необходимых показателей, и для прямой монетизации. Данные и модели на их основе нужны рынку.

Изучая рынок и его игроков, мы поняли, что нужно фокусироваться не на самих данных, а на эффективных моделях, которые можно на них построить. Таким образом, речь идет о формировании реестра моделей эффективности в разных отраслях на основе данных, полученных в регионах. Многие из них как раз и используются для расчета ESG. На данный момент мы находимся в процессе его развития и формируем требования к данным.

Стартовав, мы сфокусировались на расчетах 20 показателей эффективности высших должностных лиц. Сейчас мы планируем в экспериментальном режиме обеспечивать точными цифрами и достоверными показателями ситуационные центры губернаторов.

- В ходе своей работы вы создаете СП с регионами. Почему был выбран такой формат?

Действуем исходя из реалий. Мы изучили опыт работы одного из АНО — оператора цифрового диалога между властью и обществом, для нас это важный пример. Кроме того, как некоммерческая организация, не имеющая допуска к гостайне, мы не можем работать с некоторыми данными, собираемыми регионом. Поэтому подписываем соглашение о создании совместной структуры с его правительством в лице руководителя цифровой трансформации (РЦТ).

В нескольких регионах наши эксперты, и я в том числе, уже входим в рабочие группы исполнения региональной стратегии цифровой трансформации. Изучая регион, мы наполняем дорожную карту и формируем план мероприятий по достижению показателей эффективности его руководства. Например, сейчас проходит эксперимент в Калужской области, связанный с учетом водоснабжения и водоотведения в магистралях водоканалов и контролем качества воды. Совместно с РЦТ региона и Минцифры создана межведомственная рабочая группа по формированию требований к показателям, которые нужно собирать через сигнальную сеть и передавать в Роспотребнадзор и в другие органы исполнительной власти.

- Вероятно, реализуемые проекты будут недешевыми…

К примеру, 2,5 тыс. датчиков с 10-летним обслуживанием для одного из заказчиков могут обойтись в 1 млрд руб. Но применение такого автоматизированного учета ресурсов позволит государственному предприятию сократить убытки в два раза, что выгодно для бюджета. На примере аналогичного проекта мы подтвердили, что модели, построенные на основе достоверной информации, эффективны.

- В рамках работы СП создается инфраструктура «добычи» данных, их нормализации и создания межрегиональной базы компетенций и обмена данными. Что она должна собой представлять?

Уже работает подсистема сбора данных ТОР КНД, оператором которой является Министерство цифрового развития, связи и массовых коммуникаций России. Недавно мы подписали с ним соглашение об использовании функционала этой подсистемы. Имея доступ к ее функционалу и совместно определяя требования к сайзингу, можно наполнять ее инфраструктуру. Вместе с тем мы понимаем, что далеко не каждый субъект готов увеличивать свои мощности по объему хранения и обработки данных, поэтому сформировали дополнительные требования к инфраструктуре.

Что касается базы компетенций, то, например, в ходе реализации проекта в Калужской области появилось понятие «цифровой мост». Регионы начали подписывать межрегиональные соглашения для обмена компетенциями, создавая их единую базу. Скажем, если в той же Калужской, Пензенской или Белгородской области наработаны эффективные компетенции по расчету определенных показателей, то через свою структуру совместных предприятий мы можем распространять эту модель.

- Что входит в спектр государственных данных? Какие данные уже не проблема, а какие еще предстоит «добывать»?

Государственные данные — это особые данные, территория происхождения которых принадлежит государству, как и в случае с недрами. Рынок необходимо научить создавать качественные продукты на основе таких данных и применять их эффективно. Очевидно, что такие продукты могут быть использованы как для изучения истории, следа исходных данных, прогнозирования или планирования, так и для оперативного принятия решений.

Чтобы сэкономить время коллег в регионах, мы собрали с них по три задачи, связанные с актуальными проблемами госуправления. Кому-то важнее демография, кому-то — транспорт и ЖКХ, многие заинтересованы в коронавирусной тематике. Именно исходя из этого, мы выбирали источники данных для формирования моделей. Если в каком-то регионе нужных данных нет, то через рабочую группу стратегии цифровой трансформации предлагается внести в план мероприятий создание инфраструктуры для их «добычи».

Можно констатировать, что достоверных данных в большинстве регионов недостаточно. Нам предстоит очень большая работа.

- Вы создаете реестр моделей с решениями актуальных задач регионального госуправления. Как появляются такие модели и как определяются наиболее удачные из них?

В начале 2022 года мы проведем соревнования — Всероссийский чемпионат по дата-моделированию. На нем будут представлены как раз те самые реальные задачи от органов государственной власти регионов. Сейчас мы консолидируем региональные данные, которые будут использоваться в этих задачах. Решения-победители будут распространены по лицензионной схеме во всех регионах для применения уже на «боевых» данных. Это будет серия чемпионатов при поддержке Минцифры и Минстроя.

Мы понимаем, какие данные у нас есть, а каких нет. В случае отсутствия какой-либо информации придется использовать полусинтетическую замену. Например, в регионе может не быть датчиков качества воды для постоянного мониторинга — проводятся только отдельные лабораторные исследования. Однако регион все равно хочет спрогнозировать закупку химии для очистки воды, потому что существует федеральная программа «Чистая вода» и есть платформа обратной связи, в которой обращения граждан по воде стабильно находятся в верхней пятерке. Конечно, чтобы в будущем определить источник проблем, потребуется оснастить систему водоснабжения соответствующими датчиками.

Уже есть модели, созданные на открытых данных, которые апробированы и предложены нам для применения. С их помощью мы можем считать показатели верхнего уровня, но не можем лицензировать такие модели, так как не считаем использованные данные достоверными.

- Вы планируете довольно динамичное наполнение реестра моделями — несколько десятков моделей ежеквартально. Почему выбран именно такой темп? И каким ожидается целевой объем реестра?

В первую очередь мы должны выполнять устав — то, о чем договорились с Минцифры: 20 показателей регионального руководства из Указа № 68. Динамика наполнения зависит от объемов данных, которые нам в данный момент готовы предоставлять регионы. И именно таким нам представляется цикл отработки моделей на реальных данных. Кроме того, надо учитывать готовность региональных кадров.

Что касается итогового количества моделей, то его сейчас трудно прогнозировать. Как известно, нет предела совершенству.

- Культура управления на основе данных постепенно прививается в коммерческих структурах. А как с этим в госсекторе?

По опыту работы с регионами я понял, что они готовы делиться компетенциями между собой. На самом деле региональное сообщество оказалось довольно слаженным, особенно это касается РЦТ. На региональных круглых столах удается встречаться со многими из них, узнавать об их ожиданиях (и даже требованиях) в отношении нашей работы и слышать их мнения: об обеспечении расчета индекса инвестиционной привлекательности, об оперативности принятия решений на уровне губернатора, о финансовых вопросах. Все без исключения говорят о важности качества данных, используемых для госуправления. Любой госструктуре важно обосновать принятие решений, получить возможность планировать свои действия. И еще важнее — достигать необходимых показателей, спускаемых для них через федеральные программы как по социальным показателям, так и по экономическим.

Сейчас пожелания РЦТ трансформируются в требования к предоставлению данных, их качеству и защите. Нужна не просто «большая куча информации», а каталогизированные данные с требованиями и описанием — для чего добываются, как используются.

- Госструктуры всегда были консервативными. Насколько быстро можно сломать старую, «аналоговую» модель управления и создать цифровую?

Прошло время, когда отраслевые специалисты «просили» айтишников не мешать им работать. Сейчас всем требуются новые идеи и инструменты, а технологии получают отраслевую направленность. Эффективность используемых решений легко подтверждается.

Важно, что мы создаем запрос на отраслевых специалистов, формирующих требования к инфраструктуре и данным. Это означает, что создаваемые системы будут востребованы.

Наконец, в октябре вышло Распоряжение правительства № 2998-р о создании единой системы сбора, учета и анализа социально-экономических показателей, в котором фактически говорится об оцифровке Госплана, а в ноябре был опубликован Указ Президента РФ № 633 «Об утверждении Основ государственной политики в сфере стратегического планирования в Российской Федерации». Для решения поставленных задач нужны достоверные данные, требования к получению информации и ее обработке. Мы занимаемся именно такой работой, и надеюсь, у нас это получится — необходимую поддержку мы имеем.

- Что даст создание реестра качественных моделей данных и алгоритмов прогнозирования в госуправлении? Какими могут быть эффекты для органов власти и граждан?

Приведу несколько примеров задач, которые будут представлены на чемпионате по моделированию. Предсказание увеличения нагрузки на социальную инфраструктуру, а также расчет объема дополнительных социальных выплат при текущем уровне миграционного потока. Определение предприятий, загрязняющих атмосферный воздух выбросами, превышающими ПДК. Электронная модель тепло-, водоснабжения и водоотведения. Оптимизация графика движения общественного транспорта. Снижение уровня смертности с помощью прогнозирования заболеваемости. Прогноз увеличения доли детей и молодежи, у которых выявлены выдающиеся способности и таланты на основе анализа проводимых конкурсных мероприятий.

Здравоохранение, транспорт, ЖКХ — определяющие направления социальной сферы. Во многом ситуация в них показывает реальную эффективность руководства региона. А для обычных граждан это означает рост качества жизни. Вероятно, в ряде случаев появится возможность не только своевременно выявлять проблемы и оперативно их решать, но и действовать проактивно, не дожидаясь обращений людей. А оперативные ответы на запросы повысят лояльность граждан властям.

- А по каким показателям будет измеряться эффективность работы «Лаборатории Цифровой Трансформации»?

Наш главный KPI — способность рассчитать и предоставить государству и бизнесу все необходимое для качественного планирования. Другие измеримые показатели – значительный список эффективных моделей в реестре, перечень сильных и технологичных участников и получаемый доход.

Конечно, лучше всего эффективность нашей работы будет демонстрировать реальное использование регионами цифровых моделей и их развитие. Если у вас есть бюджет для поддержания и развития в регионах необходимой инфраструктуры и кадрового потенциала, важно создать экосистему, чтобы созданный механизм работал.

- Каких реальных результатов уже удалось достичь?

Важно было отработать с регионами подход, который будет им понятен, и это пока нам удается. В субъектах разные типы административного управления: где-то с нами работает правительство, где-то — губернатор и его замы, где-то — отдельные министерства.

Сейчас на работу в рамках нашей программы подписано 7 субъектов РФ, с ними создаются СП. Мы уже подготовили и защитили серверную часть инфраструктуры. Собрано 30 региональных задач, которые будут преобразованы в реальные цифровые модели через чемпионат, в дальнейшем они будут отработаны на «боевых» данных. В нескольких регионах мы вошли в рабочие группы и составили план мероприятий по работе в нашей региональной сети.

В Калужской области проводится эксперимент по созданию системы учета водных ресурсов, реализованы два его этапа. Удалось увеличить доходность — эффективность очевидна. По итогам доклада руководства области Правительству РФ вышло распоряжение вице-премьера Дмитрия Чернышенко о тиражировании опыта в других регионах. Помимо прочего, на базе этого проекта отрабатывается межведомственное взаимодействие с применением межотраслевых моделей данных.

- В каком направлении будет развиваться деятельность «Лаборатории Цифровой Трансформации»? На чем будут сфокусированы усилия?

На первых этапах работы нам важно охватить большинство регионов, создать базу компетенций и наладить добычу данных и обмен, создать «рынок данных», удовлетворяющий конкретным требованиям. Это позволит обеспечить работу задуманных механизмов.

Некоммерческий сектор экономики в большинстве своем непрозрачен, что порождает низкий уровень общественного доверия к таким организациям. Достоверные и оперативные данные для учета НКО и оценки их благонадежности отсутствуют либо недостаточно доступны.

Решить эту проблему призвана цифровая платформа «Атлас НКО» — агрегатор открытых данных о деятельности некоммерческих организаций. Решение создали в Ростовской области, а затем тиражировали на всю Россию. Это веб-портал, обеспечивающий открытый и бесплатный пользовательский доступ к данным о деятельности НКО. Он содержит обобщенные данные о некоммерческих организациях из официальных источников: федеральных служб, ведомств и организаций. Об истории проекта и достигнутых результатах рассказывает Анна Белан, директор АНО Центр инноваций социальной сферы «Атлас некоммерческих организаций», ставшая номинантом на премию Data Award 2022 .

— В чем заключалась проблема, для решения которой создали «Атлас НКО»?

Сама идея создания платформы родилась еще в 2018 году, когда Общественная палата Ростовской области приняла решение проанализировать состояние некоммерческого сектора в регионе. НКО — «мягкая третья сила», которая способна решать различные социальные проблемы, до которых государство или не дотягивается вовсе, или задействовано в их урегулировании не в полной мере. Каких-либо инструментов, позволяющих проанализировать, насколько эффективно работает некоммерческий сектор, просто не было. Соответственно, не было и возможности отделить «живые» организации от существующих лишь на бумаге. Какие-либо оперативные данные о деятельности НКО, позволяющие оценить их благонадежность, также отсутствовали. Источники информации об этом объемны и сложны в обработке.

Такие барьеры осложняли контрольно-надзорную деятельность и принятие управленческих решений, касающихся НКО (финансирование, взаимодействие, вовлечение в социальные преобразования). Это стало отправной точкой для создания цифровой платформы «Атлас НКО», которая позволяла бы вести прозрачный учет НКО и обеспечивать мониторинг их активности на территории каждого муниципалитета.

— Как работала ваша организация до запуска цифровой платформы, что она собой представляла и какие задачи решала?

Изначально «Атлас НКО» создавался как оператор цифровой платформы, хотя, конечно же, ее появления пришлось ждать довольно долго.

В декабре нам исполнилось три года, и сейчас наш функционал существенно расширился: мы стали ресурсным центром, обеспечивающим инфраструктурную поддержку некоммерческому сектору — от регистрации, бухгалтерского и юридического сопровождения до проведения различных образовательных мероприятий. Кроме того, мы помогаем привлекать грантовое финансирование, участвуя в подготовке заявок на различные конкурсы. Можем взять на себя существенную часть бумажной работы, чтобы НКО могли, не отвлекаясь на рутину, делать то, ради чего создаются, — нести добро. Разумеется, речь идет лишь о тех организациях, которые в этом заинтересованы, — принудительно «причинять добро» мы не собираемся и работаем с теми, кто готов сотрудничать.

Отдельным направлением нашей деятельности является аналитика: мы исследуем состояние отрасли с помощью анализа больших данных.

— Как родилась идея создания агрегатора данных об НКО?

Инициатором стала Общественная палата Ростовской области. Когда она решила проанализировать состояние некоммерческого сектора в регионе, то сразу стало ясно, что для этого нет ни достаточных данных, ни инструментов. К сожалению, в подавляющем большинстве случаев деятельность некоммерческих организаций непрозрачна и малопонятна для общества в целом. НКО не очень хотят делиться информацией о себе, и как-то проанализировать их работу было сложно.

Достоверные и оперативные данные для учета, оценки благонадежности некоммерческих организаций также отсутствовали либо были доступны не полностью. На существующих порталах проверки контрагентов часть важной информации можно получить только по платной подписке. Источники информации очень разрозненны, она объемна и сложна в обработке.

Был необходим цифровой инструмент, позволяющий агрегировать все доступные данные. Требовалось создать решение, предоставляющее верифицированную информацию и работающее на бесплатной основе для всех.

— Какие варианты решения этой задачи рассматривались?

Нам был важен взгляд со стороны, поэтому мы приняли решение участвовать в конкурсе World AI&Data Challenge. Требовалась менторская поддержка экспертов: одно дело — придумать задачу, и совсем другое — услышать мнение потенциальных пользователей платформы. Кроме того, Агентство стратегических инициатив обеспечило хорошую информационную поддержку этому проекту и помогло транслировать его в другие регионы.

— Как была сформулирована задача для конкурса? Отличалась ли она от того, что получилось в итоге?

Платформа задумывалась именно в нынешнем варианте. Основная идея заключалась в том, чтобы выявить «живые», реально работающие НКО, отобразить их на интерактивной карте и визуализировать насыщенность ими крупных городов и муниципальных районов. То есть показать, насколько таких организаций достаточно для решения тех или иных социальных проблем.

Что такое «живые» НКО, каковы критерии их «живости»? На практике если организация не сдает обязательные отчеты в Министерство юстиции более трех лет, то ее ликвидируют по инициативе уполномоченного органа. Поэтому мы определили такой критерий, как статус организации: она должна быть действующей и сдавать отчеты о своей работе на протяжении трех лет.

Всю собранную информацию поместили на интерактивную карту — теперь можно отфильтровать организации по территориальному признаку и понять, сколько НКО в каждом населенном пункте. С этой задачей удалось справиться.

Единственное, что поменялось: созданная карта стала частью цифровой платформы «Атлас НКО». Она расширила созданное решение и хорошо туда вписалась.

— Какие данные использовались и откуда добывались?

Мы берем данные из открытых официальных источников — с сайтов Министерства юстиции, ФНС, Росстата, Минэкономразвития, крупных грантооператоров. Все они агрегированы на нашей платформе.

У нас есть несколько «пауков-грабберов», собирающих информацию с сайтов в автоматическом режиме. Собранные данные проходят через наш конвейер и проверяются. Как правило, в источниках присутствует много ошибок. Многие атрибуты организаций могут быть незаполненными или заполненными неверно, их число измеряется десятками тысяч. С помощью сопоставления разных источников и уже накопленной нами информации данные дополняются и верифицируются. В дальнейшем сведения загружаются в базу ElasticSearch.

Бэкенд платформы создан на Django, а фронтенд — с помощью библиотеки React и фреймворка Next.js.

Также мы компенсируем недостающие данные о НКО с помощью алгоритмов искусственного интеллекта (CNN и LSTM). В частности, цифровая платформа позволяет структурировать весь некоммерческий сектор и определить, какого типа организации присутствуют в конкретных населенных пунктах.

Поскольку у многих некоммерческих организаций в качестве основного ОКВЭД указан 94.99 (деятельность прочих общественных организаций, не включенных в другие группировки), идентифицировать, чем именно занимается организация, практически невозможно. Лишь у 38% можно увидеть что-то осмысленное, то есть область деятельности более половины организаций неочевидна для внешнего взгляда. Внедренная в цифровую платформу нейросеть распознает, какими направлениями деятельности занимается организация, опираясь не только на ОКВЭД, но и на ее название. Для обучения нейросетевой модели использовались открытая база данных о проектах Фонда президентских грантов и база информации о некоммерческих организациях, размещенных на цифровой платформе. В итоге мы можем получить представление о том, как устроен сектор НКО, не просто собирая и накапливая информацию о тысячах некоммерческих организаций, но и сегментируя его по направлениям деятельности — начиная от макроуровня и заканчивая географическими регионами.

Оценка отрасли по видам деятельности организаций позволяет выявить востребованные направления, а также те, что находятся на стадии освоения.

— Что в итоге представляет собой созданное решение?

«Атлас НКО» — цифровая платформа, которая агрегирует все доступные открытые данные о деятельности всех некоммерческих организаций в России и дополняет недостающие данные с помощью алгоритмов искусственного интеллекта. По сути, это веб-портал, обеспечивающий интерактивный, открытый и бесплатный пользовательский доступ к данным о деятельности некоммерческих организаций всей страны.

По набору данных наша платформа является уникальной. Ни в одном другом источнике вы не найдете подобного набора информации, которая была бы собрана в одном месте. Поскольку все данные объединены, это значительно уменьшает собственные затраты на обработку информации. Время поиска обобщенной информации о некоммерческих организациях занимает не более 10 секунд.

— Что еще вы считаете основными «фишками» созданной платформы?

Можно выделить систему рейтингов, которая действует на платформе. По-моему, такого нет ни у кого: найдя себя, организация может увидеть место, которое занимает по России, в федеральном округе и в своем регионе.

На основе полученных верифицированных и взаимообогащенных данных мы отобрали организации, имеющие по данным Министерства юстиции России статус «Зарегистрирована» и включенные Министерством экономического развития РФ в первый или второй реестр НКО — им положены дополнительные меры государственной поддержки. Использование реестров позволяет рассматривать организации, которые ведут активную деятельность и чья работа была проанализирована внешними экспертами (региональными органами исполнительной власти, Минюстом, ФНС, Фондом президентских грантов, региональными комиссиями конкурсов регсубсидий).

Организации, соответствующие требованиям, отсортировываются по общему объему привлеченных средств — естественно, те, кто привлек большее финансирование, получают большее количество баллов в общей системе рейтинга.

У бизнеса такой рейтинг крупнейших компаний существует давно, а НКО были незаслуженно обделены. «Некоммерческий» не означает «бесплатный», иногда организации могут привлекать неплохое финансирование.

— В чем заключалась самая большая проблема при внедрении решения?

Далеко не все данные, которые должны быть открытыми, в реальности являются таковыми. Конечно, мы бы хотели, чтобы на платформе размещались и данные о региональных мерах поддержки НКО. Но, к сожалению, не все регионы обнародуют информацию о том, сколько выдано региональных субсидий или кто являлся участником подобных конкурсов. В этом у нас пока информационный провал. Отсутствие таких сведений не мешает работе платформы, но для самих регионов важно получать объективную картину.

Пока нам не удалось автоматизировать часть процессов по сбору контактов организаций. Если с физическими адресами и телефонами проблем нет, то адреса сайтов и аккаунты в соцсетях приходится собирать вручную. Иногда это происходит уже в процессе повседневной работы с ними.

Кроме того, существуют проблемы с качеством данных. Для открытых данных есть стандарты, но мало кто их придерживается.

— Кто является основными пользователями созданного решения? Это власти, контролирующие органы, кто-то еще?

Изначально цифровая платформа задумывалась как инструмент контрольно-надзорной деятельности за работой НКО. Но практика показала, что круг пользователей гораздо шире: это и сами НКО, и бизнес, реализующий программы корпоративной социальной ответственности, и благополучатели — люди, заинтересованные в различных видах помощи.

Например, граждане, которые планируют открыть свою НКО (скажем, приют для животных), могут проанализировать, сколько приютов уже есть в городе, и решить, будет ли еще один конкурентоспособным. Мама особенного ребенка, не имеющая возможности водить его на платные коррекционные занятия, может найти соответствующую организацию, проводящую обучающие и развивающие занятия с такими детьми на бесплатной основе. Для самих НКО это возможность найти партнеров. А если организация пишет заявку на грант или письмо бизнесмену-жертвователю, но не знает, как подтвердить свою надежность, она может скопировать ссылку на карточку своей организации и вставить ее в текст письма или заявку на грант в разделе «социальные сети».

И конечно, и гражданам, и бизнесу, и органам власти важно взаимодействовать с благонадежными НКО. С помощью платформы мы можем это оценить и принять решение, работать с ними или нет.

— Были ли в результате запуска платформы какие-то «вау-эффекты» или что-то неожиданное, на что изначально не рассчитывали?

Для нас стало полнейшей неожиданностью то, что в официальных данных о НКО было столько ошибок. При обработке информации выявили и исправили более 52 тыс. ошибочных данных (неполнота в виде частично отсутствующей информации по некоторым организациям, наличие полных дубликатов записей, дублирование по ОГРН организации, в то время как остальные данные по ней различны). Например, в реестре НКО Минюста доля недостоверной информации составляет 10%. Мы даже обращались к ним, предлагая свою помощь, но наше обращение осталось без ответа. В Минэкономразвития, напротив, нашу помощь в верификации реестров НКО, которым положены дополнительные меры государственной поддержки, с благодарностью приняли.

— Решение изначально создавалось для Ростовской области, однако было развернуто на все регионы РФ. Как этот процесс проходил, в чем заключался?

Решение разрабатывалось в ходе World AI&Data Challenge и с менторской поддержкой АСИ, пилотный проект был запущен в декабре 2020 года. Изначально цифровая платформа включала организации Южного и Северо-Кавказского ФО, а карта «Живые НКО» охватывала только Ростовскую область.

Когда с помощью АСИ мы стали рассказывать о себе в других регионах, выяснилось, что такое решение интересно многим. Регионы стали выражать готовность добавлять свои данные на нашу платформу, появился шорт-лист наиболее активных. С кем-то заключалось партнерское соглашение об обмене информацией, с кем-то работали на основе устных договоренностей. В июле 2021 года платформой были охвачены НКО всей страны. В настоящее время цифровая платформа включает данные о более чем 455 тыс. некоммерческих организаций и готова к применению в любых регионах Российской Федерации.

— Какие результаты от запуска платформы «Атлас НКО» вы можете отметить?

Во-первых, это автоматизация контрольно-надзорной деятельности. Раньше для получения данных об одной НКО приходилось просматривать массу источников — это занимало около двух часов! Сейчас время поиска сокращено до 10 секунд. Другой важнейший фактор — достоверность предоставляемых нами сведений. Данные проходят верификацию, что исключает ошибки, допущенные в официальных источниках.

Мы считаем, что использование нашей платформы, с учетом достигнутых масштабов и введения рейтинговой системы, способствует повышению прозрачности НКО и росту общественного доверия к ним.

Мы замеряли количество пользователей цифровой платформы с момента ее появления — оно составило 21,4 тыс. человек (в среднем 5–7 тыс. уникальных пользователей в месяц). Людям это нужно.

— Есть ли возможность развития созданной платформы? В каком направлении?

Мы постоянно работаем над развитием платформы, совершенствуем ее. Мы сами являемся ее активными пользователями и видим, что нужно дорабатывать. Кроме того, регулярно получаем обратную связь от других пользователей и стараемся прислушиваться к пожеланиям: например, улучшаем систему поиска, добавляем фильтры.

Сейчас появилась идея создать встроенный в платформу сервис, который позволял бы проверять заявки НКО на грантовые конкурсы перед подачей. Разумеется, речь идет не только о выявлении грамматических ошибок, а о соответствии формальным условиям участия в конкурсе. Например, могут быть требования к названию проекта, к целевой аудитории, к количеству знаков в заявке. При загрузке заявки на платформу будут выделены все проблемные места.

Если удастся реализовать такую оценку, сервис будет очень востребован. Он будет полезен для всех НКО — участников конкурсов на получение грантов. А для ресурсных центров поддержки НКО, которые помогают в подготовке грантовых заявок, такой сервис станет просто бесценным.

Почему у медицинских данных длинный «хвост», с какими неожиданностями столкнулись разработчики медицинского искусственного интеллекта, какую роль сыграл в жизни молодой питерской компании эксперимент «Радиологии Москвы» и о каком дата-сете пока можно только мечтать, рассказал номинант на премию Data Award 2022 Евгений Никитин, начальник департамента ML-разработки компании «Цельс». На основе машинного обучения в «Цельсе» разрабатывают системы анализа медицинских изображений, помогающие рентгенологам, которых сейчас катастрофически не хватает в российских регионах, работать быстрее и пропускать меньше патологий на снимках.

- Как вы пришли в data science?

С детства хотел заниматься математикой, но не теоретической, а прикладной. Поэтому сначала получил образование по специальности «математические методы в экономике» в Санкт-Петербургском университете экономики и финансов. Затем в магистратуре в Англии занимался математическим моделированием человеческой памяти и внимания, потом в аспирантуре в США — машинным обучением для анализа политического поведения людей в социальных медиа. Параллельно занялся бизнесом — разрабатывал модели кредитного скоринга для финансовых организаций.

- Как же родилась идея работы с медицинскими данными? С чего начался проект «Цельс»?

Звезды так сложились. Мы с партнером познакомились с ребятами из калужской ИТ-компании, которым была очень интересна тема MedTech, но у них не было компетенций в сфере машинного обучения. На стыке их возможностей и наших компетенций осенью 2018 года попробовали сделать минимально жизнеспособный продукт (minimum viable product, MVP). Сначала задача была поставлена очень абстрактно: сделать то, что поможет обнаруживать рак молочной железы. Помимо пары публичных дата-сетов по маммографии для обучения модели, у нас была только выборка снимков, по которым уже был известен диагноз, поставленный пациенту. Результаты, полученные на тот момент, показались удивительными врачам, которым мы их показали. Это всех обнадежило. Мы поняли, что можем сделать нечто полезное, и решили развивать продукт дальше.

- Какими были следующие главные вехи проекта?

Мы открыли офис в Санкт-Петербурге и вскоре запустили разработку второго продукта «Флюорография / Рентген легких», а также пилотные проекты, что важно для получения обратной связи.

Очень большой поддержкой для нас оказалась работа, которую проводил в Москве Сергей Павлович Морозов, директор Центра диагностики и телемедицины («Радиология Москвы»). Действительно серьезной вехой стал эксперимент mosmed.ai, в котором прошедшие тестирование компании — разработчики ИИ-решений могут подключаться к клиникам через ЕРИС ЕМИАС, обрабатывать поток исследований реальных пациентов и получать обратную связь. К настоящему моменту три наши системы прошли так называемое калибровочное тестирование в этом проекте и работают полноценно: «Маммография», «Флюорография / Рентген легких» и «Covid-19». Другая наша система, выявляющая рак по КT легких, готова к внедрению, и еще одна, определяющая по КТ кровоизлияние в головном мозге, находится на стадии апробации.

- В этом проекте клиники голосуют, выбирая на определенный период продукт, с которым предпочитают работать. Сколько клиник выбрало ваш продукт?

Всего 102 клиники, больше всего выбрали «Маммографию» — примерно 50–60. Огромная выгода московского проекта — финансирование и одновременно развитие конкурентной среды: многие компании просто не выжили бы без такой поддержки. Второй крайне важный момент: организаторы понимали, что все системы далеко не идеальны, и принимали это. Когда мы приходили в регионы, то чаще всего слышали: «Ребята, это еще сыровато, надо допилить». А тут ставились три цели: во-первых, определить задачи, которые целесообразно и логично решать с помощью машинного обучения; во-вторых, отобрать лучшие решения; и, в-третьих, помочь разработчикам улучшить свои системы. Все эти цели достигнуты, и это очень здорово!

Результаты эксперимента теперь позволяют нам внедрять ML-системы и вне Москвы. В мае 2021 года мы получили регистрационное удостоверение на медицинское изделие, и в ближайшее время наши системы официально начнут работать на уровне нескольких российских регионов. Кроме того, большой проект идет в Узбекистане.

- Что было самым интересным в процессе создания медицинского ИИ?

Разметить изображение, чтобы определить, есть у пациента патология или нет. Поначалу мы не отдавали себе отчета в том, какое количество расхождений будет, если дать один и тот же снимок двум врачам. А ведь это влияет не только на обучение модели, но и на ее оценку. Как доказать, что модель качественная, если существуют пять разных мнений по тому, как размечен снимок?

Начинали, по сути, тыкаясь вслепую, но в итоге построили четкий пайплайн по разметке. Это очень сложный процесс, начиная с того, что врачей надо выбрать по каким-то формальным характеристикам. Оказалось, что квалификация и опыт — не всегда очень хорошие предикторы качественной разметки. Важны и дополнительные характеристики — например, усидчивость и внимательность. В числе факторов, часто и сильно влияющих на качество разметки, — обычная усталость и отсутствие большого монитора с высоким разрешением.

Поэтому сейчас мы много внимания уделяем отбору врачей, которые хотят с нами работать, их обучению и регулярной проверке их работы. В процесс разметки встроен автоматический контроль качества с использованием специального набора снимков и эвристик.

Второе, чему мы научились, — итерационное написание инструкций. Каждый раз, запуская новый проект, сначала пишем первую версию инструкции и просим врачей разметить снимки в соответствии с ней. Затем смотрим, какие есть расхождения и почему они возникают. Например, один специалист отмечает на маммографическом снимке злокачественные кальцинаты, а другой может их не отметить или разметить иначе, не заметив, выбрав другой класс или неаккуратно обозначив контур. Далеко не всегда расхождения означают разные мнения, иногда врачи по-разному интерпретировали инструкцию! То есть большую часть противоречий между оценками врачей можно устранить с помощью качественной инструкции по разметке.

- Какую цель вы ставили перед собой на уровне данных?

Максимально эффективно получить дата-сеты, которые нужны для создания качественных продуктов.

Сначала нам был нужен качественно размеченный набор данных достаточного объема. Теперь, для дальнейшего повышения качества, к дата-сетам предъявляем все больше требований — например, по наличию разных видов и форм рака молочной железы. Сейчас наша задача — пополнять и обновлять дата-сеты, экономя при этом деньги.

Как выяснилось, жизненно необходимо так называемое активное обучение. Специфика медицинских данных в том, что у них очень длинный «хвост». То есть большая часть пациентов здоровы, и лишь в снимках оставшихся 5% встречаются редкие патологии, которые мы очень хотим выявить. Если размечать все подряд, то большую часть времени мы будем делать бесполезную работу: нейросеть уже выучила здоровых пациентов и пациентов с легко детектируемыми патологиями, а мы просто сжигаем деньги, размечая бесполезные для модели снимки.

Поэтому мы сделали «умные» инструменты, которые позволяют отбирать данные на разметку. Когда поступает информация, что врачи освободились, для них в полуавтоматическом режиме по разработанным нами алгоритмам отбирается пул исследований, разметка которых принесет наибольшую пользу.

То есть мы внедрили подходы, позволяющие улучшать готовые продукты, ведь повышать их качество становится все труднее и труднее.

- Какие источники данных использовали?

В некоторых проектах использовали публичные дата-сеты: мы берем по максимуму все, что можно использовать в коммерческих целях. Как правило, это зарубежные наборы данных, но сейчас при поддержке Минздрава РФ идет подготовка публичных дата-сетов для отечественных разработчиков, и мы в ней тоже участвуем.

Второй источник — прямые контакты с медучреждениями и научными центрами. Это выгрузка анонимизированных данных: либо платная из зарубежных институтов, либо (что бывает чаще) в обмен на бесплатное использование нашего продукта в пилотном проекте. И третий крупный источник — поток данных, поступающих в рамках московского эксперимента через радиологический сервис ЕРИС ЕМИАС.

- К вам попадают уже анонимизированные данные?

Да, в 95% случаев. В московском проекте на стороне организаторов стоит модуль для анонимизации. Изредка к нам попадают неанонимизированные данные, тогда перед началом работы мы производим автоматическую анонимизацию.

- Алгоритмы анализа медицинских изображений сейчас пишут многие. Чем отличается ваш подход?

Конкурирующие решения различаются количественными характеристиками: точностью и скоростью работы, числом систем, c которыми могут интегрироваться. К сожалению, в нашей области пока практически нет обмена знаниями. Мы же стараемся пропагандировать такой обмен.

Наша «машина» по разметке медицинских данных — одна из лучших. Отдельная команда работает непосредственно с врачами, контролирует качество разметки и снабжает команду машинного обучения этими данными.

Еще один важный момент: мы уделяем большое внимание скорости проверки идей. Моя роль в компании — обеспечивать правильную настройку процессов и правильный выбор инструментов, чтобы максимально быстро обучать нейросети, тестировать идеи и продолжать улучшать продукты.

У нас всего 15 дата-сайентистов на пять готовых продуктов плюс три в разработке. Поддерживать такую линейку можно только при максимально эффективном использовании ресурсов — то есть автоматизируя все, что можно, и применяя лучшие практики, как процессные, так и инструментальные.

- Есть мнение, что главный потенциал медицинского ИИ — в анализе интегрированных данных о пациенте, а не отдельных исследований. Есть ли намерение развиваться в этом направлении?

Я всегда верил, что будущее — в мультимодальном подходе, когда в систему интеллектуальной обработки данных попадают данные разного типа из разных источников. Например, рентгеновский снимок плюс история снимков для оценки динамики, информация медкарты плюс информация по результатам приема, которая может быть собрана голосом. Моя давняя мечта — достойный дата-сет с мультимодальными данными. При таком подходе можно достичь по-настоящему крутых результатов. Технологии к этому готовы: есть архитектуры нейросетей, позволяющие работать с мультимодальными данными. Но существуют опасения относительно нарушения приватности: чем больше у нас данных о пациенте, тем выше риск их деанонимизации. Тут явно предстоит большая юридическая работа, и, скорее всего, потребуется согласие пациента на такую обработку данных.

Однако в рамках научного сотрудничества с некоторыми клиниками мы пробуем использовать более широкие массивы данных. Например, не только снимок, но и его описание, где врач может упоминать важные аспекты, сильно повышающие риск онкологии, такие как случаи рака в семье пациента. То есть мы уже работаем на стыке изображения и текстовых данных. Но остается нерешенным ключевой вопрос: как обеспечить безопасный доступ к таким данным?

Кроме того, существует инфраструктурная проблема: не очень много клиник, где можно эффективно выгрузить и связать массивы данных; часто результаты осмотра еще пишут от руки. А у коммерческих клиник обычно с инфраструктурой все отлично, но объем данных недостаточен.

- Какие основные ИТ-инструменты применяете?

Разметка данных проводится на российской платформе Supervisely, для хранения данных и разворачивания моделей используем Yandex.Cloud и Kubernetes. Сама разработка ведется на языке Python во фреймворке Pytorch. Чтобы обеспечить воспроизводимость результатов экспериментов (а это очень важно в науке), для обучения и тестирования моделей пользуемся фреймворками с открытым кодом Clear ML и DVC.

- Какими результатами использования систем «Цельса» можете поделиться?

Применение ИИ в медицине пока носит экспериментальный характер. Если сейчас убрать из медицины все ИИ-системы, краха не случится. Чтобы говорить об ощутимой пользе, надо уметь ее измерить, прежде всего оценить экономически. Посчитать, насколько меньше стали тратить денег в здравоохранении, — непростая задача. Сейчас мы сами тратим большие деньги, чтобы понять, меняется ли что-то с точки зрения финансовой эффективности, если у врача появляется наша система.

Однако в московском эксперименте есть примечательные кейсы — например, по обработке КТ-исследований на ковид. Для рентгенолога несложно увидеть знаменитое «матовое стекло», зато много времени требует оценка объема поражения легких, которая может повлиять на решение о госпитализации пациента. Практика показала, что ИИ-система может справиться с этой рутинной задачей, а врачу достаточно проверить, правильно ли все подсчитано. Время на интерпретацию одного исследования по ковиду сокращается на треть!

Кроме того, точечные свидетельства эффективности мы получаем из обратной связи от врачей — они не только сообщают, как наши системы помогают сэкономить время, но и честно признаются в том, что часть патологий могли бы пропустить, если бы система на них не указала. В пилотных проектах по маммографии в Брянске, Тамбове, Калуге, Калининграде и других городах, после пропускания через систему ретроспективных данных, были случаи, когда система обнаруживала рак, пациента направляли на дополнительное обследование и действительно находили злокачественные изменения.

- Какие направления дальнейшего развития проекта вы видите?

Первое глобальное направление — комплексные сервисы. Сейчас методами машинного обучения обычно ищут один определенный тип патологий, например ковид. Следующий важный этап — научиться находить на снимках одного исследования все возможные типы патологий.

Второе — измерить эффект от использования нашей системы по всем правилам научного исследования.

И третье важное направление — автоматизация рутинных задач, например контроля качества. В большом радиологическом исследовании многое может пойти не так — с оборудованием, с расположением пациента. И мы разрабатываем инструменты, которые помогают контролировать качество исследования прямо в процессе его проведения.

Мне кажется, выживут только те компании, которые, организовав работу небольших команд, смогут обеспечить максимальную скорость проверки идей. А ее можно увеличить благодаря автоматизации.

В ноябре 2021 года восемь транспортных судов застряли во льдах на Северном морском пути, из ледового плена их выводил атомный ледокол «Вайгач». Такое случалось и раньше, но в последнее время происходит почти ежегодно. За последние двадцать лет количество опасных стихийных явлений выросло вдвое, и ущерб от них продолжает увеличиваться.

Евгений Вязилов — заведующий лабораторией Центра океанографических данных во Всероссийском научно-исследовательском институте гидрометеорологической информации — Мировом центре данных (ВНИИГМИ-МЦД). Это один из трех мировых центров данных по океанографии. Институт является головной организацией Федеральной службы по гидрометеорологии и мониторингу окружающей среды и определяет ее политику в области ИТ. Здесь собираются все данные, получаемые в государственной наблюдательной сети Росгидромета.

Когда в 1968–1971 годах Вязилов начинал свою работу в Росгидромете в качестве наблюдателя, ему приходилось зимовать на полярных станциях Остров Диксон, Бухта Солнечная и Мыс Челюскина, вести океанографические наблюдения на научно-исследовательском судне «Вяндра», измерять толщину льда перед навигацией во время экспедиции на вездеходах в Енисейском заливе.

Впоследствии он посвятил многие годы созданию базы данных по возможным воздействиям опасных явлений на промышленные предприятия и население. Теперь на ее основе создается прототип системы, которая в критических ситуациях поможет быстро находить ответ на самый острый вопрос: что делать? Что делать руководителю конкретного предприятия, когда прогноз сулит ураганный ветер, неурочные заморозки, наводнение или оттепель, а также в случае ожидаемых изменений климата.

- Когда и как у вас зародился интерес к созданию системы поддержки принятия решений?

Наш центр еще в 70-х годах проводил климатические обобщения по открытому океану на основе данных, занесенных на перфокарты и магнитные ленты. При этом я удивлялся: считаем множество статистических характеристик для десятка наблюденных и десятка вычисленных параметров, а как их использовать при принятии решений — никто не знает. Фактически использовались только средние и экстремумы для небольшого числа параметров. Меня заинтересовала эта проблема, и в конце 90-х я защитил докторскую диссертацию на тему «Повышение эффективности использования гидрометеорологической информации при принятии решений», где впервые обосновал идею создания системы поддержки принятия решений при гидрометеорологическом обслуживании предприятий и населения.

- В чем суть этой идеи?

Зная гидрометеорологические условия, можно не только заранее предсказать перечень воздействий на предприятия и население, но и составить рекомендации для принятия решения. Необходимо собрать список воздействий и формализовать рекомендации для каждого стихийного явления, и сделать это нужно с учетом уровня опасности и типа используемых данных (наблюдения, прогноз, климат).

Опыт показывает, что ущерб от стихийных явлений часто связан с неинформированностью и недостаточным учетом всей имеющейся информации, что приводит или к бездействию, или к слишком позднему осознанию возможных воздействий — когда уже ничего невозможно предотвратить. В разнообразных инструкциях на предприятиях нет детальных алгоритмов действий во время стихийных бедствий. Между тем, чтобы вовремя провести превентивные мероприятия, руководитель должен четко понимать, что именно может быть источником опасности и насколько вероятно наступление той или иной ситуации. Однако из-за большого объема информации, разбросанной по лоциям, атласам, справочникам и предоставляемой в виде множества экранных форм, руководители зачастую не в состоянии достаточно быстро отреагировать на изменения условий среды. Поэтому они, с одной стороны, часто не учитывают критически важную информацию при принятии решений, а с другой — оправдывают неудачные решения плохими условиями окружающей среды.

- Что же делать?

Для эффективной поддержки принятия решений необходимо значительно уменьшить объем доставляемых руководителям сведений о состоянии окружающей среды. До руководителя должны доводиться лишь те из них, которые он будет использовать для анализа и принятия решений — в виде небольшой таблицы, карты и графика.

На каждом предприятии должен быть паспорт безопасности, где указано, какие стихийные явления могут быть в районе предприятия, как они могут повлиять на его работу, а также что надо делать до, во время и после события. Например, если предприятие находится далеко от реки, моря и на определенной высоте, то наводнение можно не учитывать. А вот если температура воздуха опустится ниже нуля, то продукцию, на которую это может отрицательно повлиять, нужно укрыть или перенести в крытые ангары. Да, многие рекомендации тривиальны. Но при приближении опасности человек находится в состоянии сильного эмоционального напряжения, и, чтобы принять решение быстро, ему требуется мгновенная оценка динамики ситуации с анализом причин и прогнозом последствий ее развития.

- Откуда берутся данные для такого анализа?

В России работают около 6,5 тыс. метеорологических станций и постов. Через час после наблюдения полученная от них информация уже занесена в базу данных. Кроме того, со спутников мы получаем данные об облачности, температуре воды и других показателях по всему земному шару. В открытом океане используются примерно 90 судов добровольных наблюдений плюс около 70 научно-исследовательских судов Росгидромета и Академии наук. Однако очень плохо обстоит дело с автоматическими буями: в российских морях их единицы — дорого.

Результаты статистической обработки всех этих данных собираются в нашем институте. У нас много лет создавалась база не только наблюденных значений, но и обобщенных — среднемесячных, среднегодовых и т. п. Иногда расчеты ведутся на основе эмпирических формул: например, пожароопасность оценивается по отклонению от климатических значений температуры воздуха и влажности в течение продолжительного периода.

Чтобы быстро получать информацию в режиме онлайн и интегрировать разнородные и распределенные данные, в 2014 году в нашем институте запустили Единую государственную систему информации об обстановке в Мировом океане (ЕСИМО). Несмотря на название, это универсальная система, которая интегрирует не только метеорологические и гидрологические данные, но и сведения о промышленных объектах, социально-экономическую информацию.

На основе интегрированных данных можно автоматически определять уровень опасности стихийных явлений в поступающих потоках оперативных данных, сравнивая их с локальными пороговыми значениями уровней опасности (желтый, оранжевый, красный), которые должны устанавливаться для каждого предприятия.

- Кто является потребителем этой информации?

Данными ЕСИМО пользуются промышленные предприятия и органы государственной власти, которые отвечают за предупреждение населения о стихийных бедствиях, — в первую очередь федеральные ведомства: Минтранс, Минобороны, МЧС и др. Гидрометеорологическая информация учитывается при обеспечении безопасности авиапассажиров, при выборе маршрута движения судов в пункт назначения, для поддержания стабильности работы ветроустановок и для сохранности скоропортящихся продуктов. Авиакомпании применяют наблюденные данные о скорости и направлении ветра для экономии топлива и обеспечения точного прибытия авиалайнеров по расписанию.

Мы рассчитываем на то, что в результате перехода от самообслуживания к персонализированному обслуживанию на основе локальных пороговых значений у нас появится больше заказчиков, оплачивающих подписку на цифровые сервисы.

- В чем заключается персонализация обслуживания?

При одном и том же значении показателя на него следует реагировать по-разному в зависимости от того, где находится объект: в средних широтах или в Арктике, где производство и население уже адаптировались к постоянному воздействию опасных явлений малой интенсивности.

Сейчас все руководители получают общую информацию или же их помощники сами ищут ее на портале ЕСИМО и на сайтах организаций Росгидромета. Мы же предлагаем новую модель: чтобы руководитель получал только то, что ему нужно для конкретного бизнес-процесса. Например, руководителю жилищно-коммунального хозяйства следует увеличить нагрузку на тепловую систему, когда температура опускается ниже -25°С.

Мы движемся к режиму, когда не пользователь является инициатором доступа к системе, а сама система автоматически выявляет опасные ситуации и запускает триггеры доставки сведений о них, что существенно ускоряет доведение до руководителей информации об уровне опасности. Раньше если синоптик видел опасность, угрожающую промышленному объекту, то в прогнозе погоды дописывал текст — к примеру: «возможен смыв груза, находящегося на пирсе». Сейчас система может автоматически формировать прогноз воздействий и передавать руководителю перечень рекомендаций для исполнения, чтобы предотвратить или уменьшить ущерб, а в некоторых случаях и повысить эффективность предприятия. Так, при планировании северного завоза точный прогноз не только повышает безопасность, но и сокращает время морской перевозки грузов с запада на восток.

Фактически предполагается реализовать конвейер автоматической сквозной обработки потока данных от наблюдения до принятия решений. Это экономически целесообразно, технически реализуемо и соответствует запросам целевой аудитории.

- Что было сделано для реализации новой модели обслуживания? Какие продукты созданы?

Проанализировав огромный объем материалов, где встречались описания произошедших опасных явлений и их воздействий на промышленные объекты, мы создали базу данных о воздействиях для 100 опасных явлений. Для каждого из них сформировали рекомендации руководителям различного уровня управления: перед событием — на основе климатических и прогностических данных; во время него — на основе наблюденных данных; и после него — с использованием фактических данных. Разработали средства автоматической идентификации опасных явлений на основе локальных пороговых значений показателей, которые определяются при настройке системы на конкретное предприятие. База данных дает возможность выдать сведения о воздействиях в нужном объеме и рекомендации, адекватные индивидуальным особенностям объекта. То есть по каждой ситуации для предприятия динамически готовится решение, учитывающее уровень управления, виды деятельности и локальные пороговые значения уровня опасности для каждого вида деятельности.

Способ доставки тоже имеет значение. Чтобы руководитель как можно быстрее узнавал об опасности, информацию нужно доставлять на его смартфон.

Мобильное приложение «МетеоАгент», работающее на Android-устройствах, с помощью SMS автоматически оповещает руководителей о возникших опасных явлениях, выдает сведения о возможных воздействиях окружающей среды на хозяйственные объекты и рекомендации для принятия решений. Еще одно приложение — «МетеоМонитор» — помогает правильно оценивать ситуацию, показывая на информационной панели в виде гидрометеорологических приборов значения показателей с цветовой индикацией уровня опасности в виде «светофора». Для каждого показателя строится график изменения значений за последнюю неделю и прогноз на ближайшие дни. С подсказками системы руководитель сможет работать гораздо плодотворнее — ведь ему не придется рыться в общих инструкциях (чаще рассчитанных на население, а не на предприятие) или вспоминать их.

- Какие основные ИТ-инструменты применяете?

Мы используем СУБД PostgreSQL, ориентируемся на кросс-платформенный язык Java. До сих пор работали с линейкой серверов приложений JBoss, но сейчас планируем перейти на другую линейку свободного ПО, исследуем популярную систему Elastic Search применительно к нашим условиям.

- Как решаете вопрос качества данных?

Когда мы переписали базу данных с перфокарт на магнитные ленты, было очень много нареканий. Мы потратили пять лет, чтобы привести наши данные в порядок. За это время методы контроля улучшились, мы обменялись алгоритмами контроля качества с партнерами по панъевропейскому проекту, позаимствовали у них методы контроля гидрохимических параметров и показателей загрязнения. На входе и выходе данные проверяются как минимум на общие предельные значения, а также по связи между физическими параметрами.

- В чем заключалась самая большая проблема в вашей работе?

Главная проблема сегодня — обеспечение надежности работы инфраструктуры портала ЕСИМО и связанных с ней приложений. В системе 31 поставщик данных, и большинство из них работают на уровне надежности 99,9%. В то же время отдельные поставщики данных могут работать на 80% и даже 70%, поэтому общий уровень надежности сразу падает.

- Какие наиболее значимые изменения произошли в работе с данными за последнее время?

Долгое время мы не обращали внимания на технологии искусственного интеллекта, сейчас изучаем возможности применения нейросетей и глубинного обучения. Все управления Росгидромета на своих ресурсах предоставляют пользователям доступ к информации по своему региону ответственности. Но когда каждое управление само решает отдельные задачи в области автоматизации, то результат невозможно масштабировать. Наш подход — создавать цифровую платформу на основе ЕСИМО. Рассматриваем возможность использования микросервисной архитектуры, чтобы повысить мобильность цифровых продуктов, создаваемых разными подразделениями, и исключить дублирование.

- Какие результаты своей деятельности вы считаете ключевыми?

Собранный материал по прогнозу воздействия и выдаче рекомендаций, оформленный в базу знаний, — это колоссальный труд на стыке предметной области и области ИТ.

- Каким вы видите дальнейшее развитие этого проекта?

В прошлом году мы обновили серверное оборудование, сейчас готовимся перенести ЕСИМО в государственное облако. Мы каждый год подаем заявки на развитие ЕСИМО, но Минфин их режет. Поэтому, в отсутствие масштабного финансирования, пока имеем опытные экземпляры системы поддержки принятия решений и экспериментальные результаты ее эксплуатации. Следующая задача — подключить модели расчета экономического ущерба. Надеюсь, что предложенная идея автоматизации поддержки решений найдет своих потребителей и будет широко использоваться.