Статьи

Заметную роль в повышении эффективности промышленных предприятий должна сыграть демократизация инструментов машинного обучения. То, что сейчас доступно лишь лидерам из-за сложности и дороговизны, скоро станет общепринятой практикой. Одним из вариантов развития этого направления является создание тиражируемых решений.

Иван Исаев, руководитель направления промышленного анализа данных МТС и соискатель премии CDO Award, рассказывает о накопившемся опыте решения задач промышленных предприятий и о развитии своих наработок на базе ресурсов крупнейшего мобильного оператора.

— Каков ваш путь в data science?

Моя история началась в Самаре. В этом регионе большинство ИТ-компаний имеют только по одному крупному заказчику и мечтают о развитии бизнеса. У компании Astera, в которой я был соучредителем, таким заказчиком являлся крупный американский телеком-провайдер, для которого мы проводили анализ данных (выявление вторжений, идентификация вирусов, анализ DNS-трафика и др.). В 2015 году, когда машинное обучение на широком рынке делало лишь первые шаги, нам удалось попасть в акселерационную программу МТС — мы занимались предсказанием необходимости ремонтов для базовых станций. В результате удалось решить задачу оптимизации выездов ремонтных бригад, но еще несколько кейсов в промышленную эксплуатацию так и не вышли.

Стало понятно, что в телекоме денег не так уж и много и что с наработанной экспертизой нужно идти в промышленность, поскольку у нас уже был опыт по прогнозированию поломок, идентификации аномалий и т. п. С учеными, знакомыми мне по Сколтеху, мы приступили к задачам с понятным экономическим эффектом. Работать в промышленности в этом плане гораздо проще (в телекоме зачастую оценить эффект весьма сложно), и главное — там нет огромного штата своих айтишников и остается непаханое поле для оптимизации.

— Какими были первые шаги?

Первым заказчиком в промышленности стало предприятие, занимающееся газотурбинными электростанциями. Изначально мы пытались прогнозировать поломки оборудования, однако там оказалось слишком мало событий для построения моделей. Зато нам удалось увидеть другую перспективную задачу — оптимизацию процесса промывок турбин, что ведет к их более экономичной работе и сокращению потребления топлива. Это стало нашим первым серьезным опытом на производстве.

Далее было партнерство с SAP, в рамках которого мы реализовали около 10 пилотных проектов. В то время за пилоты практически никто не платил: все боялись рисковать. Компании хотели сделать свой первый проект по анализу данных, но в партнерстве с большим игроком, готовым инвестировать в него свои средства. Так работали около двух лет: вместе с SAP решали задачи в непрерывном производстве, и нам платили за пилотные проекты. Помимо прогнозирования ремонтов, нам удалось освоить прогнозирование качества продукции.

— Когда началась «серьезная» работа?

Через два года работы с SAP у нас появился первый полноценный контракт с компанией «Уралхим». Мы приехали на большой завод в Кирово-Чепецке, занимающийся производством удобрений. Было ясно, что производство надо цифровизировать и что там «закопано» много денег, но никто не понимал, за что именно нужно браться. После ознакомления с производством мы разработали «дорожную карту» — описали слабые места в цехах, где можно применить машинное обучение. В числе прочих идентифицировали задачу с барабанным гранулятором — можно было существенно повысить его производительность. Этот агрегат нестабилен, в нем происходят волнообразные колебания, и это не позволяет загружать его на полную мощность. Объем подававшегося сырья составлял максимум 60% от проектной мощности, а требовалось достичь показателя хотя бы 80%. Мы долго общались с технологом, пытаясь выяснить, что не устраивает в работе агрегата; разговаривали с операторами, уточняя детали того, как они управляют барабаном (разумеется, «на глазок»). Стало понятно, что нужно создать рекомендательную систему, которая будет давать точные подсказки по управлению. После этого создание модели было делом техники.

Имея за плечами позитивный опыт на производстве, мы смогли попасть в «Газпром нефть», где решали задачу прогнозирования инцидентов при бурении. Среда под землей неоднородна: существуют зоны повышенного и пониженного давления. А любой инцидент обходится крайне дорого: день простоя буровой вышки означает потерю около 10 млн руб. Мы построили модель, позволяющую оптимизировать свойства бурового раствора для предотвращения инцидентов, и попутно обеспечили нефтяников интерактивной картиной происходящего под землей. В этом случае эффекты были не только и не столько экономическими — они касались промышленной безопасности: люди не должны гибнуть из-за газонефтеводопроявления.

Третий проект был реализован в крупной металлургической компании, где удалось оптимизировать потребление дорогостоящих фторсолей в процессе производства алюминия. Была достигнута экономия в 3 млн долл., сейчас идет опытная эксплуатация системы.

Сейчас я перешел в МТС, где рассчитываю вывести свои наработки на новый уровень. Здесь есть экспертиза в big data, свои облачные сервисы, центр кибербезопасности, даже свой акселератор стартапов — с его помощью можно находить новые интересные решения.

— Что может сделать команда «варягов» на предприятии, которое иногда вообще не готово к преобразованиям?

Бывают предприятия с низкой и высокой зрелостью, и в этих случаях все очевидно: первые только формируют стратегию цифровизации, а вторые уже достигли заметных результатов. Но есть и третья, промежуточная категория предприятий, которые и являются нашей целевой нишей. Как правило, у них есть управляющая компания, менеджеры которой ездят по производственным площадкам и оценивают возможности цифровизации. С полученными знаниями они ищут внешние команды, имеющие опыт реализованных проектов.

Кроме того, некоторые компании не нанимают собственных дата-сайентистов в силу своей стратегии. Например, у НЛМК нет задачи наращивать свою экспертизу в области data science. Они реализуют процесс подготовки данных и отдают задачу вовне — большинство проектов реализуется силами подрядчиков.

Сегодня отдать на аутсорс цифровизацию — проще, чем разрабатывать решения самостоятельно. Это экономит ресурсы, гарантирует безопасность, помогает избежать трат на дополнительное «железо».

— С какими проблемами приходится сталкиваться?

Данных теперь больше, но они стали хуже. Если год назад их раздобыть было невозможно, то сейчас это вполне реально, но они недостоверные. Приходится чистить, обогащать, запрашивать дополнительно, иногда — моделировать самостоятельно.

Кроме того, приходится глубоко погружаться в предметную область. Машинное обучение — это 20–30% проекта. Остальное время уходит на изучение регламентов. Но чем лучше ты разберешься в производственных процессах, тем эффективнее будет построенная модель.

Наконец, необходимо добиться того, чтобы специалисты предприятия тебя воспринимали как союзника, который поможет сделать работу легче и результативнее.

— Какие решения используются для создания моделей, на чем они основаны?

Мы, как и множество других команд, использовали Python. В большинстве проектов данные не так уж и велики, для работы платформы вполне хватает возможностей Microsoft SQL Server. С инфраструктурной точки зрения достаточно виртуальной машины, предоставленной местными айтишниками.

Наша задача — развернуть модель на том, что дадут. В большинстве компаний приходится иметь дело примерно с одним и тем же ландшафтом: они ориентируются на open source.

Что касается используемых методов, то у нас все достаточно просто: XGBoost, случайный лес (random forest), ансамбль моделей, иногда ансамбль регрессий и кусочно-линейные регрессии. Из-за того что данных относительно немного, нейронные сети не слишком применимы.

— Как искали заказчиков?

Ездил по конференциям, общался в Сколково. С самого начала было очевидно, что data science нельзя продать, — надо сделать так, чтобы его захотели купить.

Мы и сейчас готовы активно продвигать это направление на отраслевых мероприятиях.

— Во что инициативы небольшой команды превращаются в телеком-гиганте?

В маленькой компании все решается быстро, но постоянно страдаешь от недостатка ресурсов. В МТС принципиально другие возможности и ресурсы: здесь есть центр big data и искусственного интеллекта, собственные облачные сервисы, центр кибербезопасности, собственная инфраструктура. В то же время это требует более стратегического мышления: нужно понимать, куда движется компания, как твои идеи вписываются в общую концепцию, уметь обосновать свои решения.

Компания уже давно перестала быть просто телеком-оператором, теперь МТС играет на облачном рынке, разрабатывает решения для разных отраслей экономики, для умного города. Недавно из департамента интернета вещей выделился центр промышленной автоматизации — так что мы всерьез беремся за эту сферу.

Несмотря на то что МТС — одна из крупнейших компаний в России, наш блок живет по своим законам: к нам приходит много молодых специалистов из стартап-тусовки, мы остаемся гибкими и имеем возможность экспериментировать, предлагать новые продукты. Мне нравится такая рабочая атмосфера.

— В чем именно заключается ваша работа в МТС?

Еще несколько лет назад, когда я со своей командой выполнил множество пилотных проектов, у меня начала созревать идея. Я тогда почувствовал, что результаты работы фактически умирают, и решил, что было бы неплохо сделать «витрину», на которой достигнутые результаты можно продемонстрировать и — при наличии интереса у потенциальных заказчиков — повторно использовать.

Речь идет о том, что вполне реально строить тиражируемые модели. Вертикальные решения, созданные для конкретного предприятия, могут подойти и для других представителей этой отрасли. Например, модель прогнозирования расхода фторсолей для электролиза можно предложить всем производителям алюминия. Если удалось оптимизировать процессы барабанного гранулятора, то этот опыт можно предложить и другим предприятиям: такие установки есть на многих производствах — не только в химии, но и в золотодобыче и металлургии. Надо предлагать — и зарубежные телеком-операторы активно занимаются этим направлением бизнеса.

Кроме того, можно автоматизировать построение модели — написать решение для автоматического машинного обучения (AutoML), которое позволит быстрее строить модели, чистить данные и т. п. В МТС мы пытаемся развивать оба этих направления: и создаем вертикальные тиражируемые решения, и разрабатываем систему с тиражируемой платформенной частью, позволяющую ускорить и упростить создание моделей.

— То есть руководитель предприятия может зайти на сайт, увидеть интересующее его решение и нажать кнопку «Купить»?

Например, у финского оператора Elisa это выглядит как описание решения с указанной ценой. Его можно приобрести по подписке, в него не требуется инвестировать крупные суммы.

— Подписка? А как же доработка решения, которая всегда требуется?

В ряде случаев требуется лишь перестройка ETL, потому что структура баз данных у всех различна. Конечно, двух абсолютно одинаковых процессов не бывает, но здесь играет свою роль составляющая AutoML, позволяющая быстро переобучать и перенастраивать модель.

Скачать приложение, как из AppStore, и сразу начать работать — такого в ближайшее время точно не будет. А вот приобрести по подписке модель, созданную для одного из похожих предприятий, — вполне возможно. Выгодно всем: поставщик повторно использует результаты своего труда, а заказчик меньше платит.

— В чем вы видите свою роль в развитии этого направления?

Это роль идеолога проекта, который, с одной стороны, понимает потребности рынка, а с другой — глубоко погружен в предметную область. Сейчас стоит задача адаптировать свои подходы к большой компании.

Экспертиза по машинному обучению очень высоко ценится. В ходе проектов возникают весьма плотные связи, и поэтому зачастую заказчики «путешествуют» за специалистами. Если хороший специалист сменил компанию, то весьма вероятно, что с ним уйдет и значительная часть заказчиков.

— Как вы видите развитие проекта?

Сейчас у нас есть пара дюжин моделей, созданных в ходе предыдущих проектов. И их мы будем пытаться тиражировать по широким каналам МТС и через внутреннего интегратора. Возможности для продвижения решений на рынок здесь действительно велики. То, что недоступно горстке умельцев, не проблема для огромной корпорации с отлаженным механизмом.

В более отдаленной перспективе это может привести к созданию нишевого Kaggle — мы будем допускать сторонних разработчиков к построению моделей на основе своих данных и предоставлять им ресурсы.

Алгоритмы машинного обучения вполне способны работать на данных, содержащих выбросы, пропуски и ошибки. Но все же есть предел качества данных, после достижения которого даже самый высококвалифицированный специалист не сможет построить адекватную модель.

Выступая на конференции «Качество данных 2020», которую провело издательство «Открытые системы», генеральный директор компании Mechanica AI Александр Хайтин мастерски добавил «Ложку дегтя в озеро данных». Так он назвал свой доклад, в котором поделился опытом выполнения проекта для предприятия черной металлургии — весьма полезным для тех, кто работает с машиногенерируемыми данными.

Озеро или отстойник?

Прямой связи между ростом объемов данных и принятием лучших управленческих решений нет. Сами по себе данные — это источник затрат на их сбор, хранение, обработку. И очистку! «В реальной жизни data lake больше похоже не на альпийское озеро меж сосен, а на отстойник жидких отходов: подойти страшно, но теоретически полезная вещь», — пошутил Хайтин.

Чтобы превратить данные в бизнес-актив, к ним применяют технологии искусственного интеллекта и другие методы. По сути в Mechanica AI занимаются переработкой вторсырья, превращая его в три полезные вещи: в виртуальные сенсоры, применяемые там, где слишком долго или дорого измерять что-либо физическими сенсорами; в предсказания, позволяющие улучшить управление объектами за счет предотвращения проблем, и, наконец, в прямую оптимизацию и экономию.

Но чтобы получить результат, приходится отделять ценное вторичное сырье, которое можно переработать, от токсичных отходов.

Кунсткамера проблем

Подготовка данных занимает до 80% времени работы с ними, при этом накоплению исторических данных, необходимых для построения модели, часто не уделяется должного внимания.

«Мы по определению с самого начала работаем с мусором и собрали целую коллекцию проблем с данными», — сообщил Хайтин. Пропуски, в том числе из-за поломок сенсоров и сбоев архивирования, а также явные ошибки — самые дешевые из них, так как их легко обнаружить и от них легко избавиться. Главное условие для этого — большой объем данных и не очень большая доля пропусков и ошибок, чтобы не уничтожить весь датасет.

К категории дорогих и очень дорогих проблем он отнес так называемую эзотерическую схему данных — несколько тысяч полей с именами в виде сокращений, аббревиатур и индексов. Также дорого обходится бизнесу неаккуратное агрегирование с усредненными по времени показателями, сделанное в расчете на то, что эта информация уже никому не понадобится. «Данные за много лет, превращенные в бесполезные агрегаты, — это необратимые потери: фарш обратно в мясо уже не превратишь», — отметил Хайтин.

Между тем исторические данные — самые дорогие. Их нельзя купить, можно только накопить. При этом нестыковки исходных данных с результатами, а также нецелостность информации значительно обесценивают накопленный массив. Например, отсутствие сведений о нештатных ситуациях порождает артефакты в данных, приводя впоследствии к попыткам обучить алгоритмы на негодных датасетах.

Если при накоплении данных были допущены критические ошибки, оптимизация производства с помощью обработки больших массивов накопленных данных может оказаться недостижимой. Всего одна ошибка в информационном потоке, поступающем с производственной линии, способна привести к задержке проекта на годы и обесценить все усилия по сбору данных.

Традиционно накопление данных ведется в компаниях по функциональным подразделениям, и в результате «озера данных» на практике часто оказываются фрагментированными. «В этой ситуации достаточно того, чтобы одно подразделение не передало свои данные в озеро, — и тогда ценность всех накопленных в нем данных резко упадет. Не на полпроцента, соответственно объему непоступивших данных, а на все 90%», — подчеркнул Хайтин.

Но проблема-рекордсмен в практике Mechanica AI — сбитые отметки времени в разных информационных системах внутри организации. Причем в некоторых случаях — с плавающей разницей между часами. Для оператора, управляющего физическим процессом в реальном времени, эта разница не имеет значения, так как он собственными глазами одновременно видит показания приборов. А вот сопоставить исторические данные разных систем и использовать их — в этом случае уже нельзя. Чтобы спасти ситуацию, приходится строить интеллектуальные программные решения, что обходится гораздо дороже, чем время системного администратора на настройку часов.

Для предотвращения подобных проблем рекомендуется крайне аккуратно относиться к процессу накопления исторических данных. «Не надо выкидывать сырье, хуже всего бороться потом с алгоритмами агрегации и очистки», — предостерег Хайтин. Он также советует протестировать собранные данные на целостность, построив учебную модель. А также не забывать притчу: «Если лошадь сдохла, слезь с нее, а не пытайся ее оживить». Иногда не стоит «городить огород» интеллектуальных решений, а надо просто смириться с потерей данных.

Высококонкурентная среда вынуждает торговлю становиться цифровой, и ключевые конкуренты X5 Retail сегодня — тоже цифровые гиганты наподобие Mail.ru и «Яндекса». Отвечая на вопросы участников конференции «Качество данных 2020», проведенной издательством «Открытые системы», директор по работе с данными X5 Retail Group Тигран Саркисов констатировал сложившееся положение: «Для нас это вопрос существования: либо мы будем развиваться как технологическая компания, либо не выживем».

Количество данных не переходит в качество само по себе, для этого приходится прикладывать усилия, подчеркнул он. При этом наличие «скрытых ИТ» и «подпольных» баз данных служит одним из признаков проблем с качеством данных и сигналом низкой эффективности процессов организации работы с ними.

Низкое качество данных несет множество рисков для ретейлера — начиная от штрафных санкций из-за ошибок в отчетности и заканчивая прямыми потерями. Наиболее дорогостоящие из них связаны с ошибками в прогнозировании спроса и в выборе места размещения складов. Кроме того, в последнее время в фокусе специалистов X5 — риск упущенной выгоды.

Даже обладая неплохим арсеналом средств управления качеством данных, нужно помнить, что инструменты управления качеством не работают без четких бизнес-процессов и соответствующей корпоративной культуры.

Не стоит приступать к нормализации данных, пока не будет построен бизнес-процесс или хотя бы не станут ясны его основные контуры, полагает Саркисов. Сначала следует наладить конкретные процессы и исправить в них ошибки, и лишь потом можно будет очищать данные и приступать к внедрению Data Governance, назначениям на роли и к «обвязке» их KPI по всей компании. Это практично и дает хорошие, а главное устойчивые результаты, которые не пропадут через месяц-другой.

Самое тяжкое и при этом бесполезное занятие, по мнению Саркисова, — это очистка неиспользуемых данных. И поскольку качество данных пропорционально частоте их использования, для повышения качества он рекомендовал увеличивать количество потребителей данных.

Специфика работы в X5 заключается в том, что большая часть информации формируется силами множества небольших партнеров, поставляющих не только товары, но и данные. При этом далеко не все они обладают достаточной квалификацией в ИТ. Чтобы повысить качество данных, необходимо внедрять культуру работы с ними. И в этот процесс обязательно нужно вовлекать партнеров. Мотивировать их очень важно. Если партнеры станут своевременно актуализировать, например, описания товара, то это существенно упростит работу по очистке данных, сэкономит колоссальное количество энергии, затрачиваемое на коммуникацию, расследование инцидентов и пр.

Обязательный компонент обеспечения качества — дисциплина. За качество данных отвечает каждый сотрудник компании, и крайне важно работать с лидерами «антирейтинга», подчеркнул Саркисов. Чек-лист для контроля процесса работы с данными включает проверку наличия полномочий, распределения ролей и ответственности. «Убедитесь в том, что вас не воспринимают как уборщицу», — посоветовал он коллегам и призвал их пропагандировать важность правильной работы с информацией и воспитывать в сотрудниках культуру предоставления обратной связи. «Культурный ингредиент» в вопросах качества тяжело измерить, но без него далеко не уедешь.

И конечно, необходимо обучение персонала, особенно нового. Очень важны специальные тренинги. «Встраивание в 'курс молодого бойца' блоков про важность качества данных и его влияние на бизнес нам крайне помогло, — отметил Саркисов. — Обучить проще, чем исправлять последствия».

Данные, оставляемые нами в Сети, становятся «пищей» для самых различных сервисов, и в первую очередь для решений цифрового маркетинга. Именно они позволяют бизнесу узнать о желаниях потребителя раньше его самого и приносят интернет-магазинам дополнительные продажи. Ярким представителем таких систем является сервис персонализации электронной коммерции, разработанный компанией Retail Rocket. Эту систему мультиканальной персонализации используют более тысячи интернет-магазинов от Европы до Южной Америки.

Retail Rocket выявляет потребности посетителя магазина с помощью анализа его поведения и товарной матрицы ретейлера. Для формирования персональных рекомендаций используются контентная и коллаборативная фильтрация, предсказательные модели на основе машинного обучения и цепей Маркова, байесовская статистика, а также алгоритмы гибридной персонализации в реальном времени. Как развивается эта рекомендательная система и с какими трудностями сталкивается бизнес, основанный на больших данных, рассказал Роман Зыков, Chief Data Scientist компании Retail Rocket и претендент на премию CDO Award 2020.

— С чего началось создание рекомендательной системы?

Мне просто было интересно. Я занимался ее разработкой в порядке хобби еще c 2004 года, работая в Ozon.ru и Wikimart.ru. Важную роль сыграли личные встречи с Андреасом Вейгендом, одним из создателей рекомендательной системы Amazon, ДиДжей Патилом, Chief Data Scientist Белого дома при Бараке Обаме, а также с Эриком Колсоном, в ту пору директором по алгоритмам Netflix. Общение с ними произвело на меня сильное впечатление, стало понятно, как развиваться, чтобы получить не собранное «на коленке» решение, а технологию «как в лучших домах» Калифорнии. Потом я присоединился к Николаю Хлебинскому и Андрею Чижу, которые пытались построить аналогичный сервис, и хобби превратилось в бизнес.

— Какова ваша роль в компании сегодня?

Акционер, директор по аналитике. Также по-прежнему занимаюсь разработкой в качестве руководителя небольшого научно-инженерного подразделения из трех человек. Мы соединяем науку с инженерией и бизнесом. Поскольку понятие data scientist несколько размытое, я бы назвал себя директором по алгоритмам, но и данными я тоже занимаюсь — администрирую огромный пласт информации, который у нас есть.

— Что представляет собой ваш продукт и для чего он предназначен?

У интернет-магазина, как правило, очень большой ассортимент — иногда сотни тысяч наименований товаров, которые надо как-то продвигать. В свою очередь, интернет-пользователь что-то ищет. Надо эти интересы сложить и быстро вытащить из каталога то, что нужно потребителю.

Система мультиканальной персонализации — комплекс алгоритмов больших данных, результат работы которых выдается пользователям в любых каналах коммуникации с клиентом. Информация о поведении пользователей собирается в нашем облаке и из него же отправляется клиенту в форме товарных рекомендаций или в виде других продуктов, чтобы показывать их на сайте или доставлять покупателям по каналам коммуникации: сайт, электронная почта, SMS, push-уведомления и т. д.

— Какие данные используете и какие ресурсы задействуете для их обработки?

Мы собираем и обрабатываем данные о поведении пользователей на сайтах (логи), а также каталоги интернет-магазинов, которые мы обслуживаем. Это настоящие большие данные — петабайты информации. За сутки системой «переваривается» больше ста миллионов приходящих извне событий. Для этого мы построили аналитический вычислительный кластер из 140 серверов. Стараемся минимизировать затраты на техническое обслуживание, оптимизируя вычислительные задачи.

Программы пишем на функциональном языке Scala, который, в отличие от широко распространенного Python, мало кто использует. Из-за этого, с одной стороны, возникают очень высокие требования к профессионализму программистов, но с другой — система получается инженерно продуманной и устойчивой.

— Специалистов по Scala ищете на рынке?

Нет. Пробовали, но это нереально сложно. Я освоил Scala сам, и сотрудники тоже учатся самостоятельно, для этого разработана внутренняя программа обучения. Программисту на это требуется около полугода.

— Значит, приходится работать над их удержанием?

У нас довольно интересная работа. Мы очень сильно отличаемся от других компаний в плане инженерной составляющей алгоритмов, их тестирования и доставки клиенту. К примеру, когда пишется код на Scala, компилятор сообщает, где примерно совершена ошибка. Плюс лаконичность языка и инженерные практики, которым нас научила инженерная команда. Например, мы очень сильно дробим задачи, а чтобы уточнить их трудоемкость, беремся за карты Planning Poker. Для исследователя данных это следующий уровень — работа инженера по машинному обучению.

Кроме того, Retail Rocket — это площадка для развития, где каждый сотрудник может взяться за стратегические задачи и претендовать на позицию управленца через прозрачно выстроенную систему планов развития и конкурсов. В прошлом году у нас кардинально изменилась оргструктура: появился своего рода корпоративный университет, кующий управленцев. Через него прошло немало сотрудников, которые стали менеджерами.

— Используете ли методы глубинного обучения?

В некоторых задачах анализа текстов (описаний товаров, каталога, характеристик) используем. Глубокая нейронная сеть помогает сделать рекомендации лучше. Но обычно сложные методы стараемся не применять. Потому что, запуская в продуктивную эксплуатацию систему для тысяч клиентов, приходится помнить о стоимости вычислений. Сложные алгоритмы увеличивают время вычислений и нагрузку на сервер, не давая соответствующего эффекта.

Мы постоянно анализируем научные статьи по рекомендательным системам, пишем по ним алгоритмы и тестируем на небольшой выборке магазинов. Для этого выстроен специальный процесс. Но крайне редко видим, чтобы суперсложные методы давали прибыль при A/B-тестах на реальных продажах.

— Как функционирует система? Из каких технологических компонентов она построена?

Все технологические решения обработки больших данных — Open Source. Мы за этот софт не платим.

У нас есть скрипт, работающий в браузерах на стороне заказчиков, которые передают нам данные о поведении своих покупателей. Мы их собираем, и через систему Apache Kafka, которая используется как транспорт, эти данные поступают на серверы Hadoop в аналитическую среду Apache Spark, где их обрабатывают алгоритмы, написанные на Scala. После этого переработанная информация заливается в базы данных Redis и MongoDB. Далее с ней работают системы, задача которых — выдать статичные рекомендации или персонализировать выдачу.

Для технической поддержки, исследований и быстрой аналитики используем также ClickHouse от «Яндекса», так как Spark и Hadoop довольно медленные для такого рода задач.

— То есть какие-то задачи решаются в реальном времени?

Да, персональные рекомендации, которые команда, обслуживающая фронтэнд, реализует на платформе .NET и распределенных базах данных. Здесь основные алгоритмы (товарной сегментации аудитории и др.) склеиваем с персонализацией и получаем алгоритмы персональных рекомендаций, работающие онлайн.

— С какими трудностями пришлось столкнуться при создании технологии?

Могу назвать трудности с масштабированием и с тем, что клиенты часто недооценивают сложность этой сферы, всех ее нюансов. Кроме того, прямой эффект от товарных рекомендаций очень сложно подсчитать.

Еще одна проблема — несоответствие научных статей об эффективности рекомендательных алгоритмов реальной жизни. У глубинного обучения, нейронных сетей есть удачные сферы применения — звук, изображение, текст. В таких областях, как рекомендательные системы, их эффективность хромает. Мы создавали такие поведенческие рекомендательные системы, но не увидели прибыли на реальных A/B-тестах.

— Но если опыт невоспроизводим, наука ли это?

Это бич для науки о рекомендательных системах.

— Каких результатов позволяет добиться ваше решение?

Retail Rocket помогает интернет-магазинам вывести маркетинг на новый уровень, повысив их продажи через внедрение технологии персонализации. Подстройка сайта и email-рассылок под интересы пользователя осуществляется в реальном времени. Таким образом, это поднимает уровень конверсии и показатель удержания пользователей, а также увеличивает размер среднего чека и количество товаров в заказе.

Степень увеличения конверсии зависит от специфики магазина, от того, как настроены и размещены блоки рекомендаций на сайте. Специальная команда следит за тем, чтобы наши клиенты всегда были в плюсе — получали больше, чем они вложили в систему.

Но для меня более важна другая метрика: сколько человек воспользовались нашими рекомендациями, насколько они были интересны, когда пользователь кликнул на наш виджет и приобрел этот товар. Таких продаж в прошлом году только в России было совершено на сумму более 21 млрд руб. Если взять оценку российского рынка интернет-торговли от Data Insight, это 1,1% его объема. Но такой подход — косвенный показатель нужности рекомендаций, более правильной метрикой считается все-таки A/B-тест. Так как с позиции научного скептицизма никто точно не знает, насколько изменились бы продажи в отсутствие рекомендательной системы.

— Как обстоят дела с конкуренцией в области создания рекомендательных сервисов?

За рубежом конкурентов много, магазины часто покупают западные решения, ориентируясь на известность брендов. Но мы способны конкурировать и конкурируем. Например, в числе наших клиентов Decathlon в Голландии, Mothercare в Ирландии. В России мы лидируем с большим отрывом от остальных компаний, наш главный конкурент — собственная разработка магазинов.

Пройти обучение на курсах по машинному обучению, на первый взгляд, совсем не сложно, поэтому возникает большой соблазн написать алгоритмы самостоятельно. Но проблема в том, что написание алгоритма, которому учат на курсах, — это лишь 10% работы, а его «обвязка», склейки, корректировки, правила использования дополнительной информации сильно увеличивают трудоемкость. Затем созданное ядро нужно протестировать и поддерживать его устойчивость — для этого у нас есть специальные тесты, и мы каждый день проверяем, все ли в порядке.

Кроме того, продукт, который не развивается, — мертвый продукт. Меняется персонал заказчика, меняются требования. Любой алгоритм всегда нужно улучшать.

— То есть персонализация производится не только под нужды покупателей, но и под запросы бизнес-пользователей?

Да, и это играет большую роль. Специалисты, долго работающие в своей области, убеждены в том, что знают «лучше, чем машина». Однако на практике неожиданные и даже странные рекомендации программы в параллельных A/B-тестах оказываются более эффективными, чем предложенные экспертами. «Машина» и big data часто выигрывают. При этом некоторые рекомендации выглядят абсурдно: например, показывают вместе с туалетной бумагой наждачную бумагу. Это не шутка, такие случаи на самом деле были. А машина не обладает разумом, поэтому алгоритмы дополнительно приходится «обвешивать» правилами, чтобы таких ситуаций было меньше.

— Какова рыночная потребность в подобных решениях?

Система, повышающая конверсию, — это обязательный компонент в каждом онлайн-магазине. Если бы я был владельцем магазина, то предпочел бы готовое решение, потому что им проще управлять, видеть затраты и оценивать эффективность. Затраты на внутреннюю разработку чрезвычайно сложно подсчитать.

— Чем ваша система отличается от других?

У нас огромная экспертиза. Мы сделали тысячи тестов разных вариаций алгоритмов, что эквивалентно примерно 50 человеко-годам. Специальное подразделение из пяти человек занимается исключительно тестированием рекомендаций, пробуя различные комбинации алгоритмов и идеи, которые мы почерпнули на конференциях, у клиентов или придумали сами. Интересные гипотезы кодируем и прогоняем на старых логах, проверяя, что меняется в итоге. Сомневаюсь, что у каждого интернет-магазина хватит на это времени, ресурсов и знаний.

— Человека, купившего диван, всю следующую неделю, по милости рекомендательных сервисов, «бомбят» рекламой диванов. В вашей системе эта проблема решена?

Есть рекомендательные системы статические и персонализированные. В персонализированных мы эту проблему решили: мы знаем, по каким категориям определять повторные покупки. Типичный пример — кошачий корм. Для таких категорий есть специальные рекуррентные алгоритмы. Если человек купил дрель, мы знаем, когда ему понадобятся сверла.

Но есть загвоздка. Мы проводим эксперименты офлайн: если бы показали другие товары, получили бы больше продаж или нет? Такой анализ используется в большинстве научных статей, и это — большая ошибка, потому что алгоритм реально меняет поведение людей! В научных статьях по обучению рекомендательных систем описывается получаемый эффект, а в действительности его не видно, потому что авторы пренебрегли влиянием алгоритма на поведение пользователей. И это поведение отличается от исторических данных. Но как сделать по-другому, никто не знает.

Два года назад мы даже выложили специально сделанный дата-сет в библиотеку на Kaggle, решив, что это будет полезно для научного сообщества. Там полный набор, содержащий данные о поведении пользователей, каталог магазина и описание товаров. По нему уже книги написаны, но его до сих пор скачивают по несколько десятков раз в день, так как хорошие источники данных найти трудно. У меня в свое время такого дата-сета не было.

— Сейчас люди стремятся закрыть свое информационное пространство, спасаясь от напора рекламы: игнорируют звонки с незнакомых номеров, устанавливают программные блокировки и т. д. Эта тенденция не станет препятствием для развития рекомендательных сервисов?

Существует «черная» зона, когда собранные данные продаются непонятно кому и человека начинают спамить. В «серой» области балансируют между интересами пользователя и интернет-магазина, которому все-таки нужно продавать. Рассылки, например, иногда раздражают пользователя, но от них можно отписаться.

Мы находимся в «белой» зоне: данные никуда от нас не уходят, пользователь ищет товар, и рекомендация ему помогает. С точки зрения этики не подкопаешься. Я и сам пользуюсь рекомендациями собственных алгоритмов для выбора товара.

— Как планируете развивать вашу технологию?

В прошлом году архитектура платформы была модифицирована, благодаря этому в 2020 году мы предложим рынку инструменты для автоматизации маркетинга нового уровня. Будем наращивать количество и качество средств персонализации, пополним стек новых алгоритмов и их комбинаций. Еще раз попробуем использовать глубинное обучение в обработке текстов на естественном языке исходя из здравого смысла и накопленного опыта. Возможно, усложним систему фильтрации и правил.

Компания «Атомстройэкспорт» (АСЭ), инжиниринговый дивизион госкорпорации «Росатом», проектирует и строит атомные станции по всему миру и является одним из лидеров этого бизнеса в международном масштабе. Компании принадлежит более 30% глобального рынка сооружения АЭС, зарубежные заказы составляют 80% всего портфеля АСЭ.

В отечественной атомной энергетике «Росатом» является монополистом, но на глобальном рынке работает в условиях жесткой конкуренции и должен быть на гребне современных тенденций развития отрасли. В АСЭ подчеркивают, что цифровизация для «Росатома» и для его инжинирингового дивизиона — не модное веяние, а жизненная необходимость, реальное оружие конкурентной борьбы.

Ольга Толстунова, вице-президент АСЭ по цифровизации и номинант премии CDO Award, рассказывает об одной из ключевых инициатив в рамках стратегии цифровизации компании — системе управления информацией Multi-D IMS и первых результатах ее применения на проекте строительства АЭС «Пакш-2» в Венгрии.

— Расскажите о предпосылках появления системы Multi-D IMS.

После относительного спада в 90-е годы в новом тысячелетии произошел резкий рост портфеля заказов «Росатома». Сейчас одновременно сооружаются 34 энергоблока, и каждый такой объект включает в себя более 10 млн элементов.

При этом заказчиков АЭС как на внутреннем, так и в особенности на внешнем рынке перестало удовлетворять выполнение проектов с заранее оговоренными условиями. От нас стали требовать комплексного, динамичного подхода, подразумевающего цифровизацию работ на всех стадиях жизненного цикла. Вместе с физическим объектом теперь необходимо передавать заказчику информационную модель станции для использования на этапах эксплуатации и модернизации.

В этих условиях стала очевидна необходимость кардинальных изменений в организации проектов сооружения АЭС с применением передовых технологий. В компании разработана и постоянно развивается собственная методология управления проектами Multi-D, а на ее основе реализована цифровая платформа, обеспечивающая тотальную информационную поддержку проекта. Платформа позволяет не только создать 3D-модель, но и связать все этапы от проектирования до эксплуатации в одну информационную базу, которая активно влияет на весь проект.

Ядром цифровой платформы Multi-D является система управления информацией на проекте сооружения АЭС — IMS, которая относится к классу систем управления жизненным циклом объекта (PLM). В ее реализации мы переходим от документоцентричного подхода к управлению данными об объекте. Система IMS вовлекает всех участников проекта — заказчика, подрядчиков и поставщиков — в единое информационное поле, аккумулирует всю информацию об объекте и управляет ею, обеспечивает создание оптимальной конфигурации объекта, реализует процессы управления изменениями и требованиями, предоставляет единое пространство хранения и обмена данными, а также технической документацией на их основе.

В конце 2014 года было заключено соглашение между Россией и Венгрией о строительстве двух новых энергоблоков на АЭС «Пакш». Требовалось адаптировать проект «Пакш-2» с учетом норм безопасности Евросоюза, а также обеспечить его полную прозрачность с точки зрения соответствия требованиям заказчика и регулятивным нормам страны и ЕС. Для решения этих задач и была создана инновационная система управления информацией.

— Какие задачи решает IMS на проекте «Пакш-2»?

На венгерском проекте, как и на большинстве наших проектов, АСЭ выступает в качестве ЕРС-подрядчика, то есть берет на себя полную ответственность за процесс сооружения атомной станции, а по окончании проекта как минимум пару лет эту станцию сопровождает и только потом передает ее заказчику. Вся информация о проекте за эти годы собирается в нашей системе.

Основные этапы сооружения АЭС — это проектирование, закупка и поставка оборудования, строительство, пусконаладочные работы и сдача энергоблока. Проект «Пакш-2» находится на стадии проектирования: «зеленый свет» возведению этой атомной станции ЕС дал в марте 2019 года. Поэтому сейчас основные задачи, которые решает IMS на проекте, — это обеспечение прозрачности процессов проектирования и взаимодействие с заказчиком по сдаче ему проектной документации. Заказчик имеет веб-доступ к системе и постоянно с ней работает. Например, может проверить, в какой части проекта реализовано то или иное требование к станции.

На стадии закупок в IMS будут накапливаться все данные и сохраняться история изменений по закупкам для всех элементов станции, на стадии строительно-монтажных работ — собираться информация о выполненных физических объемах. Таким образом, в системе накапливаются полные данные о каждом элементе на всех этапах жизненного цикла, так что заказчик потом сможет проследить всю историю ее создания.

— С какими данными работает система?

С двумя основными классами данных. Первый — это параметрическая информация об оборудовании, элементах, материалах. Второй класс — объекты, которые рождаются из модели: чертежи, исполнительная документация и т. д.

Система идентифицирует каждый элемент данных, его атрибуты, управляет взаимоотношениями с другими элементами и отслеживает изменения каждого из них. Для контроля жизненного цикла каждого элемента формируется индивидуальная политика, и все изменения проходят ревизию и контроль. Причем система моделирует не только станцию и оборудование, но и людей, группы, роли в бизнесе, а также способ их организации.

— Почему платформа называется Multi-D?

Информационная модель станции не ограничивается трехмерной моделью. Помимо нее, заказчик может получить информацию об объекте по множеству других разрезов, таких как ресурсы (объемы работ), деньги (стоимость материалов) и пр. На проекте «Пакш-2» заказчик может просматривать модель в разрезе работ, в разрезе материалов, а также по каждой из дисциплин в отдельности (например, по вентиляции, по трубопроводам) и на их пересечении. Одно из преимуществ системы в том, что информация по всем аспектам объединяется. Проектировщики разработали разные системы: электротехническую, вентиляционную, трубопроводную, — а IMS сводит их вместе, позволяя увидеть коллизии. Например, труба проходит там, где должна находиться вентиляция, или дверной проем запланирован в месте, где идет важнейший трубопровод. Причем выявляются не только геометрические, но и параметрические коллизии — например, если соединяются трубопроводы в три и в шесть атмосфер.

Ключевая особенность системы IMS — это возможность увязывать требования заказчика и их исполнение с информационной и документационной моделями. Например, задано требование: выполнить перегородку толщиной не менее 10 м. В параметрической трехмерной модели перегородки указывается, что данное требование выполнено, и эта информация затем увязывается с документом, который формируется из модели и отправляется в закупку. На его основе создаются лоты, и на протяжении всего этапа закупочной процедуры отслеживается, выполнены ли требования, содержащиеся в информационной модели. Работая с такой моделью, мы всегда можем получить полную бумажную версию проектной документации, просто нажав на кнопку.

— Такой подход близок к созданию цифрового двойника атомной станции?

Нам часто говорят, что мы делаем цифрового двойника, но это не совсем корректно. Цифровой двойник — это модель работающей станции, позволяющая в реальном времени собирать данные с датчиков на оборудовании и имеющая инструменты моделирования критических ситуаций. Наша информационная модель может служить фундаментом цифрового двойника, но его создание — уже задача заказчика.

— На каких технологиях реализована IMS?

Есть два варианта: в первом в качестве ядра используется PLM-система Enovia от компании Dassault Systemes, а во втором — импортонезависимая платформа. В обоих случаях ядро дополняется огромным пластом собственной разработки.

На проекте «Пакш-2» реализуется первый вариант. Система включает несколько модулей, в том числе подсистемы электронного документооборота, календарно-сетевого планирования, управления требованиями, управления проектом, управления конфигурацией проекта, работы с 3D-моделью, а также базу данных и веб-портал.

— Можно ли сказать, что IMS работает с большими данными?

АЭС — это 10 млн элементов, и у каждого из них несколько тысяч параметров. Однако когда говорят о больших данных, подразумевают использование таких технологий, как автоматическая кластеризация, предиктивная аналитика, нейросети. В этом смысле наши данные нельзя отнести к большим, но такие технологии могут применяться уже на этапе эксплуатации. Нашим заказчиком в России является концерн «Росэнергоатом», электроэнергетический дивизион «Росатома». С ним сейчас налаживаются интеграционные потоки, которые позволят заказчику накапливать данные уже во время сооружения АЭС и применять их в своей работе.

— Какие возможности IMS важны для повышения эффективности сооружения АЭС?

Основная особенность IMS состоит в том, что система дает возможность вовлекать заказчика в процессы проектирования станции: он может выполнять согласование всех параметров и моделей непосредственно в системе. Изменения отражаются в виде ремарок, и мы видим, на основании чего они произведены. Автоматическое накопление изменений — одна из важных инноваций системы, которая помогает оптимизировать процессы сооружения станции.

Доступ к системе получают все участники проекта — не только мы и заказчик, но также субподрядчики и поставщики, как российские, так и зарубежные. Например, один из субподрядчиков проекта «Пакш-2», который занимается строительно-монтажными работами, предложил использовать технологию рефабов в металлических конструкциях, благодаря чему их можно будет привозить с завода в готовом виде, а не сваривать на месте, как предполагалось. Такая новация позволит сократить сроки строительства на 30%.

— Какие преимущества уже дало использование системы IMS на проекте «Пакш-2» и какие ожидаются?

Благодаря системе, мы передали техпроект заказчику точно в срок, для «Росатома» это важно. При таком огромном портфеле проектов проблемы со сроками неизбежны, но на внешнем рынке каждый день просрочки — это наши финансовые потери и репутационные издержки. В конкурсе на реализацию проекта «Пакш-2» сроки сооружения были нашим конкурентным преимуществом, и мы их выполняем. А если бы пришлось возить документацию традиционно («камазами»), то только передача проекта могла бы занять несколько месяцев.

В конце строительства мы, благодаря использованию системы, передаем заказчику цифровую станцию, и он сможет по ее любому элементу проследить всю историю. Это дорогостоящий нематериальный актив, наличие которого в разы повышает эффективность работы заказчика.

Система IMS обеспечивает накопление знаний по сооружению станции, и их наличие позволяет в следующий раз не проектировать все заново, а применить типовые решения. Это огромная экономия на ресурсах. С другой стороны, атомная отрасль очень консервативная, и заказчик не хочет никаких инноваций в атомной станции — ему нужны проверенные решения. В этих обстоятельствах система IMS, которая накапливает историю по проектам, становится гарантом того, что предложенные решения обеспечат заказчику необходимые безопасность и надежность объекта.

Резюмируя, могу сказать, что без информационной модели, создание которой обеспечивает IMS, мы были бы просто неконкурентоспособны на мировом рынке. Этот рынок очень жесткий и к тому же сильно политизированный, и репутационные издержки могут быть очень велики.

— Какая роль отводится IMS в стратегии цифровизации вашей компании?

Стратегия цифровизации АСЭ включает в себя несколько направлений. Это реализация классических ИТ-сервисов и обеспечение непрерывности бизнеса для критичных бизнес-процессов, управление данными как цифровым активом предприятия, цифровизация внутренних процессов управления проектами сооружения, архитектура предприятия, накопление знаний по проекту и внешняя цифровизация — формирование и передача информационной модели заказчику. Ключевая роль IMS — именно на этом последнем направлении. Система отвечает за консолидацию данных по проекту из всех источников (внутри дивизиона, из других дивизионов «Росатома», от заказчика, подрядчиков и поставщиков) и за формирование модели.

Подчеркну, что IMS является частью общей архитектуры управления данными предприятия, но охватывает только информацию, предназначенную для передачи заказчику. С помощью системы мы передаем заказчику информационную модель станции, но не завода по изготовлению станции. Наши ноу-хау по процессам сооружения АЭС являются достоянием Российской Федерации и не могут быть открыты вовне.

Технологии «умного города» становятся все актуальнее с учетом продолжающейся цифровизации всех аспектов нашей жизни. В GS Group задумались о выводе на рынок таких систем и создали решение на базе собственного инновационного кластера «Технополис GS», расположенного в городе Гусеве Калининградской области. По внутренним оценкам, совокупная экономия средств от внедрения решения составит не менее 40% на горизонте пяти лет. Развертывание решения в «Технополисе GS» в качестве пилотного проекта позволит компании отработать его функциональность и подготовить для вывода на внешний рынок. Об особенностях проекта рассказывает Олег Алешкин, директор по информационным технологиям холдинга GS Group и номинант на премию CDO Award .

— Какова история работы компании с технологиями «умного города»?

GS Group развивает направление «умного города» с 2011 года. Тогда мы выбрали несколько ключевых элементов: ЖКХ, транспорт и безопасность. Акцент решили сделать на ЖКХ: с одной стороны, это наиболее востребованная конечными пользователями сфера, с другой — это инструмент, c которым эксплуатирующие организации работают каждый день.

Когда мы решили строить жилой квартал в «Технополисе GS», то понимали, что нам потребуется большое количество периферийного оборудования — датчиков и приборов учета. А значит, придется работать с большими массивами данных. Поэтому мы задумались о создании собственного ЦОДа. Также было необходимо определиться с мощностями серверного оборудования, на базе которого планировалось развертывание узла «умного города» — Интернета вещей, в том числе промышленного.

Еще одной важной задачей стало создание полноценной транспортной среды передачи данных по территории кластера. Новые линии связи помогли бы нам успешно развивать любые сервисы.

Первые два этапа позволили в полной мере реализовать два из трех уровней инфраструктурной иерархии — ядро и сеть доступа. И мы подошли вплотную к вопросам периферии и информационной безопасности: конфиденциальности, целостности и доступности собираемых данных. На этом этапе мы оценили все возможные риски и пути их минимизации.

— С какого момента «все стало серьезно»?

Наверно, когда мы начали проектировать и строить транспортную сеть и сеть доступа на территории «Технополиса GS». Сложность была связана в первую очередь с историческими особенностями Калининградской области: под землей мы обнаружили разветвленную сеть старинных прусских инженерных систем. Необдуманное разрушение этой сети могло иметь катастрофические последствия. В итоге мы были вынуждены модернизировать старые сети. Как следствие, проект стал существенно дороже, и нам пришлось пересмотреть маркетингово-финансовую модель в части конечных сервисов и перспектив тиражирования. Демонстрация работы технологических решений не в идеальных лабораторных условиях, а в реальной среде является важной частью проекта нашего кластера. Ведь «Технополис GS» — это не только производство и жилая зона, это еще и своего рода полигон, на котором апробируются инновации и где с ними могут познакомиться потенциальные заказчики, инвесторы и представители власти.

К тому же мы коммерческая структура, и на первом месте для нас стоят положительные финансовые результаты. В ходе долгой работы над проектом мы смогли разработать не только инженерное решение, но и выверенную модель, которую можно предлагать заказчикам.

— С какими еще проблемами пришлось столкнуться?

Во-первых, было трудно определиться с выбором необходимых периферийных устройств — из-за их большого многообразия. Но мы выработали критерии совместимости и постепенно отсекали неподходящие варианты. В итоге пришли к единственно верному решению. Во-вторых, мы столкнулись с высокой степенью проприетарности, поэтому пришлось провести большую работу, чтобы повысить степень универсальности нашего ядра по отношению к периферии. И нам это удалось: теперь ядро может принимать данные с любой периферии при условии поддержки промышленных протоколов и наличия драйверов.

— Что было первичным в вашем проекте: потребность компании в технологиях smart city (использование для собственных нужд) или планы по выводу таких решений на рынок ?

Сейчас нас больше интересует вывод «умных технологий» на рынок. Но при этом мы не забываем и о собственных проектах. Поэтому распределение приоритетов идет в примерной пропорции 60 на 40 в пользу коммерциализации решений.

— Что представляет собой созданная платформа?

Платформа, апробированная в «Технополисе GS», автоматизирует процессы мониторинга, диспетчеризации, управления конечными устройствами, а также телеметрического сбора данных с приборов учета. Решение позволяет свести к минимуму ручной труд, тем самым повышая эффективность работы и устраняя проблему человеческого фактора. Также оно дает возможность соответствующим службам более оперативно реагировать при возникновении аварийных ситуаций.

Наша платформа — интеграционная шина, позволяющая объединять в себе решения от различных вендоров. Она может собирать воедино информацию с различных устройств по множеству протоколов, использует различные среды передачи данных, а также способна хранить и обрабатывать полученную информацию.

— Какие решения используются для работы с данными?

Система диспетчеризации ЖКХ — это программно-аппаратный комплекс с трехуровневой иерархической структурой. На первом уровне находятся оконечные устройства. Здесь информация собирается, проходит первичную обработку и передается на верхний уровень. Второй уровень — это каналы связи: локальная сеть GPON, сетевое оборудование, PLC-концентраторы и GSM-модемы. И третий уровень — ядро системы. К нему относятся сервер системы диспетчеризации, сервер сбора и хранения данных, сервер автоматизированной системы учета энергоресурсов и автоматизированные рабочие места.

Мы используем операционные системы на ядре Linux. В сочетании с проектными решениями на базе открытых SCADA-систем это обеспечивает гибкость и универсальность решения.

— Какие источники данных вы используете?

Данные собираются с конечного оборудования системы ЖКХ: датчиков, управляющих устройств, приборов учета энергоресурсов. Далее информация отправляется через контроллеры по различным каналам связи — как проводным, так и беспроводным. Затем она передается в ядро системы, где хранится, обрабатывается и анализируется.

— Есть ли в компании стратегия работы с данными?

В условиях глобальной цифровизации очень остро стоит вопрос сохранности данных. И мы делаем все, для того чтобы собранная нами информации была защищена от утечек или подмены. При необходимости мы готовы предоставлять должным образом защищенные данные партнерам или интегрировать их в корпоративные экосистемы.

— Какие функции реализуются для нужд инновационного кластера? Почему именно они?

Приоритет отдается функционалу диспетчеризации и учета услуг ЖКХ. Он позволяет более эффективно решать вопросы обслуживания клиентов, минимизировать время реакции при аварийных ситуациях, использовать по максимуму возможности энергосбережения и повысить общую энергоэффективность системы.

— Какой эффект ожидается от использования созданной платформы?

После внедрения платформы мы надеемся получить два основных результата: повысить качество жизни в инновационном кластере «Технополис GS» и развернуть современную демонстрационную площадку для будущих партнеров и заказчиков. Максимальный экономический эффект ожидается от вывода на рынок сервисной модели «решение как сервис». Мы готовы предложить понятный функционал, облачные технологии, юридическую чистоту решения и его техническую поддержку.

— Насколько востребованы, по вашим оценкам, подобные решения на рынке? Где именно они могут найти применение?

Направление «умного города» сейчас активно развивается, и соответствующие технологические решения становятся все более востребованными. Поэтому мы считаем эту область перспективной. К нашей платформе могут проявить интерес в первую очередь девелоперы, управляющие компании, а также администрации малых и моногородов.

— В каком направлении будет развиваться платформа?

Нам удалось разработать многофункциональную, гибкую и масштабируемую платформу для развертывания решений «умного города». К ней можно подключить неограниченное количество оконечного оборудования. Так что в перспективе на базе платформы можно реализовывать различные решения: от компактных («умные» дома, жилые зоны, кампусы) до более масштабных («умные» города и регионы). С технологической точки зрения возможна доработка платформы до интеллектуального облачного решения. И сейчас мы обдумываем такую возможность. В дополнение к ЖКХ в первую очередь будем развивать такие модули, как «умный транспорт» (в том числе «умные остановки») и «умное освещение». Большой потенциал мы также видим в развитии на базе нашей платформы разнообразных туристических и информационных сервисов.

Говоря о цифровой трансформации, обычно подразумевают перемены в бизнесе. Однако цифровизация отправляет на переплавку не только традиционные бизнес-модели, но и привычные способы социальной работы, придавая новую ценность решениям, основанным на данных. В компании «МегаФон» реализовали проект, который помогает волонтерам поисково-спасательного отряда «Лиза Алерт» искать пропавших людей. Алгоритм «МегаФон.Поиска» анализирует огромное количество информации и находит людей, которые были рядом с пропавшим человеком и могли его видеть.

О проекте, который спасает жизни,  о  подходах к работе с данными и шагах на пути к селф-аналитике, рассказал номинант CDO Award 2020 Леонид Черный, директор по управлению данными  «МегаФона». 

- Как зародился этот проект, c чего все начиналось?

Все началось с инициативы Big Data for Social Good ассоциации GSMА. Ее участники получили предложение подумать о вариантах использования искусственного интеллекта и больших данных для решения социальных проблем своего региона. К примеру, турецкий оператор связи Turkcell рассылает абонентам предупреждения о землетрясениях, от которых страдает восточная часть страны. Мы же считаем важным сделать поиск людей более быстрым и  результативным. Проект «МегаФон.Поиск» был реализован совместно с нашим  партнером «Лиза Алерт», с которым  мы  сотрудничаем с 2015 года, обеспечивая волонтеров связью и  Интернетом  во время поисковых  работ. При подготовке проекта  мы  учитывали опыт  Amber Alert — программы, которая уже много лет действует в США. В случае похищения или пропажи ребенка инициируется SMS-рассылка оповещений всем, чьи телефоны зарегистрированы в радиусе 70 миль от места, где его видели в последний раз. Причем эти сообщения игнорируют такие настройки телефона, как, например, беззвучный режим. Эта программа действительно спасает жизни, помогая находить детей.

У нас другая ситуация: мы действуем в рамках покрытия своей сети и  используем нашу абонентскую базу. Получив  одобрение  GSMА, мы  начали реализовывать проект, чувствуя в себе потенциал «нанести непоправимую пользу» обществу.

С Центром поиска пропавших людей, объединяющим большое количество волонтерских служб и поисковых отрядов, сейчас стараются сотрудничать все операторы, но другие проекты с подобными задачами мне неизвестны.

- С какими проблемами пришлось столкнуться и как с ними разбирались?

Разрабатываемое решение должно было соответствовать нормам законодательства о персональных данных, о связи, о тайне частной жизни. Чтобы получившийся инструмент можно было легально использовать, потребовалось  приложить много усилий по общению и согласованию  работы не только членов моей команды, занимающихся большими данными, машинным обучением и искусственным интеллектом, но также юристов и специалистов по информационной безопасности. При этом мы находились в плотном контакте с регулятором и правоохранительными  органами. 

- Какие данные и из каких источников использует «МегаФон.Поиск»?

  Мы применяем геоаналитику,  модели машинного обучения, пользовательские сегменты и социальный граф. У нас большое собственное хранилище,  содержащее  в том  числе  информацию об абонентах. Также мы использовали телеметрию с базовых станций и информацию, предоставленную координаторами Национального центра помощи пропавшим и пострадавшим детям.

- Как  действует  механизм «МегаФон.Поиска»?

Информация о пропавшем человеке проходит несколько ступеней, прежде чем попадает в  отряд  «Лиза Алерт», где ее консолидируют.  Все сведения вносятся  в веб-форму на ресурсах  «МегаФона»,  доступ к которой по двухфакторной авторизации есть у координаторов отряда.

На основании заполненной координатором веб-формы формируется ХML-файл, который содержит ссылку на загруженную на сервер ориентировку и остальную необходимую информацию. Наличие этого файла на сервере проверяется с интервалом в 1 минуту. С появлением файла запускается механизм, превращающий содержащуюся в нем информацию в набор параметров для системы машинного обучения, которая определяет перечень базовых станций, пул абонентов и формирует список идентификаторов.

Определив  базовые станции,  ближайшие к точке, где человек был замечен в последний раз, по логам телеметрии смотрим, кто из наших абонентов был зарегистрирован на этих станциях за час до и в течении часа после указанного координатором временного промежутка.

Если пропавший является нашим абонентом,  то,  помимо  прочего,  нам также известны наиболее частые входящие и исходящие звонки. Мы строим социальный граф по звонкам пропавшего, пересекаем эти два множества (социальный граф и телеметрию) и определяем круг людей, которые могли его видеть. Чем ближе к заданному промежутку  времени их звонки,  тем выше они в списке ранжирования. В результате формируется список из нескольких тысяч потенциальных свидетелей, которые могут обладать полезной для поиска информацией.

После проверки на соответствие правилам качества данный список отправляется на сервер. Программа сразу берет его в работу: рассылает по нему SMS со ссылкой на ориентировку, где есть фотография. Весь процесс занимает несколько минут.

- Какими результатами можете поделиться сегодня?

«Лиза Алерт» рассылает подобные сообщения с марта 2019 года. За 10 месяцев сервис использовался в 450+ поисках в более чем 40 регионах России. Количество наших абонентов, которые получают информацию, может варьироваться в довольно широких  пределах —  в зависимости от региона, времени суток и места, в котором пропавшего видели в последний раз. Для нас критичен не масштаб рассылки информации, а ее релевантность, так как именно это является фактором, позволяющим ожидать  отклика  с информацией, требующейся для успешного завершения поиска. Я сам попадал в такой список и получал SMS с ориентировкой. Это работает, потому что такая социальная роль большинству  людей  не чужда.  Они  чувствуют в себе  внутренний импульс помочь  и  реагируют —  это видно по количеству звонков и переходов по ссылке. Приблизительно в каждом третьем случае, когда используется «МегаФон.Поиск», люди  звонят  и оставляют информацию о  потерявшемся. Количество  переходов по ссылке на ориентировку еще выше. И самое  прекрасное:  уже есть кейсы, когда человек был найден благодаря  свидетельствам,  полученным через этот канал  коммуникации  (см. врезку 2).

- Как обеспечивается качество данных?

Мы применяем механизмы очистки данных,  удаляем ранее  не стертые логи людей, для которых присутствие на данной базовой станции нетипично — в основном это туристы и командировочные.

Несколько тысяч микросервисов-чекеров на корпоративном хранилище постоянно следят за потоком передаваемой и обрабатываемой информации с целью идентификации выбросов, выходящих за пределы статистических  погрешностей,  или  непопадания  в «маску» (например, номера телефонов, состоящие меньше чем из 7 цифр). Оповещение об аномалии автоматически отправляется оператору.

- В чем заключается стратегия работы с данными?

Ключевая задача, стоящая передо мной и моим  подразделением,  — предоставлять бизнесу корректные данные, на основании которых можно сделать выводы, трансформирующиеся в наши новые продукты.

- И каковы критерии уверенности в данных?

Создаваемые в компании дата-сеты сильно связаны между собой: любая цифра может быть верифицирована. Большой объем нашей работы связан с кросс-валидацией тех показателей, которыми мы оперируем. Например, в справочнике клиентов и системе биллинга есть общие данные. Когда  значения номера  одного и того же абонента не  совпадают,  мы либо не можем предоставить ему услуги, либо не можем  получить  за них оплату. Если такая проблема возникает, надо  выявить  и решить ее максимально быстро, чтобы обеспечить непрерывность бизнеса и предоставления сервиса.

- Что собой представляет инфраструктура для работы с данными? Какие платформы вы используете?

Основной стек, на котором мы работаем,  —  это Oracle,  а также используем  большое количество  решений  open  source.  Продукты, предоставляющие возможность работы с данными, появляются  часто. Мы  тестируем их, чтобы понять, дают  ли  они нам какие-то новые  возможности.  В большинстве случаев дают. Например, я счастлив, что компания «Яндекс» открыла для разработчиков свою СУБД ClickHouse. Мы очень активно используем Tarantool от Mail.ru Group. В некоторых задачах работают библиотеки, начиная от Cassandra и заканчивая Hadoop, который есть у всех. Обеспечивать связность всех этих систем — отдельная задача, которой занимается моя команда.

Еще несколько лет назад подход был другим: давайте соберем в одно хранилище все что можно, начиная от телеметрии и заканчивая бухгалтерской информацией, а потом подумаем, что с  этим  делать. Нет.  Должны  быть  корректные, верифицированные данные, которые приносят  пользу бизнесу.

У нас есть озеро данных — хранилище всей имеющейся в компании неструктурированной информации.  Но  есть  и  хранилище структурированной  информации — ее вычленили  инженеры, архитекторы, специалисты по внедрению  бизнес-аналитики. Определив,  как она должна храниться, чтобы приносить пользу бизнесу,  они сделали  информационную  витрину для такого хранилища.  По большому счету, это огромный  файл  Excel с агрегированными и структурированными данными, который является «источником правды» для бизнеса.  Параллельная задача — поиск  с помощью машинного обучения еще  чего-то,  что мы до сих пор не  обнаружили в массе неразобранных данных,  не посчитали и из чего не извлекли  пользу.  Основная цель — работа со структурированными данными.

- Есть мнение, что собрать корректные данные не получится, если сразу не поставить задачу, для решения которой  они собираются.  Вы согласны с этим?

Не совсем. Бизнес всегда смотрит вперед, мы должны предсказывать, что может ему понадобиться.

Наше хранилище структурированной информации занимает почти 700 терабайт — это данные, про которые мы все знаем. К нему есть наборы витрин, комбинируя которые мы можем  предоставлять  бизнесу необходимую информацию.

- Развиваете ли вы самообслуживание в аналитике?

Переход к селф-аналитике является одной из стратегических целей Управления данными. Мы активно движемся в этом направлении, понимая, что это снимет с нас часть  сверхнагрузки  по удовлетворению запросов бизнеса. Но не стоит  забывать о том,  что  для такого развития требуются определенные знания.  В прошлом году  моя команда обучила более тысячи человек работе с BI-системами, применению логики  больших данных и  использованию возможностей, предоставляемых  внутренним пользователям  при  работе с большими  данными.  В «МегаАкадемии» курсы по Big Data, которые ведут мои ребята,  —  одни из самых востребованных. Мы прикладываем много сил, чтобы поддерживать их актуальность. Это самый первый большой шаг, сделанный в  направлении  селф-аналитики.

Также у нас есть набор общеобразовательных курсов,  на  которых мы даем сначала начальное, а  затем  и углубленное представление об имеющемся стандартном инструментарии. Для селф-аналитики это Tableau — инструмент визуализации данных, принадлежащий Salesforce. Для тех, кто работает на стеке Microsoft и для кого основным источником данных служит Excel, инструмент для самостоятельного анализа очень простой — Microsoft Power BI. Из продуктивных решений, которые выдерживают  одномоментную нагрузку при подключении  тысячи пользователей, мы используем Oracle BI, для части задач — SAP Business Objects. Работе с ними мы учим всех желающих.

  Кроме того,  нам поступают запросы на обучение конкретным  функциям —  например, от руководителей региональных офисов. Тогда один из моих сотрудников за несколько часов  разбирает  решение конкретных задач.

В целом к  организации внутреннего обучения привлекается  не менее трети сотрудников команды, насчитывающей 130 человек.

- Какое место проект «МегаФон.Поиск» занимает в трансформации компании?

Сегодня телеком сфокусирован на предоставлении сервисов, но со временем он должен стать шире, чем  ИТ.  Очень хочу, чтобы таких проектов, как  «МегаФон.Поиск»,  стало больше, потому что ценность, которую мы приносим в мир,  —  не только в сервисах и возможностях, но и в пользе  для общества. 

- Как планируете развивать проект?

Мы работаем над расширением покрытия. В настоящее время «МегаФон.Поиск» доступен в 40 регионах из тех 48, где работает «Лиза Алерт». Постепенно мы наращиваем охват и в течение примерно трех месяцев планируем закрыть все 48 регионов. Это требует от нас сегментации абонентской базы, оценки ее постоянства, адаптации для каждого региона механизма сверки.

Пропавших людей ищет не только «Лиза Алерт», и я искренне  надеюсь на то,  что в этом году мы расширим сотрудничество с Центром поиска пропавших людей. В течение 2020 года мы рассчитываем обеспечить федеральное покрытие. Кроме того, мы считаем этот проект важным и интересным для государства и цифровизации.

- Возможно ли в перспективе сотрудничество с другими операторами для развития этого проекта?

Мы не можем объединить базы, но можем объединить усилия и сделать, например, универсальную витрину для доступа координаторов. Это не очень сложно, и мы готовы сотрудничать в этом с другими операторами.

Любая страховая компания заинтересована в том, чтобы ее клиенты покупали продукты самого широкого спектра. Но стоит ли страховому агенту тратить время на уговоры, если владелец полиса ОСАГО убежден в том, что КАСКО ему не нужен? При том, что другому клиенту, возможно, есть смысл предложить не только КАСКО, но и страховку квартиры и дачи. Как страховщикам угадать наши с вами предпочтения?

В компании «РЕСО-Гарантия» предпочли не угадывать, а построить математическую модель, которая позволит выявить клиентов с высоким уровнем спроса на продукты добровольного страхования среди владельцев полиса ОСАГО. Это поможет сделать кросс-продажи в агентской сети более эффективными.

Сергей Алешкин, руководитель по Data Science страховой компании «РЕСО-Гарантия» и номинант премии CDO Award, делится деталями проекта.

— Есть ли в компании стратегия работы с данными?

Мы только начинаем цифровизацию, и в ее рамках идет подготовка регламентов работы с данными. Сейчас взаимодействие организовано неформально, но все знают, кто за что отвечает и какие задачи должен решать. У нас есть ИТ-подразделение, которое обеспечивает стабильность работы систем обработки данных, есть специалисты, отвечающие за наполнение этих систем и за качество данных, и есть аналитики, которые работают с данными, в том числе строят математические модели.

— Что входит в зону вашей ответственности?

Я отвечаю за построение моделей, их внедрение в бизнес-процессы, поддержание их эффективности, мониторинг, переобучение при необходимости. Мне приходится тесно общаться с коллегами, обеспечивающими хранение и качество данных. Мою деятельность курирует заместитель генерального директора, отвечающий в компании за ИТ и аналитику.

— Каким образом вы выявляете задачи для применения машинного обучения?

«РЕСО-Гарантия» — коммерческая организация, поэтому во главу угла при выборе проекта ставится получение максимального бизнес-эффекта. На решение той или иной задачи может быть получен запрос от бизнеса, или же мы сами в процессе анализа данных можем обнаружить интересную зависимость и предложить бизнесу реализовать модель на ее основе. Но всегда запуску проекта предшествует анализ его окупаемости. Мы люди творческие, нам интересно экспериментировать с данными, но, приоритизируя проекты, мы исходим из того, что получит компания от внедрения конкретной модели.

— Как возникла идея проекта в области кросс-продаж?

Наиболее массовый продукт на рынке страхования — полис обязательного автострахования ОСАГО. Например, среди клиентов РЕСО порядка 15 млн человек покупают такие полисы. Но страховой компании нужно продавать и продукты добровольного страхования — полисы КАСКО, страхования имущества и др. Поэтому была поставлена задача увеличить кросс-продажи клиентам ОСАГО. Однако далеко не все они расположены покупать другие полисы.

Мы стали работать над выявлением кластеров клиентов с потенциально наибольшим спросом на продукты добровольного страхования. Значительная часть продаж компании идет через агентскую сеть. В процессе общения страховой агент может пропустить того самого покупателя, которому стоит предложить полис добровольного страхования, или сделать предложение формально и в результате упустить потенциального клиента.

Мы задумались над тем, чтобы создать модель, которая выявляла бы не просто клиентов ОСАГО с высоким спросом на продукты добровольного страхования, а именно тех из них, кто, скорее всего, еще не получал предложения от конкретного агента. То есть модель может сделать «работу над ошибками». Среди агентов есть новички, которые еще не научились всем тонкостям общения. Но и опытные агенты с большими портфелями тоже нуждаются в помощи, потому что им физически сложно уделить должное внимание всем своим клиентам. В зависимости от характеристик агента модель определяет, каких клиентов с высоким спросом на продукты добровольного страхования он мог пропустить, и передает ему полученную информацию. Анализируются около десятка параметров по каждому агенту: социально-демографические признаки (возраст, пол и т. д.), опыт и предпочтения по продажам страховых продуктов (срок работы в компании, история продаж по типам продуктов и т. д.).

В результате увеличиваются продажи, растут доходы агентов и их лояльность компании, а также доходы компании и лояльность клиентов, потому что они получают качественный страховой продукт, действительно необходимый в данный момент. Проект приносит выгоду всем сторонам.

— Тот самый случай, когда искусственный интеллект помогает сотрудникам, но не заменяет их?

Совершенно верно. Страховая компания работает через агентскую сеть, и наши клиенты, будучи лояльны бренду РЕСО, в значительной степени лояльны страховому агенту — конкретному человеку, с которым они взаимодействуют на протяжении долгого времени и которому доверяют. Поэтому задача заменить агента здесь не стоит — ему надо оказать эффективную помощь в поиске тех клиентов, которые купят продукты добровольного страхования.

Агенты, среди которых много людей в возрасте, отлично знают страховые продукты и умеют с ними работать, но при этом с недоверием относятся к ИТ. Поэтому поначалу проект был воспринят ими скептически, но, по мере работы, они оценили результативность такого подхода и попросили расширить возможности модели. Мы начинали с выявления потенциальных клиентов страхования имущества, затем добавили КАСКО.

— Как строится взаимодействие агентов с системой? Не возникают ли проблемы у не очень восприимчивых к ИТ сотрудников?

Вначале мы реализовали подсказку в момент продажи полиса о том, что данный клиент склонен к покупке определенного дополнительного продукта. Но потом поняли, что большинство агентов хотели бы заранее получать списки таких клиентов, чтобы спланировать свой визит или разговор с клиентом по телефону. Теперь мы готовим эти списки и передаем их агентам через руководителей агентской сети.

Агенты получают рекомендации искусственного интеллекта в CRM-модуле. Опытный специалист работает на страховом рынке несколько десятков лет, знает лично многих своих клиентов, и для него непривычен формат работы, когда ему рекомендуют, к кому обратиться в первую очередь. Для того чтобы пользоваться такой системой, агент должен убедиться на практике в том, что рекомендации действительно эффективны.

В адаптации агентов к работе с новым проектом очень помог опыт Школы РЕСО. У нашей компании одна из сильнейших агентских школ России, и мы задействовали ее потенциал. Все агенты проходят обучение кросс-продажам с помощью современных технологий.

Один из важных компонентов любого внедрения машинного обучения — постоянный мониторинг метрик модели. Если возникает существенное отклонение в качестве, модель необходимо переобучать. Помимо прочего, этот мониторинг позволил нам выявлять агентов, испытывающих трудности в работе с новой схемой взаимодействия с клиентами, и для них было организовано дополнительное обучение.

— На каких данных реализован проект? Какая технологическая инфраструктура используется?

Это полностью наша разработка. Данные собираются в базе данных Oracle, модель разрабатывается с использованием Python. Из методов машинного обучения используется ансамбль моделей, построенных с помощью логистической регрессии и XGboost.

Модель обучалась на данных около 5 млн клиентов. Учитывались социально-демографические данные, характеристики потребительских предпочтений (что страхуют, когда, как часто) и др. Использовалась вся клиентская информация, до которой может «дотянуться» страховая компания. Конечно, у нас меньше сведений, чем, скажем, у банка или телекома, но их было достаточно для того, чтобы обеспечить хорошую точность модели для кросс-продаж.

Сейчас модель еженедельно анализирует порядка миллиона клиентов.

— Какие проблемы возникли в ходе реализации проекта, как удалось с ними справиться?

Нельзя сказать, что мы построили сложную модель. Пожалуй, самое трудное и интересное связано с внедрением. Надо было убедить нашу агентскую сеть в том, что это действительно полезный инструмент, и настроить обратную связь от конечных пользователей. РЕСО регулярно проводит большие встречи руководителей агентских подразделений, съезды агентов. На всех этих мероприятиях мы презентовали модель, лично общались с агентами и их руководителями, рассказывали им о преимуществах системы, отвечали на вопросы. В ходе этого общения мы узнали о ряде важных показателей работы агентов. Их анализ позволил вывести интересные зависимости, в том числе увеличить точность модели.

— Насколько уникален такой сервис для страховой отрасли?

Уникальность нашего подхода — не в модели, а в процессе взаимодействия агентов с моделью. Строить модели, которые ищут клиентов с высоким спросом на те или иные продукты для кросс-продаж, пытаются большинство страховых компаний, но обычно ставка делается на роботизацию процесса. Наш проект отличает высокая степень вовлеченности людей — агентов и их руководителей. Не менее важна и постоянная обратная связь, которая позволяет, с одной стороны, совершенствовать модель, а с другой — делать более эффективной работу сотрудников.

— Как долго система находится в продуктиве? Каких финансовых преимуществ и качественных улучшений удалось добиться за это время?

Система активно применяется с середины 2019 года в 200 филиалах в 70 регионах России, ею пользуются около 3,5 тыс. страховых агентов.

По нашим данным, за это время в 10 раз выросла эффективность кросс-продаж благодаря снижению трудозатрат агентов и повышению результативности их работы. Декабрь и январь показали существенный рост продаж продуктов добровольного страхования. По прогнозам на 2020 год, 18% дополнительных сборов по страховым продуктам, к которым применяется модель, будут получены именно благодаря ее использованию.

Мы построили комплексное решение на базе машинного обучения, которое, с одной стороны, хорошо интегрируется в существующую технологию продаж, а с другой — создает новую ценность для компании с точки зрения расширения возможностей кросс-продаж и повышения эффективности агентской сети.

— Каковы планы по развитию системы?

Мы получаем очень много заявок на расширение перечня страховых продуктов, охваченных моделью, и планируем развивать аналогичные проекты для кросс-продаж по другим направлениям работы компании.

Сейчас также разрабатывается проект на базе машинного обучения для Школы РЕСО. Очень важно оценить потенциал человека в роли страхового агента на этапе рекрутинга, чтобы можно было сосредоточить усилия на обучении наиболее талантливых сотрудников, удерживать их у себя и развивать. Мы делаем модель, которая будет искать таких кандидатов, а также выявлять их среди претендентов, которые к нам уже обратились.

Опорной точкой при реализации любых цифровых инициатив являются данные. Практически все компании осознают это — не случайно проекты, направленные на управление данными, становятся все более распространенными, особенно в крупных организациях.

Ситуация существенно усложняется, когда речь идет о компаниях, в процессе своего развития столкнувшихся с поглощениями других бизнесов. Инвестировать огромные средства в унификацию унаследованного ИТ-ландшафта готовы далеко не все. Однако проблема с данными в этих условиях становится вдвойне критичной, и решать ее необходимо.

Как управлять данными такого гиганта, как ВТБ? Светлана Бова, CDO (Chief Data Officer), управляющий директор — вице-президент банка ВТБ и номинант на премию CDO Award 2020, рассказывает об используемых подходах и первых результатах.

— В чем суть реализуемого ВТБ проекта?

В конце прошлого года в рамках программы трансформации ВТБ мы запустили инициативу по управлению данными. В ходе ее проработки и конкретизации идей, которые мы собираемся реализовывать, были обозначены три направления работ. Первым из них стало внедрение функции Data Governance, вторым — построение архитектуры для работы с большими данными. Третье направление — это модернизация платформы данных, рефакторинг хранилищ, которые мы исторически унаследовали при слиянии ВТБ с Банком Москвы и ВТБ24, и создание целевого единого хранилища данных. Эта программа рассчитана на три года.

Суть направления Data Governance заключается в разработке стратегии управления данными и внедрении функционально-ролевой модели участников процесса управления данными. В мировой терминологии такой подход известен как data stewardship — парадигма концепции владения данными: каждое подразделение обладает ответственностью за определенную область данных, а потребители могут запрашивать данные и выставлять свои требования к ним — к их качеству, доступности, актуальности, скорости доставки.

— Каковы первые шаги?

Мы начинаем с фундамента: выстраиваем бизнес-глоссарий — репозиторий терминов, которыми банк оперирует в своей деятельности. По предварительным расчетам, уникальных терминов в банке больше 12 тысяч. При таком объеме сделать даже «перепись населения» — довольно трудоемкая задача. А вести вручную и поддерживать в актуальном состоянии весь список терминов практически невозможно. Поэтому мы инициировали проект по внедрению специализированного промышленного решения Data Governance на базе решения Informatica Axon. В рамках проекта за семь месяцев было развернуто три модуля, первым из которых и стал бизнес-глоссарий. Сейчас производится его поэтапное заполнение: на данный момент в нем около 800 терминов, в дальнейшем планируем добавлять по 1,5–2 тыс. атрибутов в год. Это достаточно трудоемкий процесс: мало найти термин и нормативную базу — важно согласовать его между подразделениями, обеспечить его одинаковое понимание и единообразное описание.

Бизнес-глоссарий по сути стал «навигатором по данным». Пользователь, осуществляя поиск термина в бизнес-глоссарии, получает четкий маршрут и ответы на вопросы:

• Что означает запрашиваемый термин?
• Кто за него отвечает, являясь владельцем данного атрибута?
• В каких ИТ-системах атрибут встречается в ландшафте банка?
• Какие требования к его качеству выставляются и какие проверки качества данных для него существуют?

Также отдельным компонентом является Enterprise Data Catalog, позволяющий осуществлять связь между бизнес-термином и его физическим расположением в ИТ-системах с визуализацией потоков данных между ИТ-системами. Данный инструмент крайне полезен для ускорения производственного цикла разработки прикладного ПО, а также для обучения новых специалистов при погружении в специфику ИТ-ландшафта.

Третий важный модуль касается мониторинга качества данных. Мы ввели специальные метрики и с их помощью начали качественно замерять уровень «здоровья данных». Уже в текущем году приступили к разработке системы мотивации и KPI по качеству данных.

— Почему в банке решили заняться вопросами управления данными? Что не устраивало в существующей ситуации?

После объединения банков подверглись слиянию ИТ-ландшафты, нормативные базы и процессы, поэтому возникла необходимость систематизировать знания о данных, поскольку поиск информации занимал довольно много времени. Кроме того, очень длительным было, например, согласование несколькими подразделениями одного и того же показателя, получаемого из различных витрин и отчетов разных хранилищ данных. Хотелось значительно сократить сроки получения аналитики и выверки отчетности.

За долгие годы во всех банках, вошедших в состав обновленного ВТБ, было реализовано множество разрозненных аналитических проектов. В итоге появились различные витрины данных для расчета одних и тех же показателей в интересах разных подразделений. Подобное дублирование информации в масштабах банка обходилось дорого. И чем больше систем появлялось, тем больше затрат требовалось на их поддержку.

Кроме всего прочего, колоссальное время занимал анализ причинно-следственных связей при разборе инцидентов с данными. Исходя из своего предыдущего опыта, могу с уверенностью сказать, что при наличии Data Governance и автоматического выполнения data lineage (визуализации потоков данных между системами с шагами преобразований данных) затраты на анализ инцидентов с данными сокращаются на 40%. Примерно на столько же сокращается фаза анализа в проектах реализации нового функционала информационных систем — просто за счет наличия актуальной карты потоков данных.

— Этот проект не только технологический — у него достаточно сложная организационная составляющая. Масштаб предполагаемых изменений очень велик. Как заставить меняться такого тяжеловеса?

Как известно, слона рекомендуется есть по частям. Можно выделить несколько шагов. Во-первых, был создан коллегиальный орган с делегированием в него представителей высокого уровня от каждой вертикали для погружения в тематику и совместной проработки целей и задач, а также для расчета бизнес-эффекта проекта. Особое внимание мы уделили формированию перечня конкретных локальных проблем каждого подразделения, связанных с данными, которые используются в его работе. Люди должны были почувствовать практическую ценность от внедрения инициативы по управлению данными. Был составлен список практических кейсов, касающихся качества данных, их доставки, унификации терминологии показателей отчетности. Мы ранжировали эти задачи и выбрали для первого внедрения в рамках бизнес-глоссария три кейса от различных подразделений.

Затем перешли к изменениям в процессной части, так как мало провести разовую инвентаризацию актива — крайне необходимо вплести практики управления данными в процессы изменений продуктов, процессов, ИТ-ландшафта банка. Нам предстоит внести изменения в модель производства ИТ-решений, реализовать порядок взаимодействия подразделений при анализе и решении инцидентов качества данных.

И наконец, еще одна важная миссия, которая должна быть в центре внимания любого CDO, — просвещение. В разных подразделениях разный уровень компетенций, да и необходимость в новых знаниях не всегда бывает очевидной. Так как тема новая и вообще концепция Data Governance еще не сильно распространена в России, мы сделали очень неплохой курс очного и дистанционного обучения. Теперь каждый сотрудник может повысить свой уровень компетенций в области управления данными.

Также мы наладили выпуск регулярного внутреннего новостного дайджеста «Всё о данных», где публикуем интересные факты из мировой практики в области работы с данными, а также информацию о внутрибанковских проектах, касающихся работы по гармонизации данных. Так мы вносим свой вклад в формирование культуры и распространение знаний об управлении данными.

— С какими проблемами пришлось столкнуться при реализации проекта? И каких было больше — организационных или технологических?

Конечно же, организационных проблем было больше. С технологиями всегда проще.

Уровень зрелости в подразделениях изначально был различным, и это осложнило ход реализации проекта, ведь программу вовлечения участников пришлось дифференцировать. Размер организации подразумевает наличие большого количества звеньев в принятии решений и при трансляции информации, что достаточно существенно влияет на сроки выполнения этапов внедрения инициативы по управлению данными.

Культура у подразделений тоже разная. Различна и готовность к изменениям: есть весьма консервативные блоки, а есть очень адаптивные и инициативные. В результате динамика работ по идентификации атрибутов, унификации терминов, запуску системных процедур повышения качества данных была практически индивидуальной для каждого владельца данных.

Технологические проблемы связаны в основном с масштабностью существующего ИТ-ландшафта и множеством интеграций. Так как внедряемая система управления данными предполагает связь с системами аналитического контура, то основные технические трудности были как раз на уровне интеграции.

— Data Governance — это сложно и наукоемко. Можно ли изложить стратегию управления данными в нескольких фразах, понятных обычному потребителю?

Понятие Data Governance, пришедшее из зарубежных практик, действительно имеет достаточно много сложных и весьма витиеватых интерпретаций. В рамках нашей организации принята следующая терминология: управление данными — комплекс организационных и технических мероприятий, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного стратегического актива.

С практической точки зрения можно выделить несколько ключевых моментов.

У каждого класса данных должен быть владелец данных, ответственный за их качество, методологию расчета и поддержание в актуальном состоянии карт потоков данных в ИТ-ландшафте.

Внедрение «навигатора по данным» в формате специализированного решения — бизнес-глоссария — позволит значительно сократить время на поиск данных.

Существенная модернизация систем аналитического контура — хранилищ данных и комплекса инструментов по работе с большими данными, инструментов BI self-service analytics — призвана обеспечить высокую доступность оперативных и достоверных данных для бизнеса. Наконец, важно наращивать компетенции в бизнес-подразделениях по управлению данными и по работе с большими данными посредством специализированных образовательных программ для сотрудников и участия в практических проектах.

— Что собой представляет созданная инфраструктура для работы с данными?

Что касается инструментов для управления данными, мы выбрали Informatica Axon для ведения бизнес-глоссария и Informatica Enterprise Data Catalog (EDC) для отрисовки карты потоков данных. Одна из технологических сложностей работы EDC заключается в том, что далеко не для каждой системы, особенно сильно кастомизированной, решение способно в автоматическом режиме выстроить карту потоков данных. Для этого при написании процедур ETL необходимо следовать определенным стандартам кодирования.

Что касается моделирования и работы с данными, у нас есть определенное количество унаследованных хранилищ, существует стек для аналитики больших данных на Cloudera Hadoop, а также большой парк различных аналитических библиотек — мы опробовали практически все, что есть на рынке, и часть из них внедрили в свою работу.

— У вас используется смесь открытых и проприетарных решений. Есть ли политика в этой области?

У нас гибридный подход. По ряду направлений мы не можем и не будем использовать открытые платформы. Банк должен гарантировать максимальную стабильность работы своих систем. Мы не можем полностью перейти на open source. Но в отдельных случаях это вполне оправданно, и у нас проприетарные и открытые сегменты даже несколько разделены в ландшафте. Наша команда big data, работающая с открытыми решениями, выделена в инфраструктуре со своим стеком решений.

Дешевизна открытых платформ — в некоторой степени иллюзия. Для банка критически важны наличие поддержки, ее стабильность и четко определенное соглашение об уровне услуг. Open source с такими условиями становится вовсе не бесплатным.

— Говоря о целевой архитектуре, вы упомянули хранилище, но ничего не сказали об озере.

Мы оперируем понятием «платформа данных», которое включает в себя и ODS (оперативное хранилище данных), и реляционное целевое единое хранилище, BI-приложения и различные инструменты для работы с большими данными, что, собственно, в общеизвестной практике и называют «озером данных».

— Чего вы уже добились и чего ожидаете добиться в обозримом будущем?

Мы вывели систему управления данными в промышленную эксплуатацию, к ней имеют доступ все сотрудники банка. Очень многих удалось обучить, и они начали пользоваться системой. Это серьезное достижение.

В дальнейшем будем масштабировать и наполнять бизнес-глоссарий, закреплять ответственных за каждый атрибут. Проверка качества данных будет поставлена на конвейер.

Задача на будущее — масштабирование созданных решений и методологических практик на уровень группы ВТБ.

— Создание платформы управления данными должно окупиться? Или такая задача не ставится?

Да, эта платформа должна окупиться. Бизнес-кейс построен на оптимизации процессов анализа и разработки, разбора инцидентов, на сокращении времени на сверку данных. И не надо забывать об инфраструктурной составляющей: в рамках большого проекта по модернизации платформы данных мы все-таки переносим ее часть на open source, снижая стоимость хранения и обработки.

— Готов ли бизнес к тому, чтобы стать data-driven?

Следует разделить такую «готовность» на желание и способность к реальному действию. Желание есть, и осознание того, что изменения в этом направлении жизненно необходимы, тоже есть. Стоит отметить, что в «Стратегии банка — 2022» выделен отдельный блок, посвященный непосредственно работе с данными. А осознание необходимости изменений сотрудниками, которые участвуют в рутинных ежедневных операциях, и осуществление этих изменений — процесс, к сожалению, небыстрый и зачастую болезненный.

— Какие мероприятия по изменению культуры вы проводите?

Безусловно, одно из самых важных — это трансляция ценностей на уровне правления, топ-менеджмента. На операционном уровне — образовательные бизнес-завтраки и курсы обучения.

Очень эффективный подход — персональные истории успеха. Мы выпускаем новостной дайджест, где красочно освещаются назначения владельцев данных и первые результаты их работы. Очень важна персонализация — с фотографиями и описанием заслуг. Это хорошо работает и на мотивацию, и на культуру.

Но лучше всего, когда люди начинают понимать, что ведется реальная работа для решения их проблем, когда видят действительную пользу от работы владельцев данных, менеджеров по качеству данных и офиса CDO. Надо признать, что нам предстоит еще долгий путь.

— Какие стратегические проекты, основанные на данных, являются знаковыми для ВТБ?

В 2019 году банк запустил несколько крупных партнерских проектов с использованием данных.

Так, создается совместное с «Ростелекомом» предприятие, направленное на работу с пользовательскими данными. Его задачами станут создание продуктов и оказание услуг на основе анализа больших данных, в том числе с применением технологии искусственного интеллекта. «Жилищная экосистема ВТБ» — знаковый проект, совместивший все виды услуг и сервисов по приобретению, аренде и дальнейшему обустройству жилья для граждан. Отдельно следует упомянуть «Лайфстайл платформу», объединяющую различные сервисы: вызов такси, доставку еды, бронирование ресторанов, покупку билетов и т. д.

Все более ценным становится подход, когда банк выходит из контура привычных задач и использует данные для разработки различных сервисов в партнерстве с компаниями из смежных сфер, обеспечивая удобство для клиентов и расширяя свою клиентскую базу. Это наши стратегические проекты.

Одной из болевых точек сферы информационной безопасности является разрозненность специализированных инструментов. Им не хватает связности, позволяющей объединить получаемую информацию и обеспечить ее эффективное использование. В компании «Энджиар Софтлаб» — стартапе, занимающемся разработкой программных продуктов, создали решение Dataplan, способное значительно усилить базовый функционал решений по информационной безопасности и других информационных систем. С его помощью получается выявлять аномалии в данных и предоставлять доказательную базу при проведении расследований. Айк Татевосян, руководитель отдела аналитических систем «Энджиар Софтлаб» и претендент на премию CDO Award 2020, рассказывает о предпосылках и истории создания этого решения.

- Что наблюдается на рынке систем информационной безопасности, почему пришли к желанию разработать решение?

В любой крупной компании используется огромное количество разрозненных ИБ-решений: сетевые экраны, антивирусы, решения для предотвращения утечек (DLP), системы управления событиями информационной безопасности (SIEM) – каждая со своими результатами работы. В комплексе этих данных сложно найти какую-то закономерность и понять, что из них является инцидентом, где именно произошло нарушение.

Часто единым центром компетенций и обработки информации выступали SIEM. Но у них есть свои недостатки – например, они работают в рамках одного оперативного дня, и из-за этого для них характерно отсутствие причинно-следственной связи между событиями и возможности ретроспективного анализа. Решение инцидентов напоминает латание дыр без устранения причин их появления.

Мы считаем, что правильным и полезным является объединение нескольких источников данных: ИБ-решений и других компонентов ИТ-инфраструктуры: операционных систем, систем хранения данных, баз данных и т.д. Для решения этой задачи мы попытались собрать необходимый технологический стек, чтобы выявлять аномалии в данных, которые невозможно описать условными правилами. Когда мы подбирались к решению этой задачи, то поняли, что любая аналитика должна основываться на каких-то сущностях. Для нас такой сущностью стал пользователь, совершающий действия, поэтому целью стало построение профилей поведения пользователей.

- Что в самых общих чертах представляет собой продукт?

Dataplan – это аналитическая платформа для работы с большими данными и с возможностью применения машинного обучения. Ее первой практической областью применения стала сфера безопасности, где она позволяет сократить время работы аналитиков на принятие решений. Время реакции в ИБ – самый дорогой ресурс, а сокращение времени реакции на инциденты – это сохранение репутации и денег.

- Таких решений нет на рынке? Неужели никто до этого не додумался?

На зарубежном рынке есть решения класса User Behavior Analytics (UBA), позволяющие проводить поведенческий анализ деятельности пользователей. UBA-решения иностранных вендоров, представленные в России, имеют довольно высокую ценовую планку. Поскольку российский рынок ИБ невелик, то вложить несколько миллионов долларов в решения, эффект от которых не всегда ощутим, мало кто готов – такие инвестиции очень трудно обосновать.

Среди отечественных решений аналогов практически нет, но есть довольно много стартапов, пытающихся работать в этом направлении, и мало компаний, которые уже что-то разработали. Кроме того, часто у заказчиков работают собственные команды data science, но речь идет о разовых проектах, и цель по созданию законченных решений им не ставится.

Есть DLP-системы, в которых заявлено машинное обучение, но оно замкнуто в рамках конкретного решения. Мы пытаемся строить универсальный продукт, который можно подключать к неограниченному числу систем и не замыкаться в рамках одной платформы. Наша цель состоит в том, чтобы анализ был основан на действиях пользователя и на дополнительных факторах: его должности, подразделении, рабочей станции, приложениях, в которых он работает. После комплексной интегральной оценки можно более уверенно выявить пользователей, чье поведения является аномальным и, возможно, требующим проведения расследований.

- Что стало отправной точкой для создания системы?

История началась с того, что у одного из крупных заказчиков приобретенная зарубежная платформа «не взлетела». Ее долго настраивали, обновляли, потратили на это массу средств, но ситуация была далека от идеала.

Интегратор хотел закрыть работы и предоставить заказчику обещанный результат и доверил нам доработку решения. Тогда у нас и получился свой расширенный UBA, позволивший «приземлить» платформу и удовлетворить потребности заказчика. Клиент остался доволен, но надо понимать, что это были «костыли» — полученное решение не выглядело как конечный продукт, хотя и решало проблемы.

После решения этой задачи у нас сформировался определенный технологический стек, а также понимание сценариев, которые возможно реализовать с помощью полученной платформы. Мы увидели в созданном продукте самостоятельную ценность. Сейчас мы его завертываем в красивую обертку и делаем тиражируемым.

- Что представляет собой созданное решение с технической точки зрения?

На текущий момент архитектура решения достаточно сложная, в связи с чем мы разделяем ее на четыре основных компонента.

Первый (Dataplan Processing) является компонентом, отвечающим за сбор, фильтрацию, агрегацию и нормализацию событий. С его помощью данные приводятся к единому формату для создания витрин данных, с которыми можно вести аналитическую работу.

Второй (Dataplan Storage) отвечает за высокоэффективное распределенное хранение данных, предназначенное для онлайн обработки аналитических запросов (OLAP). Речь идет о больших данных, порядок которых при пиковой нагрузке достигает 100 тыс. событий в секунду, поступающих в среднем на боевые инсталляции системы. Вопрос архитектуры обсуждается с заказчиком и отчасти зависит от его потребностей.

Третий компонент – аналитика (Dataplan Analytics). Машинное обучение реализовано на скриптах языка Python.

Наконец, созданные модели отображаются с помощью компонента Dataplan Visualization, представляющего собой BI-инструментарий. Это рабочее место специалиста, которое является инструментом поддержки принятия решений и реализует визуализацию ключевых метрик и показателей результатов аналитики.

- На каких компонентах построена система?

Практически все инструменты, которые брались за основу, являются open source. Во-первых, в ходе создания решения решалась вполне конкретная задача, требовалось сделать «дешево и сердито». Во-вторых, в область открытых решений сейчас смещается политика очень многих компаний.

- Какую роль вы выполняете в компании?

В рамках компании выступаю в роли владельца продукта Dataplan. Являюсь евангелистом использования больших данных в общении с заказчиками, выявляю кейсы и продумываю их решение.

Мой типичный рабочий день – выезд к заказчику, проведение пресейлов и презентаций, выявление потребностей, попытка интерпретации бизнес-задач в технические задачи, оценка сроков, а также координация работы моей команды, донесение до неё новых планов по развитию продукта и отзывов о результатах командной работы.

Главный KPI, за который мне приходится отвечать перед руководством – удовлетворенность заказчика решением.

- Потребность в подобных решениях высока?

Конечно же, мы оценивали потребности рынка, собирали пожелания других заказчиков. Одна из них – автоматизация работы аналитиков, работающих с системами безопасности. Им важно понимать причинно-следственные связи, выявлять сложные сценарии атак. Например, вирусное заражение, которое антивирус может обнаруживать изо дня в день, каждый раз успешно его зачищая. Но сама проблема находится в автозагрузке, которая его порождает. Классические системы работают в реальном времени, им катастрофически не хватает ретроспективной аналитики, в том числе встроенных алгоритмов машинного обучения.

Изучив потребности потенциальных заказчиков, мы поняли, что задачи в области ИБ принципиально ничем не отличаются от бизнес-задач, часто стоящих перед компаниями. Случалось, и так, что мы предлагали решение офицерам информационной безопасности, а те приглашали руководителей проектов и бизнес-аналитиков и демонстрировали им возможности платформы. Поэтому мы уже перепозиционировали решение с первоначального UBA на xBA, где x – классическая неизвестная из математики, поскольку нам не важно, какая именно сущность будет подаваться на вход системы.

- Готовы ли компании тратить деньги на это?

Компании понимают, что в центре всего стоит человек, и именно поэтому тема поведенческой аналитики в ИБ начала так хорошо «заходить». Именно действия сотрудников – преднамеренные или нет – наносят наибольший ущерб, и это факт.

Так, например, наш продут помог сети московских кафе выявить сотрудников, причастных к махинациям с картами лояльности, когда при оплате счета наличными часть суммы оплачивалась баллами с карты лояльности сотрудника, а экономия уходила в карман недобросовестных сотрудников кафе.

Компаниям нужны системы поддержки принятия решений. Дефицит квалифицированных кадров – проблема, но еще хуже, что у имеющихся специалистов нет инструментов для анализа данных, упрощения и ускорения своей работы и обоснования своих действий. У компаний накопились данные за длительное время, и они хотят извлекать из них пользу.

- С какими проблемами пришлось столкнуться? Обычно это данные…

Да, качественные и хорошо подготовленные данные – мечта любого дата-сайентиста, позволяющая избавиться от рутины и заняться творчеством. Общая проблема заключается в том, что когда компания занимается сбором данных, то далеко не всегда понимает, зачем. Как следствие, данные хранятся обрывочно, они далеко не полные, и их нормализация может занимать много времени. Даже если мы видим, как задачу можно решить, часто оказывается, что нужных данных просто нет. Мы предлагаем включить сбор данных из необходимых источников хотя бы на пару месяцев и возвращаемся, когда нам есть с чем работать.

Кроме того, в сфере ИБ так повелось, что люди изначально не слишком доверяют и друг другу, и новым решениям. Часто заказчики предлагают нам пробные задания, не описывая конкретной задачи. Например, речь может идти о поиске в предоставленных данных каких-либо аномалий. Если наши выводы подтверждают имеющиеся факты, компания идет на диалог.

- То есть речь идет об обучении без учителя?

Нынешняя ситуация в нашей сфере – любые алгоритмы машинного обучения изначально должны обучаться без учителя и показать какой-то результат. Когда к заказчикам приходят с терминами big data, machine learning и обещают показать новые знания, естественным желанием является их проверить. К математическим «фокусам» привыкли относиться с недоверием.

Но дело не только в недоверии, но и в том, что компании сами понимают, что могут не обо всем знать. Парадигма остается прежней: специалист должен быть экспертом в области безопасности, глубоко понимать процессы, чтобы уметь интерпретировать имеющиеся данные. Однако от этой парадигмы мы отходим и пытаемся показать, что алгоритмы машинного обучения сами могут «подсветить» любые аномалии, а задача человека – дать заключение по ним. Чем больше человек будет работать в системе и принимать решения в ней, тем «умнее» будут становиться модели, обучаясь на действиях пользователя.

- Каких результатов позволяет добиться решение?

По внешним угрозам – выявление компрометации учетных записей и активов, утечек критичных данных и эксплуатации уязвимостей. По внутренним угрозам – злоупотребление выданными правами, инсайдерская деятельность, несоответствие используемых учетных записей. Однако эти эффекты могут видоизменяться в зависимости от специфики заказчика и его процессов. В одном из госучреждений в ходе пилотного проекта удалось выявить пользователей с аномальными правами доступа в результате их перемещений между подразделениями и рекурсивные вирусные заражения, когда из-за одного компьютера заражался весь сегмент сети.

Что касается ускорения работы аналитиков, то тут эффекты слишком индивидуальны. Зачастую речь идет о том, что некоторые из действий становятся принципиально возможными. В одном из крупных ретейлеров в день создавалось по 10 тыс. инцидентов безопасности по каждому из сценариев, и таких сценариев были сотни. Фактически речь шла о ручной обработке этих событий, что невозможно. Мы автоматизировали процесс проверки этих инцидентов.

Пробиваясь к заказчикам со своими пилотами, мы показали коммерческую ценность своих решений. У нас есть 20 клиентов, довольных проведенными пилотными проектами, пятеро из них уже готовы начать полноценное внедрение. В 2020 году начнется активное масштабирование наших решений. Про какие-либо конкретные цифры можно будет говорить позже.

- А в реальном времени какие-то задачи решаются?

У нас были пилоты, в которых это требовалось. Но мы совершенно точно не считаем это своей главной задачей. Ретроспективный анализ приносит больше пользы и имеет гораздо больший «вау-эффект» для заказчиков. И что немаловажно, эта ниша на рынке сейчас гораздо свободнее.

- В каком направлении будет развиваться платформа Dataplan?

Направлений для развития возможностей платформы очень много, на текущий момент мы активно прорабатываем функциональный модуль, основанный на прогнозном мониторинге (predictive monitoring).

Также есть исследовательские работы и попытки выход за пределы ИБ. Одна из ближайших перспектив – HR как наиболее понятная и близкая нам тема, в разрезе задачи по оценке персонала. Если подойти к своим специалистам с популярной оценкой «360 градусов», которую применяют к клиентам, можно получить массу полезных результатов. Например, оцифровывая входящих кандидатов и понимая, что собой представляет коллектив, получится подбирать более сплоченную команду.