Data Award

Единая платформа доступа к данным в Tele2 стала одним из ключевых элементов демократизации данных, сделав их доступными широкому кругу сотрудников. Алевтина Тинас, руководитель департамента по управлению данными Tele2 и номинант Data Award 2022, рассказала о создании экосистемы работы с данными, достигнутых результатах и о роли просветительской работы в выстраивании дата-культуры.

– Как в Tele2 развивались процессы работы с данными? Какие стадии можно выделить?

Понятно, что весь телеком находится в авангарде развития аналитики. Хранилище данных у нас появилось достаточно давно, потому что была необходимость анализировать большие объемы информации – данные по абонентам, трафику. В качестве первого этапа можно выделить развитие анализа данных для ключевых подразделений компании – подразделения развития продукта и абонентской базы, подразделение развития продаж. Они начинали использовать аналитику для своих целей.

В дальнейшем анализ показателей стал распространяться на другие подразделения: было необходимо анализировать ключевые показатели по абонентской базе в связке с финансовыми результатами и продажами, понимать, как это влияет на развитие бизнеса в регионах. Пользователями аналитических хранилищ становилось все больше сотрудников из разных подразделений.

Следующим этапом можно назвать появление Офиса данных. В этот момент у нас появились BI-инструменты, мы стали активно обучать аналитиков и вовлекать их в самостоятельную разработку отчетов и дашбордов. Как следствие, порог вхождения в анализ данных стал гораздо ниже, многие сотрудники получили возможность анализировать данные и в корпоративных хранилищах, и в своих источниках с помощью новых инструментов. С появлением новых аналитиков данных среди сотрудников бизнес-подразделений, потребность в создании единой платформы управления данными, как ключевого элемента всей экосистемы, стала особенно актуальной.

– Как появился офис данных? Какие этапы своего развития он прошел?

Сначала работу с данными обеспечивало ИТ-подразделение. Это были разработчики и аналитики, основная задача которых заключалась в создании отчетов и аналитических витрин по требованию бизнес-заказчиков. Когда пользователей таких аналитических продуктов стало много, появилась необходимость создания единого регулирующего органа, который мог бы внедрять процессы управления данными по всей компании, координировать развитие аналитического контура таким образом, чтобы он удовлетворял абсолютно всех пользователей данных, синхронизировать использование единых показателей и отчетов.

Перед тем как приступить к разработке стратегии развития процессов и инструментов управления данными мы оценили текущий уровень их зрелости. Поняли, какие процессы данных у нас уже существуют и находятся на достаточно высоком уровне зрелости, а какие – на низком или в принципе отсутствуют. Посмотрели, какие из этих процессов необходимо развивать в первую очередь, в соответствии с потребностями нашего бизнеса. Определили необходимую организационную структуру и роли, которые будут помогать развивать эти процессы. Таким образом у нас сформировался департамент управления данными. и мы приступили к развитию процессов и инструментов по управлению данными в соответствии с дорожной картой. Свои инициативы мы координировали с потребностями бизнеса, периодически корректировали направление движения в соответствии с изменениями в компании.

– В какой момент появилось понимание, что необходима единая платформа управления данными? Что не устраивало?

Понимание необходимости единой платформы управления данными возникло в момент увеличения количества пользователей и роста объема данных. Мы понимали, что телеком – это быстроменяющийся и очень конкурентный бизнес. И здесь крайне высока потребность быстро анализировать данные, уметь оперативно реагировать на те изменения, которые происходят. Все это возможно только если аналитические подразделения будут находиться внутри бизнес-подразделений, только в такой парадигме возможно своевременно обеспечивать бизнес необходимыми данными для принятия решений, поэтому мы изначально делали большую ставку на self-service. И по мере того как все больше подразделений стало пользоваться одни и теми же данными, появлялось большое количество аналитических продуктов, и ориентироваться в них стало крайне сложно. В конечном итоге это могло приводить к дублированию данных, а учитывая большой их объем, это заметные дополнительные расходы.

В разнообразии данных стало сложно разбираться, и бизнес-пользователи все чаще обращались к техническим специалистам за консультациями, что и где можно найти, – словом, вопрос процесса анализа данных становился все сложнее. В этот момент мы поняли, что необходимо кардинальное изменение подхода к инструментам работы с данными и внедрение единой платформы управления данными.

– Создание единой платформы доступа к данным – важный шаг к их демократизации. Каких результатов за счет этого хотели добиться?

Действительно, единая платформа доступа к данным рассматривалась как один из ключевых элементов демократизации данных. За счет ее создания мы планировали добиться снижения порога вхождения в анализ данных, появления возможности посмотреть на данные с другой стороны. Мы рассчитывали привлечь к анализу данных новые подразделения – финансовых аналитиков, аналитиков по закупкам, операционный департамент, аналитиков продаж, чтобы они посмотрели на ключевые показатели через призму своих процессов и смогли найти новые инсайты, возможности для развития бизнеса.

Также мы планировали добиться снижения нагрузки на аналитиков и разработчиков за счет развития самообслуживания, обеспечения синергии и переиспользования результатов работы между разными бизнес-заказчиками. Мы хотели, чтобы результаты работы одной команды стали быстро и легко доступны для всех остальных. Ну и, естественно, для нас было крайне важным создание единого бизнес-глоссария вокруг данных, для того чтобы все наши аналитики и бизнес-пользователи могли разговаривать на одном языке.

– На базе каких решений выстроена общекорпоративная система управления данными? Какие принципы пытались соблюсти при ее построении?

Наша общекорпоративная система управления данными состоит из нескольких компонентов. Ее ядром является каталог данных Alation, который мы позиционируем как основной инструмент работы аналитиков, работающих с хранилищами данными напрямую, используя SQL-запросы. Для пользователей, работающих только с готовыми дата-продуктами (дашбордами и отчетами), внедрен инструмент RT.DataGovernance – и портал офиса данных, который объединяет все наши инструменты в единый удобный пользовательский интерфейс. Еще одним важным элементом нашей системы является платформа управления качеством данных Ataccama.

Принципы, которые мы пытались соблюсти при построении нашей системы управления данными, – обеспечить пользователей данных инструментом, который будет наилучшим образом подходить для каждой роли. Мы понимали, что потребности наших пользователей данных достаточно разные. Есть аналитики, которые обладают хорошими знаниям SQL и могут самостоятельно анализировать данные – им необходимо понимать структуру хранения данных, знать где найти нужные им витрины и понимать из каких атрибутов они состоят. Есть руководители подразделений и бизнес-заказчики, которые пользуются готовыми отчетами, – им нужно понимать, какие отчеты уже существуют, как к ним можно получить доступ, какого качества данные они содержат, кто их создал, какие в них охвачены показатели. Это совсем другие потребности.

– Как в компании определяется понятие «качество данных»?

У нас достаточно классическое понимание, что такое качественные данные: это данные, пригодные для анализа или для использования в каком-либо бизнес-процессе. Мы прекрасно понимаем, что для каждого бизнес-процесса существуют свои критерии качества. Данные, которые являются достаточно качественными для статистического анализа, при этом могут быть некачественными для формирования, например, индивидуальных предложений для клиента.

Для каждого бизнес-процесса критерии качества данных определяются совместно с владельцем бизнес-процесса. Только благодаря совместной работе с бизнесом у нас формируются релевантные критерии качества, и применив их к данным, мы можем сказать, являются ли данные качественными для этого процесса или нет.

– Как именно боретесь за качество данных?

У нас есть несколько этапов, которые ложатся в общий процесс управления качеством данных. В первую очередь, мы профилируем данные на этапе разработки витрин и отчетов, чтобы убедиться, что используемые данные являются качественными. Далее, создавая новый data-продукт, мы совместно с бизнес-заказчиком и владельцем процесса определяем критерии требований к качеству данных. На основании этих требований мы разрабатываем контроли качества данных, которые в дальнейшем будут работать в автоматическом режиме.

Следующий этап – мониторинг. Это результаты работы автоматических контролей качества данных, которые могут показать, где у нас наблюдаются проблемы. Данные меняются постоянно, и крайне важно своевременно выявлять проблемы и устранять их для того, чтобы пользователи в своих отчетах видели корректные цифры. Поэтому исправление инцидентов по результатам мониторинга – это наша ежедневная работа, которой на регулярной основе занимается поддержка. В случае выявления проблем в качестве данных мы информируем заинтересованных пользователей оних, для того чтобы они могли учесть это в своей работе и, например, исключить, какой-то период из анализа. Также пользователи могут следить за ходом исправления выявленных ошибок. Последний важный этап в работе с качеством данных – анализ причин появления инцидентов качества данных и устранение этих причин. Если у нас начинают появляться ошибки, недостаточно просто каждый раз их исправлять – нужно понять, где у нас проблемы в бизнес-процессе или источнике данных, и почему эти ошибки возникают. Это отдельная задача, которой занимаются менеджеры по качеству данных.

– Как можно понять, что данным действительно доверяют?

Как мне кажется, основной показатель доверия к данным – это их активное использование. Мы видим, что у нас динамично развивается self-service отчетность: дашборды, разработанные самими пользователями на основе предоставляемых данных, пользуются большой популярностью. Также постоянно растет потребность в создании новых витрин и расчетах новых показателей, растет количество пользователей аналитики. Мы видим, что результаты анализа данных используются на самых высоких уровнях, все больше бизнес-процессов применяют их, то есть становятся data-driven.

– Как оценить сокращение времени доступа специалистов к данным?

Это достаточно сложный вопрос. Мы несколько раз пытались провести такую оценку и понимаем, что это один из ключевых критериев, показывающих эффективность внедрения и работы платформы управления данными. Например, до ее внедрения сотрудник тратил на поиск необходимых данных и получение доступа к ним несколько месяцев, а после – возможности поиска стали шире, и доступ гораздо быстрее. Мы оцениваем субъективный эффект, используем оценки и ощущения наших пользователей, которые действительно говорят, что время доступа к данным значительно сократилось.

Это особенно заметно на примере новых сотрудников, которые не знают структуры данных, и где их можно найти. Они говорят, что начать работу с данными в нашей компании очень просто – буквально несколькими словами в поисковой строке аналитики могут найти все, что им нужно для выполнения своих задач. Среди сотрудников, которые уже давно пользуются данными, мы также видим большую популярность нашего каталога данных. Это является показателем того, что платформа действительно полезна.

– Пытаетесь ли вы в целом оценить эффект от создания единой платформы? Какими результатами можете поделиться?

70% пользователей платформы используют ее на регулярной основе – не реже нескольких раз в неделю. Практически каждый день они пользуются каталогом данных, чтобы получить какую-либо информацию. Для нас это очень важный показатель, мы понимаем, что именно он демонстрирует «приживаемость» системы. Тех сотрудников, кто уже знает о нашей платформе и начал ее использовать, нам легко удается вовлекать и удерживать. Отдельная и более сложная история – как вовлечь новых пользователей.

Благодаря наличию каталога данных все больше пользователей создают свои отчеты самостоятельно. Рост пользователей инструментов самообслуживания за прошлый год составил более 150%, уже четверть сотрудников компании используют self-service BI. Для нас это крайне важный показатель: бизнес самостоятельно быстрее решает свои задачи, мы считаем что централизованное подразделение BI-разработки не сможет реагировать так же быстро, а значит не может быть настолько же эффективным. При этом мы понимаем и некоторые минусы такого подхода.

– Популяризация работы с данными – важный шаг. Планировалось это заранее или появлялось по ходу действия?

Важность коммуникационной платформы стала понятна практически с момента создания офиса данных. Внедрение новых процессов связано с изменением привычной культуры и подходов к работе. Это требует достаточно больших усилий, и всегда происходит не просто. В первую очередь, мы проработали нашу модель коммуникации: кого, когда и о чем следует информировать. Мы создали нашу еженедельную рассылку, в которой рассказываем о происходящем в офисе данных, о реализации новых задач, о появлении новых инициатив. Информируем пользователей о важных изменениях в каждой системе и проблемах в них, о качестве данных в ключевых витринах и объектах. Есть ежеквартальный дайджест, в котором мы рассказываем на верхнем уровне о наиболее крупных и интересных задачах. Для вовлечения пользователей в работу с конкретными инструментами, мы проводим обучающие мероприятия – вебинары и демодни. Очень хорошо работает демонстрация на «живых» примерах, когда сотрудники бизнес-подразделений сами рассказывают коллегам, как они с помощью наших решений выполняют свои операционные задачи. По результатам проведения таких мероприятий всегда наблюдаем приток новых пользователей в наших платформах.

– Каковы направления развития платформы управления данными в Tele2?

Мы знаем, какие данные у нас есть, где они расположены, как между собой связаны, кто ими владеет, и как они связаны с бизнес-показателями. Теперь мы хотим понять, как наши данные участвуют в бизнес-процессах, и на какие из них влияют. Например, в случае инцидента в качестве данных неплохо понимать, насколько ошибка серьезна, к чему она может привести. Связать наши данные с бизнес-процессами – довольно амбициозная задача, мы работаем над ней совместно с дирекцией по бизнес-процессам. Без нашей платформы управления данными реализовать ее просто невозможно.

Другая актуальная задача заключается в интеграции показателей качества данных. Мы уже понимаем, какого качества данные в наших физических объектах – таблицах и витринах, это было достаточно легко реализовать с помощью интеграции платформы управления качеством данных и дата-каталога. Теперь мы хотим научиться считать показатели качества на уровне бизнес-показателей и отчетов – важно показывать пользователям, насколько можно доверять тому или иному ключевому показателю.

Мы хотим прийти к тому, чтобы понимать все данные в компании, выявлять пересечения и дубли – как с точки зрения физического хранения, так и с точки зрения использования данных и исключения разночтений в использовании показателей. У нас есть инициативы и идеи по развитию единой платформы управления мастер-данными и нормативно-справочной информацией, и отдельная инициатива по усилению контроля безопасности использования данных.

Crosstech Solutions за последний год реализовала несколько идей, которые легли в основу как модернизации собственных дата-процессов компании, так и разработки коммерческих решений для рынка информационной безопасности. Об истории создания этих решений рассказывает Никита Андреянов, руководитель отдела внедрения и продвижения решений департамента цифровой трансформации Crosstech Solutions Group и номинант на премию Data Award.

— Как родилось направление, подразумевающее использование технологий больших данных в сфере информационной безопасности?

Основная категория данных, с которой нам чаще всего приходится работать и решать прикладные задачи, являются события информационной безопасности. Речь идет про журналы аудита операционных систем и баз данных, логи, генерируемые на средствах защиты информации, и прочие данные, так или иначе связанные с информационной безопасностью. Как следствие этого, наши платформы по работе с данными также направлены в первую очередь на отрасль информационной безопасности.

Здесь отдельно стоит упомянуть про два наших продукта – DataGrain ESO и DataGrain RUMA. DataGrain ESO (Events Stream Optimization) – система, позволяющая централизованно собирать, фильтровать и профилировать разнородные ИБ-события в большом объеме. В базовом варианте решение может отвечать за централизованное хранение данных и реализацию ретроспективного поиска. В более продвинутом – это комплексная дата-платформа, которая является некой фабрикой данных, отвечающей не только за хранение данных, но и за удобный и быстрый доступ к прикладным данным без длительного ожидания. В частности, она поддерживает и ad-hoc запросы, и работу с данными в self-service режиме для различных категорий пользователей.

DataGrain RUMA (Remote User Monitoring Analytics) – система, отвечающая за поведенческий анализ пользователей, активов и иных сущностей, а также за мониторинг и выявление поведенческих аномалий. Решение построено на базе статистического анализа, алгоритмов машинного обучения и анализа временных рядов. Используемый стек технологий позволяет выявлять инциденты, которые невозможно описать сигнатурным способом. В частности, система на базе анализируемых данных строит рамки поведения каждого пользователя, отклонения от которых фиксируются как инциденты.

RUMA может интегрироваться с ESO и дополнять ее новым полезным функционалом в части анализа собираемых данных. Помимо этого, нередки сценарии, когда нам приходится работать, в том числе, и с бизнес-данными, когда основной целью является монетизация этих самых данных. Здесь чаще всего источниками данных выступают непосредственно СУБД, CRM, HR и другие бизнес-системы. Так как в подобных бизнес-сценариях основной целью стоит максимально эффективное использование данных, ключевым фактором становится качество, согласованность и корректность этих данных.

— Представленные продукты берут начало в реализации внутренних проектов. Какова их история: в чем заключались решаемые проблемы, каковы были боли бизнеса?

Мы систематизировали реальные запросы бизнеса и сделали акцент на тренды импортозамещения и поддержку отечественного бизнеса эффективными инструментами работы с данными. Так и начали появляться наши продукты.

Crosstech Solutions – молодая компания, но уже сейчас мы имеем востребованную линейку продуктов, каждый из которых решает общие и специализированные задачи бизнеса. Мы хорошо понимаем структуру бизнеса каждого из наших заказчиков и обеспечиваем гибкость разработки. Созданные решения отвечают реальным потребностям заказчиков в долгосрочной перспективе – мы справляемся с задачей поддержки отечественного бизнеса и разделяем общие ценности с нашими бизнес-партнерами.

За каждым нашим продуктом стоит решение конкретной проблемы. Так, драйвером для разработки решения DataGrain ESO стала необходимость сокращения финансовых затрат на покупку лицензий для SIEM-решений. Поскольку количество эксплуатируемых информационных систем и средств защиты корпоративной информации неуклонно растет, пропорционально увеличивается и поток данных, поступающих в SIEM. Соответственно, увеличиваются издержки по обеспечению работоспособности средства защиты. Мы знаем, что офицеры информационной безопасности вынуждены постоянно решать задачи по оптимизации и совершенствованию своих инструментов. Причем это приходится делать как в контексте финансовой составляющей, так и в контексте прикладных задач, — то есть требуется предпринимать меры, которые превращают функциональные возможности решений в прикладной инструмент решения поставленных задач.

ESO предназначено для сокращения входного потока в SIEM. Оно позволяет консолидировать большие объемы данных в сжатом формате в централизованном хранилище данных и перенаправлять в SIEM только тот срез данных, который необходим для прикладного функционала, — в частности, для выявления инцидентов информационной безопасности на базе правил корреляции. При таком подходе наше решение оптимизирует финансовые затраты на лицензирование и повышает эффективность работы SIEM, предоставляя необходимые данные уже в обработанном и нормализованном формате.

Решение RUMA появилось вслед за ESO. Драйвером его разработки стала необходимость эффективно использовать большие массивы исторических данных. Мы поняли, что данные, которые мы можем централизованно собирать и долгосрочно хранить, могут также эффективно использоваться для задач ретроспективного анализа. Это, в свою очередь, решает очередную актуальную проблему бизнеса, а точнее – целый спектр проблем и запросов со стороны информационной безопасности и бизнеса в целом, связанных с возможностями такого анализа.

В частности, RUMA позволяет строить поведенческие профили на базе накопленных данных и впоследствии выявлять отклонения и аномалии в деятельности пользователей. В качестве центральной сущности такой аналитики могут выступать и различные активы, — например, серверы или подсети. Этот подход позволяет выявлять инциденты ИБ, которые невозможно описать сигнатурными правилами корреляции, так как это делается в SIEM. Таким образом, внедрение RUMA и ESO как усиление уже функционирующей SIEM позволяет существенно расширить список реализуемых ИБ-кейсов, основанных на анализе больших срезов данных.

Это лишь два примера того, что явилось драйвером для разработки решений. Кроме описанных продуктов, есть и ряд других направлений разработки. Мы непрерывно отслеживаем общие тренды и проводим исследования по поиску новых технологий и вариантов их применения.

— Сколько времени и какими силами создавалась платформа?

Платформа создавалась около двух лет относительно небольшой командой, в которой были и разработчики, и бизнес-аналитики, и ИБ-инженеры, и дата-сайентисты. В целом, экспертиза команды позволила направить разработку в соответствии с четким пониманием потребностей бизнеса, расширить функционал системы современными фишками, что выгодно отличает нас от зарубежных вендоров, которые уже давно присутствуют на рынке и оказались в своеобразной зоне комфорта — они не спешат развивать свои продукты.

Мы считаем, что уже достигли хороших результатов в такие сроки. Сейчас над развитием платформы работает больше людей — мы укрепляем команду разработки. У нас еще много идей в части математических моделей и алгоритмов, которыми в дальнейшем будет дорабатываться решение.

— Каковы типичные сценарии решений?

Типичные сценария применения зависят от того, рассматриваем ли мы эти две системы по отдельности или как единую комплексную платформу.

Для DataGrain ESO типовой сценарий — это снижение входного потока данных в SIEM. Как следствие, мы снижаем затраты на лицензии, стоимость которых зависит от индексируемых событий, и в то же время не теряем ни одного события, сохраняя все данные в нашей платформе. Таким образом, организация соответствует требованиям регуляторов, получает возможность решения задач ретроспективного анализа и при этом экономит бюджеты, выделяемые на поддержку SIEM.

DataGrain RUMA отвечает за выявление аномалий и реализацию сложных нетиповых кейсов — когда мы понимаем, что паттерн-инцидент сложно или невозможно описать сигнатурной логикой.

В комплексе эти два решения образуют data-платформу, позволяющую решать широкий спектр задач в сфере информационной безопасности и не только — начиная от сбора, обработки и хранения данных, заканчивая решением прикладных задач для бизнеса.

— Каков портрет типичного заказчика? Кто может быть наиболее заинтересован в использовании решения?

О потрете типового заказчика трудно сказать в двух словах. Думаю, общей чертой для любого заказчика будет заинтересованность в использовании возможностей современных технологий и внедрении отечественных решений. При этом не имеет принципиального значения, насколько развиты бизнес- и ИБ-процессы в организации. Здесь должно работать стремление к максимальной эффективности бизнеса в современных условиях.

Наиболее распространенный тип заказчика для линейки наших решений — это средние и крупные компании, в которых давно присутствует SIEM-система, выстроены процессы информационной безопасности и оценки эффективности бизнеса. В таких компаниях часто присутствует понимание того, что бюджеты, выделяемые на иформационную безопасность или на другие направления, расходуются не так эффективно, как хотелось бы.

Также нашим заказчиком может быть и небольшая компания, обладающая скромным бюджетом и планирующая выстраивать все процессы по работе с ИБ-данными на базе нашей платформы. В таком случае мы проводим аудит текущей инфраструктуры, внедряем и настраиваем систему как консолидирующий центр по работе с данными, помогаем выстраивать соответствующие data-driven процессы.

Мы готовы работать как с теми, кто находится на достаточно низком уровне зрелости, так и с теми, кто четко понимает свои потребности и осознает проблемные места в инфраструктуре по работе с данными.

— Где уже нашли применение решения?

Конечно, наиболее яркие для нас кейсы связаны с крупными заказчиками — это банковский, промышленный, государственный, транспортный секторы. В целом, сценарии применения платформы едины, однако каждый проект имеет свою специфику задач и применения.

— Каких результатов удается достичь заказчикам, в чем они могут заключаться?

ESO в первую очередь повышает финансовую эффективность в части оптимизации распределения бюджетов на SIEM-системы, которые являются очень существенной статьей расходов. RUMA позволяет решать сложные и персонализированные ИБ-кейсы, связанные с активностью пользователей. Так, например, решение позволяет выявлять инсайдерскую деятельность на раннем этапе и предотвращать серьезные финансовые и репутационные потери, а не расследовать уже фактически произошедшие инциденты.

Платформа применялась для достижения различных прикладных целей. В качестве достигнутых результатов, можно отметить значительное снижение издержек по эксплуатации систем, обеспечивающих информационную безопасность, оптимизацию отдельных бизнес- и ИБ-процессов организации, а также реализацию превентивного подхода к событиям безопасности.

— А что вы считаете главным своим достижением?

Хочу еще раз подчеркнуть, что наша основная цель как производителя, — помочь отечественному бизнесу эффективно использовать передовые технологии для решения своих задач. В силу усиливающихся трендов на импортозамещение и цифровизацию нам очень важно и приятно осознавать, что мы делаем доступными современные технологии для малых и средних игроков на рынке, которым тяжело самостоятельно выстроить экосистему, позволяющую эффективно работать с данными. В то же время мы помогаем и крупному бизнесу более оперативно выстраивать data-driven процессы, позволяя сосредоточиться на прикладном использовании данных внутри организации и формировании базы интересующих кейсов, нежели решению инженерных задач по построению архитектур, позволяющих с этим данными эффективно взаимодействовать и работать.

— Каковы направления развития решений?

Говоря о прикладном аспекте, в ESO мы наращиваем базу поддерживаемых источников «из коробки» и занимаемся развитием пользовательского интерфейса для того, чтобы снизить порог входа для конечного пользователя. В RUMA же активно ведутся работы по тюнингу существующих поведенческих алгоритмов и разработке новых. В целом, мы движемся в направлении обогащения нашей платформы. Планируем развивать текущий функционал и интегрировать новый. Как я ранее отметил, мы ведем постоянную работу в части отслеживания актуальных тенденций рынка и нужд наших партнеров и заказчиков.

Наши решения развиваются не только технологически – мы в первую очередь хотим, чтобы они были доступны широкому кругу заказчиков. Поэтому сейчас мы также сконцентрированы на том, чтобы платформа сохраняла вариативность и гибкость, — как в части архитектуры внедрения, так и формирования конечной стоимости решения.

Применение инструментов для самостоятельной работы пользователей с данными становится все более распространенной практикой. Именно за счет self-service BI компании избегают «бутылочного горлышка» в виде ограниченных ресурсов ИТ-подразделений и повышают оперативность разработки дата-продуктов. В группе компаний «Деловые Линии» анализ данных силами бизнес-пользователей дает возможность обеспечить непрерывность производственных процессов, оперативно реагировать на возникающие проблемы и повышать эффективность обеспечительных процессов. О причинах построения решений self-service BI и достигнутых результатах рассказывает Фарид Мадани, генеральный директор ГК «Деловые Линии».

— Как развивалась в компании работа с данными? Какие ключевые этапы можно выделить?

Работа с данными для нас – всегда одна из первостепенных задач: массивы информации трудно анализировать. Раньше для корпоративных информационных систем всегда действовали ограничения на глубину анализа данных, отчеты формировались относительно долго и имели недостаточную гибкость. Но главной проблемой было отсутствие консолидации данных в одном месте. Поэтому первым шагом в этом направлении для нас стало внедрение корпоративного хранилища данных, в котором происходила консолидация из основных источников и формировались витрины информации для последующего анализа, а также внедрение BI-системы. Следующим этапом было внедрение озера данных, которое значительно расширило наши возможности по анализу данных, в том числе больших и неструктурированных массивов. Когда уже были внедрены основные компоненты консолидации и работы с данными, мы приступили к передаче функции анализа данных в руки бизнес-пользователей – появились инструменты для самостоятельной работы с данными (self-service BI), которые развиваются и сегодня.

— В чем заключалась главная боль бизнеса, какие задачи требовалось решить за счет внедрения self-service BI?

В компании рос интерес к принятию решений на основе данных, и со временем стала выстраиваться очередь из запросов от бизнес-подразделений в ИТ-отдел, который, среди прочего, занимался разработкой отчетов и выгрузкой данных. Если же требовалось самостоятельно поработать с данными, то согласование доступа занимало очень много времени. Это замедляло бизнес в проверке гипотез и принятии решений, от которых и зависит успех наших инициатив. Так назрела потребность внедрения сервисов самообслуживания, которые дали возможность оперативно получать доступ к нужной информации и самостоятельно проводить ее анализ.

— Аналитика требует надежного фундамента. Что лежит в основе построенной системы?

Если говорить о технологиях, то озеро данных мы построили на базе Hadoop, хранилище данных сделано на решениях Microsoft, а в качестве BI-систем используем QlikView и Power BI. Для эффективной работы пользователей с инструментами self-service BI наш партнер – BIA Technologies – разработал специальные компоненты, которые позволили значительно ускорить сбор данных и работу с ними, а также упростил получение к ним доступа. Например, у нас появился коннектор BIA Tech Bridge, который обеспечивает быстрый сбор данных из систем «1С», или инструмент DMT, который позволяет просто – без написания кода – получить данные в песочнице бизнес-пользователя.

— Какие данные и какие платформы для работы с данными используются?

Используем учетные системы на базе «1С», корпоративные сайты и прочие внутренние источники: данные по клиентам, заказам на перевозку, остаткам и заказам на закупку и поставку расходных материалов, данные по загрузке сотрудников, сбор финансовой отчетности.

Бизнес-пользователями создана практика прототипирования отчетов, систем планирования и производственных систем, не требующих оперативных данных.

— Как выстроена архитектура инструментов self-service BI?

Это не одно решение, а целый инфраструктурный, программный и методологический комплекс. Основой работы сотрудников является «песочница», в которой развернуты все компоненты для комфортной работы с данными. Она находится в защищенном контуре и соответствует всем требованиям информационной безопасности. Внутри «песочницы» есть необходимый инструментарий для анализа данных. Также внедрен сервер публикации, на котором могут размещаться разработки пользователей, если к ним требуется доступ другим сотрудникам.

— Вероятно, потребовалось изменение культуры сотрудников. Какие мероприятия были проведены?

Это одна из самых сложных задач – вовлечь сотрудников в работу с данными. Для начала мы стали проводить мероприятия по ознакомлению коллег с возможностями self-service BI и выгодами, которые дает сервис при решении задач, по сравнению с прежними подходами. Для тех, кому была нужна помощь в освоении инструментария и ознакомлении с практикой анализа данных, мы разработали курсы и сейчас проводим обучение и ведем базу знаний. И, конечно же, мы обеспечиваем полную поддержку всем пользователям, которые занимаются самостоятельным анализом данных. Это дает эффект – интерес к self-service BI растет.

— Насколько эти инструменты востребованы в реальности? Какой процент сотрудников пользуется инструментами, какой целевой показатель?

Мы видим, что сервисом пользуются. Об этом говорит постоянно растущее число Power Users – так мы называем сотрудников, которые изучили инструментарий self-service BI и используют его в своей повседневной деятельности. Регулярно растет и количество опубликованных отчетов и наборов данных, которые впоследствии доступны конечным пользователям.

— Каких результатов удалось достичь?

Если говорить о самостоятельном анализе данных, то результатов много. Начиная от публикации локальных отчетов, которыми пользуются сотрудники подразделений, до более глобальных решений. Например, силами бизнес-пользователей финансового департамента и подразделения маркетинга была создана модель, которая позволяет создавать более целевые предложения нашим клиентам. Еще можно привести пример службы по работе с поставщиками, которая многие процессы внедряет при помощи инструментов self-service BI.

В целом это ведет к повышению уровня удовлетворенности клиентов за счет контроля ключевых показателей и оперативного реагирования на возникающие трудности в производственных процессах – так обеспечивается своевременность поставок. Но, пожалуй, самый важный результат – увеличение вовлеченности бизнес-пользователей для работы с данными.

— Было ли среди результатов то, что действительно удивило?

Удивила скорость внедрения практики самостоятельного анализа данных в некоторые подразделения. Созданный подход и инструментарий оказались настолько удобными для некоторых бизнес-подразделений, что они его внедряют во многие свои процессы, и происходит это за считанные недели.

— Как это отражается на финансовых показателях?

Можно говорить как о прямом, так и о косвенном эффекте. Например, службе по работе с поставщиками удалось значительно оптимизировать затраты на закупку пиломатериалов. Не понадобилось также увеличивать штат сотрудников за счет более тонкой настройки процессов и распределения задач – с помощью инструментария self-service BI.

— Что дальше? В каком направлении будет развиваться система?

Сейчас мы сосредоточены на повышении качества данных: на основании неточных данных могут приниматься плохие решения. Также мы смотрим в направлении онлайн-аналитики, и особое место в нашей «дорожной карте» занимает предсказательная аналитика. И, безусловно, мы собираемся и дальше совершенствовать уже внедренные решения.

Развитие велосипедной инфраструктуры в России существенно отстает от любой развитой страны. Проект «Велогород.online» ставит своей целью сделать города безопасными для всех: автомобилистов, велосипедистов и пешеходов, — и направлен на сбор данных о велосипедном трафике. Важно помочь исследователям лучше изучить жизнь города, правильно распределить ресурсы и возвести велосипедную инфраструктуру именно там, где это наиболее важно. О реализации проекта рассказывает Илья Абросимов, генеральный директор Исследовательского центра городских технологий и урбанистики.

— Как появилась платформа «Велогород.online», что стало мотивом ее создания?

Транспортная система города — это в некотором смысле живой организм. Она растет и развивается по определенным законам. Эти законы транспортные инженеры, подобно ученым-биологам, изучают годами, наблюдая за процессами и собирая огромное количество данных. Современные города изменяются с оглядкой на эти законы, и существуют десятки, если не сотни очень приличных работ про общественный транспорт, личные автомобили и даже пешеходов.

А вот про велосипедный трафик известно довольно мало. Зато стереотипов про велосипеды в России превеликое множество: «не тот климат», «транспорт для нищих», «ездят в основном спортсмены» — можно продолжать долго, список окажется довольно внушительным. Работать с этими стереотипами можно только одним способом — с помощью объективных данных.

Ежедневно стоять на перекрестках с листком бумаги и карандашом — довольно нудная и ресурсоемкая задача, поэтому идея цифрового решения лежала на поверхности. В 2020 году плавный рост интереса к велосипедам сменился на резкий скачок, а в разгар пандемии COVID-19 появился новый спрос на альтернативу общественному транспорту и транспорту для курьеров. Как следствие, у городских планировщиков появилось много вопросов, на которые «Велогород.online» и помогает найти ответы.

— Каких целей пытаетесь достичь? Почему это важно?

Проект ставит своей целью сделать города более эффективными и безопасными для всех: автомобилистов, велосипедистов и пешеходов. Мы хотим помочь градостроителям, проектировщикам и урбанистам лучше изучить жизнь города, правильно распределить ресурсы и возвести инфраструктуру именно там, где это наиболее важно. При этом мы автоматизируем самую объемную и нудную работу по сбору, валидации, систематизации и визуализации данных.

По сути, существует всего два подхода к созданию современных мультимодальных городов. Первый — переделывать всё и сразу. Такой подход довольно дорог, и позволить его себе могут только пара-тройка городов России. Второй — эффективно вкладывать средства и модернизировать инфраструктуру сначала там, где это жизненно необходимо. Этот подход доступнее, и единственная возможность его реализовать — использовать данные.

— Что представляет собой платформа?

Платформа представляет собой распределенную базу данных, расположенную на нескольких серверах-узлах на территории страны. На каждом узле также находится набор программных модулей для сбора, обработки и визуализации различных наборов данных: в непрерывном режиме собираются данные с фитнес-трекеров и прокатов, климатические и экологические данные, данные о безопасности на дорогах и даже о ценах на топливо в регионе. Доступ к данным пользователи получают через одноименный веб-сайт «Велогород.online».

На платформе развернута карта ДТП с большим количеством инструментов аналитики, что позволяет на ранних этапах обнаруживать «узкие места» в инфраструктуре и оперативно принимать решения по их устранению. Она интегрирована с самым популярным приложением для велосипедистов Strava, погодными и другими сервисами.

Также с платформой связан Telegram-бот, через которого пользователи могут пожаловаться или наоборот похвалить конкретное инфраструктурное решение для велосипедистов. Бот передает сообщение на модерацию, а после нее – в специальный канал, на который подписаны представители администрации города. Быстро, анонимно и только по делу.

Сейчас мы также работаем над интеграциями с системами распознавания образов на улично-дорожной сети и собственным мобильным приложением, мотивирующим людей к поездкам на немоторизованном транспорте и прогулкам пешком.

— На кого платформа ориентирована, кто ключевые пользователи?

У платформы два основных вида пользователей: генераторы данных и их потребители. Генерируют данные сами велосипедисты и пользователи средств индивидуальной мобильности, а потребляют их в обработанном виде проектные организации и администрации городов.

Особенность платформы заключается не только в полной автоматизации процесса сбора и обработки данных, но и в привлечении реальных пользователей к развитию инфраструктуры. Становясь частью системы, у пользователя формируется чувство сопричастности и понимание того, что без лишних временных и ресурсных затрат в инфраструктуре будут учтены его интересы.

Про бизнес мы тоже не забыли, и кое-какие полезные инструменты для владельцев веломагазинов, мастерских и прокатных сервисов у нас тоже в скором времени появятся.

— Каков фундамент? На каких технологиях работает решение?

Пока это небольшая «солянка», где фоновые ресурсоемкие операции с данными выполняются на Python, базовые манипуляции происходят на веб-сервере под управлением Apache, а интерфейсы пользователя доступны благодаря отечественной системе управления контентом «1C-Битрикс: Управление сайтом». Интерактивные графики мы предпочитаем рисовать сами, используя JavaScript, язык разметки векторной графики SVG и мощности библиотеки D3.js.

Большую часть алгоритмов пришлось разрабатывать самостоятельно, ориентируясь на современные работы по транспортному планированию и моделированию, адаптируя методы обработки под велосипедный трафик. Планируем подробнее рассказать про это в научных публикациях в ближайшее время.

— Где уже используется платформа, каких ключевых результатов удалось добиться?

Нашими пилотными регионами стали Южно-Сахалинск и Якутск. При довольно суровом климате и некоторых экологических особенностях, микромобильность в этих городах существует и развивается. Флагманом с точки зрения результатов бесспорно является Южно-Сахалинск, где у центра развития городской среды получилось серьезно продвинуть город в вопросах мультимодальных улиц. Благодаря собранным данным удалось обосновать более 30 км велосипедной и велопешеходной инфраструктуры, оборудовать более 20 специальных велопереездов на перекрестках. Более того, город стал претендентом на звание велосипедной столицы России, как бы странно это ни звучало. Летние фотографии Южно-Сахалинска уже можно будет легко спутать с фотографиями небольших улиц европейских городов.

Мы собрали лучшие data-driven практики Южно-Сахалинска и планируем в этом сезоне внедрить их в Калининграде и еще нескольких региональных центрах.

— Каким должен быть эффект после масштабирования платформы на всю территорию России?

Последние большие исследования в городах-миллионниках показывают, что на текущий момент только около 20% всей возведенной велоинфраструктуры являются эффективными. Остальные же 80% практически не востребованы, так как возведены в неправильном месте и в неправильное время. Мы работаем над тем, чтобы развернуть эту печальную пропорцию в противоположную сторону.

Кроме того, ежегодно в ДТП погибают или получают травмы в среднем 4 велосипедиста на каждые 100 тыс. населения — это огромные числа в масштабах страны! Ситуация не меняется на протяжении семи последних лет, но мы очень надеемся, что продуманная инфраструктура, опирающаяся на данные и лучшие практики, поможет сделать города более безопасными для велосипедистов и пользователей средств индивидуальной мобильности.

— Каковы направления развития платформы?

Мы понимаем, что велоиндустрии и бизнесу в целом сейчас будет нелегко, поэтому в первую очередь работаем над тем, чтобы включить в нашу платформу решения для бизнеса. Спектр инструментов довольно широк: от суперточного таргетинга и интеграций с системами лояльности до решения для развития ESG-принципов на крупных предприятиях.

В технологическом плане основными направлениями на ближайший год-два станут распознавание образов для полного автоматического расчета модального расщепления на городских улицах, а также собственное мобильное приложение и перевод системы из сервер-серверной плоскости к туманным вычислениям.

Переезд людей из мегаполисов в сельскую местность стал заметной тенденцией последнего времени. Как известно, спрос на услуги рождает предложение. Цифровая экосистема «Свое село», созданная РСХБ, стала первой в России площадкой с полным комплексом сервисов для выбора, обустройства и приобретения жилья в сельской местности и за городом. О ее построении и первых результатах работы рассказывает Наталья Кушнарева, управляющий директор Центра развития финансовых технологий Россельхозбанка, руководитель проекта «Свое село» и номинант на премию Data Award.

— Как родилась идея создания экосистемы «Свое село»?

Пандемия ускорила деурбанизацию и вдохновила миллионы людей переселяться из мегаполисов в пригороды и сельскую местность. Примерно две трети территории России относятся к сельской местности, здесь проживает около четверти населения страны. Сейчас в РФ действует государственная программа «Комплексное развитие сельских территорий», в рамках которой выделено несколько направлений, связанных с созданием и развитием инфраструктуры на сельских территориях и условий для обеспечения доступным и комфортным жильем сельского населения. Однако село пока отстает по уровню жизни от крупных населенных пунктов, а основная часть сервисов создается для больших городов и мегаполисов.

РСХБ поставил перед собой задачу упростить получение онлайн-сервисов для жителей сельских территорий и расширить набор доступных на селе цифровых услуг, запустив экосистему «Свое село», которая позволяет клиентам получить онлайн практически весь комплекс услуг, необходимых для комфортной жизни за городом. Это поможет на национальном уровне решать задачи по обеспечению россиян доступным и комфортным жильем.

— На какие конкретные тенденции и предпосылки вы опирались?

Во-первых, на государственном уровне установлен фокус внимания к индивидуальному жилищному строительству: государство субсидирует ипотечные программы с целью приобретения жилья в сельской местности, а до конца года запланирован запуск программы для ИЖС, преимущественно в сельской местности. Во-вторых, за последние 20 лет увеличилась активность населения на рынке индивидуального жилищного строительства; доля жилья, построенного населением, выросла с 20% до 27%. За это же время ввод в эксплуатацию жилья вырос на 270%, а ввод частных домов на 320% – наблюдается устойчивый рост рынка жилья, причем ввод частных домов в эксплуатацию растет опережающими темпами. На рынке видна тенденция к строительству частных домов.

— Какие сервисы включает экосистема? Каким принципам пытались следовать при их формировании?

Создание экосистемы «Свое село» началось с изучения основных проблем и вопросов, с которыми сталкиваются жители при переезде за город. Самые очевидные из них: где выбрать и приобрести земельный участок, как самостоятельно построить дом и сколько это будет стоить, где выбрать и купить готовый дом, где подобрать походящий проект дома и надежного подрядчика, как выбрать наиболее выгодную ипотечную программу и т. п.

Таким образом, главным принципом при формировании сервисов экосистемы «Свое село» являлась необходимость закрыть все возникающие потребности клиента при переезде за город и предоставить лучший клиентский опыт в сфере строительства, приобретения и обустройства загородной жилой недвижимости с возможностью подбора наиболее подходящего ипотечного решения.

Созданная нами экосистема включает в себя несколько категорий сервисов. Первая из них – сервисы подбора недвижимости. Это уникальная база объектов загородной недвижимости с описанием инфраструктуры и возможностью подачи ипотечной заявки онлайн, витрина объектов недвижимости, каталог типовых проектов домов, бань и придомовых построек, перечень подрядных организаций, аккредитованных под строительство жилья.

Вторая категория – финансовые сервисы. Сюда входит цифровая заявка на ипотеку и потребительский кредит, онлайн подбор ипотечной программы, карточка ипотечной программы, ипотечный калькулятор, калькулятор потребительского кредитования. Третья категория – сопутствующие сервисы. К ним относятся предложения от аккредитованных подрядных организаций, калькулятор расчета строительства дома, личный кабинет партнера и каталог услуг от партнеров.

Платформа «Свое село» была бы неполноценной без информационных сервисов: новостей и контента от читателей, лайф-контента и опросов, stories, чат-бота. Отдельно можно упомянуть ресурс «Деревни будущего».

— Что было самым сложным в ходе реализации этого проекта?

Самым сложным было предусмотреть функционал платформы, которой нет аналогов (она запущена в мае 2021 года), который будет помогать клиентам решать задачи, связанные с приобретением, владением и обустройством жилья в сельской местности.

— Насколько вообще популярно «деревенское» направление среди граждан?

По оценке Росстата, на начало 2022 года численность сельского населения РФ составила 25,56%. Кроме того, по данным последней всероссийской сельскохозяйственной переписи, в стране насчитывается 13 млн садовых участков, что показывает интерес горожан к сельскому образу жизни. Социологические опросы говорят о том, что сегодня уже каждый пятый россиянин хотел бы переехать за город. Людей привлекает чистый воздух, спокойный ритм жизни, возможность держать личное хозяйство и питаться натуральными продуктами.

— Какие данные использованы при построении системы?

При проектировании системы мы изначально закладывали возможности по использованию технологий искусственного интеллекта и аналитики данных. Например, мы используем реализованный в РСХБ цифровой профиль клиента, содержащий всю доступную информацию по нему, и цифровую маркетинговую платформу для формирования персонализированных предложений и коммуникаций с клиентами, а также персонализации содержания нашей платформы. Также для нас как весьма молодого сервиса существенное значение имеет анализ данных по клиентскому поведению с использованием алгоритмов машинного обучения для оптимизации клиентского пути и улучшения клиентского опыта. Важно отметить, что цифровой профиль клиента, помимо внутренних данных, содержит и внешние данные, что помогает нам повысить показатели по привлечению новых клиентов.

— Пытались ли оценить финансовый эффект от создания экосистемы? Каких результатов ожидаете?

При открытии проекта оценивался как прямой финансовый, так и качественный эффект. Так, например, в части оценки качественного эффекта мы руководствовались метриками, связанными с цифровизацией ипотечной заявки (сокращение времени подачи заявки на кредит), количеством посетителей платформы и процентом клиентов, оформивших ипотеку, которые имеют персональные предложения и т. д.

— Что вы считаете наиболее важными достижениями?

Мы гордимся, что нам удалось разработать первую в России экосистему, цифровизирующую процесс строительства и приобретения готового дома: от выбора проекта, покупки подходящего участка, расчета сметы и строительства индивидуального жилья по проекту партнера до подбора готового дома и благоустройства приусадебной территории.

За восемь месяцев с начала выпуска системы в опытную эксплуатацию на нашей витрине представлено более 1 млн объектов загородной недвижимости, получено более 8,5 тыс. заявок на ипотеку, мы имеем более 730 тыс. уникальных пользователей клиентской аудитории. К платформе подключились более 800 подрядных организаций, оказывающих услуги по строительству домов и разместивших более 1 тыс. проектов домов на платформе, и более 4 тыс. партнеров, оказывающих услуги. Наши клиенты могут выбирать из более чем 4,5 тыс. услуг от партнеров по строительству, ремонту и обустройству дома и территории.

— В чем роль экосистемы для рынка?

Роль нашей экосистемы состоит в том, чтобы предоставить клиентам полную информацию о возможности приобретения недвижимости в сельской местности, предоставить широкие опции ипотечной программы, а также обеспечить сопутствующие сервисы. Как показывает практика, в сельские территории и за город стремятся не только молодые семьи, мечтающие о просторном жилье, но и люди, желающие жить в комфортном коттеджном поселке, где можно приятно проводить время на лоне природы, в экологически чистых условиях.

В данный момент большая часть сервисов на рынке создается для крупных городов, мегаполисов. Это более простой путь, так как там другая экономика, другая рентабельность. Но не надо забывать про 25% сельского населения страны. Мы надеемся, что наша экосистема позволит решить значительное количество вопросов жителей сельских территорий.

— В каком направлении будет развиваться экосистема «Свое село»?

Мы стремимся стать крупнейшей платформой на рынке индивидуального жилищного строительства. В числе прочего, на базе нашей платформы требуется создать сервисы по оценке недвижимости и кадастровой оценке, витрину архитектурных проектов, мобильное приложение по обслуживанию ипотечных кредитов. На ней должны появиться страховые, юридические, налоговые услуги, а также прием платежей.

Цифровая платформа МСП – это государственная платформа поддержки предпринимателей, разработанная Корпорацией МСП совместно с Минэкономразвития России и запущена в тестовом режиме в начале 2022 года. Она объединяет региональные меры поддержки, банковские сервисы, программы обучения и статистику для бизнеса. «Статистика бизнеса в России» – один из важнейших сервисов, представленных на платформе. Его данные призваны помочь принятию решений как конкретными предприятиями, так и на государственном уровне, а для широкой общественности представляют окно в мир официальных данных о бизнесе. О задачах реализации этого проекта и его роли рассказывает Александр Исаевич, генеральный директор Корпорации МСП.

— Какова история создания сервиса «Статистика бизнеса в России»? Как и почему он появился, ради чего всё это?

Анализ состояния бизнеса и делового климата в стране – один из важнейших государственных приоритетов. Массивы данных, которые подлежат анализу на федеральном уровне, огромны, они имеют много уровней «глубины» и сосредоточены в различных источниках и ведомствах. Единого инструмента их мониторинга до настоящего момента не существовало. Одна из целей создания «Цифровой платформы МСП», на которой представлен сервис «Статистика бизнеса в России», как раз состоит в том, чтобы наладить межведомственное взаимодействие на федеральном уровне и создать «единую точку входа» для получения предпринимателями услуг, мер поддержки, знаний и информации.

При старте разработки платформы в 2021 году мы поняли, что она также может и должна стать первым и универсальным «барометром» бизнеса. В частности, ее задача – бесшовно собирать и отражать статистические данные из различных официальных источников в одном месте в режиме реального времени. И не менее важно открывать к ним доступ для всех заинтересованных сторон, в том числе, самому бизнесу.

— Что он собой представляет?

Для государственных ведомств и предпринимателей «Статистика бизнеса в России» – это единый цифровой дашборд ключевых показателей развития малого и среднего бизнеса и самозанятости в России, призванный повысить прозрачность и скорость принятия стратегических решений на всех уровнях: как в масштабах страны в целом, так и внутри конкретного бизнеса. Для широкой общественности она призвана выступить источником данных о бизнесе, которые представлены не только открыто, но и наглядно, с пояснениями и интерактивной визуализацией данных.

— На кого ориентирован сервис и кому может быть полезен?

«Статистика бизнеса в России» будет полезна предпринимателям, которые хотят быть в курсе ключевых финансовых показателей в регионе присутствия и рыночном сегменте или планируют расширить географию своего бизнеса. Сервис также расширяет возможности цифровизации и data-driven подхода в государственном управлении – в сфере поддержки и развития малого и среднего бизнеса в регионах страны. Кроме того, он призван выступить источником актуальных данных для СМИ.

На главной странице Цифровой платформы МСП можно ознакомиться с ключевыми агрегированными данными на актуальную дату: общий оборот бизнеса в России в денежном выражении (включая, крупный, средний, малый и микро-бизнес), отдельно – оборот сегмента МСБ, а также количество зарегистрированных малых и средних предприятий в стране и самозанятых специалистов.

На странице самого сервиса «Статистика бизнеса в России» в открытом доступе представлены обезличенные данные о динамике выручки МСП, среднем чеке, количестве зарегистрированных финансово активных юридических лиц и числе контрольно-кассовых аппаратов, начиная с 2019 года, в отраслевом и региональном разрезе.

После регистрации на цифровой платформе предпринимателям доступны данные по конкретным ОКВЭД в разрезе страны в целом, отдельного округа или региона – в сравнении по разным показателям, а также динамике.

— Какие данные и платформы используются?

Сервис агрегирует и обрабатывает массивы как открытых, так и закрытых из официальных источников – государственных министерств и ведомств, таких как ФНС, Росстат, Минэкономразвития, Банк России и др.

Для предоставления актуальной, регулярно обновляемой статистики сервис ежедневно обрабатывает порядка 1,7 млн строк данных, получаемых из официальных источников, или около 625 млн строк данных в год. По состоянию на февраль 2022 года осуществляется обработка и агрегация порядка 2 млрд строк данных, доступных с 2019 года.

Одной из используемых технологий для обработки данных выступает аналитическая платформа Visiology. Кстати, при разработке сервиса «Статистика бизнеса в России» производительность ядра платформы Visiology – in-memory СУБД ViQube – была значительно увеличена, что позволило повысить скорость выполнения аналитических запросов на 40%. Основным подрядчиком по разработке и поддержке сервиса выступает компания Notamedia.

— Что в реализации проекта было самым сложным?

Во-первых, требовалось научиться агрегировать, стандартизировать и анализировать большие объемы межведомственных данных. Во-вторых, было важно сделать результаты такой аналитики наглядными, не скучными и визуально привлекательными. Наконец, следовало максимально упростить работу с сервисом для самых разных категорий пользователей. Отсюда и основные вызовы: не только «подружить» сами данные между собой, но и их объемы со скоростью обработки, «красотой» и простотой для пользователя.

— Что является главной «фишкой» платформы?

Отдельного внимания заслуживает интерактивная визуализация данных. Показатели не только представляются в виде наглядных дашбордов, тепловых карт, сравнительных таблиц и графиков трендов. Гораздо важнее, что они позволяют пользователю в интерактивном режиме взаимодействовать с картой, устанавливать гибкие фильтры, отслеживать данные в сравнении и динамике в режиме реального времени. Фильтры, выбранные в любом из разделов, применятся к дашборду в целом, чтобы ускорить и упростить получение данных.

— Каких результатов удалось достичь?

На текущий момент сервисом «Статистика бизнеса в России» воспользовались более 12,5 тыс. раз. Ожидается, что в течение года этот показатель возрастет как минимум впятеро.

Кроме того, предусматривается план развития сервиса, повышения объема доступных данных, подходов к их анализу и представлению для повышения удобства пользователей.

— В чем роль проекта для рынка, его социальная значимость?

Это единственный на сегодняшний день сервис, наглядно отражающий состояние предпринимательства в стране на федеральном и региональном уровнях — онлайн, в удобной форме и в режиме реального времени. По сути, это интерактивный цифровой дашборд ключевых показателей развития малого и среднего бизнеса и самозанятости в России. Он полезен предпринимателям, которые хотят принимать решения, основываясь на регулярно обновляемых данных в конкретной отрасли или регионах присутствия. Он позволяет отслеживать динамику ключевых показателей малого и среднего бизнеса как на федеральном уровне, так и в разрезе отдельных округов, регионов и отраслей, чтобы оперативно принимать решения о необходимых мерах поддержки и реагирования. Фактически, речь идет о data-driven подходе в масштабах страны.

— Каким вы видите будущее сервиса, его направления развития?

Уже предусмотрен план развития сервиса до 2025 года. Ближайшие шаги – продолжать подключать новые источники данных: ФНС России и другие ведомства, региональные институты, финансовые организации, системы централизованного сбора открытых данных и др. Кроме того, мы продолжим улучшать возможности для сопоставления и обработки агрегированных данных и детализации дашбордов.

Еще одна важная задача – UX-аналитика использования сервиса и получение обратной связи от пользователей. Мы хотим понимать, какие данные, в каком разрезе и ключе наиболее ценны предпринимателям и другим аудиториям, как сделать сервис удобнее и проще с точки зрения «пути пользователя» – напрямую из первых рук, а не только основываясь на собственных представлениях.

Чтобы оставаться лидером на рынке, банку необходимо знать своего клиента: понимать его жизненную ситуацию, интересы и потребности, меняющиеся во времени. Этот фактор является ключевым в борьбе за внимание аудитории. В «Сбере» разработали проект по созданию максимально полного цифрового портрета каждого клиента на основе данных. О преимуществах такого подхода для бизнеса и для клиента рассказал Кирилл Панин, управляющий директор «Сбера».

— В каком направлении развивается персонализация клиентского опыта?

Каждый из наших клиентов обладает уникальным опытом использования финансовых и нефинансовых продуктов экосистемы, поэтому наша цель – найти индивидуальный подход к каждому за счет персонализации клиентского опыта. Мы должны знать своих клиентов настолько хорошо, чтобы быть помощником в большинстве возможных жизненных ситуаций, отвечать на текущие потребности и предвосхищать те, которые возникнут на следующем шаге.

Наши знания о клиентах находят свое выражение в хэштегах – бинарных бизнес-интерпретируемых знаниях, отражающих устойчивую характеристику или паттерн поведения каждого клиента. На текущий момент дивизион «Массовая персонализация» разработал более 15 тыс. хэштегов и продолжает работу над увеличением количества знаний, интегрируя доступные источники данных, возможности искусственного интеллекта, поведенческой экономики и данных клиентских исследований. Цель проекта – создать цифрового двойника клиента, максимально полно отражающего его финансовое поведение, предпочтения, цели, жизненные ситуации.

— Вероятно, попытки создать цифровых двойников для своих клиентов «Сбер» делает уже давно. Какие этапы вы можете выделить?

Построение цифрового двойника клиента эволюционирует вместе с развитием технологий аналитики и искусственного интеллекта. На предыдущем этапе, назовем его product-based, мы сосредотачивали усилия на том, чтобы наиболее удобным способом предложить клиенту максимально подходящий для него продукт. В настоящее время цифровой двойник встраивается в системный проект по определению жизненной ситуации клиента. Мы не только предлагаем продукт, но и комплексно оцениваем жизненную ситуацию клиента и оптимальный клиентский путь и строим цепочку предложений, исходя из этого.

— Насколько хорошо удается «предвосхищать» потребности клиентов – то, к чему вы стремитесь?

Мы стремимся не только предлагать заранее то, что нужно клиенту прямо сейчас, но и формировать потребности. Например, на основании паттернов финансового поведения мы умеем предсказывать совершение покупки в той или иной категории и предлагать оптимальные для клиента продукты и сервисы.

— На текущий момент разработано более 15 тыс. хэштегов. А сколько необходимо для полноценного описания действий человека?

Мы не ставим себе количественных целей, а ориентируемся на то, насколько качественны наши данные и насколько полно они позволяют нам понять клиента. Однако регулярно сопоставляем наши успехи с лучшими мировыми практиками. По данным компании Finalta, с которой мы регулярно проводим исследования, «Сбер» входит в число мировых лидеров по объему знаний о клиентах.

— Какие данные используются для создания цифровых двойников?

Мы используем всю доступную с согласия клиентов финансовую информацию, цифровые следы клиентов в экосистеме, данные цифрового профиля гражданина и чеков, анализ коммуникаций клиентов с сотрудниками банка, данные мобильного приложения и голосовых ассистентов.

Для анализа данных применяем передовые технологии машинного обучения и обработки данных, алгоритмы градиентного бустинга и нейронные сети, а также активно внедряем SOTA методы машинного обучения: GPT-3, MeLES и др.

— Понимание своего клиента имеет очевидную ценность для банка. А в чем выгода для самого клиента от такого понимания?

Клиент получает максимально подходящее и удобное для него обслуживание без излишних контактов с банком. И это касается как помощи в решении определяющих вопросов – например, покупки квартиры, где мы не просто помогаем взять ипотеку, но и выстроить весь путь решения о покупке до партнерских предложений по обустройству нового жилья – так и небольших, но значимых для удобства клиента задач. Например, алгоритм определения тайм-зоны клиента исключает звонки и смс в неподходящее время. Это позволило исключить жалобы клиента по вопросу контактов в неподходящее время.

— Возможна ли прямая монетизация знаний о клиентах, или все-таки речь идет об их встраивании в продукты банка?

Развитие знаний о клиентах не ставит монетизацию первоочередной целью, мы сосредоточены на понимании и удовлетворении потребностей клиента и интегрировании этих знаний в наши предложения и коммуникации. В долгосрочной перспективе это развитие выгодно как банку, так и клиентам, поэтому так или иначе монетизация происходит.

— Каких успехов удалось достичь?

Мы используем знания о клиенте для улучшения прогнозирования спроса на банковские продукты и сервисы, повышения точности моделей и разработки сегментных стратегий. Общий финансовый эффект моделей в бизнесе персональных предложений составил 116 млрд руб. за 2021 год.

Сейчас мы в процессе масштабирования проекта на все продукты и сервисы экосистемы «Сбера». Для того чтобы стать эффективным помощником для клиента в его повседневной жизни, недостаточно только финансовых сервисов, и мы идем по пути максимальной интеграции с экосистемой.

— Приведите пример персональных сервисов, которые имели самый большой бизнес-эффект.

Например, мы разрабатываем уникальные подходы к пониманию и предсказанию поведения клиентов. В частности, определяем паттерны их поведения, предшествующие открытию продуктов, что дает существенный эффект: на примере заявок на персональные кредиты выявлено более чем трехкратное увеличение. Мы применяем эту методологию не только к нашим базовым продуктам – персональным кредитам и ипотеке, но и к инвестиционным продуктам, брокерскому обслуживанию.

— В чем роль проекта для бизнеса «Сбера»?

Построение цифрового двойника каждого клиента на основе данных помогает увеличить прибыль компании и удовлетворенность клиентов за счет того, что каждый из них обретает свой индивидуальный образ с уникальными чертами, позволяющими строить персонифицированные коммуникации и рекомендации. Сейчас мы реализуем масштабный системный проект по определению жизненных ситуаций клиента, позволяющий комплексно оценить потребности и подобрать оптимальный клиентский путь. Конечно же, в алгоритме определения жизненной ситуации знания о клиенте играют ключевую роль.

Также знания о клиентах используются и в отдельных социально-ориентированных проектах. Например, одной из важных целей нашей стратегии развития является повышение уровня ESG банка и клиентов. На знаниях о клиентах построен их ESG-рейтинг, позволяющий оценить текущее вовлечение клиентов в «зеленую» повестку и создать стратегию дальнейшей работы компании в этой сфере.

Повышение уровня безопасности дорожного движения за счет снижения количества небезопасных автомобилей актуально для любой страны. По заказу Росстандарта агентство «Полилог» реализовало масштабный проект по оцифровке данных об отозванных автомобилях. Для этого были разработаны личный кабинет автопроизводителя, цифровые сервисы, позволяющие информировать граждан и организации, а также визуализированные материалы, помогающие гражданам разобраться в том, что такое «отзыв» и как проверить свой автомобиль. О реализации этого социального проекта рассказывает Людмила Богатырева, руководитель департамента цифровых решений агентства «Полилог» и номинант на премию Data Award.

— В чем заключалась проблема отзывных кампаний?

До реализации проекта данные об отзыве автомобилей и их ремонте не собирались в единую базу данных, а хранились в разрозненных файлах и «на бумаге». Естественные следствия этого – замедление запуска отзывных кампаний из-за бумажного документооборота и низкая доля владельцев, осведомленных о потенциальной опасности своего автомобиля. При этом неоцифрованные данные невозможно передать третьим лицам, готовым подключиться к информированию и обладающим актуальными базами данных владельцев автомобилей – страховым компаниям, ГИБДД и др.

— Какова история этого проекта? Почему его начали реализовывать?

Отзывная кампания – это процесс, который объединяет автопроизводителей во всем мире. Для того, чтобы стало понятно, что это такое и для чего нужен отзыв, я хочу привести вам пример с производителем подушек безопасности Takata, которые были установлены в миллионы автомобилей различных марок.

На пике своей деятельности эта компания являлась вторым в мире производителем подушек безопасности и занимала пятую часть рынка. Но конструктивно подушки оказались несовершенными: в определенных климатических условиях при срабатывании подушки корпус газогенератора разрушался, и его фрагменты разлетались по салону автомобиля. В течение нескольких лет в мире был зафиксирован ряд смертельных исходов и большое количество случаев получения травм и увечий из-за дефекта газогенераторов.

Отзывная кампания требуется для того, чтобы бесплатно отремонтировать подобного рода дефекты и вернуть владельцу безопасный автомобиль. С 2015-го по 2021 год в России продано 11,3 млн новых авто, отозвано – 6,9 млн. Среднее количество транспортных средств в рамках отзывной кампании составляет 9 тыс. машин. Максимальное зафиксированное число – почти 220 тыс. штук.

Росстандарт активно развивает механизмы отзыва на протяжении шести лет. Совместно с автопроизводителями ведомство находится в постоянном поиске дополнительных каналов коммуникации, чтобы информация об отзыве охватила как можно большее количество людей. Вопрос был и остается достаточно «болевым» в том смысле, что распространяется на тысячи наших граждан. Небезопасные автомобили несут угрозу не только для жизни автовладельцев, но и для всех участников дорожного движения.

Основная проблема, с которой сталкиваются автопроизводители в рамках проведения отзывных кампаний, это отсутствие актуальных контактных данных автовладельцев. Данные быстро устаревают, номера телефонов меняются, автомобили продаются новым владельцам.

Решение, разработанное нами, стало краеугольном камнем в развитии механизмов отзыва транспортных средств. Мы разработали личный кабинет автопроизводителя, который позволил запускать и проводить полностью цифровые отзывные кампании.

— Возможность получить информацию об отзыве – это хорошо. А что должно происходить дальше?

С появлением личного кабинета автопроизводителя отзывные кампании превратились в достаточно слаженный механизм – автовладельцы получают понятный алгоритм действий. Сначала автовладельцу приходит уведомление о том, что транспортное средство попало в отзывную кампанию. Ему сообщается причина попадания в отзыв и предоставляется информация о том, с кем ему необходимо связаться для проведения бесплатного ремонта. Далее автовладелец обращается в любой официальный дилерский центр, и производитель ремонтирует автомобиль. Ремонт будет проведен квалифицированными специалистами дилерского центра абсолютно бесплатно. Наконец, автовладелец получает отремонтированный автомобиль, а на сайте Росстандарта появляется отметка о том, что автомобиль прошел отзывную кампанию.

— Какой процент автовладельцев реально узнает информацию, которую до них хотят довести?

По данным Росстандарта, до реализации проекта информацию об отзыве получали не более 60% владельцев. А если автомобиль был старше 20 лет, то в среднем об отзыве узнавали всего 20% владельцев.

Стоит отметить, что количество проинформированных владельцев разнится в зависимости от отзывной кампании. Например, в случае, связанном с подушками безопасности Takata, под отзыв попало около 500 тыс. автомобилей только у марок Toyota и Lexus. Несмотря на все попытки оповестить автовладельцев об отзыве, ремонт прошло всего 140 тыс. автомобилей. А теперь представьте масштаб проблемы с учетом того, что с этим дефектом столкнулось 19 автомобильных брендов, включая Ford, Nissan, BMW, Ferrari и др. Непрохождение бесплатного ремонта может привести к катастрофическим последствиям. В подтверждение этого рекомендую набрать в Яндексе «Таката, аварии» и зайти в раздел «Картинки».

Отсутствие контактных данных сильно затрудняет информирование автовладельцев об опасности. При этом многие из тех, кто был проинформирован, не приезжают в дилерские центры, так как не верят в существующую угрозу для здоровья и необходимость отзыва. Качественно проведенная отзывная кампания напрямую влияет на повышение безопасности граждан.

— Какие данные использовались в ходе этого проекта?

Нашей целью являлось выделение структурированных и неструктурированных данных из исходных массивов. Они содержали перечни отзывных кампаний, подписанные программы мероприятий по отзывным кампаниям транспортных средств, перечни VIN-номеров, которые попали в отзывную кампанию и которые прошли ее.

Специализированные платформы данных при этом не использовались, а в качестве основного инструментария обработки данных задействовались скриптовые расширения платформы «Поликод», языки Python, PHP и др.

— Какие достигнуты результаты?

Оцифрован колоссальный массив данных об отзывных кампаниях, что позволило быстро и беспрепятственно информировать граждан и организации о том, что их автомобиль может быть опасен. В результате внедрения личного кабинета создана единая цифровая база данных, которая включает почти 7 млн записей об отзывах и фактах ремонта. Эти данные можно передавать третьим лицам, которые потенциально могут проинформировать автовладельцев о том, что их транспортное средство попало в отзыв.

Всего на российском рынке работает около 40 автопроизводителей, на данный момент личный кабинет уже используют 26 из них. Среди них такие крупные игроки, как Toyota, Volkswagen, Mercedes-Benz, Mazda, Nissan и др. Все они согласуют и проводят отзывные кампании в электронной форме. С помощью разработанной системы в 2021 году запущено 50 отзывных кампаний, отозвано более 276 тыс. транспортных средств.

Более 30% автовладельцев (135,6 тыс. человек) узнали о фактах отзыва транспортных средств с помощью интерактивного сервиса на сайте Росстандарта.

— Предусматривается ли какая-либо коммерциализация проекта?

Личный кабинет автопроизводителя – это полностью социальный проект. При этом он, так или иначе, затрагивает развитие бизнеса.

Оцифровка данных об отозванных и отремонтированных автомобилях в удобном машиночитаемом формате дает возможность их использования в том числе и коммерческими сервисами. По моим данным, этот массив уже используют платформы «Авто.ру» и «Автотека» при проверке автомобиля по его VIN-номеру. В перспективе данными об отзывах могут заинтересоваться страховые компании. Они могут использовать такую информацию при установлении стоимости КАСКО и ОСАГО.

— В каком направлении будет развиваться проект?

Сейчас завершаются технические работы, связанные с разработкой «проактивного» сервиса и его выводом на портал госуслуг. Автопроизводители подчеркивают его значимость для информирования автовладельцев, чьи транспортные средства старше 2010 года. Именно с их информированием возникают наибольшие трудности, так как многие контактные данные уже неактуальны, а в официальных центрах обслуживается менее 50% клиентов.

Вывод сервиса на портал госуслуг сам по себе обеспечит возможность доведения информации об отзыве до большого количества граждан. Ожидается, что к 2024 году учетная запись на портале будет оформлена у 85% граждан страны.

Кроме «проактивного» сервиса на сайте госуслуг появится обычный интерактивный поиск отзывных кампаний. Автовладелец сможет ввести VIN-номер автомобиля и проверить, попал ли он в отзывную кампанию. Такое решение уже функционирует на сайте Росстандарта.

После появления этих сервисов акцент проекта сместится с разработки на популяризацию. Внимание будет сконцентрировано на донесении информации о действующих цифровых сервисах и важности ремонта. В частности, будут расширены каналы коммуникации. Об отзыве смогут информировать страховые компании, также данные будут учитываться в электронном паспорте автомобиля.

Цель проекта – «коснуться» каждого, у кого есть автомобиль, чтобы сделать жизнь безопасной.

Внедрение «Платформы данных и глубокой аналитики» для групп «Уралхим» и «Уралкалий» является одним из этапов стратегии цифровой трансформации. Цель этого проекта — создание экосистемы данных, которая обеспечивает их сбор, обработку и хранение с целью поддержания бизнес-инициатив в части цифровизации, создания цифровых двойников и прогнозной аналитики для процессов и активов компании. О реализации проекта рассказывает Дмитрий Шведов, заместитель руководителя департамента цифровизации компании «Уралхим» и номинант на премию Data Award.

— Когда и почему был начат проект «Платформа данных и глубокой аналитики»?

«Уралхим» — большая производственная структура, где специалисты из множества подразделений постоянно занимаются расчетами и анализом информации. Каждый день коллегам поступают просьбы предоставить текущие данные по произведенной продукции, маржинальности, издержкам, подготовить финансовые сводки по проектам, ключевым финансовым показателям и пр. Именно поэтому было принято решение внедрить платформу данных и глубокой аналитики — чтобы снизить участие человека в процессе, сократить время коммуникации, необходимое для процесса «вопрос — обработка — ответ», и предоставить необходимую информацию в нужное время.

— Какие цели преследовало создание платформы? Какие проблемы были самыми острыми?

В первую очередь проект позволяет обеспечить получение данных из информационных систем благодаря их накоплению в корпоративном хранилище. Создание единой платформы снижает стоимость владения данными за счет того, что теперь их могут «переиспользовать» потребители из разных бизнес-направлений. С помощью компонентов платформы мы решаем задачу учета данных в компании, обеспечиваем их безопасность и защиту. Кроме того, решаем острые проблемы в части управления качеством данных, улучшаем их сопоставимость на базе НСИ, предоставляем корпоративную (интегрируемую) информацию за счет мастер-данных; обеспечиваем качественными корпоративными данными процессы интеграции между информационными системами. Также мы формируем витрины данных для сотрудников компании (для проведения аналитики) и предоставляем наборы данных для создания и обучения цифровых моделей.

— Как вы выбирали подходы? Каким принципам пытались следовать?

Для реализации проекта «Платформа данных и глубокой аналитики» был выбран подход на основе гибридного размещения компонентов платформы данных. Для каждой из подсистем сервисы могут размещаться как в облачной, так и в локальной инфраструктуре, что обеспечивает гибкость при распределении нагрузки и предоставлении сервисов по обработке и хранению данных. При создании платформы мы руководствовались несколькими ключевыми принципами. Например: принцип единого управления данными — реализация сквозного процесса в рамках всех операционных процессов компании; принцип вовлеченности — разработка и внедрение соглашений о качестве данных совместно с владельцами данных. Не менее важен принцип непрерывности: управление данными — это непрерывный процесс, нельзя допускать деградации моделей и структуры данных.

— Какие составляющие включает в себя платформа?

Платформа данных включает в себя подсистему сбора данных на основе экосистемы Apache, подсистему управления и описания данных на основе решений Informatica Axon и Atlassian, подсистему хранения на основе продуктов Microsoft, PostgreSQL и облачных сервисов Sbercloud, а также лабораторию ИИ — Jupyter и Sbercloud ML Space. При выборе решений в первую очередь учитывалась универсальность самих инструментов (возможность использовать их для различных типов и объемов данных) и, конечно, стоимость владения и поддержки инструментов и компонентов платформы. Важно, что компоненты платформы позволили обеспечить самостоятельную работу «гражданских» аналитиков из бизнес-функций. После прохождения обучения в школе аналитики данных они самостоятельно могут подготавливать данные с помощью пользовательских ETL-инструментов и разрабатывать аналитические приложения без участия ИТ-специалистов. А для «продвинутых» бизнес-аналитиков платформа дает возможность обучить простые прогнозные модели на основе накопленных наборов данных.

— Платформа сочетает «традиционную» и облачную части. В чем роль каждой из них, как они взаимодействуют?

Действительно, платформа данных строится на основе тесного взаимодействия облачных сервисов и локальной инфраструктуры. Локальные компоненты отвечают за сбор данных из внутренних информационных систем компании, обеспечивают хранение наиболее чувствительных данных и участвуют в интеграционных процессах компании. Облачные же компоненты позволяют гибко регулировать потребление вычислительных мощностей и использовать сервисы для сложных расчетов больших объемов данных, а также для разработки и обучения цифровых моделей. Кроме того, в облачной инфраструктуре оптимально размещать «холодное» хранилище и исторические данные компании.

— В чем роль этого проекта для компании?

Важно, что в ходе проекта не только создается инфраструктурная часть, но и формируются data-продукты — цифровые модели, такие как прогноз валютного риска, дебиторской и кредиторской задолженностей, роста цен на основании внешних факторов, объема запаса ТМЦ на складах, а также выполняется предиктивная аналитика по валковому прессу и производится автоматическое распределение заявок пользователей на первой линии поддержки. Отдельно можно выделить возможность построения цифровых двойников оборудования на основе исторических данных, что позволит заблаговременно обнаруживать проблемы в работе и оповещать о вероятности поломок оборудования.

— Насколько близко удалось подойти к созданию цифровых двойников? Каковы успехи в этом направлении?

В 2021 году мы подготовили и протестировали девять цифровых моделей, и некоторые из них уже в начале 2022 года были переведены в промышленную эксплуатацию. В 2022 году мы планируем реализовать более 20 пилотов по ключевым бизнес-направлениям «Уралхима».

— Приведите несколько показательных примеров, когда, благодаря построенной платформе данных, был достигнут заметный бизнес-эффект.

Например, благодаря качественным данным из платформы, бизнес-эксперты выявили некорректные данные, поступающие через интеграционную шину информационных систем. Теперь бизнес-функции полностью доверяют данным, накопленным в платформе, и используют ее как независимого «эксперта». При подготовке аналитических записок руководству бизнес-эксперты отмечают быстроту получения необходимой информации из платформы, что ускорило подготовку документов в разы.

— В каком направлении будет развиваться платформа?

В 2022 году мы продолжим работу над аналитическими показателями и постараемся вовлечь в нее еще больше коллег. Кроме того, сосредоточимся на развитии процессов проверки качества данных в корпоративном хранилище данных, а также на разработке прогнозных моделей по нашим ключевым показателям.

Для любой компании данные представляют значительную ценность. Рисковать их утечкой, и тем более делиться ими готовы немногие. Однако часто встречаются ситуации, когда объединение данных разных компаний позволяет улучшить создаваемые математические модели. Справиться с проблемой позволяет платформа конфиденциального совместного машинного обучения, реализованная компанией oneFactor. Платформа дает возможность безопасно провести обучение и исполнение моделей на данных нескольких поставщиков, сохранив данные владельцев в неприкосновенности. О реализации этого проекта рассказывает Виктор Стрелков, директор по разработке oneFactor и номинант на премию Data Award.

— В чем суть платформы конфиденциального совместного машинного обучения?

Эта платформа позволяет провести обучение на данных любого количества поставщиков без раскрытия этих данных. Мы предоставляем платформу, которая включает в себя набор инструментов, типовых для дата-сайентиста, и даем возможность подключить к ней произвольное количество поставщиков данных. При этом поставщиком данных может быть тот же самый клиент, который хочет обучиться на совместных данных: наших, своих и данных третьего лица. Данные при этом не раскрываются. Фактически они представляют собой набор хэшей — совершенно нечитаемую информацию для дата-сайентиста. Он сможет обучить модель и исполнить ее на этой же платформе, но при этом у него нет возможности ни сделать какие-либо выводы о данных, ни получить какие-то инсайты, не говоря уже о скачивании и сохранении.

— Почему это важно?

С одной стороны, повсеместно растет спрос на защиту данных — как частных, так и корпоративных. Каждый обладатель данных все яснее понимает, что информация — это большая ценность, которую демонстрировать в раскрытом виде не следует. С другой стороны, наблюдаются попытки использовать машинное обучение в процессах всех отраслей. Объединение данных из различных источников (и это доказано нашим исследованием) сильно повышает качество машинного обучения. Мы объединяем два этих тренда в своем решении.

— Как родилась идея платформы конфиденциального совместного машинного обучения?

Как это часто бывает в таких случаях, изначально это решение мы создавали для себя. Около пяти лет назад мы делали финансовый скоринг для сервисов финтеха. Сначала только на собственных данных, которые не надо было никому показывать: так было проще. Но аппетиты растут, все хотят повышать точность своих моделей: это напрямую отражается на затратах финансовых организаций, на количестве резервов, на размере прибыли и т. д. То есть точность используемых моделей напрямую влияет на эффективность бизнеса. Мы постоянно проводим исследования в части улучшения моделей и нашли поставщика данных, нового для нас, — это один из провайдеров финансовых услуг. Работы с данными провайдера проводили в закрытой переговорной на ноутбуке с запаянными USB-портами, под наблюдением камер, без допуска в туалет — высший уровень физической изоляции. После обучения модели на объединенных данных получили существенный прирост точности — до 10–15%, это очень много.

Но как запустить полноценное решение? И мы создали внутреннюю платформу, в которую партнер загружал данные в зашифрованном виде. На этих данных удалось обучить и запустить в эксплуатацию модель, дающую большой прирост точности скоринга. Накопив опыт внутреннего использования в 2020–2021 годах, мы признали, что это отличное решение, достойное вывода на внешний рынок. Такие запросы уже были: приобретая у нас скоринг, банки интересовались, можно ли для улучшения модели добавить собственные данные. В третьем квартале 2021 года мы создали MVP платформы с интерфейсами, возможностью подключения новых поставщиков, шифрованием данных и т. д. И сейчас мы готовы предложить ее рынку.

— Что технически представляет собой созданное решение?

Краеугольный камень защищенных вычислений — это технология Intel Software Guard Extensions, которая позволяет защитить область памяти от любого несанкционированного доступа, в том числе с привилегиями администратора. Даже получив физический доступ к серверу, нельзя получить доступ к данным. Было важно защититься от трех сценариев атаки: чтобы данные не мог получить ни администратор сервера, ни аналитик, который обучает модели, ни поставщик данных. Технология SGX закрывает все три вероятных сценария компрометации данных.

— Откуда берутся кросс-индустриальные данные, с которыми ведется конфиденциальная работа?

Кросс-индустриальные данные состоят из трех больших блоков. На предлагаемой нами платформе уже есть наши данные и данные провайдера финансовых услуг. Третья составляющая — это данные самого клиента.

Рассмотрим, например, лидогенерацию на платную подписку. Есть гипотеза, что платную подписку больше покупают люди, в окружении которых кто-то ее уже купил. У компаний, занимающихся электронной коммерцией, есть данные о купивших подписку, но у них нет данных о связях этих людей. А в других индустриях эти связи есть, но информацию о них ни в коем случае нельзя раскрывать. С согласия конечных пользователей клиент может загрузить свои данные, не раскрывая их, и путем объединения с этими данными на нашей платформе получить результат: с какой вероятностью новый человек купит платную подписку.

— Кто является целевой аудиторией вашего решения?

Пользователи платформы — дата-сайентисты, а клиенты — это крупные компании и иногда представители малого и среднего бизнеса. Это организации, которые уже разработали модели машинного обучения на собственных транзакционных данных и провели цикл оптимизации бизнеса с использованием Data Science и машинного обучения, а теперь хотят повысить эффективность процессов со встроенными в них моделями машинного обучения. Мы предоставляем этим компаниям новые для них данные, c помощью которых можно качественно улучшить точность моделей, и даем возможность проводить эксперименты.

— Каких результатов удалось достичь?

В первую очередь это наш проект «совместного скоринга»: мы с партнерами делаем новый продукт и продаем его. С одним из клиентов выходим на промышленную эксплуатацию. И в разной степени внедрения находятся проекты в нескольких крупных банках, два-три из них планируется запустить в эксплуатацию в этом году.

— Насколько сильный прирост качества моделей дает совместное машинное обучение?

Показательный пример: удалось увеличить точность модели банковского и рискового скоринга до 15%. Очень значимый результат, потому что это примерно три пункта коэффициента Джини. Повышение этого коэффициента хотя бы на один пункт — уже веский повод для внедрения системы. А когда речь идет о росте на три пункта Джини, заказчик часто готов даже на сложные и затратные проекты.

— Способно ли ваше решение повлиять на будущее рынка платформ машинного обучения?

Да, мы рассчитываем убрать барьер дата-паранойи и дать машинному обучению развиваться. Организации должны повышать эффективность без боязни раскрыть или потерять свои данные. Есть и другие компании, которые идут в схожем направлении, но используют другие подходы.

— Какие вы видите перспективы для развития платформы?

Суперрезультатом стало бы объединение всех решаемых нами задач (машинного обучения, Auto ML, подсистем лидогенерации и т. д.) на одной платформе — создание подобия «Единого окна маркетинговых коммуникаций».

Сценарий из недалекого будущего: к платформе подключается дата-сайентист, выбирает для себя любые источники данных, обучает модель, подключает каналы коммуникации, при необходимости проводит A/B-тест, видит эффективность модели, получает достаточную конверсию, ставит Auto ML. Далее каждый день эта модель переобучается и выполняет рассылку лидов. Мы приближаемся к этому будущему с двух сторон: с одной стороны развиваем платформу конфиденциальных данных, а с другой — систему лидогенерации и каналы коммуникации. Важно объединить их в единое решение, которое даст новые возможности для омниканальных маркетинговых коммуникаций.

Многие, особенно далекие от ИТ люди, воспринимают машинное обучение как нечто очень сложное, непонятное и не имеющее отношения к каждодневной жизни. Мы, как профессионалы, видим, с какой скоростью развиваются ML-решения, как быстро они проникают во все стороны нашей жизни и помогают получать именно ту информацию и те услуги, которые нам нужны. Мы гордимся, когда технологически передовые продукты делают наши инженеры — это гарантирует развитие отечественной ИТ-индустрии. Конечно, нахождение на переднем крае технологий в настоящее время ставит перед инженерными командами дополнительные требования, связанные с безопасностью. Но это делает создание продуктов для бизнеса еще более интересным для разработчиков, а сами продукты — востребованными рынком.