Data Award

В S7 Airlines запущена корпоративная платформа, обеспечившая прозрачность активов данных и значительно сократившая время доступа пользователей к данным. Об особенностях этого проекта и используемых подходах рассказал Арег Азарян, Chief Data Officer компании S7 Airlines.

— Как формировалась в S7 Airlines практика работы с данными, какие этапы она прошла?

S7 Airlines, как и любая авиакомпания, зависит от различного рода ИТ-решений, в которых в большом количестве могут генерироваться данные. Данных этих бывает много, а иногда даже очень много – например, если брать телеметрию воздушного судна. У нас много источников различного рода данных, около 120, расположенных как в нашем контуре, так и вовне. Все эти данные необходимо накапливать и использовать – в сегодняшних реалиях это один из активов наравне с материальными. На что-то уже есть зрелый запрос у бизнеса, в каких-то случаях мы пытаемся помочь такой запрос сформировать и развить, а иногда сохраняем данные «на будущее», чтобы иметь готовый архив, когда потребность сформируется.

Наша история была типичной для многих. Финансово-экономические службы хотели иметь «источник правды» по основным метрикам функционирования бизнеса. Мы начали формировать классическое корпоративное хранилище данных. Потом оно постепенно начало использоваться в аналитике. При появлении проектов, связанных с глубокой аналитикой, инфраструктура данных начала разрастаться: появилось озеро данных, виртуализация данных, каталог данных и т.д. У нас появилось много хранилищ: четыре доменных хранилища, источники для корпоративной отчетности, а также локальные хранилища в дочерних компаниях. Данные требовалось демократизировать и сделать доступными для использования бизнесом. Потребности стали возрастать, и появилась необходимость в создании полноценной платформы для работы с данными.

— Как пришло понимание, что компании необходима корпоративная платформа данных? Что не устраивало в сложившейся ситуации, какие проблемы требовалось решить?

В 2018–2019 годах у нас начали появляться в большом количестве различные проекты, основанные на технологиях машинного обучения, очень емкие по части данных. Возникали сложности различного характера: было непонятно, где данные находятся, какими данными нужно пользоваться в том или ином случае, длительное получение доступа, нестандартные процессы согласования доступа к различным источникам. Кроме того, бизнес вырос с точки зрения зрелости и культуры работы с данными. В большинстве бизнес-направлений появились аналитические подразделения, которые располагали не только потребностью использования более продвинутых решений, но и навыками работы с ними.

Пришло понимание, что нам нужно обеспечить более дружелюбный инструментарий, сократить время предоставления данных на всех этапах – поиск, получение доступа, предварительная подготовка, доставка и т. д. С другой стороны, мы понимали, что у нас большое количество хранилищ и источников данных, которые нужно как-то описать, демократизировать и предоставить в пользование независимо от уровня пользователя.

— Какие цели были поставлены? Какие принципы требовалось соблюсти при построении платформы?

Если говорить об измеримых целях, то в первую очередь это снижение длительности выполнения задач, связанных с данными, – то есть поиск, получение доступа, исследование и подготовка данных. Побочная цель, которая также измерима, – это снижение трудозатрат сотрудников на те же задачи. Мы провели внутреннее исследование и увидели, что пользователи-аналитики тратят на перечисленные задачи около 20-30% своего рабочего времени. Кстати, некоторые компании такие трудозатраты оценивают в 70%. Мы хотели именно работать над этими показателями чтобы снизить время разработки наших внутренних и внешних продуктов.

Качественно мы хотели данные как можно больше демократизировать, как можно лучше их подготовить под самостоятельный формат работы, под потребителя различного уровня – от бизнес-аналитиков до дата-сайентистов и даже дата-инженеров. Каждому должен быть предоставлен подходящий интерфейс доступа к данным и необходимая ему информация.

— Какие основные части включает платформа, на каких инструментах реализована?

Платформа получилась многослойная, при этом она позволяет предоставлять данные под различные нужды – классический self-service на SQL, для корпоративной отчетности, для использования в Python-скриптах или поставки данных в приложения.

Первым компонентом, через который проходит пользователь, – каталог данных, он обеспечивает функции как репозитория метаданных, так и информационного портала с реестрами имеющихся у холдинга данных. Благодаря каталогу данных пользователь может осуществлять поиск необходимых ему объектов, как с помощью технических наименований, так и на основе связи таких объектов с терминами в корпоративном глоссарии. Кроме поиска, каталог позволяет получать много другой технической и бизнес-ориентированной информации об объектах. Также важно, что каталог данных является центральным инструментом компании для ведения родословной данных (маршрут движения данных по системам), категорирования объектов (персональные данные, коммерческие данные и др.), поддержки работы дата-стюардов и других процессов управления данными.

Следующий этап – доступ и использование найденных данных. Для этого используется технологии виртуализации данных, которые позволяют объединить все источники в рамках одного веб-интерфейса и обеспечивают работу с ними через удобный всем потребителям язык SQL. Виртуализация дает нам возможность в одном инструменте объединять между собой данные, вне зависимости от технологий, на которых построены отдельные хранилища и без необходимости загрузки их в промежуточные хранилища. Это оказалось очень ценным как с точки сокращения времени доступа к данным, так и с точки зрения их снижения затрат на их обработку, а также значительно упростило для бизнес-аналитиков возможности использования данных, например, в корпоративном озере данных или наборе доменных хранилищ.

Транспорт данных в платформе обеспечивает шина данных – она не только позволяет организовывать потоковые данные, в ней также автоматизировано большинство рутинных операций – например, создание топиков, предоставление к ним доступов, настройка мониторингов и проверок

Одно из хранилищ – наше корпоративное озеро данных – также создавалось как компонент платформы. Мы используем озеро данных не как единственное централизованное хранилище, а как дополнительный компонент нашей общей инфраструктуры данных. Оно выполняет роль архива «сырых» данных организации, а также хранилища «холодных» данных.

Нужно также упомянуть, что в корпоративную платформу данных также входят доменные хранилища данных, реализованные по концепции Data Mesh.

— Каковы сроки реализации проекта, какими силами он проводился?

Проект по объединению всех хранилищ в единую платформу начался в 2019 году. Сейчас у нас все компоненты, кроме шины (она в опытной эксплуатации), введены в промышленную эксплуатацию и уже имеют свой набор пользователей и активно функционируют. Могу отметить, что работы реализованы очень скромной командой из восьми человек, занимавшихся платформенными сервисами, не считая сами хранилища. Мы смогли внедрить два коробочных решения, создать два собственных, интегрировать это всё между собой и с хранилищами.

— В чем «фишки» созданного решения, чем можно гордиться?

Самое яркое – это виртуализация данных. На отечественном рынке не так много примеров применения виртуализации данных, и я считаю наш кейс одним из наиболее успешных. Очень большое количество довольных пользователей отмечают, что теперь они могут значительно быстрее решать свои задачи по ad-hoc-аналитике за счет возможности объединять данные из разных источников в рамках одного SQL-запроса.

Кроме того, аналитикам теперь не нужно многократно запрашивать доступ к различным хранилищам и объектам – всё доступно в одном месте. Такого результата мы добились путем применения практик Data Governance. Чтобы соблюдать политики безопасности и не допустить хаотичного доступа к критичным данным, нами была проработана особая матрица доступов, которая позволила разграничить доступ к данным на основе доменов, возможности доступа к персональным данным, возможности доступа к коммерческим данным. Все работает таким образом, что достаточно запросить один раз доступ к интерфейсу виртуализации, указав интересующие домены и категории данных, – после согласования данные сразу будут доступны, причем при появлении новых объектов в хранилищах и источниках, доступ к ним появляется автоматически.

Также важно отметить, что такой функционал платформы стал доступен благодаря работе с метаданными в каталоге данных – она позволяет нам применять нашу матрицу доступов на уровне отдельных объектов, без необходимости регулировать доступ к источнику целиком. За счет того, что мы подключили все необходимые хранилища к каталогу данных, мы смогли увидеть все объекты с данными и категорировать их. Теперь мы знаем, где у нас находятся, например, персональные данные, а где – коммерческие. Это позволяет нам тонко настраивать политики безопасности для этих объектов, автоматизировать процессы по разграничению доступов, корректно назначать владельцев данных.

— Децентрализованный подход к управлению данными (Data Mesh) требует от подразделений определенной зрелости, в том числе культурной. Какие организационные изменения и мероприятия потребовались?

Нельзя сказать, что все было гладко с первого же дня. Data Mesh изначально требует налаженного внутри компании продуктового подхода. Важно воспринимать создаваемые платформы не просто как информационную систему, а как продукт, и работать с ним, как с полноценным продуктом – это несет в себе как плюсы, так и минусы. Один из таких минусов мы прочувствовали на себе – каждое отдельное хранилище получалось слишком обособленным, и возникали проблемы с синхронизацией планов развития, распределением данных по доменам, дублированием и сложностями в объединении данных.

Сейчас мы видим необходимость лучше структурировать работу доменных хранилищ не только как отдельных продуктов, но и как элементов одной платформы. Создание и реализация корпоративной модели данных в доменных хранилищах – это один из проектов, над которым мы будем работать в будущем, и мы рассчитываем, что он поможет нам достигнуть синергии между доменными хранилищами. Такой подход, действительно, требует определенной зрелости, в том числе от офиса данных.

— Как реализовано автоматическое категорирование данных, какой точности удалось достичь, какую роль она играет?

Мы хорошо продвинулись в этой теме и продолжаем исследовать ее. Сейчас мы от ручного категорирования перешли к полуавтоматическому. Техническими средствами каталога данных мы составляем первичную выборку объектов, в которых потенциально содержатся персональные данные, и после этого дата-стюарды могут подтверждать корректность соотнесения данных по категориям. Мы уже начали работать над созданием моделей для нахождения персональных данных в примерах записей из объектов, но даже при высокой точности таких моделей вряд ли мы сможем полностью отказаться от валидации человеком.

Корректное категорирование, как я уже сказал, очень важно для автоматизированного применения корректных политик безопасности к объектам с данными, что позволяет нам значительно упрощать процесс получения доступа к ним и снижает риски утечки персональных данных.

— Насколько ощутимым стало сокращение времени доступа к данным?

Мы добились сокращения времени получения данных на 15%. Дальше мы видим простор для действий как через работу над эффективностью команд, которые создают витрины данных и подключают новые источники, так и через предварительную подготовку данных в доменных хранилищах для использования инструментов self-service. Если потребитель сможет решить самостоятельно свою задачу, то это тоже принесет большую пользу.

— Как велико число аналитических задач, уже сейчас решаемых бизнес-пользователями самостоятельно?

Сейчас, когда пользователи имеют возможность самостоятельно находить и исследовать данные, некоторые задачи они действительно предпочитают решать в режиме self-service. Например, это задачи создания единого профиля клиента, персонализация коммуникаций, мониторинг удовлетворенности клиентов, fraud-аналитика программы лояльности, исследование новых маршрутов – там уже активно используется функционал нашей платформы.

— Прозрачность активов данных подразумевает возможность их капитализировать и монетизировать. Какие сценарии возможны?

Мы как офис данных сейчас только начинаем работать над этими вопросами. Мы хотим определить набор критичных активов данных, которые у нас есть, и понять, где мы их применяем или где их можно применить. Обеспечив видимость всех активов данных, мы получили картину в целом и будем иметь лучшее понимание возможностей для их монетизации.

Говоря про монетизацию, мы имеем в виду, что рассматриваем возможность использования данных в каких-то проектах типа создания цифровых двойников или предиктивного ремонта двигателей на воздушных суднах. Очевидно, путем своевременного обслуживания мы сокращаем потребление топлива – явная монетизация данных. Другой вариант – возможность более точечного, персонализированного предложения для наших клиентов, что позволит увеличивать выручку. Также мы в перспективе рассматриваем возможность партнерских проектов с другими игроками на рынке.

Еще одним направлением нашей деятельности будет являться капитализация активов данных: например, необходимо понимать, сколько нам стоит владение тем или иным объектом данных.

— В каком направлении будет развиваться платформа данных S7 Airlines?

Первоочередная задача – как можно более тесная интеграция всех компонентов платформы между собой. Кроме того, важно внедрение практик управления метаданными внутри самих хранилищ и шины данных для того, чтобы выстраивать более точные маршруты движения данных, лучше понимать характеристики активов данных, которые доступны в платформе. Мы рассматриваем развитие системы с точки зрения тесной интеграции – например, каталога данных с системой виртуализации, системы виртуализации с источниками, каталога данных с BI-системой и так далее.

Также мы видим возможность развития нашей платформы в плане централизации работы с качеством данных – это следующий этап, над которым мы будем работать.

За последние два-три года сфера искусственного интеллекта прошла огромный путь и сегодня мы видим массовое внедрение решений на базе ИИ в бизнесе, в частной жизни. Благодаря искусственному интеллекту у нас появились умные устройства, голосовые ассистенты, беспилотные автомобили. ИИ применяется, например, в финансовом сегменте, телекоме, медицине, ритейле. Но за каждым таким решением стоит кропотливая и в чем-то рутинная работа, ведь для обучения высококачественных моделей машинного обучения необходимо предоставить их алгоритму точно размеченные данные. Для того, чтобы размечать большой объем данных и делать это быстро, существуют специализированные платформы. В компании «АктивБизнесКонсалт», разрабатывающей ИТ-решения на базе речевых технологий для бизнеса под брендом VS Robotics, создали свою такую платформу – Elementary. Об истории и результатах этого проекта рассказал Дмитрий Теплицкий, генеральный директор АБК и номинант на премию Data Award.

— Как и зачем создавалась платформа Elementary?

Мы являемся одним из основных поставщиков решений, основанных на речевых технологиях. Наиболее известный пример – роботизированный агент, который применяется в различных сферах и направлениях: телемаркетинге, медицинских организациях для записи на прием, проведения опросов общественного мнения, взыскании проблемной задолженности и многих других. В связи с этим возникла необходимость разметки речевых корпусов и других данных, чтобы обучить робота общаться с человеком на равных.

Оценив рыночные решения, мы пришли к выводу, что схема работы внешних поставщиков размеченных данных нас не устраивает и необходимо собственное решение, позволяющее организовать этот процесс. Такое решение и было разработано – это площадка для разметки данных Elementary.

— Расскажите об истории проекта.

Мы разработали платформу Elementary в 2019 году. Этот сервис предполагал возможность разметчикам, привлеченным для работы на площадке, получать дополнительный доход за несложную работу. Уже в первый год платформа Elementary получила высокий отклик. Был получен высокий объем размеченных данных, которые в дальнейшем стали использоваться не только в ИТ-решениях, создаваемых в VS Robotics, но и в голосовых помощниках, и в других продуктах экосистемы «Сбера».

— Что собой представляет платформа, в чем ее суть?

Платформа Elementary позволяет решать большинство задач, связанных с разметкой данных для машинного обучения: текстов, картинок, аудио и видео. Суть проекта в том, чтобы получить большие данные, которые накапливаются в результате работы бизнеса, и обработать их нужным образом для использования в построении технологий. Наша платформа позволяет нам контролировать качество на каждом этапе. Мы автоматизировали весь процесс работы специалиста по разметке на площадке – от регистрации до оформления выплат. Кстати, мы – единственная подобная площадка с официальным оформлением трудовых отношений и автоматизированными выплатами.

— Какие задачи были поставлены перед проектом?

Проект был задуман как для решения прикладных задач подготовки данных машинного обучения, так и для оказания помощи в трудоустройстве для тех людей, кто оказался в сложном финансовом положении и ищет дополнительный источник дохода. 

— Что в ходе проекта было самым сложным?

Самой сложной частью была автоматизация создания заданий и правильный учет распределения больших объемов данных (до нескольких миллионов сущностей за задание) между большим количеством разметчиков на площадке, работающих во всех часовых поясах России.

— На каких технологиях базируется Elementary?

Проект построен на технологическом стеке языка PHP (фреймворк Symfony), фреймворка Vue.js и с частичным использованием языка Python.

— Каких результатов удалось достичь?

Самое главное – это разметка огромного массива данных, которые стали основой для многочисленных умных устройств и ИИ-продуктов в «Сбере». Нам удалось привлечь действительно большое количество разметчиков. Нами разработаны механизмы разметки любых типов задач. В пиковые нагрузки на площадке работали до 20 тыс. активных пользователей.

— Была ли изначально задумана социальная ориентация проекта? Или такое понимание пришло уже в процессе? Какие именно категории граждан составляют основную массу разметчиков?

На специализированных площадках, таких как Elementary, ежедневно размечается сотни тысяч данных, и для людей, занимающихся этой работой, это хорошая возможность для дополнительного заработка. А возможность работать из дома и в свободном графике особенно важна для женщин в декрете и малоподвижных граждан. Создавая Elementary, мы изначально задумывали площадку как отчасти социальный проект и сейчас видим, что наши ожидания оправдались.

За последние два года количество зарегистрированных пользователей выросло почти в 19 раз. Сейчас на площадке зарегистрировано почти 20 тыс. разметчиков – более 1,5 тыс. активных ежедневных пользователей. 10% пользователей – сотрудницы «Сбера», находящихся в декретном отпуске, они занимаются разметкой за дополнительный доход. 5% приходится на малоподвижных граждан и матерей детей с инвалидностью. Для оставшихся 85% обеспечивается занятность в удаленном режиме, это люди, не имеющие постоянного дохода и испытывающие финансовые трудности. Кроме того, мы предоставляем возможность присоединиться к платформе Elementary и людям, не имеющих возможность оплачивать кредит ввиду сложных жизненных обстоятельств.

Таким образом, площадка Elementary выполняет важную социальную роль – для людей это возможность для заработка.

— Какие требования предъявляются к ним?

Никаких, кроме оформления самозанятости и внимательного выполнения заданий. Система автоматизирована и позволяет формировать акты и прочие документы без привлечения исполнителей. Единственное, что нужно сделать самостоятельно, – два раза в месяц запросить вывод заработка, нажав соответствующую кнопку в личном кабинете.

— Какую роль играет проект в получении размеченных данных для построения моделей? Какова его доля в общем объеме?

Ключевую роль, так как позволяет произвести необходимую обработку практически любых данных (аудио, видео, изображения и текст), тем самым подготовив их для использования в построении необходимых моделей, их обучении. На проекте в том числе задействованы команды разработки, чьи данные целиком обрабатываются только внутри нашей площадки.

— В 2021 году на платформе Elementary было размечено более 153 млн данных. О каких единицах измерения идет речь?

Речь идет о любых видах данных, будь то семпл-аудио или изображение. Эти данные накапливаются бизнесом (например, одна аудиодорожка из звонка робота абоненту будет являться одним элементом этих данных) и передаются на площадку, где разбиваются по конкретным заданиям с описанием того, что нужно сделать.

Развитие туризма – важнейшая задача, решаемая на федеральном уровне. Государственным и региональным властям и организациям требуется помощь в развитии стратегических инициатив и проектов в этой области. Значимой вехой стало создание аналитического решения для внутреннего туризма в России, реализованного «СберАналитикой». Компания представляет собой цифровой сервис, позволяющий получать аналитические и статистические отчеты, построенные на обезличенных и агрегированных данных «Сбера». Ее флагманским продуктом является панель «Туризм», разработанная для развития туристической отрасли в регионах. Это решение стало первым среди крупных продуктов для сегмента регионального госсектора.

О реализации этого проекта рассказал Андрей Оберемок, генеральный директор ООО «ТОТ» («СберАналитика»).

— Как появилась панель «Туризм», что стало причиной ее создания?

Как и для других продуктов сегмента регионального и государственного сектора, импульсом послужил переход властей к принятию решений на основе аналитики больших данных. В 2019 году Правительство РФ утвердило Стратегию развития туризма в Российской Федерации на период до 2035 года. Тогда же руководство одного из горнолыжных курортов нашей страны заказало исследование туристического потока на данных Сбера. На основе данного проекта мы разработали первую версию методологии тиражируемого решения. Позже, в 2020 году был реализован первый контракт по анализу турпотока для целого региона. За счет этого мы значительно расширили методологию новыми метриками и провели ее полноценные испытания на большом объеме данных. Это позволило удовлетворить потребности в туристической аналитике всех потенциальных заказчиков и тиражировать продукт на новые регионы.

— Почему эта проблема важна?

Для нашей команды задачи, связанные с аналитикой туризма, — это не только, и не столько коммерческие продукты, основанные на популярном тренде последних лет. В первую очередь это возможность привлечь внимание к живой истории страны, сохранить культурное наследие и показать красоту ее природы. Географическое и климатическое разнообразие делает любой регион России привлекательным для посещения, а иногда даже потенциальной туристической Меккой, но, к сожалению, чтобы насладиться всем этим богатством, зачастую нужно в буквальном смысле совершить подвиг.

Сейчас на туристическую индустрию приходится всего 4% ВВП России — это очень мало. При этом надо понимать, что отрасль влияет на более чем 50 различных смежных отраслей российской экономики. При развитии внутреннего и въездного туризма рабочие места появятся в большом количестве населенных пунктов, повысится качество жизни в регионах, вырастет доход граждан в местах отдыха.

Именно поддержка туриндустрии — важная задача, в том числе и для властей регионов. Однако, чтобы развивать и поддерживать отрасль, необходимо понимать, в каком направлении двигаться, чтобы добиться конкретной пользы для конечного потребителя.

— Что представляет собой разработанный вами продукт?

Панель «Туризм» — наш флагманский продукт, разработанный для развития отрасли в регионах, улучшения качества сервиса и предоставляемых конечному потребителю услуг. Первостепенная задача продукта — помочь властям и бизнесу сделать так, чтобы каждому жителю отдыхать в России было не просто интересно, но также комфортно и выгодно, а туристическая отрасль приносила ощутимые доходы и служила катализатором социально-экономического роста.

Заказчик получает аналитику в максимально удобном формате — в режиме онлайн на информационной панели ему доступны более 50 показателей туристической отрасли региона в помесячной динамике с ретроспективой данных с 2018 года. Мониторинг всей туристической отрасли становится доступным региональным властям уже в течение недели после подписания договора.

— Какие ключевые проблемы пришлось решать?

На старте нацпроекта лидеры российских субъектов столкнулись с проблемой поиска нужной информации о туристическом потоке в регионах и состоянии отрасли в целом. На 2019 год в основном были доступны лишь данные мобильных операторов и статистика из официальных источников, которая поступала с большим опозданием. Кроме того, описанные источники информации не охватывали все необходимые аспекты и давали лишь количественный показатель туристического потока. Сведения о портрете туриста, его тратах, интересах и потребностях отсутствовали

Мы смогли найти новые достоверные источники информации и решить проблему. Компания разработала уникальную методологию на основе обезличенных больших данных, которая подходит для любого региона страны.

— Какие данные и какие платформы вами используются?

Оценка турпотока производится на основе анализа обезличенного массива данных клиентов Сбера. Мы располагаем информацией о тратах 100 млн физических лиц. Помимо собственных данных, для анализа туристического потенциала привлекаем информацию из внешних источников, закрывая все потребности клиентов.

Для работы с данными используются инструменты Hadoop, Spark, Python, Jupyter, Hive, Hue и др. Для анализа данных, моделирования и визуализации применяются такие библиотеки, как Pandas, Numpy, Scipy, Seaborn, Matplotlib.

— Кто в первую очередь является ключевыми пользователями – госструктуры или бизнес?

Главная цель продукта — полноценная поддержка национального проекта «Туризм и индустрия гостеприимства», в число задач которых входит подготовка условий для развития туристической отрасли в стране, привлечение инвестиции во внутренний туризм со стороны бизнеса, повышение туристического потока, в том числе привлечение иностранных туристов. Наш продукт в этом процессе — важный инструмент. Он дает руководству региона актуальную информацию о состоянии отрасли, что позволяет выявить целевую туристическую аудиторию, и точки роста для развития инфраструктуры, а также дает возможность оценить эффективность принимаемых мер.

— Каковы достигаемые результаты?

К панели «Туризм» на сегодня присоединились 19 регионов, и опыт использования больших данных для развития отрасли уже принес результаты. Главное, что несет в себе наш продукт, — аналитика, которая положительно влияет на динамику внутреннего турпотока. В качестве примера можно привести несколько регионов, где активно используют наш продукт.

Власти Югры благодаря аналитике подтвердили гипотезу о том, что в регион едут жители крупных городов Уральского федерального округа, прежде всего — на рыбалку. В округе определили перспективные туристские территории (агломерации) и приоритетные направления туризма. Территорию УрФО поделили на категории в зависимости от уровня развития туристической сферы.

Руководители администрации Нижегородской области предполагали, что туристов в регионе больше, чем учитывает официальная статистика. Наш продукт показал, что Нижний Новгород и область больше не являются местами для однодневных поездок, что количество гостей растет и они возвращаются в регион чаще. На основе наших данных руководство области разработало муниципальный туристский стандарт, чтобы довести инфраструктуру в слабых районах до приемлемого уровня. Также регион делится знаниями с бизнесом, помогая повышать качество обслуживания.

Еще один регион, который использует панель «Туризм», — Смоленская область. Теперь руководство области располагает информацией, которую раньше не удавалось получить ни из официальных источников, ни из маркетинговых исследований. На основе нашей аналитики регион выстроил грамотную стратегию развития и управления инфраструктурой туризма, определил возможности для расширения целевой аудитории, запустил маркетинговые кампании и в целом повысил свою привлекательность для туристов.

Таким образом, мы помогаем субъектам РФ повышать экономический уровень, улучшать инфраструктуру и повышать качество жизни местных жителей за счет развития туризма. Это комплексные решения, влияющие на итоговые финансовые результаты, а потому оценить в фиксированном денежном выражении их невозможно.

— Какова социальная значимость этого проекта?

«Гостеприимство» — это не абстрактное слово, а серьезная работа, существенно влияющая на впечатление от поездки. Панель «Туризм» дает руководству региона актуальную информацию о состоянии отрасли в целом, что позволяет выявить целевую туристическую аудиторию, точки роста для развития инфраструктуры и отслеживать эффективность принимаемых мер.

С началом пандемии жители страны стали больше путешествовать по России. Все мы, откладывая деньги на долгожданный отпуск, в поездке оцениваем, сколько и за что мы заплатили, что получили по факту, сравниваем предыдущий опыт с текущим. Конечно же, граждане, привыкшие в зарубежных поездках к высокому уровню сервиса, столкнулись с отечественным, который зачастую заставляет желать лучшего. Чувства патриотизма и красот природы оказывается недостаточно, чтобы увеличить турпоток и удовлетворить запросы путешественников.

Решения, основанные на полученной от нас информации, могут быть разными: от запуска дополнительных авиарейсов и строительства гостиниц до организации тематических фестивалей, от разработки новых маршрутов до развития сети Wi-Fi и современных остановочных пунктов. Турист получает то, что он хочет и на что готов тратить деньги: пятизвездочные отели или доступные хостелы, рестораны высокой кухни или небольшие семейные кафе, новые развлекательные площадки или выставки. Знания о потребителе позволяют открывать для них уникальные направления и разрабатывать новые маршруты.

В итоге повышается качество пребывания конечного потребителя в регионе. Отдых становится максимально комфортным, а гости готовы чаще путешествовать, расширяя свой кругозор и получая максимум удовольствия от поездок в регионы России.

Наконец, ценность развития туризма – не только в деньгах, которые отдыхающий тратит. С собой домой человек увозит впечатление о стране, городах, людях, что там живут, с которыми он познакомился в поездке. Не стоит забывать, что туризм — это основа народной дипломатии. Он несет в себе очень серьезный идеологический аспект, разбивает отрицательные стереотипы, создает новые мировоззренческие ориентиры, служит инструментом укрепления солидарности и взаимопонимания. В наше время это крайне важно.

— В каком направлении развивается проект?

Продукт растет в сторону полноценного решения, соответствующего запросам стратегических национальных проектов нашей страны в области туризма. Он обеспечивает анализ профиля туриста – его социально-демографический портрет и интересы; анализ бизнеса в туристической сфере – его финансовые показатели, уровень сервиса; анализ событий и мероприятий, их влияние на туристический поток; анализ локаций, их показатели и привлекательность для туристов.

Мы расширяем перечень источников данных, привлекаем новых партнеров, создавая синергетический эффект. Используем современные технологии ML-прогнозирования и искусственного интеллекта. Автоматизируем решение, благодаря чему оно легко масштабируется и становится доступным для широкого круга участников туристической отрасли.

Прозрачность и доступность данных в хранилище становится важнейшим условием эффективной реализации любых цифровых проектов. Ошибки во входных данных для анализа или моделирования, либо неверная интерпретация данных ведут к ошибкам в производных бизнес-решениях. Банк «Уралсиб» создал единый бизнес-глоссарий – полноценно работающий инструмент, служащий источником информации о данных, доступных в хранилище, методиках их формирования и трансформациях данных от источников до витрин. О реализации этого проекта рассказал Игорь Гончаров, руководитель службы управления данными банка «Уралсиб».

— Как и почему банк начал этот проект? В чем заключались проблемы?

В 2018 году наш банк начал работы по созданию нового хранилища данных (Data Warehouse, DWH). Мы провели комплексный аудит старого хранилища и подготовили обзор лучших, самых успешных рыночных практик по построению банковских хранилищ данных. Новое хранилище должно было соответствовать классической схеме с тремя уровнями хранения данных: слой оперативных данных (Operational Data Store, ODS), уровень детальных данных (Detail Data Store, DDS) и слой витрин данных (Data Marts). Кроме того, оно должно было иметь зафиксированную концептуальную архитектуру, стандарты разработки, артефакты документирования и все остальные атрибуты хранилища корпоративного класса.

Начиная проект «с нуля», мы были убеждены: поскольку мы инвестируем в новое хранилище, оно должно предусматривать решение ключевых задач Data Governance, в том числе ведение единого бизнес-глоссария. Правление банка поддержало эту идею.

— Какие задачи требовалось решить?

Прежде всего, нам требовалось обеспечить «единую версию правды», причем с нескольких точек зрения. Во-первых, это понимание источников происхождения данных в хранилище. Во-вторых, это единые методики формирования и расчета данных. Команда DWH должна контролировать единство методик, а в случае возникновения различных требований к методикам расчета обеспечивать четкое отображение в бизнес-глоссарии этих отличий. В итоге должно быть единое бизнес- и техническое представление, какие показатели используются, как они должны быть рассчитаны и как на самом деле они реализованы в DWH и в процессе перемещения данных в него. Это также должно служить основой для единого подхода к управлению качеством данных

Наконец, продвинутые аналитики и разработчики должны получать одновременный доступ к data lineage, основанному на данных решения Informatica Metadata Manager.

— Какими силами реализовывался проект?

Проект построения хранилища в целом реализовывался совместной командой банка и подрядчиков под нашим полным методологическим и архитектурным контролем. Сопровождение осуществляется нашей собственной командой. Работы по созданию единого бизнес-глоссария проводились силами выделенного сотрудника из команды DWH банка на платформе Informatica Business Glossary. Экспертную консультацию в рамках проекта обеспечила компания DIS Group.

— Что было самым сложным для вас при реализации этого проекта?

Самым сложным и важным было прийти к пониманию, что единый бизнес-глоссарий DWH – это не некий идеальный абстрактный образ того, как тот или иной показатель должен выглядеть с точки зрения Википедии или регуляторных требований. Это инструмент, дающий прикладной ответ на вопрос, какие данные доступны в хранилище, каковы их источники, как они рассчитываются.

— Какими именно средствами вы боретесь за качество данных?

У нас создана система контроля качества, включающая в себя инструмент в виде модуля Data Quality. Работу системы обеспечивает ответственное подразделение – группа контроля качества данных, а также стюарды данных по основным бизнес-процессам, в результате которых осуществляется генерация и модификация данных в системах источниках. Кроме того, создан реестр общебанковских и пользовательских проверок качества данных. По ним действует регламент разбора инцидентов и автоматически формируется визуализация уровней качества данных.

— Какие результаты достигнуты?

Бизнес-глоссарий стал основным инструментом получения информации о новых данных в витринах хранилища. В настоящее время к нему подключены свыше 100 аналитиков, ответственных за формирование отчетности и ad-hoc аналитики в своих вертикалях. Срок получения доступа к новым данным сократился до нескольких часов

— Как изменились процессы доступа к данным?

В бизнес-глоссарии содержится вся информация, позволяющая оперативно сформировать заявку на доступ к данным: нейминг витрины, нейминг сущности и атрибутов, а также владелец витрины, согласующий доступ.

— Какой эффект оказывает сокращение показателя time to data на реализацию бизнес-проектов?

Все аналитические подразделения имеют максимально удобный инструмент поиска данных в хранилище для принятия решения по их использованию. Скорость получения данных радикально выросла. При этом важно, что пользователь получает доступ к четко описанным данным, находящимся на централизованном сопровождении у отвечающей за них команды. Все это позволяет реализовывать генерацию и проверку бизнес гипотез, а также стартовать организацию новых проектов, основанных на данных, максимально оперативно и гибко.

— Какое место занимает проект в общей стратегии Data Governance, как он связан с другими проектами?

Новое хранилище – единый источник получения данных всеми пользователями банка, а также интеграционными сервисами и проектами. Исключением, естественно, являются случаи, когда требуется интеграция в реальном времени. В этом случае применяются решения, не затрагивающие хранилище.

— В каком направлении будет развиваться проект?

Следующим этапом планируется использовать сервис единого бизнес-глоссария для описания данных не только в хранилище данных, но и в BI-контуре банка.

Цифровая платформа «Мой экспорт» — платформа, которая предоставляет российским экспортерам онлайн-доступ из одной точки к государственным и иным услугам, сопровождающим выход компаний на экспорт. Ее задача — максимально упростить клиентский путь экспортера к внешним рынкам. За год работы платформы на ней зарегистрировались более 7,5 тыс. компаний. Сейчас экспортеры пользуются 27 сервисами, услуги которых можно получить в цифровом виде. О создании платформы «Мой экспорт» рассказывает Алексей Михайлик, вице-президент по реализации проекта «Одно окно» Российского экспортного центра и номинант на премию Data Award.

— Как родилась платформа «Мой экспорт», что стало причиной ее появления?

История создания цифровой платформы «Мой экспорт» началась в 2018 году, когда мы организовали крупное мероприятие с привлечением экспортеров со всех концов нашей страны. Было важно собрать обратную связь о том, в какой именно государственной поддержке нуждаются предприниматели при выходе на экспорт и с какими барьерами они сталкиваются. В «проектных мастерских» приняло участие свыше 2 тыс. компаний, реализующих свою продукцию на внешних рынках.

При обсуждении потребностей, существующих барьеров, рисков и возможностей экспортеры практически единогласно высказались о необходимости снижения административных барьеров и отказа от бумажных документов. Результатом этого обсуждения стало создание проекта «Одно окно», который сегодня реализован на цифровой платформе «Мой экспорт». Мы решили создать такой инструмент, который позволит компаниям в единой точке решить все свои задачи, связанные с экспортной деятельностью.

Следующим важным этапом создания платформы стало начало 2020 года, когда был пересмотрен вектор развития платформы. Теперь основной акцент был сделан на полной «цифровизации», то есть на ускорении процессов получения услуг на платформе за счет не просто устранения бумажных документов, а исключения их сканированных версий. Это позволило проекту получить новые возможности, существенно сократив сроки получения будущих услуг. Фактически в сжатые сроки мы «пересобрали» проект заново: пересмотрели все процессы, исключив сканы и человеческий фактор, и сфокусировались на цифровизации наиболее востребованных, ключевых сервисов по мерам господдержки. Например, к ним относятся компенсация затрат экспортеров при транспортировке продукции, которую предоставляют Минпромторг России и Минсельхоз России, а также компенсация затрат на участие в международных выставках.

На момент запуска платформы к ноябрю 2020 года нам удалось под «капотом» системы зашить коммуникацию и не видимый пользователю обмен данными между профильными министерствами и службами в сфере внешнеэкономической деятельности за счет системы межведомственного взаимодействия. Это позволило сервисам получать данные из первоисточника, сделав инструменты поддержки более эффективными и оперативными, исключив необходимость экспортера посещать те или иные ведомства лично. Таким образом мы сняли с экспортеров нагрузку по предоставлению документов и сведений, запустив механизм автоматического запроса данных у профильных инстанций.

— Вы сравниваете платформу «Мой экспорт» с госуслугами для экспортеров. Какие принципы вы закладывали в нее при создании? Это действительно экосистема?

Всем нам знакома платформа «Госуслуги», и это портал для физических лиц. Мы же создали цифровой вход к государственным и бизнес-услугам для бизнеса, а именно для экспортеров, то есть для предпринимателей, которые осуществляют экспортную деятельность или только планируют её начать. Таким образом, сравнение здесь основано на сходстве принципов построения самих процессов.

Мы поставили действительно амбициозную задачу: фундаментально изменить отношения экспортера с государством и всеми ведомствами в рамках предоставления госуслуг. То есть обеспечить бесшовный доступ ко всем сервисам и услугам, необходимым предпринимателям при выходе на экспорт, сделав этот процесс проще и доступнее.

Еще на этапе проектирования платформы мы исключили лишние шаги и дополнительные запросы документов. Сейчас в наших сервисах бумажных документов нет вообще. Мы также постарались минимизировать влияние человеческого фактора за счет алгоритмизации процессов принятия решений. Более 20 ведомств заняты предоставлением сведений, позволяющих цифровизировать эти процессы.

Сегодня «Мой экспорт» — это личный кабинет экспортёра, где можно получить необходимые знания в сфере ВЭД, выбрать оптимальный рынок сбыта, найти покупателя своей продукции за рубежом, даже по каналам электронной торговли, получить государственные и бизнес услуги, а также воспользоваться мерами государственной поддержке, в том числе с компенсацией своих затрат.

Чтобы сделать первые шаги для выхода на внешние рынки, можно пройти обучение на платформе, выбрав удобный для себя вариант: получить учебное пособие, подобрать онлайн-курсы или очные семинары. Экспортный акселератор – еще один помощник начинающих экспортеров, которого предлагает платформа. Это специальная программа, включающая комплекс образовательных, финансовых и нефинансовых мер поддержки, с помощью которой можно получить индивидуальный план развития экспортной деятельности.

Не менее важны предоставляемые нами сервисы аналитики. Это актуальная структурированная информация, полученная из международных баз данных и предоставленная экспортеру для того, чтобы он мог лучше ориентироваться в мировой экономике. Сервисы позволяют, например, получить информацию о том, как устроен мировой рынок, какие товары в каких странах востребованы, какие есть барьеры – то есть все о нужном рынке вплоть до «холодных контактов» компаний, которые покупают ту или иную продукцию.

Для того чтобы это все организовать, мы подключились к международным базам данных. И это был отдельная проблема: как связать эти базы между собой? В мире нет единого идентификатора юридических лиц, такого как российский ИНН, по которому данные по компании можно связать в различных базах данных. Плюс разные языки и немаловажный нюанс, что в разных документах компании просто называются по-разному. Так что у нас получился, по сути, отдельный научно-исследовательский проект по структурированию баз и соединению их друг с другом. Сейчас экспортеры могут получить до восьми различных видов отчетов по странам, по типам продукции с подбором кодов внешнеэкономической деятельности (ТН ВЭД).

Кроме того, на нашей платформе представлен доступ к мерам господдержки, например компенсации расходов на транспортировку или участие в выставках. Также здесь представлен набор бизнес-сервисов, которые позволяют найти новых партнеров, принять участие в бизнес-миссиях и в выставках за рубежом.

При этом наша задача – сделать сервисы еще более доступными из любого уголка страны, дополнив их услугами не только федеральных, но и региональных ведомств, а также услугами сторонних провайдеров, предоставив к ним удобный доступ.

В конце прошлого года мы запустили новый сервис «Профессионалы экспорта», который дает возможность экспортерам получить партнерские услуги, предоставляемые российскими и зарубежными подрядчиками. Платформа является удобным и простым инструментом получения услуг, предоставляя доступ к обширной базе проверенных исполнителей, подбор которых осуществляется автоматически, и клиентскую поддержку на всех этапах. Это некий аналог «Профи.ру» и YouDo, только для бизнеса. Впервые у предпринимателей, осуществляющих внешнеторговые операции, появился удобный сервис по подбору надежных и опытных контрагентов с четко прописанными стандартами оказания услуг и фиксированной стоимостью.

Таким образом, можно с уверенностью сказать: да, «Мой экспорт» — это целостная экосистема. Уже сейчас сервисы платформы охватывают потребности экспортеров на всем жизненном цикле, от стадии обучения экспортной деятельности и выбора рынка сбыта до отправки своей продукции за границу «под ключ» – все необходимое компания сможет найти на платформе.

— На каких технических решениях реализована платформа?

С точки зрения хранения и обработки данных нами реализована так называемая Modern Data Architecture, предполагающая наличие «озера данных» для хранения неструктурированных данных, а также хранилища структурированных данных, к которому можно просто и быстро обращаться, с возможностью горизонтального масштабирования.

В качестве основы для создания аналитической платформы мы одними из первых в России выбрали отечественные решения Arenadata. Дополнительно развернута среда разработки ML-моделей на Python, где дата-сайентисты решают ряд узкоспециализированных задач – например, реализуют алгоритмы, выявляющие потенциальных экспортеров среди российских компаний.

В результате команда «Одного окна» получила современную и отвечающую самым амбициозным вызовам аналитическую платформу, способную консолидировать, обрабатывать большое количество разнородной информации и делать наших потребителей данных немного счастливее.

— Какие из предоставляемых сервисов наиболее востребованы бизнесом?

Абсолютным лидером по востребованности среди сервисов платформы стала поддержка выставочной деятельности. Второй по популярности сервис – господдержка на транспортировку. Третьим сервисом по числу запросов стало оформление сертификата свободной продажи. Кроме того, в первую десятку самых популярных входят аналитические сервисы, а также недавно стартовавший сервис по подбору площадок электронной торговли.

— Пытаетесь ли как-то оценить реальные результаты своей работы? Что изменилось для экспортеров?

Для представителей бизнес-сообщества главный критерий всегда измеряется финансовыми показателями. Использование цифровой платформы «Мой экспорт» уже позволило многим компаниям существенно сократить сроки подачи документов при получение специальных мер поддержки, в некоторых случаях более чем в четыре раза. Кроме того, получение бесплатной аналитики, помощь в поиске потенциального покупателя, упрощение доступа к госуслугам экономит не только время, но и затраты. И такую обратную связь мы уже получаем от наших компаний.

Мы запустили сервисы и предоставили их экспортерам 26 ноября 2020 года, то есть почти полтора года назад. На сегодняшний день у нас зарегистрировано более 7,5 тыс. юридических лиц. Уже более 3,3 тыс. экспортеров успешно заказали ту или иную услугу через «Одно окно». Это, кстати, один из наших основных KPI — сколько экспортеров воспользовались нашими услугами, и, соответственно, насколько они востребованы.

Наша задача — максимально упростить клиентский путь экспортера на пути к внешним рынкам. При создании сервисов мы ориентируемся на «голос» пользователя. Для нас важно не просто сделать сервисы, которые позволяют сократить издержки и увеличить скорость предоставления услуг, мы ставим перед собой и другую цель – чтобы наши клиенты получали позитивные впечатления от использования сервисов. Для этого мы привлекаем предпринимателей на всех этапах создания цифрового продукта – от идеи до эксплуатации.

Но уже сейчас можно сказать – выход на внешние рынки через цифровую платформу «Мой экспорт» стал проще.

— Каковы планы по развитию платформы?

Нам еще предстоит сделать очень многое. Дело в том, что сама концепция одного окна для внешнеэкономической деятельности существует в мире достаточно давно, порядка 20 лет. Есть много интересных зарубежных примеров, но, как правило, количество сервисов в них очень ограничено. Это связано с тем, что институт экспорта там развит значительно больше, чем у нас. Обычно 10–15% от общего количества компаний в стране участвуют во внешнеэкономической деятельности, в некоторых странах до 20%. А в России эта доля менее 1%. Именно поэтому спектр услуг, который мы предоставляем активным и потенциальным экспортерам, значительно шире: мы хотим помочь им максимально раскрыть свой потенциал.

Если говорить о каких-то конкретных проектах, то в этом году мы планируем значительно расширить набор сервисов на платформе. В первую очередь мы оцифруем большее количество мер господдержки, кроме того, мы запустим получение ряда разрешительных документов, подключим региональные меры поддержки, оказываемые Центрами поддержки экспорта на местах. Также на платформе появятся банковские сервисы.

И, конечно, большое расширение ждет сервис «Профессионалы экспорта». Если в прошлом году мы стартовали с четырьмя наиболее востребованными направлениями партнерских услуг (логистические и юридические услуги, размещение на электронных торговых площадках и поиск иностранных покупателей), то в ближайшие год-полтора здесь окажутся еще пять направлений, в каждом из которых будет несколько услуг. То есть сотни поставщиков услуг по каждому из направлений.

Мы хотим, чтобы наши сервисы были полезны для всех экспортеров, всех сегментов, которые на сегодняшний день присутствуют на рынке, чтобы каждый четвертый экспортер воспользовался сервисами на нашей платформе.

Золотодобывающая компания «Полюс» запустила проект по внедрению технологии Process Mining для возможности проведения сквозного анализа бизнес-процессов. Работы реализуются по трем направлениям: бухгалтерский документооборот, техническое обслуживание и ремонт оборудования и сквозной процесс обеспечения. О реализации этого проекта рассказывает Денис Ерофеев, директор департамента развития бизнес-процессов компании «Полюс».

— Что привело компанию к необходимости внедрения Process Mining?

Мы на регулярной основе осуществляем поиск инициатив, в которых видим потенциальный эффект от внедрения, и одно из приоритетных направлений здесь – аналитика бизнес-процессов и данных.

По результатам масштабной цифровой трансформации на сегодняшний день значительная часть процессов в «Полюсе» автоматизирована, и в ИТ-системах компании накапливается большой объем информации о ходе их выполнения. Основанием для реализации проекта являлась растущая потребность в анализе фактического выполнения бизнес-процессов в ИТ-системах, включая проведение постпроектного мониторинга и проверку успешности планов линеаризации проектов по трансформации и информатизации бизнеса.

Инструменты класса Process Mining позволяют выполнить анализ качества эксплуатации внедренных процессов на большом объеме информации, настроить мониторинг показателей приживаемости внедренных систем и успешности реализации изменений на основании цифрового следа в ИТ-системах.

— На какие эффекты компания рассчитывает от внедрения этой технологии?

По результатам внедрения технологии Process Mining мы рассчитываем на получение преимущественно качественных эффектов. Примером могут служить повышение «приживаемости» внедренных информационных систем за счет организации мониторинга показателей исполнения процессов в системах, выявление узких мест и нетиповых вариантов реконструированного процесса, а также подготовка предложений по оптимизации бизнес-процессов.

Количественные эффекты от внедрения технологии являются долгосрочными – мы хотим создать сервис, который позволит владельцам процессов самостоятельно выполнять их анализ на постоянной основе и добиваться измеримого улучшения показателей за счет принятия управленческих решений.

— Почему именно бухгалтерский документооборот был включен в объем проекта?

Перед началом проекта был проведен комплексный сбор потребности в цифровом анализе процессов с использованием технологии Process Mining. Впоследствии собранные потребности были приоритизированы в соответствии с фреймворком RICE. По результатам этой приоритизации было принято решение о включении в объем проекта трех направлений: бухгалтерского документооборота, технического обслуживания и ремонта оборудования и сквозного процесса обеспечения.

— Какие результаты достигнуты по итогам реализации процесса «Бухгалтерский документооборот»?

По результатам реализации были достигнуты две основные цели. Самое главное, мы получили качественный и гибкий инструмент на базе решения Celonis, позволяющий увидеть полноценную картину по всему процессу бухгалтерского документооборота для возможности регулярного проведения цифрового анализа процесса. Кроме того, нам удалось сформировать конкретный перечень мероприятий, состоящий из 10 пунктов по трем областям, которые планируются к реализации в ближайшее время. Первая область – «сокращение сроков обработки документов». В ней были сформированы мероприятия, направленные на сокращение зацикливаний в этапах процесса и на разбор «зависших» документов. Вторая область – «эффективность маршрутов». В ней мероприятия направлены на сокращение «узких мест» в процессе и унификацию маршрутов движения документов в системе. Последняя область – «производительность и численность персонала». В ней мероприятия направлены на сокращение пиковых нагрузок на сотрудников.

В качестве примера могу привести мероприятия, направленные на автоматическое определение атрибутов у документов при их сканировании, что значительно сократит время на их первичную обработку.

— Как эти усилия воспринимают сами пользователи?

Несмотря на большую загрузку бизнес-экспертов в проекте помимо операционной деятельности, коллеги очень позитивно отнеслись к участию в нашем проекте. Каждый из пяти департаментов и дирекций, участвующих в реализации проекта, отметил для себя возможности использования Process Mining.

Так, департамент по развитию сервисных центров привлекла возможность повышения эффективности финансового документооборота и выявления отклонений по ключевым метрикам. Департамент развития и поддержки бизнес-приложений получил возможность проведения архитектурной оценки и контроля планируемых изменений в информационной системе.

Департамент методологии и автоматизации учета обеспечил детальную проработку первоначальных методологических требований к инструменту, от коллег были предоставлены вводные в части потенциальных проблемных зон и процессов, требующих проведения анализа. На основании этих данных совместно с коллегами мы разработали комплексное техническое задание, что позволило с максимальной полнотой использовать возможности инструмента Process Mining для анализа процессов бухгалтерского документооборота.

Отметили полезность инструмента и коллеги из нашего многофункционального центра обслуживания, непосредственно осуществляющего значительную часть анализируемых процессов. Транзакционный отдел отметил возможность оптимизации трудозатрат в пиковые загрузки за счет выявления трудозатрат, не связанных с закрытием периода. Отдел контроля финансовой дисциплины отметил возможность более оперативного взаимодействия с бизнес-единицами для сглаживания пиковых нагрузок предоставления первичных документов. Наконец, у дирекции по качеству и операционной эффективности появилась дополнительная возможность разработки мероприятий по непрерывному улучшению «узких мест» процесса, таких как доработка систем и выявление новых областей для автоматизации процесса.

— Оправдались ли ожидания?

Могу точно сказать, что ожидания по направлению «Бухгалтерский документооборот» были полностью оправданы.

— Что в ходе проекта было самым сложным?

Наверное, самым сложным при реализации проекта был факт загрузки бизнес-экспертов. Некоторые встречи приходилось планировать более чем за месяц до их проведения. Но я хотел бы подчеркнуть, что коллеги всегда шли проектной команде навстречу, помогали с организацией, активно участвовали в работах. Во многом это способствовало успешной реализации проекта в очень агрессивные сроки и с отличным качеством.

— Какие направления, по вашим оценкам, могут быть наиболее перспективными с точки зрения применения Process Mining и почему?

В ближайшей перспективе планируется завершение реализации еще двух направлений, о которых упоминал ранее – «Техническое обслуживание и ремонт оборудования» и «Сквозной процесс обеспечения». На мой взгляд, анализ данных направлений может принести компании большие эффекты.

Уже на данный момент по результатам проведения пилота по направлению ТОРО мы выявили отклонения в процессе использования мобильного оборудования при выполнении ежесменного технического обслуживания. Для проработки мероприятий была оперативно сформирована кросс-функциональная команда, состоящая из трех департаментов. По результатам отработки мероприятий мы отметили стабилизацию процесса. В том числе увеличен процент использования мобильного оборудования в три раза, увеличена скорость синхронизации данных в 3,5 раза.

Разработка корпоративного хранилища данных (КХД), внедрение процессов управления данными и создание корпоративного аналитического портала, реализованные на Магнитогорском металлургическом комбинате, стали важным шагом в поддержке цифровых инициатив, реализуемых компанией. О предпосылках и результатах этих проектов рассказывает Дмитрий Ганаев, начальник офиса управления данными «ММК-Информсервис».

— Как развивались на ММК подходы к работе с данными, какие этапы вы можете выделить?

С середины 1990-х и до 2015 года развитие автоматизированных информационных систем происходило широкими темпами, развивались и производственные учетные системы, и системы корпоративного уровня. Соответственно, росла потребность в интеграции всех систем между собой, причем во всех направлениях – как снизу вверх, так и сверху вниз. Также росла потребность в совместном анализе данных, хранящихся в разных системах, увеличивалось количество интеграционных сценариев. Для реализации задач по консолидации данных появились первые проекты по созданию хранилищ данных, но они были относительно небольшие, объединяющие смежные системы – например хранилище технологических данных, хранилище данных по экономической деятельности и т.п.

Параллельно развивались системы продвинутой аналитики, системы-советчики. В 2016 году начали появляться первые системы, основанные на работе математических моделей, построенных с использованием машинного обучения. Системам такого класса требуется максимальное количество статистических данных как о технологических процессах, так и о процессах планирования и учета производства продукции. Как следствие, привлечение аналитиков data science потребовало и наличия качественного описания имеющихся данных.

В 2018 году при предпроектной проработке требований по модернизации корпоративной сервисной шины ESB было принято решение не только расширить функционал шины, но и качественно описать данные, которые передаются между ИТ-системами. Одновременно с этим, было принято решение о создании хранилища данных корпоративного уровня для расширения возможностей анализа данных.

Таким образом, можно выделить несколько этапов: широкое развитие ИТ-систем, возникновение предпосылок для консолидации разрозненных данных, принятие решения о построении корпоративного хранилища для расширенной аналитики, увеличение нагрузки на интеграционные механизмы, принятие решения о развитии функций управления данными.

— Когда в компании появился офис данных, в чем компания видит его роль?

Офис по управлению данными как отдельное подразделение появился в январе 2021 года в «ММК-Информсервис», которое является выделенной ИТ-компанией ММК. Основная его задача в настоящее время – разработать и внедрить основные фундаментальные процессы управления данными в ММК. Офис занимается организацией взаимодействия участников этих процессов для общего повышения уровня знаний о данных, что должно помочь принимать более качественные решения как при использовании ИТ-систем, так и при разработке новых проектов.

— Какое место занимает проект создания КХД и системы управления данными среди комплекса цифровых инициатив ММК?

И проект КХД, и проект по управлению данными являются в настоящий момент инфраструктурными, поддерживающими проектами. Все цифровые инициативы развиваются собственными проектными командами, и при возникновении задач по консолидации данных они решаются в рамках собственных проектов. Офис управления данными является центром компетенций по задачам понимания, поиска, сбора и хранения данных, требуемых для реализации цифровых инициатив ММК.

— Когда был начат проект КХД, какими силами реализовывался, сколько продлился?

Проект построения КХД был начат в 2019 году, и изначально планировался из нескольких этапов: проектирование платформы, выбор поставщиков и поэтапная разработка. Его реализация осуществлялась группой интеграции, в составе трех-четырех специалистов, а также проектной командой партнера – компании «Крок», осуществлявшей непосредственно работы по проектированию, разработке и развертыванию системы.

В 2021 году стартовал очередной этап, в ходе которого КХД дополнится слоем хранения неструктурированных данных, его завершение планируется в середине 2022 года.

— Какую роль в проекте КХД играет внедрение процессов управления данными, какие именно процессы реализуются?

Процессы по управлению данными начали развиваться уже рядом с функционирующей платформой КХД. Из-за того, что процессы управления данными в части КХД идут вслед за разработкой, первая задача заключалась в том, чтобы провести некую верхнеуровневую каталогизацию тех информационных объектов, которые есть в хранилище.

Принято решение, что проект управления данными будет включать в себя развитие бизнес-глоссария, построение корпоративного каталога данных и развитие процессов повышения качества данных. Общую концепцию и рекомендации по выбору компонентов платформы управления данными мы разработали в сотрудничестве с компанией Deloitte, а практическое внедрение реализовали при поддержке команды DIS Group.

На основании накапливаемого опыта и понимания того, чего именно не хватает в текущей деятельности с точки зрения знаний о данных, сформируются новые требования к процессам разработки и внедрения информационных систем, а также требования к поддержке актуальности знаний о данных.

— Какие были выбраны инструменты и почему?

Технологической платформой для КХД является связка СУБД ArenadataDB и Arenadata Hadoop. Их основными преимуществами стало то, что это кластерные системы высокой устойчивости с возможностью горизонтального расширения мощностей и поддержкой параллельной обработки больших данных. Кроме этого, они основаны на известных высокопроизводительных продуктах, которые продолжают развиваться. Не менее важно, что Arenadata – российский вендор, оказывающий качественную техническую поддержку на русском языке.

В качестве платформы управления данными используются продукты Informatica – Axon Data Governance, Enterprise Data Catalog, Data Quality. Выбор в пользу платформы Informatica был сделан исходя из нескольких факторов. Первый из них – комплексный подход: все компоненты платформы тесно взаимосвязаны друг с другом и в совокупности решают задачи как для ИТ, так и для бизнес-подразделений. Во-вторых, каталог данных EDC позволяет полноценно отсканировать технические метаданные источников данных, имеется процесс интеграции полученных метаданных с терминами бизнес-глоссария. Кроме того, возможности построения data lineage – детальной карты трансформации данных – позволят аналитикам и пользователям лучше и быстрее понимать происхождение показателей, а также ускоряют процесс разработки новых отчетов за счет использования каталога данных и супермаркета данных. Наконец, связка бизнес-глоссария с компонентом мониторинга и повышения качества данных позволит развивать и гибко настраивать процесс контроля качества данных. Важно отметить и наличие сертифицированного тренинг-центра в России с обучением на русском языке.

— Что уже удалось реализовать, а что еще предстоит?

Основные результаты – это наличие у нас инструмента по хранению и обработке больших данных, а также запросов на его применение. В первую очередь, стоит выделить разработку информационных систем корпоративного уровня в рамках «Корпоративного аналитического портала».

Также нам удалось разработать и запустить процессы по сбору информации для разработки систем продвинутой аналитики, выполняемый группой математического моделирования. Это и настройка организационного взаимодействия команд, и настройка процессов поиска и описания данных, и, наконец, загрузка данных в КХД, сразу пригодных для использования аналитиками.

В перспективе предстоит развить и стандартизовать все перечисленные процессы, чтобы разработка любых информационных систем происходила синхронизировано с процессами управления данными.

— Что собой представляет корпоративный аналитический портал, какую миссию выполняет?

Информационная система «Корпоративный аналитический портал» разрабатывается для использования в качества единого источника достоверной, наглядно визуализированной аналитической информации, своевременной и достаточной для эффективного управления всеми сферами деятельности Группы ММК. Портал предназначен для руководителей высшего звена (генеральный директор, заместители генерального директора, другие директора), а также начальников управлений, отделов, аналитиков и специалистов по функциональным областям.

С технической точки зрения портал является BI-системой на основе Tableau, источником информации для которой являются витрины данных, собранные в КХД из различных информационных систем.

— Каких бизнес-результатов уже удалось достичь?

Внедрение аналитического портала приносит ежедневный результат – система принята в эксплуатацию, используется для анализа деятельности предприятия и принятия более эффективных решений ключевыми руководителями. Показателем востребованности такой аналитики может выступать сводная заявка из более чем 300 новых показателей, предложенных подразделениями ММК к расширению аналитических функций портала в 2022 году.

— Основой для каких новых сервисов должна стать построенная платформа данных? Что становится принципиально возможным?

Комбинация из универсального хранилища, описанных данных, построенной на этой основе системы BI-аналитики в связке с понятной стратегией Data Governance позволит в будущем приступить к развертыванию систем анализа, основанных на самостоятельной реализации продвинутого анализа силами опытных пользователей (self-service), даст очередной толчок к развитию продвинутой аналитики и моделирования процессов.

— В каком направлении планируете развивать проекты по работе с данными?

Одним из важнейших следующих шагов является переход к разработке систем контроля качества данных. Для этого требуется выстроить общую концепцию измерения качества, и процессов, которые позволят повышать качество. Например, возможным направлением развития может быть формирование правил качества, их реализация в системе контроля качества (Informatica DataQuality + Axon) и предоставление конечным пользователям информации о качестве предоставляемых данных.

С учетом перспектив self-service качество данных будет актуальной темой для конечных пользователей. Возможности мониторинга качества создадут предпосылки как для повышения уровня аналитики, так и для повышения качества самих данных. Все это позволит ускорить переход к data-driven подходу при принятии решений.

Компанией DIS Group разработана программа евангелизации подходов к управлению данными, которая включает в себя разработку и продвижение обучающих материалов по тематике, проведение бесплатных вебинаров, участие в форумах, написание руководств и книг, а также обучение профессионалов в авторизованном тренинг-центре. О подходах компании и своем видении роли подготовки специалистов по управлению данных в развитии рынка рассказывает Олег Гиацинтов, технический директор DIS Group.

— Что включает разработанная DIS Group программа евангелизации?

Мы активно занимаемся внедрением и продвижением проектов по управлению данными и хорошо понимаем, что развитие этого направления, как и вообще развитие цифровизации, невозможно без правильных подходов. Цель программы евангелизации – помочь в выборе подхода. Мы стремимся показать, каким образом стоит подойти к решению задачи по управлению данными, ведь от этого напрямую зависит эффективность работы с данными. Если цель заключается в том, чтобы ускорить процессы обработки данных и работы с ними, научиться быстро определять их достоверность и уровень качества, то сама по себе установка программного обеспечения и выбор теоретического подхода ни к чему не приводят. Такой однобокий подход позволяет в лучшем случае описывать данные, и ничего более. Будет ли в этом заключаться экономия для заказчика? Конечно, нет – ведь ему всё так же сложно работать со своими собственными данными. А люди, которые эти данные должны получать, всё равно вынуждены искать их самостоятельно – то есть, по сути, заниматься не своей работой. Именно поэтому так важно объяснить, как начать работу с данными, как построить процесс, как выделить команду специалистов, оптимизировать временные и финансовые издержки, и тем самым наконец-то получить эффект от внедрения управления данными.

— Какие задачи она должна решить, почему это важно?

Основные задачи лежат в области построения подхода, как организационного, так и административного. Мы рассказываем, как нужно обрабатывать запросы на работу с данными, как построить процессы согласования, как должна быть построена работа CDO и его подразделения и на что стоит обратить внимание.

— Каковы вообще потребности рынка в специалистах по управлению данными?

Потребности рынка сейчас в этой области по-настоящему огромные. Это связано с тем, что роль CDO зачастую определена очень нечетко: где-то это просто человек, отвечающий за описание данных, а где-то он занимается цифровой трансформацией всего предприятия. Именно из-за этого на рынке есть некоторое недопонимание. Кого стоит брать на эту должность? Кто такой data steward? Каким образом построить работу? Поэтому рынок сейчас в этом плане, я бы сказал, несколько хаотичен.

В нашей программе как раз отражено, кто эти люди и какие у них должны быть функции. Кроме того, когда требования к этим специалистам приводятся к одному знаменателю, становится понятно, что три четверти людей, которые нужны в управлении данными, в этих организациях уже есть. А это значит, что ничего радикально нового придумывать не нужно – требуется только правильно выстроить процессы и организационную структуру.

— Какие направления охвачены тренинг-центром, какие из них пользуются наибольшим спросом?

Это авторизованный тренинг-центр, предлагающий сертифицированные курсы, связанные с решениями, которые наша компания представляет на рынке. Большой популярностью также пользуется новый, фактически первый методологический курс, связанный с управлением данными, и в ближайшее время будет еще курс подобного рода по управлению знаниями. Сейчас, естественно, основные запросы в тренинг-центр касаются обучения по управлению данными и инструментам для его реализации.

— Что уникального вы предлагаете вашим слушателям?

Как я уже говорил, основное наше предложение – это построение подхода на основе практических внедрений, которые уже были сделаны. Наша компания имеет более 10 внедрений по управлению данными, мы видели и хорошие примеры реализации, и не очень. Сначала мы предлагаем погрузиться в те проблемы, которые возникают в процессе создания структур по управлению данными. Следующий после этого шаг – переход к формированию подхода для того, который позволит эти проблемы обойти. Конечно, в каждой организации этот подход будет уникальным, но знакомство с общими положениями позволит слушателям правильно выбрать какие-то вещи, наиболее актуальные для организации своего собственного процесса.

— Какие достигнуты результаты? Что из этого вы считаете наиболее важным?

В 2021 году обучение в тренинг-центре прошли более 500 человек, из них свыше половины – по направлению Data Governance. Более 3 тыс. человек приняли участие в форумах и вебинарах.

Наша компания вкладывается в это направление уже несколько лет и даже без организации этого обучения занимается такой евангелизацией довольно давно. Мы рассказываем о своих подходах и на форумах, и персонально заказчикам, участвуем в написании книг и пособий. Самый яркий пример – это учебник по цифровой трансформации 4CIO, где есть и глава по управлению данными, и глава по управлению знаниями – специально для того, чтобы этим можно было пользоваться. Буквально на днях вышел навигатор РАНХиГС «Управление данными в госсекторе». Его цель – научить госслужащих выстраивать работу с данными, включая управление данными. Мы очень активно развиваем направление евангелизации. Многие компании, которые с нами работают, знают, что мы всегда это делаем, если у заказчика есть такая потребность.

— Как вы оцениваете вклад вашей программы в решение общей задачи формирования культуры и практики управления данными в России?

Умение эффективно выстраивать работу с данными является необходимым условием для цифровой трансформации как бизнеса, так и государственного сектора экономики и государства в целом. Повышение экспертности в области управления данными помогает справиться с дефицитом квалифицированных ИТ-кадров в области цифровой трансформации.

Я считаю, что в настоящий момент мы имеем один из наиболее мощных ресурсных центров. У нас по-настоящему мощные в плане методологической подготовки кадры и большое портфолио практических внедрений, которые не протяжении последних пяти лет формируют практику по управлению данными в России. Ранее то же самое было сделано для вопросов интеграции данных, качества управления нормативно-справочной информацией. А в сторону упрощения работы с данными с точки зрения как разработки, так и управления ими по всем направлениям мы последовательно идем все последние 17 лет – с момента создания компании.

— Каковы планы развития программы?

Программа постоянно совершенствуется в соответствии с тем, как меняются задачи у наших заказчиков и охват требований к блоку CDO. Конечно, свою лепту вносят и вендоры, с которыми мы работаем. Мы активно пользуемся теми методологиями, которые они привносят. Самое главное в этом процессе – не останавливаться, ведь каждое новое решение, которое мы предлагаем, развивает нас и меняет наше видение, иногда довольно серьезно.

Сделать российский рынок строительных материалов и услуг полностью прозрачным – весьма амбициозная задача. Решить ее поможет цифровизация рынка и создание единой строительной экосистемы, охватывающей всю территорию России. Андрей Лупий, генеральный директор компании «Орлан» и лауреат премии Data Award 2022, рассказывает о формировании платформы «ОРЛАН System 2.0», которая призвана стать полноценной экосистемой строительного рынка.

— Как родилась идея, откуда растут корни у этого проекта?

Я всю жизнь работаю на строительном рынке – как со стороны заказчика, так и подрядчика, являюсь его экспертом, у меня строительное образование. До 2016 года я был производителем строительных материалов в Московском регионе, управлял бетонным производством. В 2016 году у меня появилась своя компания «Орлан», которая занималась комплексным снабжением строительными материалами. Мы всегда работали по-честному: доставляли именно заказанный класс бетона и точное его количество. Но остальной рынок тогда работал совсем по-другому. У нас был перечень постоянных клиентов, которые ценили наш подход. Но именно такой подход оказался камнем преткновения для масштабирования: мы не могли конкурировать по цене с недобросовестными поставщиками. Передо мной стоял выбор: либо начать работать как все, либо постараться изменить правила игры на рынке. Так и зародилась идея создавать цифровую платформу – ИТ для меня всегда было хобби.

В 2017 году мы прорабатывали схему, как можно выстроить бизнес-процессы для компаний, которые работают качественно, и в апреле 2018 года на рынке Московского региона запустили пилотный проект «ОРЛАН System». Изначально платформа выступала агрегатором бетонных производств. Мы начали именно с бетона, потому что в этой области у нас больше всего компетенций, и мы знали все проблемы. По сути, поставка товарного бетона является одной из самых теневых поставок, потому что качество поставляемого материала невозможно проверить. Мы провели большую работу с производителями, которые далеки от цифровизации, это было нелегко. Но нам удалось замкнуть кольцо поставок качественного бетона вокруг Москвы.

После этого к нам стали обращаться производители с других ниш строительного рынка. Как выяснилось, у многих были такие же проблемы, как у нас: производители качественного продукта, не могли конкурировать с фирмами-однодневками и компаниями, работающими по серым схемам.

И тогда появилась мысль, что правильнее создавать единую платформу строительных материалов, а не отдельные платформы под каждую нишу. Единая платформа с различными сервисами и услугами – это удобно, тем более сейчас мы живем в эпоху экосистем и видим, в каком направлении развиваются «Сбер», «Яндекс», «Тинькофф» и другие. Все мы уже привыкли пользоваться в рамках одного окна различными услугами. 2019–2020 годы мы посвятили общению с участниками рынка: производителями, строительными компаниями – у каждого свои особенности, свои боли.

До того момента мы развивали платформу чисто на собственные денежные средства, а осенью 2020 года подали заявку в Фонд содействия инновациям. Наш проект прошел экспертизу, и мы получили грантовую поддержку в размере 20 млн руб. Это позволило в конце 2021 года запустить платформу «ОРЛАН System 2.0» — полнофункциональную платформу, которая может работать с любой номенклатурой, причем представляет собой именно экосистему.

— Что сейчас представляет собой платформа? Какие сервисы в нее входят?

На сегодняшний день наша платформа – уже готовый продукт, который мы начинаем масштабировать по территории России. Сейчас мы работаем в Московском регионе, в Северо-западном регионе, активно осваиваем республику Татарстан. Мы подписали соглашение об участии в проекте «Новый город 2025», который планируется строить под Владивостоком. У нас есть договоренности о том, что все поставки стройматериалов будут поставляться через нашу платформу.

Пока мы развивались, развивалось законодательство и новые технологии. Блокчейн перестал ассоциироваться исключительно с криптовалютами, и приобрел явный бизнесовый оттенок. Мы познакомились с компанией S7 Techlab – разработчиком одной из блокчейн-платформ, и совместно с «Альфа-банком» реализовали на нашей платформе полностью автоматизированные сделки. Это важно, потому что одной из больших проблем на рынке является безопасность платежей: покупатель боится делать предоплату из-за некачественных поставок, а поставщик не хочет рисковать своим товаром. У нас реализована система прямых сделок: покупатель напрямую заключает сделку с поставщиком и формирует смарт-контракт.

В качестве дополнительного механизма автоматизации мы внедрили полностью электронный документооборот по всем сделкам. На это был запрос от крупных строительных компаний, чтобы можно было получать документы сразу после поставки в онлайн-режиме.

Все участники нашей платформы одновременно являются и покупателями, и продавцами. Например, строительная компания оказывает услуги строительства, но закупает строительные материалы и строительные услуги. Производитель бетона продает товарный бетон, но закупает песок, щебень, цемент. Всем им нужны дополнительные услуги, финансирование, консалтинг и т. д.

Развиваясь как экосистема, мы заключали партнерства с различными компаниями и направлениями. Например, мы запустили сервис по финансированию, потому что это основной вопрос у всех компаний – как производителей, так и строителей. Сейчас мы интегрируемся с площадкой MyFi, которая помогает в режиме онлайн привлекать денежные средства. Работаем с банковским сектором относительно реализации таких инструментов, как внутренний факторинг по сделкам.

Создав основу платформы, мы начинаем ее дополнять различными сервисами. Совместно с НОСТРОЙ (Ассоциация «Национальное объединение строителей». - Прим. ред.) планируем реализовывать маркетплейс строительных компаний.

— Как обеспечивается чистота экосистемы?

На данный момент у нас верифицировано более 7 тыс. компаний. Мы допускаем на платформу только реальных участников рынка, вычищаем не только мошенников, но и посредников. Для этого мы разработали свою систему скоринга, которая состоит из трех блоков. Первый блок – стандартный юридический, собирающий данные о компаниях из открытых источников.

Второй блок – это оценка компании по нише рынка, в которой она работает. Если компания подает заявку как производитель кирпича, то мы проверяем, что это действительно правда – бывают и выезды на производство, и привлечение партнеров для проверки. Мы подтверждаем, что указанному адресу находится завод и у него юридическое лицо именно такое, которое подало заявку. Дополнительно на платформе может зарегистрироваться официальный дилер. Это сделано специально для того, чтобы можно было отследить всю цепочку поставки материала, а также работать с рекламациями.

Третий блок – это уже чисто аналитические данные, отражающие поведенческий фактор на платформе: были ли нарекания по качеству поставки, по качеству материалов, по оплатам. Из всех параметров складывается скоринговый балл, который участвует в выдаче предложений на платформе. Конечно, есть и стоп-факторы, которые не позволяют заключить сделку с поставщиком, если он вдруг оказался в стадии банкротства, либо у него арестовали счета.

— Каковы цели по охвату рынка?

Наша задача – оцифровать весь строительный рынок России. Но у нас уже сейчас есть запросы от зарубежных рынков: ведется работа по Германии и Испании, есть общение с Индией, Кувейтом и Катаром – это те страны, которые сами заинтересовались нашим проектом. Мы изучаем местные рынки, оценивая, насколько мы там нужны и можем быть полезными. Говоря в мировом масштабе, сейчас аналогичные платформы начинают появляться, причем в них очень активно инвестируют – видна явная тенденция на цифровизацию строительного рынка.

Недавно вице-премьер Марат Хуснуллин на парламентском часе заявил, что необходимо создавать цифровую платформу, которая будет обеспечивать прямые контракты между покупателем и производителем. Сейчас на строительном рынке очень большая проблема, связанная с ценообразованием и наличием материалов. Мы предлагаем Минстрою взять за основу нашу платформу.

— Поведенческие данные – что они включают, какие возможности дают?

Мы эти данные собираем и аккумулируем, оцениваем, чем они могут быть полезны. Во-первых, нас интересуют данные по ценообразованию. До сих пор информация собиралась с сайтов и из коммерческих предложений. Мы же начали собирать данные непосредственно по отгрузкам – это реальные данные, и они наиболее достоверные.

Кроме того, мы собираем данные по наличию стройматериалов в регионах. Скажем, с началом пандемии при строительстве госпиталей обнаружилась проблема: у нас в разных регионах не хватает тех или иных материалов. Доходило до того, что арматуру и другие материалы возили на самолетах, потому что просто не было других вариантов, а это большое удорожание проекта. Когда мы знаем о наличии или отсутствии материалов в регионах, это позволяет развиваться промышленности и получать данные проектировщикам, которые планируют строительство в определенном регионе. В своей практике мы часто сталкивались с тем, что в проектах обозначены те материалы, которых в этом регионе вообще в помине нет, их надо везти через половину территории России.

— Какова роль проекта в развитии рынка?

Сейчас активно развиваются технологии Building Information Modeling (BIM), то есть идет цифровизация проектирования и контроля за строительством. Поэтому мы уже сейчас общаемся с разработчиками таких решений, чтобы обеспечить интеграцию в разрезе данных по материалам и ценообразованию. Важно, чтобы проектировщик, работающий в BIM, мог подгружать в систему данные о производителях и материалах. В нашей платформе также планируется подсоединение к каталогам BIM-моделей производителей.

Говоря про развитие всего строительного рынка в России, важно сказать про унификацию. Создаются классификаторы строительных ресурсов, чтобы все участники рынка говорили на одном языке. Это даст возможность интеграции между различными игроками. Понимая это, мы разрабатываем каталоги на платформе с учетом унифицированного классификатора строительных ресурсов.

— Каковы направления развития платформы, наиболее важные ближайшие планы?

Наше будущее – это большая цифровая строительная экосистема, которая будет создана за счет интеграции нашей системы с различными государственными платформами и какими-то еще коммерческими решениями. Мы планируем к 2025 году оцифровать весь строительный рынок, то есть в личных кабинетах участников создать полный функционал по заказу строительных материалов и реализации товаров и услуг компаний. В рамках одного окна можно будет получить как коммерческие услуги, так и государственные.

У нас уже есть пилотная интеграция с Россакредитацией для автоматизированной проверки сертификатов и деклараций о соответствии качества. Это упрощает жизнь строителям. Наша цель – охватить своими сервисами всю территорию России, собрав полную базу по производителям строительных материалов.

В «Леруа Мерлен» запустили сервис «Светофор 3.0», использующий возможности машинного обучения для поиска ошибок и для экономии ресурсов при приемке товаров. Это самообучающаяся на исторических данных модель, которая помогает сотруднику приемки магазина сократить время на пересчет товаров от прямых поставщиков путем определения поставок, в которых, вероятнее всего, есть ошибки. В результате удалось вдвое сократить время на пересчет товаров при приемке в магазинах сети, при этом затраты на приемку снижены на 12%.

Проект реализован командой «Прозрачность операций», которая занимается в «Леруа Мерлен» ad-hoc-аналитикой, анализом данных, продуктами data science и совершенствованием процессов в целом. Об истории проекта рассказали руководители продуктов, номинанты на премию Data Award.

– Какая задача решалась в ходе создания продукта «Светофор»?

Михаил Гариянц: Требовалось сократить трудозатраты при приемке товаров. Нужно было уменьшить число заказов от прямых поставщиков: в этих заказах проводится внутритарный пересчет. Доля поставщиков, которые напрямую доставляют товары в магазины, составляет около 37% от всех поставок. Мы хотели сократить внутритарный пересчет и перераспределить освободившиеся ресурсы на другие зоны в магазине. При этом качество принимаемых товаров не должно было ухудшиться, а магазины не должны были столкнуться с проблемами в процессе реализации таких товаров.

– Почему это важно для компании? Как раньше были выстроены процессы приемки?

М.Г.: Еще несколько лет назад у нас появилась важная цель — минимизировать логистические операции в зоне приемки в магазинах и направить максимум усилий сотрудников на работу с клиентами. Идея заключалась в том, что магазины должны принимать все поставки без внутритарного пересчета, ограничиваясь лишь пересчетом грузовых мест. Таким образом, пропускная способность приемки товаров должна была кратно повыситься, а зона приемки — высвободиться за счет последующего размещения товаров либо в других зонах склада, либо в торговом зале. Да и сам процесс приемки должен был упроститься. Конечно же, это позволит снизить затраты нашей компании, потому что внутритарный пересчет — это самая длительная операция на приемке. Однако, чтобы реализовать такую концепцию и избавить магазин от пересчета входящих поставок, нужно выполнить два условия. Во-первых, обеспечить качество, чтобы магазины не принимали на баланс излишки и не сталкивались с недостачами. Во-вторых, убедить сотрудников приемки в том, что такие товары можно не проверять.

Это совсем не простая задача. В распределительных центрах (РЦ) нам пришлось организовать разные процессы для разных логистических потоков, что привело к необходимости вводить дополнительные процессы контроля качества товаров после сборки или в процессе приемки, чего раньше не требовалось. Это привело к дополнительным затратам для РЦ и в то же время стало большим шагом к завоеванию доверия и обеспечению качества. Мы даже теперь ставим печать «Проверено на складе».

В случае же прямых поставок нет возможности что-то проверить в РЦ. Первой инстанцией контроля товаров здесь являются магазины, поэтому вопрос нужно было решать иным способом.

– Что не устраивало?

М.Г.: Конечно, магазины и раньше пытались не пересчитывать абсолютно все товары. По результатам инвентаризации каждая торговая точка самостоятельно решала, продукцию каких поставщиков нужно пересчитывать, а каких — нет, используя собственную логику. У нас более 100 магазинов, и везде с этой проблемой справлялись самостоятельно. Одному и тому же поставщику в одном магазине доверяли, а в другом — нет. И такая ситуация могла сохраняться достаточно длительное время. Естественно, очень многое зависело от опыта сотрудников, непосредственно работающих в магазине. И требовалось максимально точно определить, нужно пересчитывать конкретную поставку или нет.

– Как подошли к решению задачи?

М.Г.: Мы, как продуктовая команда, занимающаяся управлением данными в составе домена логистики, изучали «боли» наших внутренних клиентов. Ситуацию с приемкой товара мы тоже анализировали и по результатам интервью сформулировали задачу: помочь магазинам выявлять больше расхождений, но при этом просчитывать меньше заказов. Понимая, что эту задачу можно решить через алгоритмы машинного обучения, мы исследовали реальные процессы в магазинах, изучили используемые там данные, оценили готовность команд к реализации проекта. Создав локальную модель, успешно проверили гипотезу и защитили кейс, и после этого началась полноценная реализация проекта.

– В чем заключалась сложность реализации задачи? В чем ее нетривиальность?

М.Г.: Продукт, который мы создавали, имеет огромное количество потребителей, и в связи с этим требовалось полностью синхронизировать команды, которые участвовали в проекте. Они хорошо знают бизнес-процессы и понимают, какие методы коммуникации лучше использовать, для того чтобы магазины приняли изменения максимально лояльно. Вообще, процесс развертывания любых решений с таким охватом весьма сложен.

Кроме того, сам проект по сути уникален. У нас не было возможности провести референс-визит, посоветоваться с другими компаниями. Однако нам помогло то, что у нас был реализован похожий проект на складах и какие-то базовые технические нюансы мы могли переиспользовать.

– Какие данные использовались?

Михаил Измайлов: Если говорить о начальном исследовании и первичном анализе, то мы использовали историю приемки заказов со всевозможными деталями, накопленную в корпоративном озере данных. Смотрели на то, как магазины принимают заказы, какие из них принимаются доверительно, какие — недоверительно, пытались найти в этом определенную логику. Оценивали, как влияют на решение о доверительной или недоверительной приемке тот или иной ассортимент и артикулы, история самого поставщика, количество товаров в заказе. Уже на стадии анализа мы создали тестовую модель, чтобы понять, «выстрелит» ли продукт.

Если говорить о «боевой» модели, то для ее обучения мы берем скользящие 140 дней истории приемки заказов всей сети. Сейчас у нас основными факторами, влияющими на скоринг, являются поставщик, количество товаров в заказе, ассортимент заказа, его стоимость и заявленное количество палет. При этом мы переобучаем модель один раз в день, подпитывая ее новыми историческими данными. У нас очень большая сеть, и если в какой-то магазин пришла проблемная поставка, мы можем это обнаружить и с большей вероятностью рекомендовать ее для пересчета в других магазинах. То есть если у поставщика была какая-то бракованная партия, мы можем превентивно это отследить на основе данных первой приемки и дальше снизить такой риск для остальных магазинов сети.

– Как долго шел проект, кто в нем участвовал?

М.Г.: Проект был реализован за 7 месяцев, и еще полтора месяца потребовалось на масштабирование на все магазины сети. Таким образом, мы уложились в достаточно короткие сроки, причем масштабирование за полтора месяца — действительно отличный результат. В нашу проектную команду входили дата-сайентист, дата-инженер и дата-аналитик. Со стороны WMS-системы также задействовались аналитик и разработчик, чтобы немножко адаптировать ее под процесс приемки. И конечно же, принимали участие люди из бизнеса: лидер процесса приемки по всем магазинам и сами специалисты приемки в пилотном магазине.

– С какими проблемами столкнулись при разработке решения?

М.И.: Наверное, ключевыми стали проблемы, связанные с верификацией данных и их качеством. Видя какие-то неадекватные результаты, мы начинали разбираться и понимали, что проблема в данных, с которыми мы работаем: в дата-сетах дублируются строки, в каких-то местах обнаруживаются нули, которых не должно быть, и т. п. На проверку данных и обеспечение их качества пришлось потратить достаточно много времени. В принципе, мы подозревали, что такое может быть: на текущий момент у нас каждый из 115 магазинов имеет свой отдельный сервер, на котором работает WMS. Требовалась очень аккуратная работа, чтобы точно понимать, что обучение проводится на ровных данных и с ними все хорошо.

– Как теперь выглядит процесс приемки?

М.Г.: Изменения в работе сотрудников должны были быть минимальными, поскольку наши действия затрагивали достаточно большое количество людей. В целом добавился один системный шаг. Сразу после получения информации об отгрузке складская система передает данные в модель машинного обучения, которая выполняет скоринг. Таким образом, еще до прибытия товара WMS-система «знает», надо ли пересчитывать этот заказ. Сотрудники сканируют штрихкод палеты, и, если она не подлежит пересчету, выводится соответствующее сообщение.

– Каких результатов удалось достичь? Как они соотносятся с ожиданиями?

М.И.: У нас были три ключевые метрики. Первая из них — это доля доверительных приемок. До начала проекта она составляла 49% — то есть практически половину заказов магазин принимал доверительно. Мы поставили цель за несколько месяцев дойти до показателя 85%, и на текущий момент имеем цифру 86%. Данную метрику нам удалось «пробить», на это ушло около трех месяцев.

Вторая метрика — это стоимость поиска одного рубля расхождений. Чтобы продукт обеспечивал финансовый эффект, на поиск одного рубля расхождения нужно тратить менее рубля, что логично. Нам удалось сократить этот показатель практически в 2,5 раза, но пока он еще немножко больше рубля. Задача решена не полностью, но здесь мы тоже прогрессируем.

И последняя метрика — это отношение числа найденных расхождений к общей сумме проверенных заказов. Она говорит о том, насколько хорошо мы в принципе находим расхождения в тех заказах, что проверяем. До старта проекта этот показатель был 0,46%, а зафиксированный результат сейчас — 0,55%. То есть нам действительно удалось сделать процесс несколько эффективнее.

Если отвлечься от метрик, то важно отметить, что наша цель — высвободить персонал и перераспределить его на выполнение более полезных операций. На текущий момент эффект от запуска продукта — возможность перераспределить порядка 115 FTE (эквивалентов полной занятости сотрудника) по сети, то есть убрать их с приемки и направить на другие активности.

Наконец, нельзя не сказать о том, что использование машинного алгоритма при принятии решения о проверке более эффективно, нежели работа на основе интуиции сотрудников. Разумеется, магазин может принять самостоятельное решение о той или иной форме приемки. Мы разделили полученные оценки в соответствии с тем, кто принимал решение — магазин или алгоритм. В итоге у нас получилось, что доля проверенных заказов по результатам рекомендаций алгоритма — всего 2%, а остальные 13% магазин проверял по своей инициативе. Среди нашей меньшей части проверок доля найденных расхождений в рублях составила 1,38%, а у магазина при гораздо большем объеме проверок — всего 0,11%. Получается, что алгоритм позволяет пересчитывать намного меньше поставок и находить гораздо больше расхождений.

В принципе, расхождений выявляется не очень много. Отчасти поэтому и появилась идея использовать машинное обучение: именно оно способно на больших массивах данных искать иголки в стоге сена лучше человека, ловить то, что человек, скорее всего, пропустит.

– Сколько «Светофор» уже сэкономил компании?

М.И.: За полных 3–4 месяца функционирования продукта, когда он применялся уже во всей сети, система сэкономила около 12% затрат на процесс приемки. Это достаточно неплохо, хотя мы рассчитывали на несколько большее. Но и период времени должен быть больше.

— В каком направлении может развиваться решение, частью каких других дата-сервисов оно может стать?

М.Г.: Мы хотели бы развивать рекомендательные алгоритмы в логистике. «Светофор 3.0» — уже второй продукт, который позволяет сократить количество проверок и пересчетов. В ближайшем будущем мы начнем создавать новые продукты, которые с учетом различных факторов будут решать задачи уменьшения пересчетов в магазинах.