Статьи

В фармацевтической компании BIOCAD запущена уникальная программа для подготовки редких специалистов в области статистического программирования. Ее выпускники смогут закрыть актуальные кадровые потребности компании и будут востребованы на рынке фармацевтики и биотехнологий. О реализации этого образовательного проекта рассказывают номинанты на премию Data Award – Юлия Линькова, заместитель генерального директора по клинической разработке и исследованиям BIOCAD, и Антон Мещеряков, руководитель отдела биостатистики и дата-менеджмента.

— Как появилась эта программа, какова история ее создания?

Юлия Линькова: Идея создания программы появилась в департаменте клинической разработки BIOCAD. Наша компания активно развивается, и вместе с этим растет потребность в новых специалистах, которые смогут вместе с нами реализовывать уникальные проекты. Для выполнения всех запланированных анализов данных клинических исследований требуется больше ресурсов, в том числе кадровых. Поэтому у нас возникла потребность в квалифицированных специалистах, а именно аналитиках, которые умеют программировать на языке SAS. Таких кадров на рынке критически мало, и это вызывало трудности на этапе подбора персонала. Возникла логичная идея: создать проект для молодых специалистов, которым интересна данная сфера, и самостоятельно их обучить.

— В чем заключались проблемы?

Антон Мещеряков: В нашей компании очень высока потребность в SAS-специалистах, имеющих подготовку в области анализа данных клинических исследований, биостатистики, регуляторики и методологии исследований. Период закрытия таких узкопрофильных вакансий значительно дольше, чем линейных. Общеизвестно отсутствие конкретных специализаций для подготовки в вузах и дефицит готовых специалистов, способных сразу включиться в работу над проектами компании. Наблюдается большой компетентностный разрыв между требованиями и реальными навыками соискателей. Все это приводит к высокой конкуренции в индустрии за специалистов и как следствие – их завышенным зарплатным ожиданиям.

— Какие задачи требовалось решить?

Ю.Л.: Основной целью проекта является подготовка грамотных специалистов, знающих язык программирования SAS, которые будут востребованы на рынке биотехнологий и смогут закрыть кадровые потребности компании BIOCAD. Для достижения этой цели мы поставили перед собой ряд задач. Это развитие сотрудничества с лидером в сфере решений для анализа данных, повышение узнаваемости HR- и ИТ-бренда компании, отбор сильнейших участников с высокой мотивацией с помощью конкурсного отбора. Кроме того, требовалось подготовить уникальный образовательный материал с экспертами компании, который может быть переиспользован во внутреннем обучении, и подготовить учащихся к работе в компании, сократив компетентностный разрыв и время на последующую адаптацию. Лучших выпускников мы трудоустраиваем в компанию.

— Что собой представляет школа?

А.М.: Это образовательный проект, созданный нами в партнерстве со специалистами SAS Institute. Обучение рассчитано на пять месяцев и включает как обучение языку программирования SAS, так и фундаментальным знаниям в области клинических исследований, принципам разработки лекарственных препаратов и надлежащей клинической практики, основным документам клинического исследования и международным регуляторным требованиям по предоставлению и анализу полученных данных.

Важно, что обучение имеет практическую направленность и уделяет особое внимание аспектам непосредственного выполнения анализа клинических исследований, где участники работают с реальными данными. Задания включают статистический анализ данных, создание таблиц, листингов, графиков, ETL-операции по созданию базы данных анализа и многое другое. Переключение на реальные задачи после отработки на тестовых базах данных позволяет экономить ресурсы сотрудников отдела биостатистики уже в ходе проекта, так как в данном случае сотруднику BIOCAD остается только выполнить контроль качества после выполнения задания.

Программа разработана «с нуля», с ориентиром на то, кого мы хотим видеть на программе, на каких условиях, под какие задачи, какими будут критерии отбора и траектория обучения. Для проекта были подготовлены уникальные учебные материалы, которые в дальнейшем могу быть использованы для внутреннего обучения действующих сотрудников на площадке корпоративного университета компании.

Анализ данных клинических исследований с помощью решений SAS является отраслевым стандартом для фармацевтики и принимается регуляторами всего мира. Уже в процессе обучения участники проекта привлекаются к реальным задачам и приносят пользу в актуальных проектах клинической разработки.

— Почему именно собственная школа, а не курсы у партнеров?

Ю.Л.: При выборе площадки мы рассматривали различные варианты, но в России нет подобных программ, на базе которых можно было бы реализовать данный проект. В настоящее время SAS-школа BIOCAD не имеет аналогов. Реализация проекта собственными силами позволяет нам выбирать, чему и как мы будем учить, ведь у нас есть конкретное понимание того, какими навыками и компетенциями должен обладать сильный SAS-специалист.

— По каким критериям осуществляется отбор в программу?

А.М.: При поиске кандидатов мы ориентировались на выпускников технических вузов, основной упор был на ИТ-специалистов. Среди требований к участникам можно выделить умение программировать на любом языке, знание английского не ниже pre-intermediate и, конечно же, готовность развиваться и обучаться. Стоит отметить, что опыт работы в фармацевтической сфере у кандидатов не обязателен, так же, как и навыки программирования именно на языке SAS. Мы получили 270 заявок на участие, после выполнения тестового задания до финального собеседования дошло 20 человек, 10 из которых были приняты в программу.

— Число заявок на обучение в 27 раз больше, чем мест. Какова судьба сотрудников, не прошедших отбор, не влияет ли это на их мотивацию?

Ю.Л.: Программа направлена не на сотрудников, а на внешнюю аудиторию. С теми кандидатами, которые не прошли отбор, мы остаемся на связи: приглашаем их к участию в других наших проектах, делимся информацией по открытым вакансиям и, конечно, в случае запуска второго потока, мы будем рады увидеть их в SAS-школе BIOCAD. У сотрудников нашей компании тоже есть возможность принять участие в проекте в качестве преподавателей и наставников, что положительно влияет на их развитие.

— Каковы вообще потребности компании в специалистах SAS?

Ю.Л.: На данный момент по ряду проектов анализом данных клинических исследований занимаются подрядные организации, и мы стремимся к тому, чтобы иметь возможность самостоятельно закрывать все эти задачи. Для этого нам нужно расширять свою команду. При поиске новых кандидатов мы столкнулись с тем, что в России очень мало специалистов с релевантным опытом и знанием языка программирования SAS, существует огромный дефицит рабочих кадров, у специалистов непропорционально завышены зарплатные ожидания и происходит постоянная ротация этих сотрудников между компаниями.

— Какие результаты достигнуты?

А.М.: Нам удалось трудоустроить восемь специалистов: две вакансии были закрыты еще во время проекта, так как двое участников досрочно закончили обучение и были приглашены на постоянную работу в штат компании; после выпускного мы пригласили в штат еще шесть человек. Мы очень гордимся тем, что все 10 участников проекта прошли экзамен уровня Base и получили официальный международный сертификат. После окончания SAS-школы оставшиеся участники смогли попробовать свои силы в сдаче экзамена SAS Advance и шесть из них успешно с ним справились.

Важно и развитие сотрудников компании через преподавание и наставничество: в проект школы вовлечено 28 сотрудников BIOCAD, которые за время курса смогли поделиться своим опытом и знаниями с молодыми специалистами. На основании проведенных опросов для сбора обратной связи у преподавательского состава, работа с молодежной аудиторией и возможность делиться своей экспертизой – одна из дополнительных мотивационных причин работы в компании.

На завершающем этапе обучения участники школы примут участие в анализе реальных данных одного из клинических исследований BIOCAD, результаты которого будут впоследствии использованы для регистрации препарата, который не только принесет прибыль компании, но поможет в улучшении качества жизни и сохранению здоровья тысяч пациентов, страдающих тяжелым заболеванием.

— Пытаетесь ли оценить финансовую эффективность работы школы?

Ю.Л.: Оценить финансовую эффективность проекта можно будет спустя определённое время после его завершения, но у нас уже сейчас есть понимание, что проект экономически выгоден, ведь мы сможем отказаться от услуг некоторых контрактных организаций. Внедрение SAS в обработку огромного массива данных клинических исследований позволяет повысить качество, достоверность и прозрачность расчетов, что значительно снижает риски регуляторных запросов по статистической части. Кроме того, данное ПО позволяет автоматизировать все процессы по созданию листингов, графиков, таблиц для отчетов. Это значительно снижает трудозатраты медицинских экспертов и других сотрудников, вовлеченных в написание больших отчетов (4-8 тыс. страниц), увеличивая скорость работы в 2-2,5 раза – это прямая экономия времени. Более того, это позволяет ускорить подачу документов регулятору для рассмотрения и последующей регистрации инновационных препаратов, в которых так нуждаются наши пациенты. Для нас это очень важно, ведь мы работаем в секторе тяжелых инвалидизирующих нозологий, среди которых онкология, аутоиммунные патологии и другие социально значимые заболевания.

— В чем роль запущенного образовательного проекта для бизнеса компании?

Ю.Л.: Выход фармацевтической компании на новые высокорегуляторные рынки требует соответствия международным стандартам (GMP, FDA). BIOCAD одним из первых начал внедрять в свою работу инструменты аналитики SAS, тем самым повышая престиж российских фармацевтов в мировом сообществе. Создание внутренней программы подготовки редких специалистов позволит компании не зависеть от сложного процесса привлечения опытных специалистов из других организаций, а также от внешних подрядчиков, что обеспечит экономию в десятки миллионов рублей в год.

— Планы развития школы – например, по другим направлениям дата-специалистов и т. п.

Ю.Л.: 11 марта 2022 года у нас состоялся выпускной первого потока школы, сейчас мы планируем обсудить дальнейшую судьбу и развитие проекта.

В 2019 году «Северсталь» начала внедрять машинное обучение в листопрокатном цехе производства трубного проката в Колпине. Сейчас цех можно назвать цифровым: его главный агрегат – листопрокатный стан 5000 – управляется с помощью комплекса моделей на новых скоростях. Проект стал уникальным в металлургии и оказал значительное влияние на повышение эффективности производства. О реализации этого проекта рассказал Борис Воскресенский, директор «Северсталь Диджитал».

— Что стало причиной начала проекта и каким образом была поставлена задача?

«Северсталь» цифровизирует производство и внедрила ряд собственных решений, которые доказали свою эффективность. Конкретно в данном случае мы хотели увеличить производство листопрокатного цеха с помощью цифровых технологий, без значительных капитальных вложений.

Ранее управление главным агрегатом промплощадки – широкополосным прокатным станом 5000 – осуществлялось вручную, и в нем заметно присутствовал человеческий фактор. Операторам приходилось одновременно следить за проходом и качеством металла во избежание дефектов, причем они могли опираться только на свой опыт и измерения, полученные после проката. При определении скорости прокатки не всегда учитывались сортамент продукции и цикличность проката, поэтому показатели были занижены и стан работал не на полную мощность.

Задачей проекта стала автоматизация функций управления проката и интенсификация скорости проката, исходя из энергосиловых возможностей агрегатов. Для листопрокатного стана 5000 был разработан комплекс моделей на базе машинного обучения. Модели управляют участком нагревательных печей (управление нагревом слябов) и клетью кварто (управление скоростью проката), на транспортировочной линии цифровой советчик выдает рекомендации по управлению выдачей слябов.

— Какие проблемы потребовалось решить в ходе этого проекта? Что было самым сложным?

С технической точки зрения – это отличие природы исторических данных от потоковых. После создания решения на исторических данных необходима существенная доработка, связанная с отличием исторических данных от потоковых. Когда вы подключаетесь к потоковым данным и начинаете управлять агрегатом напрямую, приходится реконструировать по факту всё, что происходит в реальном времени, и очень быстро делать корректировки для обеспечения эффективности производства. На исторических данных строится модель, но потоковые данные приходят с разными небольшими запозданиями, и их приходится агрегировать «на лету».

С точки же зрения подхода к моделированию мы вышли за рамки классического подхода обучения с учителем. Если сильно упрощать, то стандартные модели машинного обучения ищут похожие события в прошлом и подбирают хорошие исторические аналоги с довольно слабой способностью к экстраполяции. Мы же добавили сюда causal inference подход: сначала обучили стандартную модель машинного обучения, а потом уже с помощью выявленной причинно-следственной связи на данных искали возможности для ускорения производства: результат получился очень хороший – максимальные скорости агрегата выросли с 3,2 м/с до 4,5 м/с.

— Что сделано в рамках проекта, какие решения использовались?

В ходе проекта автоматизированы функции управления прокатом, максимально интенсифицирована скорость проката, исходя из энергосиловых возможностей агрегатов.

Решение для управления скоростью проката базируется на комплексе моделей машинного обучения. Это градиентный бустинг на решающих деревьях – он используется для предсказания максимальных токов двигателей, приводящих в движение прокатные валки стана 5000; метод ближайших соседей – для оценки начального приближения скорости проката на основе исторических данных по аналогичным типам проката; ряд моделей линейной регрессии с применением подхода causal inference – для определения влияния скорости на максимальный ток.

Управление интенсивностью нагрева печей основано на анализе текущего состояния печей и условий их наиболее эффективной работы, определенных в результате анализа исторических данных. Для синхронизации работы печей со станом 5000 разработаны модели на основе линейной регрессии, предсказывающие время прокатки текущей группы слябов.

С точки зрения платформ использовались собственные разработки, а также OPC UA, Docker, Kubernetes, Apache Kafka, InfluxDB, Apache NiFi, Gitlab, Hadoop, Graylog, Grafana.

— Сразу ли была поставлена задача не ограничиваться рекомендательной системой, а пойти дальше? Или аппетит пришел во время еды?

На короткий период решение работало как рекомендательная система: люди могли переключать тумблеры в соответствии с рекомендациями. Но довольно быстро стало понятно, что это не очень удобно, так как каждый проход сляба занимает несколько секунд, и каждые несколько секунд крутить тумблер в зависимости от рекомендации модели – не слишком эффективно.

Мы убедились в том, что при четком следовании рекомендациям модели наблюдается значительный рост производства. Когда производство сказало: «Давайте переходить в автоматический режим», у нас к этому уже все было готово.

— Откуда брали «источник мудрости» и на чем обучали модели?

Данные датчиков собирали напрямую с агрегата. Мы подключались к уровню производства трубного проката через безопасное соединение, собирали необходимые данные в Kafka, далее выводили их в озеро данных, и на этих данных и строили наши модели. Дополнительно использовали экспертное мнение технологов, в частности, оно нам очень хорошо помогало понять, на что именно стоит обратить внимание. Иногда экспертное мнение подтверждается, иногда нет. В любом случае, с помощью валидации этих знаний на данных и вытаскиванием из данных чего-то нового, о чем технологи могли даже и не знать, получается модель, которая может управлять агрегатом лучше, чем человек.

— Какими силами реализован проект?

Проект реализован силами внутренней экспертизы «Северстали» — командой «Северсталь Диджитал» в партнерстве с производством. Работы проводились с мая 2019 года по третий квартал 2021 года.

— Почему так долго? Или это не долго для такого проекта?

Это вполне стандартный срок: исходя из нашей практики, необходимо от шести до девяти месяцев на разработку решения, которое управляет агрегатом. В данном случае было несколько проектов, направленных на одну и ту же цель. Мы работали над ними последовательно, и таким образом создали полностью цифровой цех.

— Каковы были ожидания от результатов, как они соотносятся с реальностью?

Реальность оказалась лучше, чем ожидания. Мы ожидали увеличения производства на 2-3%, а в итоге получилось более 5% – мы достигли рекордных проказателей по производительности. Более того, ожидается рост на дополнительные 1,5%. За 2020 год средняя скорость проката возросла с 2,3 м/с до 3 м/с, а максимальные скорости проката выросли с 3,5 до 4,5 м/с – операторы в ручном режиме никогда не достигали таких показателей. При этом среднее время ожидания новой прокатной группы уменьшилось с 62 с до 40 с незначительными отклонениями.

— Какие экономические результаты достигнуты?

За три квартала 2021 года эффект от комплекса моделей составил более 20 тыс. тонн дополнительной готовой продукции, что составляет около 1 млрд руб. в ценах 2021 года.

— В чем роль проекта для бизнеса компании?

«Цифровому цеху» в Колпине практически нет аналогов в мировой металлургии: решения работают круглосуточно и управляют одним из крупнейших агрегатов «Северстали». Сотни тысяч тонн продукции в год производятся под управлением нашего комплекса решений.

Металлопрокат из этого цеха используется для производства труб большого диаметра на Ижорском трубном заводе, который поставлял трубы для строительства «Силы Сибири», газопровода «Ухта-Торжок» и других проектов.

— Проект уникален. Может ли его реализация оказать влияние на развитие отрасли?

Мы взяли современные научные принципы и подходы, которые развиваются ведущими ИТ-компаниями, и использовали их для управления промышленными агрегатами.

Считаю, что проект может оказать влияние на развитие отрасли – за подобными подходами будущее. Если раньше мы делали решения, которые были полностью основаны на физике процесса: зашивали логику и формулы для управления в автоматизированную систему, – то сейчас мы всё ближе к созданию «искусственного оператора». В мировой металлургии довольно активно используются советчики и рекомендательные системы, но решения, которые напрямую в реальном времени управляют агрегатами с помощью подходов data science, пока еще довольно редки.

В нашей компании такой подход уже масштабирован на существенную часть агрегатов, и аналогичный подход начали использовать в нашем сырьевом производстве. Наши модели уже стали неотъемлемой частью производственного процесса «Северстали», и я уверен, что за данным подходом будущее.

В Группе компаний «Газпром нефть» реализована полноценная платформа управления данными. Реализуемые инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. В результате появилась прозрачность данных, обеспечено единое их понимание, достигнут быстрый доступ к данным и доверие к ним со стороны бизнеса. О реализации проекта рассказала Наталья Третьякова, руководитель функции «Управление данными» в компании «Газпром нефть».

— Когда была начата реализация комплексной программы по управлению данными в «Газпром нефти», каковы были предпосылки? На что рассчитывали?

В 2018 году в «Газпром нефти» были начаты глубокие преобразования, направленные на повышение уровня зрелости как базовых ИТ-процессов, так и процессов получения ценности на основе данных. В бизнес-подразделениях сформировалось полное осознание, что без данных цифровая трансформация не осуществима, и возник комплексный запрос на выстраивание процессов управления данными – обеспечение быстрого доступа к качественным данным для повышения эффективности процессов компании и качества принимаемых управленческих решений за счет использования данных и цифровых двойников. Реализация комплексной программы по управлению данными была начата в 2019 году.

— Что представляет собой программа?

Реализация комплексной программы по управлению данными включает формирование методологии, выстраивание процессов управления данными и встраивание их в регулярную деятельность подразделений, внедрение платформы управления данными на базе наиболее современных инструментов. Кроме того, в ее рамках формируются и развиваются как специализированные компетенции, так и компетенции бизнеса по работе с данными.

— В прошлом году вы принимали участие в CDO Award и стали лауреатом в номинации «За обеспечение качества данных». Что изменилось за этот год?

Самым важным стало дальнейшее вовлечение бизнес-пользователей в процесс «Управление качеством данных». В частности, за год использования методологии и инструментов проработано и зарегистрировано в каталоге данных 1343 бизнес-требования к качеству данных для 12 доменов данных (предметных областей), поставлено на мониторинг более 160 технических проверок качества данных, устранено более 120 тыс. инцидентов качества данных.

— Что стало самым сложным в реализации этого проекта?

Наиболее сложным является проведение культурных изменений, связанных c существенными изменениями в ключевых процессах по работе с данными.

— Что стало главным достижением? Чем можно гордиться?

Нами реализована полноценная платформа управления данными. В инструменте «Глоссарий» описано более 8 тыс. элементов данных, более 40 систем-источников данных интегрировано с каталогом данных. На портале управления данными (УпД) зарегистрировано более 1,4 тыс. уникальных пользователей, 71 тыс. просмотров разделов портала. Более 600 элементов данных имеют проверку качества данных с использованием инструментов качества данных, реализовано более 3 тыс. бизнес-правил, более 650 автоматизированных проверок качества данных. Более 147 тыс. ошибок исправлено по результатам мониторинга; в рамках развития процесса качества данных в 2021 году был создан модуль управления инцидентами и проблемами качества данных.

В системах НСИ размещено более 3,2 тыс. объектов (справочники, классификаторы, реестры, каталоги и др.), осуществлена интеграция более чем с 70 информационными системами при помощи около 1,2 тыс. сценариев интеграции. В рамках работы по направлению «Аналитика BI» (в том числе self-service) опубликовано 125 аналитических приложений, подключены данные из четырех корпоративных хранилищ, создано более 20 дата-сетов.

Более 36 тыс. уникальных пользователей (более 7,5 тыс. в мес.) реализуют работу с неструктурированными данными в корпоративном поиске, осуществляя более 1,6 тыс. поисковых запросов в день по 25,7 млн доступных в поиске документов.

Для повышения уровня компетенции нами проведено более 80 онлайн-обучений и 147 инфо-сессий, разработано два электронных курса на кафедре УпД Корпоративного университета «Газпром нефти», основам управления данными обучено более 800 сотрудников. Кроме того, разработаны три обучающих программы на базе «Школы аналитики», обучено более 60 сотрудников.

— А к чему еще можно стремиться?

В настоящее время мы заканчиваем опытно-промышленную эксплуатацию корпоративных панелей качества данных, представляющих собой единое окно для потребителей, в котором будут собраны метрики качества данных из всех корпоративных систем мониторинга. Работаем над внедрением корпоративного магазина данных и развитием дата-сервисов.

— Насколько заметным стал более простой доступ к данным? Как изменились процессы, как это отразилось на времени доступа?

Благодаря комплексной программе по управлению данными был подготовлен инструментарий, позволяющий управлять доступом к данным на основе метаданных. Доступ будет предоставляться на основе бизнес-роли сотрудника и тегов информационной безопасности, присвоенных данным. Существенная часть доступов будет предоставляться по умолчанию. В настоящий момент этот инструментарий уже подготовлен для проведения опытно-промышленной эксплуатации.

Также в программе проведен пилот по реализации логического хранилища данных, что позволит дополнительно повысить доступность данных, позволяя не только получить доступ, но и оперативно решать комплексные задачи, требующие задействования данных из различных источников.

— Какие результаты достигнуты?

Программой охвачено более 50 проектов и более 15 доменов данных, в рамках которых развиваются ключевые направления управления данными. Основные экономические и нематериальные эффекты программы основаны на переиспользовании данных, ускорении реализации цифровых продуктов, сокращении времени на анализ и поиск качественной информации, а также снижении трудозатрат как на этапе обследования систем-источников, так и при подготовке проектной документации. Отдельно можно выделить повышение качества управления, основанного на данных.

— В чем роль проекта для бизнеса компании?

Реализуемые нами инициативы в области Data Governance обеспечивают поддержку цифровой трансформации компании. Повышается прозрачность данных за счет создания единого источника информации о данных (бизнес-глоссарий) и правил управления данными группы «Газпром нефть», обеспечивается единое понимание данных: терминологии, взаимосвязей между бизнес-терминами и источниками данных, методологии расчетов, достигается быстрый доступ к данным и повышение доверие к ним со стороны бизнеса. Важную роль также играет повышение аналитичности данных за счет внедрения инструментов self-service BI.

— В чем выражается доверие пользователей к данным? Как понять, что оно есть?

Доверие пользователей отражает степень их уверенности в том, что представляемые данные полностью соответствуют описанию (бизнес-описание, родословная, информация об актуальности и оценки качества данных) и обеспечены поддержкой, гарантирующей актуализацию этого описания в последующем. Это позволяет использовать данные с прогнозируемым результатом не только в моменте, но и реализовать процессы и функционал, работающие на постоянной основе в долгосрочной перспективе. Как результат, доверие пользователей выражается в готовности максимально оперативного применения данных без дополнительных мер по их проверке, без потерь времени на поиск и ожидание консультаций от экспертов отдельных бизнес-систем или предметных областей.

Таким образом, для тех команд аналитиков, разработчиков и архитекторов, которые участвуют в анализе исходных данных, проектировании и разработке, индикатором доверия к данным является интенсивность использования ими бизнес-глоссария, каталога данных, мониторов качества данных с одной стороны и сокращение времени разработки продуктов как результат отсутствия затрат времени на перепроверку данных перед их применением.

Что касается менеджмента компании, то в этом случае индикатором доверия к данным является отказ от предварительной перепроверки информации, представленных в отчетах и дашбордах. Это приводит к сокращению времени на принятие решений.

— Насколько распространен self-service BI внутри компании? Какая доля сотрудников пользуется им, как их число изменилось за последнее время? Есть ли показатель, к которому стремитесь?

У пользователей велик интерес к инструменту самостоятельной аналитики, и наблюдается готовность переходить со стандартной и привычной аналитической отчетности к гибким механизмам самостоятельного анализа данных. Распространение self-service BI находится в самой активной фазе, и за прошлый год количество пользователей увеличилось в два раза. В этом году планируется дальнейшее развитие и еще более высокий рост, так как помимо развития самого инструмента, уже на год вперед расписан план обучения сотрудников в «Школе аналитики».

В рамках развития self-service BI также прорабатывается вопрос с импортозамещением, в прошлом году был осуществлен выбор платформы и проведена апробация. В этом году стартуют активности по переводу функционала self-service BI на новую импортонезависимую платформу и обучению сотрудников.

— В каком направлении планируете развиваться?

Мы будем продолжать развивать свою функцию по всем ключевым направлениям – методология, инструменты, компетенции – для обеспечения максимального эффекта от внедрения процессов управления данными и достижения компанией статуса data-driven согласно международной методологии DCAM.

В S7 Airlines запущена корпоративная платформа, обеспечившая прозрачность активов данных и значительно сократившая время доступа пользователей к данным. Об особенностях этого проекта и используемых подходах рассказал Арег Азарян, Chief Data Officer компании S7 Airlines.

— Как формировалась в S7 Airlines практика работы с данными, какие этапы она прошла?

S7 Airlines, как и любая авиакомпания, зависит от различного рода ИТ-решений, в которых в большом количестве могут генерироваться данные. Данных этих бывает много, а иногда даже очень много – например, если брать телеметрию воздушного судна. У нас много источников различного рода данных, около 120, расположенных как в нашем контуре, так и вовне. Все эти данные необходимо накапливать и использовать – в сегодняшних реалиях это один из активов наравне с материальными. На что-то уже есть зрелый запрос у бизнеса, в каких-то случаях мы пытаемся помочь такой запрос сформировать и развить, а иногда сохраняем данные «на будущее», чтобы иметь готовый архив, когда потребность сформируется.

Наша история была типичной для многих. Финансово-экономические службы хотели иметь «источник правды» по основным метрикам функционирования бизнеса. Мы начали формировать классическое корпоративное хранилище данных. Потом оно постепенно начало использоваться в аналитике. При появлении проектов, связанных с глубокой аналитикой, инфраструктура данных начала разрастаться: появилось озеро данных, виртуализация данных, каталог данных и т.д. У нас появилось много хранилищ: четыре доменных хранилища, источники для корпоративной отчетности, а также локальные хранилища в дочерних компаниях. Данные требовалось демократизировать и сделать доступными для использования бизнесом. Потребности стали возрастать, и появилась необходимость в создании полноценной платформы для работы с данными.

— Как пришло понимание, что компании необходима корпоративная платформа данных? Что не устраивало в сложившейся ситуации, какие проблемы требовалось решить?

В 2018–2019 годах у нас начали появляться в большом количестве различные проекты, основанные на технологиях машинного обучения, очень емкие по части данных. Возникали сложности различного характера: было непонятно, где данные находятся, какими данными нужно пользоваться в том или ином случае, длительное получение доступа, нестандартные процессы согласования доступа к различным источникам. Кроме того, бизнес вырос с точки зрения зрелости и культуры работы с данными. В большинстве бизнес-направлений появились аналитические подразделения, которые располагали не только потребностью использования более продвинутых решений, но и навыками работы с ними.

Пришло понимание, что нам нужно обеспечить более дружелюбный инструментарий, сократить время предоставления данных на всех этапах – поиск, получение доступа, предварительная подготовка, доставка и т. д. С другой стороны, мы понимали, что у нас большое количество хранилищ и источников данных, которые нужно как-то описать, демократизировать и предоставить в пользование независимо от уровня пользователя.

— Какие цели были поставлены? Какие принципы требовалось соблюсти при построении платформы?

Если говорить об измеримых целях, то в первую очередь это снижение длительности выполнения задач, связанных с данными, – то есть поиск, получение доступа, исследование и подготовка данных. Побочная цель, которая также измерима, – это снижение трудозатрат сотрудников на те же задачи. Мы провели внутреннее исследование и увидели, что пользователи-аналитики тратят на перечисленные задачи около 20-30% своего рабочего времени. Кстати, некоторые компании такие трудозатраты оценивают в 70%. Мы хотели именно работать над этими показателями чтобы снизить время разработки наших внутренних и внешних продуктов.

Качественно мы хотели данные как можно больше демократизировать, как можно лучше их подготовить под самостоятельный формат работы, под потребителя различного уровня – от бизнес-аналитиков до дата-сайентистов и даже дата-инженеров. Каждому должен быть предоставлен подходящий интерфейс доступа к данным и необходимая ему информация.

— Какие основные части включает платформа, на каких инструментах реализована?

Платформа получилась многослойная, при этом она позволяет предоставлять данные под различные нужды – классический self-service на SQL, для корпоративной отчетности, для использования в Python-скриптах или поставки данных в приложения.

Первым компонентом, через который проходит пользователь, – каталог данных, он обеспечивает функции как репозитория метаданных, так и информационного портала с реестрами имеющихся у холдинга данных. Благодаря каталогу данных пользователь может осуществлять поиск необходимых ему объектов, как с помощью технических наименований, так и на основе связи таких объектов с терминами в корпоративном глоссарии. Кроме поиска, каталог позволяет получать много другой технической и бизнес-ориентированной информации об объектах. Также важно, что каталог данных является центральным инструментом компании для ведения родословной данных (маршрут движения данных по системам), категорирования объектов (персональные данные, коммерческие данные и др.), поддержки работы дата-стюардов и других процессов управления данными.

Следующий этап – доступ и использование найденных данных. Для этого используется технологии виртуализации данных, которые позволяют объединить все источники в рамках одного веб-интерфейса и обеспечивают работу с ними через удобный всем потребителям язык SQL. Виртуализация дает нам возможность в одном инструменте объединять между собой данные, вне зависимости от технологий, на которых построены отдельные хранилища и без необходимости загрузки их в промежуточные хранилища. Это оказалось очень ценным как с точки сокращения времени доступа к данным, так и с точки зрения их снижения затрат на их обработку, а также значительно упростило для бизнес-аналитиков возможности использования данных, например, в корпоративном озере данных или наборе доменных хранилищ.

Транспорт данных в платформе обеспечивает шина данных – она не только позволяет организовывать потоковые данные, в ней также автоматизировано большинство рутинных операций – например, создание топиков, предоставление к ним доступов, настройка мониторингов и проверок

Одно из хранилищ – наше корпоративное озеро данных – также создавалось как компонент платформы. Мы используем озеро данных не как единственное централизованное хранилище, а как дополнительный компонент нашей общей инфраструктуры данных. Оно выполняет роль архива «сырых» данных организации, а также хранилища «холодных» данных.

Нужно также упомянуть, что в корпоративную платформу данных также входят доменные хранилища данных, реализованные по концепции Data Mesh.

— Каковы сроки реализации проекта, какими силами он проводился?

Проект по объединению всех хранилищ в единую платформу начался в 2019 году. Сейчас у нас все компоненты, кроме шины (она в опытной эксплуатации), введены в промышленную эксплуатацию и уже имеют свой набор пользователей и активно функционируют. Могу отметить, что работы реализованы очень скромной командой из восьми человек, занимавшихся платформенными сервисами, не считая сами хранилища. Мы смогли внедрить два коробочных решения, создать два собственных, интегрировать это всё между собой и с хранилищами.

— В чем «фишки» созданного решения, чем можно гордиться?

Самое яркое – это виртуализация данных. На отечественном рынке не так много примеров применения виртуализации данных, и я считаю наш кейс одним из наиболее успешных. Очень большое количество довольных пользователей отмечают, что теперь они могут значительно быстрее решать свои задачи по ad-hoc-аналитике за счет возможности объединять данные из разных источников в рамках одного SQL-запроса.

Кроме того, аналитикам теперь не нужно многократно запрашивать доступ к различным хранилищам и объектам – всё доступно в одном месте. Такого результата мы добились путем применения практик Data Governance. Чтобы соблюдать политики безопасности и не допустить хаотичного доступа к критичным данным, нами была проработана особая матрица доступов, которая позволила разграничить доступ к данным на основе доменов, возможности доступа к персональным данным, возможности доступа к коммерческим данным. Все работает таким образом, что достаточно запросить один раз доступ к интерфейсу виртуализации, указав интересующие домены и категории данных, – после согласования данные сразу будут доступны, причем при появлении новых объектов в хранилищах и источниках, доступ к ним появляется автоматически.

Также важно отметить, что такой функционал платформы стал доступен благодаря работе с метаданными в каталоге данных – она позволяет нам применять нашу матрицу доступов на уровне отдельных объектов, без необходимости регулировать доступ к источнику целиком. За счет того, что мы подключили все необходимые хранилища к каталогу данных, мы смогли увидеть все объекты с данными и категорировать их. Теперь мы знаем, где у нас находятся, например, персональные данные, а где – коммерческие. Это позволяет нам тонко настраивать политики безопасности для этих объектов, автоматизировать процессы по разграничению доступов, корректно назначать владельцев данных.

— Децентрализованный подход к управлению данными (Data Mesh) требует от подразделений определенной зрелости, в том числе культурной. Какие организационные изменения и мероприятия потребовались?

Нельзя сказать, что все было гладко с первого же дня. Data Mesh изначально требует налаженного внутри компании продуктового подхода. Важно воспринимать создаваемые платформы не просто как информационную систему, а как продукт, и работать с ним, как с полноценным продуктом – это несет в себе как плюсы, так и минусы. Один из таких минусов мы прочувствовали на себе – каждое отдельное хранилище получалось слишком обособленным, и возникали проблемы с синхронизацией планов развития, распределением данных по доменам, дублированием и сложностями в объединении данных.

Сейчас мы видим необходимость лучше структурировать работу доменных хранилищ не только как отдельных продуктов, но и как элементов одной платформы. Создание и реализация корпоративной модели данных в доменных хранилищах – это один из проектов, над которым мы будем работать в будущем, и мы рассчитываем, что он поможет нам достигнуть синергии между доменными хранилищами. Такой подход, действительно, требует определенной зрелости, в том числе от офиса данных.

— Как реализовано автоматическое категорирование данных, какой точности удалось достичь, какую роль она играет?

Мы хорошо продвинулись в этой теме и продолжаем исследовать ее. Сейчас мы от ручного категорирования перешли к полуавтоматическому. Техническими средствами каталога данных мы составляем первичную выборку объектов, в которых потенциально содержатся персональные данные, и после этого дата-стюарды могут подтверждать корректность соотнесения данных по категориям. Мы уже начали работать над созданием моделей для нахождения персональных данных в примерах записей из объектов, но даже при высокой точности таких моделей вряд ли мы сможем полностью отказаться от валидации человеком.

Корректное категорирование, как я уже сказал, очень важно для автоматизированного применения корректных политик безопасности к объектам с данными, что позволяет нам значительно упрощать процесс получения доступа к ним и снижает риски утечки персональных данных.

— Насколько ощутимым стало сокращение времени доступа к данным?

Мы добились сокращения времени получения данных на 15%. Дальше мы видим простор для действий как через работу над эффективностью команд, которые создают витрины данных и подключают новые источники, так и через предварительную подготовку данных в доменных хранилищах для использования инструментов self-service. Если потребитель сможет решить самостоятельно свою задачу, то это тоже принесет большую пользу.

— Как велико число аналитических задач, уже сейчас решаемых бизнес-пользователями самостоятельно?

Сейчас, когда пользователи имеют возможность самостоятельно находить и исследовать данные, некоторые задачи они действительно предпочитают решать в режиме self-service. Например, это задачи создания единого профиля клиента, персонализация коммуникаций, мониторинг удовлетворенности клиентов, fraud-аналитика программы лояльности, исследование новых маршрутов – там уже активно используется функционал нашей платформы.

— Прозрачность активов данных подразумевает возможность их капитализировать и монетизировать. Какие сценарии возможны?

Мы как офис данных сейчас только начинаем работать над этими вопросами. Мы хотим определить набор критичных активов данных, которые у нас есть, и понять, где мы их применяем или где их можно применить. Обеспечив видимость всех активов данных, мы получили картину в целом и будем иметь лучшее понимание возможностей для их монетизации.

Говоря про монетизацию, мы имеем в виду, что рассматриваем возможность использования данных в каких-то проектах типа создания цифровых двойников или предиктивного ремонта двигателей на воздушных суднах. Очевидно, путем своевременного обслуживания мы сокращаем потребление топлива – явная монетизация данных. Другой вариант – возможность более точечного, персонализированного предложения для наших клиентов, что позволит увеличивать выручку. Также мы в перспективе рассматриваем возможность партнерских проектов с другими игроками на рынке.

Еще одним направлением нашей деятельности будет являться капитализация активов данных: например, необходимо понимать, сколько нам стоит владение тем или иным объектом данных.

— В каком направлении будет развиваться платформа данных S7 Airlines?

Первоочередная задача – как можно более тесная интеграция всех компонентов платформы между собой. Кроме того, важно внедрение практик управления метаданными внутри самих хранилищ и шины данных для того, чтобы выстраивать более точные маршруты движения данных, лучше понимать характеристики активов данных, которые доступны в платформе. Мы рассматриваем развитие системы с точки зрения тесной интеграции – например, каталога данных с системой виртуализации, системы виртуализации с источниками, каталога данных с BI-системой и так далее.

Также мы видим возможность развития нашей платформы в плане централизации работы с качеством данных – это следующий этап, над которым мы будем работать.

За последние два-три года сфера искусственного интеллекта прошла огромный путь и сегодня мы видим массовое внедрение решений на базе ИИ в бизнесе, в частной жизни. Благодаря искусственному интеллекту у нас появились умные устройства, голосовые ассистенты, беспилотные автомобили. ИИ применяется, например, в финансовом сегменте, телекоме, медицине, ритейле. Но за каждым таким решением стоит кропотливая и в чем-то рутинная работа, ведь для обучения высококачественных моделей машинного обучения необходимо предоставить их алгоритму точно размеченные данные. Для того, чтобы размечать большой объем данных и делать это быстро, существуют специализированные платформы. В компании «АктивБизнесКонсалт», разрабатывающей ИТ-решения на базе речевых технологий для бизнеса под брендом VS Robotics, создали свою такую платформу – Elementary. Об истории и результатах этого проекта рассказал Дмитрий Теплицкий, генеральный директор АБК и номинант на премию Data Award.

— Как и зачем создавалась платформа Elementary?

Мы являемся одним из основных поставщиков решений, основанных на речевых технологиях. Наиболее известный пример – роботизированный агент, который применяется в различных сферах и направлениях: телемаркетинге, медицинских организациях для записи на прием, проведения опросов общественного мнения, взыскании проблемной задолженности и многих других. В связи с этим возникла необходимость разметки речевых корпусов и других данных, чтобы обучить робота общаться с человеком на равных.

Оценив рыночные решения, мы пришли к выводу, что схема работы внешних поставщиков размеченных данных нас не устраивает и необходимо собственное решение, позволяющее организовать этот процесс. Такое решение и было разработано – это площадка для разметки данных Elementary.

— Расскажите об истории проекта.

Мы разработали платформу Elementary в 2019 году. Этот сервис предполагал возможность разметчикам, привлеченным для работы на площадке, получать дополнительный доход за несложную работу. Уже в первый год платформа Elementary получила высокий отклик. Был получен высокий объем размеченных данных, которые в дальнейшем стали использоваться не только в ИТ-решениях, создаваемых в VS Robotics, но и в голосовых помощниках, и в других продуктах экосистемы «Сбера».

— Что собой представляет платформа, в чем ее суть?

Платформа Elementary позволяет решать большинство задач, связанных с разметкой данных для машинного обучения: текстов, картинок, аудио и видео. Суть проекта в том, чтобы получить большие данные, которые накапливаются в результате работы бизнеса, и обработать их нужным образом для использования в построении технологий. Наша платформа позволяет нам контролировать качество на каждом этапе. Мы автоматизировали весь процесс работы специалиста по разметке на площадке – от регистрации до оформления выплат. Кстати, мы – единственная подобная площадка с официальным оформлением трудовых отношений и автоматизированными выплатами.

— Какие задачи были поставлены перед проектом?

Проект был задуман как для решения прикладных задач подготовки данных машинного обучения, так и для оказания помощи в трудоустройстве для тех людей, кто оказался в сложном финансовом положении и ищет дополнительный источник дохода. 

— Что в ходе проекта было самым сложным?

Самой сложной частью была автоматизация создания заданий и правильный учет распределения больших объемов данных (до нескольких миллионов сущностей за задание) между большим количеством разметчиков на площадке, работающих во всех часовых поясах России.

— На каких технологиях базируется Elementary?

Проект построен на технологическом стеке языка PHP (фреймворк Symfony), фреймворка Vue.js и с частичным использованием языка Python.

— Каких результатов удалось достичь?

Самое главное – это разметка огромного массива данных, которые стали основой для многочисленных умных устройств и ИИ-продуктов в «Сбере». Нам удалось привлечь действительно большое количество разметчиков. Нами разработаны механизмы разметки любых типов задач. В пиковые нагрузки на площадке работали до 20 тыс. активных пользователей.

— Была ли изначально задумана социальная ориентация проекта? Или такое понимание пришло уже в процессе? Какие именно категории граждан составляют основную массу разметчиков?

На специализированных площадках, таких как Elementary, ежедневно размечается сотни тысяч данных, и для людей, занимающихся этой работой, это хорошая возможность для дополнительного заработка. А возможность работать из дома и в свободном графике особенно важна для женщин в декрете и малоподвижных граждан. Создавая Elementary, мы изначально задумывали площадку как отчасти социальный проект и сейчас видим, что наши ожидания оправдались.

За последние два года количество зарегистрированных пользователей выросло почти в 19 раз. Сейчас на площадке зарегистрировано почти 20 тыс. разметчиков – более 1,5 тыс. активных ежедневных пользователей. 10% пользователей – сотрудницы «Сбера», находящихся в декретном отпуске, они занимаются разметкой за дополнительный доход. 5% приходится на малоподвижных граждан и матерей детей с инвалидностью. Для оставшихся 85% обеспечивается занятность в удаленном режиме, это люди, не имеющие постоянного дохода и испытывающие финансовые трудности. Кроме того, мы предоставляем возможность присоединиться к платформе Elementary и людям, не имеющих возможность оплачивать кредит ввиду сложных жизненных обстоятельств.

Таким образом, площадка Elementary выполняет важную социальную роль – для людей это возможность для заработка.

— Какие требования предъявляются к ним?

Никаких, кроме оформления самозанятости и внимательного выполнения заданий. Система автоматизирована и позволяет формировать акты и прочие документы без привлечения исполнителей. Единственное, что нужно сделать самостоятельно, – два раза в месяц запросить вывод заработка, нажав соответствующую кнопку в личном кабинете.

— Какую роль играет проект в получении размеченных данных для построения моделей? Какова его доля в общем объеме?

Ключевую роль, так как позволяет произвести необходимую обработку практически любых данных (аудио, видео, изображения и текст), тем самым подготовив их для использования в построении необходимых моделей, их обучении. На проекте в том числе задействованы команды разработки, чьи данные целиком обрабатываются только внутри нашей площадки.

— В 2021 году на платформе Elementary было размечено более 153 млн данных. О каких единицах измерения идет речь?

Речь идет о любых видах данных, будь то семпл-аудио или изображение. Эти данные накапливаются бизнесом (например, одна аудиодорожка из звонка робота абоненту будет являться одним элементом этих данных) и передаются на площадку, где разбиваются по конкретным заданиям с описанием того, что нужно сделать.

Развитие туризма – важнейшая задача, решаемая на федеральном уровне. Государственным и региональным властям и организациям требуется помощь в развитии стратегических инициатив и проектов в этой области. Значимой вехой стало создание аналитического решения для внутреннего туризма в России, реализованного «СберАналитикой». Компания представляет собой цифровой сервис, позволяющий получать аналитические и статистические отчеты, построенные на обезличенных и агрегированных данных «Сбера». Ее флагманским продуктом является панель «Туризм», разработанная для развития туристической отрасли в регионах. Это решение стало первым среди крупных продуктов для сегмента регионального госсектора.

О реализации этого проекта рассказал Андрей Оберемок, генеральный директор ООО «ТОТ» («СберАналитика»).

— Как появилась панель «Туризм», что стало причиной ее создания?

Как и для других продуктов сегмента регионального и государственного сектора, импульсом послужил переход властей к принятию решений на основе аналитики больших данных. В 2019 году Правительство РФ утвердило Стратегию развития туризма в Российской Федерации на период до 2035 года. Тогда же руководство одного из горнолыжных курортов нашей страны заказало исследование туристического потока на данных Сбера. На основе данного проекта мы разработали первую версию методологии тиражируемого решения. Позже, в 2020 году был реализован первый контракт по анализу турпотока для целого региона. За счет этого мы значительно расширили методологию новыми метриками и провели ее полноценные испытания на большом объеме данных. Это позволило удовлетворить потребности в туристической аналитике всех потенциальных заказчиков и тиражировать продукт на новые регионы.

— Почему эта проблема важна?

Для нашей команды задачи, связанные с аналитикой туризма, — это не только, и не столько коммерческие продукты, основанные на популярном тренде последних лет. В первую очередь это возможность привлечь внимание к живой истории страны, сохранить культурное наследие и показать красоту ее природы. Географическое и климатическое разнообразие делает любой регион России привлекательным для посещения, а иногда даже потенциальной туристической Меккой, но, к сожалению, чтобы насладиться всем этим богатством, зачастую нужно в буквальном смысле совершить подвиг.

Сейчас на туристическую индустрию приходится всего 4% ВВП России — это очень мало. При этом надо понимать, что отрасль влияет на более чем 50 различных смежных отраслей российской экономики. При развитии внутреннего и въездного туризма рабочие места появятся в большом количестве населенных пунктов, повысится качество жизни в регионах, вырастет доход граждан в местах отдыха.

Именно поддержка туриндустрии — важная задача, в том числе и для властей регионов. Однако, чтобы развивать и поддерживать отрасль, необходимо понимать, в каком направлении двигаться, чтобы добиться конкретной пользы для конечного потребителя.

— Что представляет собой разработанный вами продукт?

Панель «Туризм» — наш флагманский продукт, разработанный для развития отрасли в регионах, улучшения качества сервиса и предоставляемых конечному потребителю услуг. Первостепенная задача продукта — помочь властям и бизнесу сделать так, чтобы каждому жителю отдыхать в России было не просто интересно, но также комфортно и выгодно, а туристическая отрасль приносила ощутимые доходы и служила катализатором социально-экономического роста.

Заказчик получает аналитику в максимально удобном формате — в режиме онлайн на информационной панели ему доступны более 50 показателей туристической отрасли региона в помесячной динамике с ретроспективой данных с 2018 года. Мониторинг всей туристической отрасли становится доступным региональным властям уже в течение недели после подписания договора.

— Какие ключевые проблемы пришлось решать?

На старте нацпроекта лидеры российских субъектов столкнулись с проблемой поиска нужной информации о туристическом потоке в регионах и состоянии отрасли в целом. На 2019 год в основном были доступны лишь данные мобильных операторов и статистика из официальных источников, которая поступала с большим опозданием. Кроме того, описанные источники информации не охватывали все необходимые аспекты и давали лишь количественный показатель туристического потока. Сведения о портрете туриста, его тратах, интересах и потребностях отсутствовали

Мы смогли найти новые достоверные источники информации и решить проблему. Компания разработала уникальную методологию на основе обезличенных больших данных, которая подходит для любого региона страны.

— Какие данные и какие платформы вами используются?

Оценка турпотока производится на основе анализа обезличенного массива данных клиентов Сбера. Мы располагаем информацией о тратах 100 млн физических лиц. Помимо собственных данных, для анализа туристического потенциала привлекаем информацию из внешних источников, закрывая все потребности клиентов.

Для работы с данными используются инструменты Hadoop, Spark, Python, Jupyter, Hive, Hue и др. Для анализа данных, моделирования и визуализации применяются такие библиотеки, как Pandas, Numpy, Scipy, Seaborn, Matplotlib.

— Кто в первую очередь является ключевыми пользователями – госструктуры или бизнес?

Главная цель продукта — полноценная поддержка национального проекта «Туризм и индустрия гостеприимства», в число задач которых входит подготовка условий для развития туристической отрасли в стране, привлечение инвестиции во внутренний туризм со стороны бизнеса, повышение туристического потока, в том числе привлечение иностранных туристов. Наш продукт в этом процессе — важный инструмент. Он дает руководству региона актуальную информацию о состоянии отрасли, что позволяет выявить целевую туристическую аудиторию, и точки роста для развития инфраструктуры, а также дает возможность оценить эффективность принимаемых мер.

— Каковы достигаемые результаты?

К панели «Туризм» на сегодня присоединились 19 регионов, и опыт использования больших данных для развития отрасли уже принес результаты. Главное, что несет в себе наш продукт, — аналитика, которая положительно влияет на динамику внутреннего турпотока. В качестве примера можно привести несколько регионов, где активно используют наш продукт.

Власти Югры благодаря аналитике подтвердили гипотезу о том, что в регион едут жители крупных городов Уральского федерального округа, прежде всего — на рыбалку. В округе определили перспективные туристские территории (агломерации) и приоритетные направления туризма. Территорию УрФО поделили на категории в зависимости от уровня развития туристической сферы.

Руководители администрации Нижегородской области предполагали, что туристов в регионе больше, чем учитывает официальная статистика. Наш продукт показал, что Нижний Новгород и область больше не являются местами для однодневных поездок, что количество гостей растет и они возвращаются в регион чаще. На основе наших данных руководство области разработало муниципальный туристский стандарт, чтобы довести инфраструктуру в слабых районах до приемлемого уровня. Также регион делится знаниями с бизнесом, помогая повышать качество обслуживания.

Еще один регион, который использует панель «Туризм», — Смоленская область. Теперь руководство области располагает информацией, которую раньше не удавалось получить ни из официальных источников, ни из маркетинговых исследований. На основе нашей аналитики регион выстроил грамотную стратегию развития и управления инфраструктурой туризма, определил возможности для расширения целевой аудитории, запустил маркетинговые кампании и в целом повысил свою привлекательность для туристов.

Таким образом, мы помогаем субъектам РФ повышать экономический уровень, улучшать инфраструктуру и повышать качество жизни местных жителей за счет развития туризма. Это комплексные решения, влияющие на итоговые финансовые результаты, а потому оценить в фиксированном денежном выражении их невозможно.

— Какова социальная значимость этого проекта?

«Гостеприимство» — это не абстрактное слово, а серьезная работа, существенно влияющая на впечатление от поездки. Панель «Туризм» дает руководству региона актуальную информацию о состоянии отрасли в целом, что позволяет выявить целевую туристическую аудиторию, точки роста для развития инфраструктуры и отслеживать эффективность принимаемых мер.

С началом пандемии жители страны стали больше путешествовать по России. Все мы, откладывая деньги на долгожданный отпуск, в поездке оцениваем, сколько и за что мы заплатили, что получили по факту, сравниваем предыдущий опыт с текущим. Конечно же, граждане, привыкшие в зарубежных поездках к высокому уровню сервиса, столкнулись с отечественным, который зачастую заставляет желать лучшего. Чувства патриотизма и красот природы оказывается недостаточно, чтобы увеличить турпоток и удовлетворить запросы путешественников.

Решения, основанные на полученной от нас информации, могут быть разными: от запуска дополнительных авиарейсов и строительства гостиниц до организации тематических фестивалей, от разработки новых маршрутов до развития сети Wi-Fi и современных остановочных пунктов. Турист получает то, что он хочет и на что готов тратить деньги: пятизвездочные отели или доступные хостелы, рестораны высокой кухни или небольшие семейные кафе, новые развлекательные площадки или выставки. Знания о потребителе позволяют открывать для них уникальные направления и разрабатывать новые маршруты.

В итоге повышается качество пребывания конечного потребителя в регионе. Отдых становится максимально комфортным, а гости готовы чаще путешествовать, расширяя свой кругозор и получая максимум удовольствия от поездок в регионы России.

Наконец, ценность развития туризма – не только в деньгах, которые отдыхающий тратит. С собой домой человек увозит впечатление о стране, городах, людях, что там живут, с которыми он познакомился в поездке. Не стоит забывать, что туризм — это основа народной дипломатии. Он несет в себе очень серьезный идеологический аспект, разбивает отрицательные стереотипы, создает новые мировоззренческие ориентиры, служит инструментом укрепления солидарности и взаимопонимания. В наше время это крайне важно.

— В каком направлении развивается проект?

Продукт растет в сторону полноценного решения, соответствующего запросам стратегических национальных проектов нашей страны в области туризма. Он обеспечивает анализ профиля туриста – его социально-демографический портрет и интересы; анализ бизнеса в туристической сфере – его финансовые показатели, уровень сервиса; анализ событий и мероприятий, их влияние на туристический поток; анализ локаций, их показатели и привлекательность для туристов.

Мы расширяем перечень источников данных, привлекаем новых партнеров, создавая синергетический эффект. Используем современные технологии ML-прогнозирования и искусственного интеллекта. Автоматизируем решение, благодаря чему оно легко масштабируется и становится доступным для широкого круга участников туристической отрасли.

Прозрачность и доступность данных в хранилище становится важнейшим условием эффективной реализации любых цифровых проектов. Ошибки во входных данных для анализа или моделирования, либо неверная интерпретация данных ведут к ошибкам в производных бизнес-решениях. Банк «Уралсиб» создал единый бизнес-глоссарий – полноценно работающий инструмент, служащий источником информации о данных, доступных в хранилище, методиках их формирования и трансформациях данных от источников до витрин. О реализации этого проекта рассказал Игорь Гончаров, руководитель службы управления данными банка «Уралсиб».

— Как и почему банк начал этот проект? В чем заключались проблемы?

В 2018 году наш банк начал работы по созданию нового хранилища данных (Data Warehouse, DWH). Мы провели комплексный аудит старого хранилища и подготовили обзор лучших, самых успешных рыночных практик по построению банковских хранилищ данных. Новое хранилище должно было соответствовать классической схеме с тремя уровнями хранения данных: слой оперативных данных (Operational Data Store, ODS), уровень детальных данных (Detail Data Store, DDS) и слой витрин данных (Data Marts). Кроме того, оно должно было иметь зафиксированную концептуальную архитектуру, стандарты разработки, артефакты документирования и все остальные атрибуты хранилища корпоративного класса.

Начиная проект «с нуля», мы были убеждены: поскольку мы инвестируем в новое хранилище, оно должно предусматривать решение ключевых задач Data Governance, в том числе ведение единого бизнес-глоссария. Правление банка поддержало эту идею.

— Какие задачи требовалось решить?

Прежде всего, нам требовалось обеспечить «единую версию правды», причем с нескольких точек зрения. Во-первых, это понимание источников происхождения данных в хранилище. Во-вторых, это единые методики формирования и расчета данных. Команда DWH должна контролировать единство методик, а в случае возникновения различных требований к методикам расчета обеспечивать четкое отображение в бизнес-глоссарии этих отличий. В итоге должно быть единое бизнес- и техническое представление, какие показатели используются, как они должны быть рассчитаны и как на самом деле они реализованы в DWH и в процессе перемещения данных в него. Это также должно служить основой для единого подхода к управлению качеством данных

Наконец, продвинутые аналитики и разработчики должны получать одновременный доступ к data lineage, основанному на данных решения Informatica Metadata Manager.

— Какими силами реализовывался проект?

Проект построения хранилища в целом реализовывался совместной командой банка и подрядчиков под нашим полным методологическим и архитектурным контролем. Сопровождение осуществляется нашей собственной командой. Работы по созданию единого бизнес-глоссария проводились силами выделенного сотрудника из команды DWH банка на платформе Informatica Business Glossary. Экспертную консультацию в рамках проекта обеспечила компания DIS Group.

— Что было самым сложным для вас при реализации этого проекта?

Самым сложным и важным было прийти к пониманию, что единый бизнес-глоссарий DWH – это не некий идеальный абстрактный образ того, как тот или иной показатель должен выглядеть с точки зрения Википедии или регуляторных требований. Это инструмент, дающий прикладной ответ на вопрос, какие данные доступны в хранилище, каковы их источники, как они рассчитываются.

— Какими именно средствами вы боретесь за качество данных?

У нас создана система контроля качества, включающая в себя инструмент в виде модуля Data Quality. Работу системы обеспечивает ответственное подразделение – группа контроля качества данных, а также стюарды данных по основным бизнес-процессам, в результате которых осуществляется генерация и модификация данных в системах источниках. Кроме того, создан реестр общебанковских и пользовательских проверок качества данных. По ним действует регламент разбора инцидентов и автоматически формируется визуализация уровней качества данных.

— Какие результаты достигнуты?

Бизнес-глоссарий стал основным инструментом получения информации о новых данных в витринах хранилища. В настоящее время к нему подключены свыше 100 аналитиков, ответственных за формирование отчетности и ad-hoc аналитики в своих вертикалях. Срок получения доступа к новым данным сократился до нескольких часов

— Как изменились процессы доступа к данным?

В бизнес-глоссарии содержится вся информация, позволяющая оперативно сформировать заявку на доступ к данным: нейминг витрины, нейминг сущности и атрибутов, а также владелец витрины, согласующий доступ.

— Какой эффект оказывает сокращение показателя time to data на реализацию бизнес-проектов?

Все аналитические подразделения имеют максимально удобный инструмент поиска данных в хранилище для принятия решения по их использованию. Скорость получения данных радикально выросла. При этом важно, что пользователь получает доступ к четко описанным данным, находящимся на централизованном сопровождении у отвечающей за них команды. Все это позволяет реализовывать генерацию и проверку бизнес гипотез, а также стартовать организацию новых проектов, основанных на данных, максимально оперативно и гибко.

— Какое место занимает проект в общей стратегии Data Governance, как он связан с другими проектами?

Новое хранилище – единый источник получения данных всеми пользователями банка, а также интеграционными сервисами и проектами. Исключением, естественно, являются случаи, когда требуется интеграция в реальном времени. В этом случае применяются решения, не затрагивающие хранилище.

— В каком направлении будет развиваться проект?

Следующим этапом планируется использовать сервис единого бизнес-глоссария для описания данных не только в хранилище данных, но и в BI-контуре банка.

Цифровая платформа «Мой экспорт» — платформа, которая предоставляет российским экспортерам онлайн-доступ из одной точки к государственным и иным услугам, сопровождающим выход компаний на экспорт. Ее задача — максимально упростить клиентский путь экспортера к внешним рынкам. За год работы платформы на ней зарегистрировались более 7,5 тыс. компаний. Сейчас экспортеры пользуются 27 сервисами, услуги которых можно получить в цифровом виде. О создании платформы «Мой экспорт» рассказывает Алексей Михайлик, вице-президент по реализации проекта «Одно окно» Российского экспортного центра и номинант на премию Data Award.

— Как родилась платформа «Мой экспорт», что стало причиной ее появления?

История создания цифровой платформы «Мой экспорт» началась в 2018 году, когда мы организовали крупное мероприятие с привлечением экспортеров со всех концов нашей страны. Было важно собрать обратную связь о том, в какой именно государственной поддержке нуждаются предприниматели при выходе на экспорт и с какими барьерами они сталкиваются. В «проектных мастерских» приняло участие свыше 2 тыс. компаний, реализующих свою продукцию на внешних рынках.

При обсуждении потребностей, существующих барьеров, рисков и возможностей экспортеры практически единогласно высказались о необходимости снижения административных барьеров и отказа от бумажных документов. Результатом этого обсуждения стало создание проекта «Одно окно», который сегодня реализован на цифровой платформе «Мой экспорт». Мы решили создать такой инструмент, который позволит компаниям в единой точке решить все свои задачи, связанные с экспортной деятельностью.

Следующим важным этапом создания платформы стало начало 2020 года, когда был пересмотрен вектор развития платформы. Теперь основной акцент был сделан на полной «цифровизации», то есть на ускорении процессов получения услуг на платформе за счет не просто устранения бумажных документов, а исключения их сканированных версий. Это позволило проекту получить новые возможности, существенно сократив сроки получения будущих услуг. Фактически в сжатые сроки мы «пересобрали» проект заново: пересмотрели все процессы, исключив сканы и человеческий фактор, и сфокусировались на цифровизации наиболее востребованных, ключевых сервисов по мерам господдержки. Например, к ним относятся компенсация затрат экспортеров при транспортировке продукции, которую предоставляют Минпромторг России и Минсельхоз России, а также компенсация затрат на участие в международных выставках.

На момент запуска платформы к ноябрю 2020 года нам удалось под «капотом» системы зашить коммуникацию и не видимый пользователю обмен данными между профильными министерствами и службами в сфере внешнеэкономической деятельности за счет системы межведомственного взаимодействия. Это позволило сервисам получать данные из первоисточника, сделав инструменты поддержки более эффективными и оперативными, исключив необходимость экспортера посещать те или иные ведомства лично. Таким образом мы сняли с экспортеров нагрузку по предоставлению документов и сведений, запустив механизм автоматического запроса данных у профильных инстанций.

— Вы сравниваете платформу «Мой экспорт» с госуслугами для экспортеров. Какие принципы вы закладывали в нее при создании? Это действительно экосистема?

Всем нам знакома платформа «Госуслуги», и это портал для физических лиц. Мы же создали цифровой вход к государственным и бизнес-услугам для бизнеса, а именно для экспортеров, то есть для предпринимателей, которые осуществляют экспортную деятельность или только планируют её начать. Таким образом, сравнение здесь основано на сходстве принципов построения самих процессов.

Мы поставили действительно амбициозную задачу: фундаментально изменить отношения экспортера с государством и всеми ведомствами в рамках предоставления госуслуг. То есть обеспечить бесшовный доступ ко всем сервисам и услугам, необходимым предпринимателям при выходе на экспорт, сделав этот процесс проще и доступнее.

Еще на этапе проектирования платформы мы исключили лишние шаги и дополнительные запросы документов. Сейчас в наших сервисах бумажных документов нет вообще. Мы также постарались минимизировать влияние человеческого фактора за счет алгоритмизации процессов принятия решений. Более 20 ведомств заняты предоставлением сведений, позволяющих цифровизировать эти процессы.

Сегодня «Мой экспорт» — это личный кабинет экспортёра, где можно получить необходимые знания в сфере ВЭД, выбрать оптимальный рынок сбыта, найти покупателя своей продукции за рубежом, даже по каналам электронной торговли, получить государственные и бизнес услуги, а также воспользоваться мерами государственной поддержке, в том числе с компенсацией своих затрат.

Чтобы сделать первые шаги для выхода на внешние рынки, можно пройти обучение на платформе, выбрав удобный для себя вариант: получить учебное пособие, подобрать онлайн-курсы или очные семинары. Экспортный акселератор – еще один помощник начинающих экспортеров, которого предлагает платформа. Это специальная программа, включающая комплекс образовательных, финансовых и нефинансовых мер поддержки, с помощью которой можно получить индивидуальный план развития экспортной деятельности.

Не менее важны предоставляемые нами сервисы аналитики. Это актуальная структурированная информация, полученная из международных баз данных и предоставленная экспортеру для того, чтобы он мог лучше ориентироваться в мировой экономике. Сервисы позволяют, например, получить информацию о том, как устроен мировой рынок, какие товары в каких странах востребованы, какие есть барьеры – то есть все о нужном рынке вплоть до «холодных контактов» компаний, которые покупают ту или иную продукцию.

Для того чтобы это все организовать, мы подключились к международным базам данных. И это был отдельная проблема: как связать эти базы между собой? В мире нет единого идентификатора юридических лиц, такого как российский ИНН, по которому данные по компании можно связать в различных базах данных. Плюс разные языки и немаловажный нюанс, что в разных документах компании просто называются по-разному. Так что у нас получился, по сути, отдельный научно-исследовательский проект по структурированию баз и соединению их друг с другом. Сейчас экспортеры могут получить до восьми различных видов отчетов по странам, по типам продукции с подбором кодов внешнеэкономической деятельности (ТН ВЭД).

Кроме того, на нашей платформе представлен доступ к мерам господдержки, например компенсации расходов на транспортировку или участие в выставках. Также здесь представлен набор бизнес-сервисов, которые позволяют найти новых партнеров, принять участие в бизнес-миссиях и в выставках за рубежом.

При этом наша задача – сделать сервисы еще более доступными из любого уголка страны, дополнив их услугами не только федеральных, но и региональных ведомств, а также услугами сторонних провайдеров, предоставив к ним удобный доступ.

В конце прошлого года мы запустили новый сервис «Профессионалы экспорта», который дает возможность экспортерам получить партнерские услуги, предоставляемые российскими и зарубежными подрядчиками. Платформа является удобным и простым инструментом получения услуг, предоставляя доступ к обширной базе проверенных исполнителей, подбор которых осуществляется автоматически, и клиентскую поддержку на всех этапах. Это некий аналог «Профи.ру» и YouDo, только для бизнеса. Впервые у предпринимателей, осуществляющих внешнеторговые операции, появился удобный сервис по подбору надежных и опытных контрагентов с четко прописанными стандартами оказания услуг и фиксированной стоимостью.

Таким образом, можно с уверенностью сказать: да, «Мой экспорт» — это целостная экосистема. Уже сейчас сервисы платформы охватывают потребности экспортеров на всем жизненном цикле, от стадии обучения экспортной деятельности и выбора рынка сбыта до отправки своей продукции за границу «под ключ» – все необходимое компания сможет найти на платформе.

— На каких технических решениях реализована платформа?

С точки зрения хранения и обработки данных нами реализована так называемая Modern Data Architecture, предполагающая наличие «озера данных» для хранения неструктурированных данных, а также хранилища структурированных данных, к которому можно просто и быстро обращаться, с возможностью горизонтального масштабирования.

В качестве основы для создания аналитической платформы мы одними из первых в России выбрали отечественные решения Arenadata. Дополнительно развернута среда разработки ML-моделей на Python, где дата-сайентисты решают ряд узкоспециализированных задач – например, реализуют алгоритмы, выявляющие потенциальных экспортеров среди российских компаний.

В результате команда «Одного окна» получила современную и отвечающую самым амбициозным вызовам аналитическую платформу, способную консолидировать, обрабатывать большое количество разнородной информации и делать наших потребителей данных немного счастливее.

— Какие из предоставляемых сервисов наиболее востребованы бизнесом?

Абсолютным лидером по востребованности среди сервисов платформы стала поддержка выставочной деятельности. Второй по популярности сервис – господдержка на транспортировку. Третьим сервисом по числу запросов стало оформление сертификата свободной продажи. Кроме того, в первую десятку самых популярных входят аналитические сервисы, а также недавно стартовавший сервис по подбору площадок электронной торговли.

— Пытаетесь ли как-то оценить реальные результаты своей работы? Что изменилось для экспортеров?

Для представителей бизнес-сообщества главный критерий всегда измеряется финансовыми показателями. Использование цифровой платформы «Мой экспорт» уже позволило многим компаниям существенно сократить сроки подачи документов при получение специальных мер поддержки, в некоторых случаях более чем в четыре раза. Кроме того, получение бесплатной аналитики, помощь в поиске потенциального покупателя, упрощение доступа к госуслугам экономит не только время, но и затраты. И такую обратную связь мы уже получаем от наших компаний.

Мы запустили сервисы и предоставили их экспортерам 26 ноября 2020 года, то есть почти полтора года назад. На сегодняшний день у нас зарегистрировано более 7,5 тыс. юридических лиц. Уже более 3,3 тыс. экспортеров успешно заказали ту или иную услугу через «Одно окно». Это, кстати, один из наших основных KPI — сколько экспортеров воспользовались нашими услугами, и, соответственно, насколько они востребованы.

Наша задача — максимально упростить клиентский путь экспортера на пути к внешним рынкам. При создании сервисов мы ориентируемся на «голос» пользователя. Для нас важно не просто сделать сервисы, которые позволяют сократить издержки и увеличить скорость предоставления услуг, мы ставим перед собой и другую цель – чтобы наши клиенты получали позитивные впечатления от использования сервисов. Для этого мы привлекаем предпринимателей на всех этапах создания цифрового продукта – от идеи до эксплуатации.

Но уже сейчас можно сказать – выход на внешние рынки через цифровую платформу «Мой экспорт» стал проще.

— Каковы планы по развитию платформы?

Нам еще предстоит сделать очень многое. Дело в том, что сама концепция одного окна для внешнеэкономической деятельности существует в мире достаточно давно, порядка 20 лет. Есть много интересных зарубежных примеров, но, как правило, количество сервисов в них очень ограничено. Это связано с тем, что институт экспорта там развит значительно больше, чем у нас. Обычно 10–15% от общего количества компаний в стране участвуют во внешнеэкономической деятельности, в некоторых странах до 20%. А в России эта доля менее 1%. Именно поэтому спектр услуг, который мы предоставляем активным и потенциальным экспортерам, значительно шире: мы хотим помочь им максимально раскрыть свой потенциал.

Если говорить о каких-то конкретных проектах, то в этом году мы планируем значительно расширить набор сервисов на платформе. В первую очередь мы оцифруем большее количество мер господдержки, кроме того, мы запустим получение ряда разрешительных документов, подключим региональные меры поддержки, оказываемые Центрами поддержки экспорта на местах. Также на платформе появятся банковские сервисы.

И, конечно, большое расширение ждет сервис «Профессионалы экспорта». Если в прошлом году мы стартовали с четырьмя наиболее востребованными направлениями партнерских услуг (логистические и юридические услуги, размещение на электронных торговых площадках и поиск иностранных покупателей), то в ближайшие год-полтора здесь окажутся еще пять направлений, в каждом из которых будет несколько услуг. То есть сотни поставщиков услуг по каждому из направлений.

Мы хотим, чтобы наши сервисы были полезны для всех экспортеров, всех сегментов, которые на сегодняшний день присутствуют на рынке, чтобы каждый четвертый экспортер воспользовался сервисами на нашей платформе.

Золотодобывающая компания «Полюс» запустила проект по внедрению технологии Process Mining для возможности проведения сквозного анализа бизнес-процессов. Работы реализуются по трем направлениям: бухгалтерский документооборот, техническое обслуживание и ремонт оборудования и сквозной процесс обеспечения. О реализации этого проекта рассказывает Денис Ерофеев, директор департамента развития бизнес-процессов компании «Полюс».

— Что привело компанию к необходимости внедрения Process Mining?

Мы на регулярной основе осуществляем поиск инициатив, в которых видим потенциальный эффект от внедрения, и одно из приоритетных направлений здесь – аналитика бизнес-процессов и данных.

По результатам масштабной цифровой трансформации на сегодняшний день значительная часть процессов в «Полюсе» автоматизирована, и в ИТ-системах компании накапливается большой объем информации о ходе их выполнения. Основанием для реализации проекта являлась растущая потребность в анализе фактического выполнения бизнес-процессов в ИТ-системах, включая проведение постпроектного мониторинга и проверку успешности планов линеаризации проектов по трансформации и информатизации бизнеса.

Инструменты класса Process Mining позволяют выполнить анализ качества эксплуатации внедренных процессов на большом объеме информации, настроить мониторинг показателей приживаемости внедренных систем и успешности реализации изменений на основании цифрового следа в ИТ-системах.

— На какие эффекты компания рассчитывает от внедрения этой технологии?

По результатам внедрения технологии Process Mining мы рассчитываем на получение преимущественно качественных эффектов. Примером могут служить повышение «приживаемости» внедренных информационных систем за счет организации мониторинга показателей исполнения процессов в системах, выявление узких мест и нетиповых вариантов реконструированного процесса, а также подготовка предложений по оптимизации бизнес-процессов.

Количественные эффекты от внедрения технологии являются долгосрочными – мы хотим создать сервис, который позволит владельцам процессов самостоятельно выполнять их анализ на постоянной основе и добиваться измеримого улучшения показателей за счет принятия управленческих решений.

— Почему именно бухгалтерский документооборот был включен в объем проекта?

Перед началом проекта был проведен комплексный сбор потребности в цифровом анализе процессов с использованием технологии Process Mining. Впоследствии собранные потребности были приоритизированы в соответствии с фреймворком RICE. По результатам этой приоритизации было принято решение о включении в объем проекта трех направлений: бухгалтерского документооборота, технического обслуживания и ремонта оборудования и сквозного процесса обеспечения.

— Какие результаты достигнуты по итогам реализации процесса «Бухгалтерский документооборот»?

По результатам реализации были достигнуты две основные цели. Самое главное, мы получили качественный и гибкий инструмент на базе решения Celonis, позволяющий увидеть полноценную картину по всему процессу бухгалтерского документооборота для возможности регулярного проведения цифрового анализа процесса. Кроме того, нам удалось сформировать конкретный перечень мероприятий, состоящий из 10 пунктов по трем областям, которые планируются к реализации в ближайшее время. Первая область – «сокращение сроков обработки документов». В ней были сформированы мероприятия, направленные на сокращение зацикливаний в этапах процесса и на разбор «зависших» документов. Вторая область – «эффективность маршрутов». В ней мероприятия направлены на сокращение «узких мест» в процессе и унификацию маршрутов движения документов в системе. Последняя область – «производительность и численность персонала». В ней мероприятия направлены на сокращение пиковых нагрузок на сотрудников.

В качестве примера могу привести мероприятия, направленные на автоматическое определение атрибутов у документов при их сканировании, что значительно сократит время на их первичную обработку.

— Как эти усилия воспринимают сами пользователи?

Несмотря на большую загрузку бизнес-экспертов в проекте помимо операционной деятельности, коллеги очень позитивно отнеслись к участию в нашем проекте. Каждый из пяти департаментов и дирекций, участвующих в реализации проекта, отметил для себя возможности использования Process Mining.

Так, департамент по развитию сервисных центров привлекла возможность повышения эффективности финансового документооборота и выявления отклонений по ключевым метрикам. Департамент развития и поддержки бизнес-приложений получил возможность проведения архитектурной оценки и контроля планируемых изменений в информационной системе.

Департамент методологии и автоматизации учета обеспечил детальную проработку первоначальных методологических требований к инструменту, от коллег были предоставлены вводные в части потенциальных проблемных зон и процессов, требующих проведения анализа. На основании этих данных совместно с коллегами мы разработали комплексное техническое задание, что позволило с максимальной полнотой использовать возможности инструмента Process Mining для анализа процессов бухгалтерского документооборота.

Отметили полезность инструмента и коллеги из нашего многофункционального центра обслуживания, непосредственно осуществляющего значительную часть анализируемых процессов. Транзакционный отдел отметил возможность оптимизации трудозатрат в пиковые загрузки за счет выявления трудозатрат, не связанных с закрытием периода. Отдел контроля финансовой дисциплины отметил возможность более оперативного взаимодействия с бизнес-единицами для сглаживания пиковых нагрузок предоставления первичных документов. Наконец, у дирекции по качеству и операционной эффективности появилась дополнительная возможность разработки мероприятий по непрерывному улучшению «узких мест» процесса, таких как доработка систем и выявление новых областей для автоматизации процесса.

— Оправдались ли ожидания?

Могу точно сказать, что ожидания по направлению «Бухгалтерский документооборот» были полностью оправданы.

— Что в ходе проекта было самым сложным?

Наверное, самым сложным при реализации проекта был факт загрузки бизнес-экспертов. Некоторые встречи приходилось планировать более чем за месяц до их проведения. Но я хотел бы подчеркнуть, что коллеги всегда шли проектной команде навстречу, помогали с организацией, активно участвовали в работах. Во многом это способствовало успешной реализации проекта в очень агрессивные сроки и с отличным качеством.

— Какие направления, по вашим оценкам, могут быть наиболее перспективными с точки зрения применения Process Mining и почему?

В ближайшей перспективе планируется завершение реализации еще двух направлений, о которых упоминал ранее – «Техническое обслуживание и ремонт оборудования» и «Сквозной процесс обеспечения». На мой взгляд, анализ данных направлений может принести компании большие эффекты.

Уже на данный момент по результатам проведения пилота по направлению ТОРО мы выявили отклонения в процессе использования мобильного оборудования при выполнении ежесменного технического обслуживания. Для проработки мероприятий была оперативно сформирована кросс-функциональная команда, состоящая из трех департаментов. По результатам отработки мероприятий мы отметили стабилизацию процесса. В том числе увеличен процент использования мобильного оборудования в три раза, увеличена скорость синхронизации данных в 3,5 раза.

Разработка корпоративного хранилища данных (КХД), внедрение процессов управления данными и создание корпоративного аналитического портала, реализованные на Магнитогорском металлургическом комбинате, стали важным шагом в поддержке цифровых инициатив, реализуемых компанией. О предпосылках и результатах этих проектов рассказывает Дмитрий Ганаев, начальник офиса управления данными «ММК-Информсервис».

— Как развивались на ММК подходы к работе с данными, какие этапы вы можете выделить?

С середины 1990-х и до 2015 года развитие автоматизированных информационных систем происходило широкими темпами, развивались и производственные учетные системы, и системы корпоративного уровня. Соответственно, росла потребность в интеграции всех систем между собой, причем во всех направлениях – как снизу вверх, так и сверху вниз. Также росла потребность в совместном анализе данных, хранящихся в разных системах, увеличивалось количество интеграционных сценариев. Для реализации задач по консолидации данных появились первые проекты по созданию хранилищ данных, но они были относительно небольшие, объединяющие смежные системы – например хранилище технологических данных, хранилище данных по экономической деятельности и т.п.

Параллельно развивались системы продвинутой аналитики, системы-советчики. В 2016 году начали появляться первые системы, основанные на работе математических моделей, построенных с использованием машинного обучения. Системам такого класса требуется максимальное количество статистических данных как о технологических процессах, так и о процессах планирования и учета производства продукции. Как следствие, привлечение аналитиков data science потребовало и наличия качественного описания имеющихся данных.

В 2018 году при предпроектной проработке требований по модернизации корпоративной сервисной шины ESB было принято решение не только расширить функционал шины, но и качественно описать данные, которые передаются между ИТ-системами. Одновременно с этим, было принято решение о создании хранилища данных корпоративного уровня для расширения возможностей анализа данных.

Таким образом, можно выделить несколько этапов: широкое развитие ИТ-систем, возникновение предпосылок для консолидации разрозненных данных, принятие решения о построении корпоративного хранилища для расширенной аналитики, увеличение нагрузки на интеграционные механизмы, принятие решения о развитии функций управления данными.

— Когда в компании появился офис данных, в чем компания видит его роль?

Офис по управлению данными как отдельное подразделение появился в январе 2021 года в «ММК-Информсервис», которое является выделенной ИТ-компанией ММК. Основная его задача в настоящее время – разработать и внедрить основные фундаментальные процессы управления данными в ММК. Офис занимается организацией взаимодействия участников этих процессов для общего повышения уровня знаний о данных, что должно помочь принимать более качественные решения как при использовании ИТ-систем, так и при разработке новых проектов.

— Какое место занимает проект создания КХД и системы управления данными среди комплекса цифровых инициатив ММК?

И проект КХД, и проект по управлению данными являются в настоящий момент инфраструктурными, поддерживающими проектами. Все цифровые инициативы развиваются собственными проектными командами, и при возникновении задач по консолидации данных они решаются в рамках собственных проектов. Офис управления данными является центром компетенций по задачам понимания, поиска, сбора и хранения данных, требуемых для реализации цифровых инициатив ММК.

— Когда был начат проект КХД, какими силами реализовывался, сколько продлился?

Проект построения КХД был начат в 2019 году, и изначально планировался из нескольких этапов: проектирование платформы, выбор поставщиков и поэтапная разработка. Его реализация осуществлялась группой интеграции, в составе трех-четырех специалистов, а также проектной командой партнера – компании «Крок», осуществлявшей непосредственно работы по проектированию, разработке и развертыванию системы.

В 2021 году стартовал очередной этап, в ходе которого КХД дополнится слоем хранения неструктурированных данных, его завершение планируется в середине 2022 года.

— Какую роль в проекте КХД играет внедрение процессов управления данными, какие именно процессы реализуются?

Процессы по управлению данными начали развиваться уже рядом с функционирующей платформой КХД. Из-за того, что процессы управления данными в части КХД идут вслед за разработкой, первая задача заключалась в том, чтобы провести некую верхнеуровневую каталогизацию тех информационных объектов, которые есть в хранилище.

Принято решение, что проект управления данными будет включать в себя развитие бизнес-глоссария, построение корпоративного каталога данных и развитие процессов повышения качества данных. Общую концепцию и рекомендации по выбору компонентов платформы управления данными мы разработали в сотрудничестве с компанией Deloitte, а практическое внедрение реализовали при поддержке команды DIS Group.

На основании накапливаемого опыта и понимания того, чего именно не хватает в текущей деятельности с точки зрения знаний о данных, сформируются новые требования к процессам разработки и внедрения информационных систем, а также требования к поддержке актуальности знаний о данных.

— Какие были выбраны инструменты и почему?

Технологической платформой для КХД является связка СУБД ArenadataDB и Arenadata Hadoop. Их основными преимуществами стало то, что это кластерные системы высокой устойчивости с возможностью горизонтального расширения мощностей и поддержкой параллельной обработки больших данных. Кроме этого, они основаны на известных высокопроизводительных продуктах, которые продолжают развиваться. Не менее важно, что Arenadata – российский вендор, оказывающий качественную техническую поддержку на русском языке.

В качестве платформы управления данными используются продукты Informatica – Axon Data Governance, Enterprise Data Catalog, Data Quality. Выбор в пользу платформы Informatica был сделан исходя из нескольких факторов. Первый из них – комплексный подход: все компоненты платформы тесно взаимосвязаны друг с другом и в совокупности решают задачи как для ИТ, так и для бизнес-подразделений. Во-вторых, каталог данных EDC позволяет полноценно отсканировать технические метаданные источников данных, имеется процесс интеграции полученных метаданных с терминами бизнес-глоссария. Кроме того, возможности построения data lineage – детальной карты трансформации данных – позволят аналитикам и пользователям лучше и быстрее понимать происхождение показателей, а также ускоряют процесс разработки новых отчетов за счет использования каталога данных и супермаркета данных. Наконец, связка бизнес-глоссария с компонентом мониторинга и повышения качества данных позволит развивать и гибко настраивать процесс контроля качества данных. Важно отметить и наличие сертифицированного тренинг-центра в России с обучением на русском языке.

— Что уже удалось реализовать, а что еще предстоит?

Основные результаты – это наличие у нас инструмента по хранению и обработке больших данных, а также запросов на его применение. В первую очередь, стоит выделить разработку информационных систем корпоративного уровня в рамках «Корпоративного аналитического портала».

Также нам удалось разработать и запустить процессы по сбору информации для разработки систем продвинутой аналитики, выполняемый группой математического моделирования. Это и настройка организационного взаимодействия команд, и настройка процессов поиска и описания данных, и, наконец, загрузка данных в КХД, сразу пригодных для использования аналитиками.

В перспективе предстоит развить и стандартизовать все перечисленные процессы, чтобы разработка любых информационных систем происходила синхронизировано с процессами управления данными.

— Что собой представляет корпоративный аналитический портал, какую миссию выполняет?

Информационная система «Корпоративный аналитический портал» разрабатывается для использования в качества единого источника достоверной, наглядно визуализированной аналитической информации, своевременной и достаточной для эффективного управления всеми сферами деятельности Группы ММК. Портал предназначен для руководителей высшего звена (генеральный директор, заместители генерального директора, другие директора), а также начальников управлений, отделов, аналитиков и специалистов по функциональным областям.

С технической точки зрения портал является BI-системой на основе Tableau, источником информации для которой являются витрины данных, собранные в КХД из различных информационных систем.

— Каких бизнес-результатов уже удалось достичь?

Внедрение аналитического портала приносит ежедневный результат – система принята в эксплуатацию, используется для анализа деятельности предприятия и принятия более эффективных решений ключевыми руководителями. Показателем востребованности такой аналитики может выступать сводная заявка из более чем 300 новых показателей, предложенных подразделениями ММК к расширению аналитических функций портала в 2022 году.

— Основой для каких новых сервисов должна стать построенная платформа данных? Что становится принципиально возможным?

Комбинация из универсального хранилища, описанных данных, построенной на этой основе системы BI-аналитики в связке с понятной стратегией Data Governance позволит в будущем приступить к развертыванию систем анализа, основанных на самостоятельной реализации продвинутого анализа силами опытных пользователей (self-service), даст очередной толчок к развитию продвинутой аналитики и моделирования процессов.

— В каком направлении планируете развивать проекты по работе с данными?

Одним из важнейших следующих шагов является переход к разработке систем контроля качества данных. Для этого требуется выстроить общую концепцию измерения качества, и процессов, которые позволят повышать качество. Например, возможным направлением развития может быть формирование правил качества, их реализация в системе контроля качества (Informatica DataQuality + Axon) и предоставление конечным пользователям информации о качестве предоставляемых данных.

С учетом перспектив self-service качество данных будет актуальной темой для конечных пользователей. Возможности мониторинга качества создадут предпосылки как для повышения уровня аналитики, так и для повышения качества самих данных. Все это позволит ускорить переход к data-driven подходу при принятии решений.