Статьи

Для сети АЗС «Газпромнефть» создана автоматически обновляемая база данных всего ИТ-оборудования, участвующего в бизнес-процессах сети автозаправочных станций. Цель проекта – повышение эффективности процесса инвентаризации оборудования, улучшение качества принятия управленческих решений на основе аналитики. О реализации проекта рассказывает Филипп Сильвестрович, специалист направления отраслевых решений «Газпромнефть-Центр» и номинант на премию Data Award.

- Для чего создавался проект?

Станции сети АЗС «Газпромнефть» располагаются в 50 регионах России, собирать данные обо всем оборудовании вручную – трудозатратная задача. Однако актуальная информация об оборудовании крайне необходима, в том числе для планирования его замены и расчета реальной стоимости использования.

- Почему это важно для компании?

Сеть АЗС «Газпромнефть» стремится улучшать качество сервиса для своих клиентов. Повышение эффективности управления инфраструктурой оборудования наших заправочных станций – часть этого процесса.

- Какой подход был выбран?

Команда создала функционал Автодискаверинга. Онлайн мы получаем все учетные данные об оборудовании (серийный номер и т.д.), отслеживаем перемещение оборудования между автозаправочными станциями и сервисной компанией, в реальном времени формируется актуальный список всего ИТ-оборудования.

- Что собой представляет созданное решение?

Это веб-приложения с данными в двух форматах: по отдельной АЗС и свод по выбранному пулу АЗС. Мы постарались объединить информацию по всему оборудованию. Также для каждого параметра фиксируются критически важные события. Благодаря интеграции с ITSM-системой происходит наполнение и актуализация информации по конфигурационным единицам CMDB (Configuration management database).

- На каких платформах и технологиях построена система?

Обработка данных — на российской интеграционной платформе Интернета вещей АggreGate, хранение – на Postgres Pro. Получение данных обеспечивается по протоколам MQTT, SNMP, используется инструмент Windows Management Instrumentation. Конечно, работаем с базами данных смежных систем, API подрядчиков.

- Что в построенной системе получилось особенно удачным?

Наполнение CMDB в ITSM-системе позволяет использовать актуальные конфигурационные единицы в ITSM-процессах: incident management и problem management, а также для расчета совокупной стоимости владения оборудованием. Предиктивная аналитика снижает возможные причины выхода оборудования из строя.

- Какие результаты достигнуты и ожидаются?

Созданное решение охватило более 14 тыс. единиц оборудования: автоматизированные рабочие места, сетевое оборудование, система управления, периферия. Они опрашиваются по 100 тыс. параметрам: модель устройства, серийный номер, версия прошивки, модель процессора, версия ОС, MAC-адрес и т.д. Система фиксирует около 4,7 тыс. изменений в месяц.

Уже достигнута экономия на проведении инвентаризаций, важную роль играет улучшение качества данных в учетных системах. Это напрямую влияет на скорость и качество принимаемых решений. Наконец, упрощаются процессы соблюдения стандартов и корпоративных политик.

- Каковы направления развития решения?

В планах улучшение качества и объема собираемых данных за счет автоматизации процессов: обнаружение новых устройств, контроль несанкционированных изменений. Развитие существующих и внедрение новых процессов IT service management для повышения качества ИТ-сервисов в компании и, как следствие, повышение качества услуг на АЗС для наших клиентов.

Ранняя диагностика заболеваний позволяет значительно повысить шанс на более быстрое выздоровление и сохранение качества жизни пациента. Решения на базе искусственного интеллекта способны помочь врачам как можно раньше диагностировать патологию, начать терапию на ранних стадиях и сократить расходы на лечение. Кроме того, за счет этого снижаются риски возможных врачебных ошибок, которые, по данным Минздрава, ежегодно становятся причиной около 70 тыс. осложнений.

билайн совместно с Сеченовским Университетом (Первый МГМУ им. И. М. Сеченова — Прим. ред.) создал цифровые медицинские продукты с использованием ИИ. Доступ к большим объемам медицинских данных вуза позволяет использовать их для обучения моделей искусственного интеллекта, разработанными командой MedAI билайна. О реализации таких проектов рассказывает Александр Арутюнян, руководитель по продуктам на основе ИИ для медицины «Вымпелком» и номинант на премию Data Award.

- Какова история участия билайна в медицинских проектах, и в каких медицинских направлениях вы работаете?

Мы принимаем участие в медицинских проектах с 2021 года, сотрудничая с одним из ведущих медицинских вузов страны – Сеченовским Университетом, а также работая в партнерстве с другими разработчиками искусственного интеллекта для здравоохранения. Более того, в феврале 2024 мы создали совместное предприятие с университетом – MедТех ИИ. Поэтому можно с уверенностью сказать, что наша команда наработала уже достаточно серьезный опыт в сфере медицинских исследований и разработок.

Сейчас мы продолжаем наши разработки в применении ИИ для помощи врачам в диагностике патологий тазобедренного сустава на снимках МРТ. Также мы активно работаем над задачами использования ИИ в области патоморфологии. На рынке пока предлагается не так много решений для этого вида диагностики, несмотря на то, что применение ИИ может существенно повысить качество гистологических исследований и снизить временные и ресурсные затраты специалистов.

Кроме этого, на нашей повестке – развитие направлений диагностики атрофического гастрита с помощью ИИ и дистанционный мониторинг пациентов, которые мы считаем очень важными и нужными как для самого пациента, так и для развития здравоохранения в целом.

- Каких целей пытается добиться компания? Это коммерческая или социальная история?

Наша цель – разработка ИИ-решений в медицине, которые помогут улучшить качество и доступность медицинских услуг за счет повышения скорости и эффективности диагностических исследований. Известно, что ранняя диагностика заболевания имеет важное значение для сохранения здоровья и жизни пациента, а в масштабах страны – здоровья значительного количества ее граждан, снижая при этом стоимость лечения, затраты для медучреждений и системы здравоохранения. То есть, здесь речь идет об экономическом эффекте от внедрения ИИ технологий в медицинскую практику.

С другой стороны, ИИ сокращает, например, время анализа снимка и подсчета морфологических параметров, помогая специалистам при постановке диагноза. Рутинные задачи передаем современным ИИ системам и получаем сервис «второго мнения», который способен вывести работу врачей на новый уровень.

Ну и, наконец, многим знакома ситуация, когда приходилось долго ожидать результатов биопсии, на основе которых будет поставлен диагноз. И без преувеличения можно сказать, что это один из самых тяжелых опытов, через который проходит человек – в течение 10 или даже более дней ожидать заключение диагностики. ИИ может существенно ускорить анализ, а значит сократит время ожидания результатов для пациента.

Поэтому, отвечая на вопрос, можем сказать, что это и коммерческая, и социальная, и «человеческая» история.

- Какие принципы пытаетесь соблюдать, каковы требования к создаваемым решениям?

В разработке наших ИИ решений для медицины мы придерживаемся нескольких важных принципов. Главный из них – решения должны быть высокоточными и надежными, чтобы использоваться для помощи в диагностике и лечении. Нам важно валидировать результат работы искусственного интеллекта на разных исследованиях для подтверждения точности моделей. Валидация моделей происходит следующим образом: мы проверяем работу моделей вместе с профильными специалистами, при возможности сопоставляем с клиническими данными.

Еще один важный принцип – решения должны повышать эффективность медицинских организаций, сокращая временные и финансовые затраты, и кроме этого подходить для решения широкого круга задач. Кроме того, важно соблюдать удобство для пользователя: решения должны быть интуитивно понятными и удобными в использовании для врачей и пациентов.

Наконец, этичность и безопасность. Решения должны соответствовать этическим нормам, поэтому вне зависимости от результата работы ИИ, диагноз ставит квалифицированный специалист. Кроме того, с учетом чувствительности информации о состоянии здоровья, должна обеспечиваться конфиденциальность данных пациентов и высокий уровень их защиты.

- В чем заключаются основные проблемы в ходе реализации проектов? Как их решаете?

Лучше назовем их вызовами. Во-первых, это доступ к данным. Для разработки эффективных решений нужны высококачественные медицинские данные. Сеченовский Университет обладает большими массивами накопленных данных со снимков МРТ и анализов гистологических препаратов. Вместе со специалистами университета мы создаем размеченные датасеты, которые служат основой для обучения и совершенствования наших алгоритмов ИИ. Для разработки решений используются данные пациентов, которые согласились на соответствующую обработку данных.

Во-вторых, нужна экспертиза в области здравоохранения. Для разработки моделей необходимы глубокие знания в области медицины. Безусловно, эксперты университета дают нам ценные сведения о медицинских практиках, диагнозах и методах лечения. Разработчики и специалисты по работе с данными из нашей команды совместно с коллегами-врачами анализируют и размечают большое количество диагностических исследований.

Приведу пример из жизни, как синергия команд билайна и Сеченовского Университета работает в фокусных областях медицины для создания качественных алгоритмов. Для тренировки модели на распознание структур в гистологическом снимке желудка мы разбирали разницу между бокаловидными клетками желудка и скоплений муцина (который является структурным компонентом слизи) – они очень похожи, выглядят как белое пятно внутри железы, но бокаловидные клетки являются признаком патологии, а муцин – часть здоровой железы.

В гистологических исследованиях почки нужно было научиться различать внешне похожие здоровые и онкологические клетки. Более того, клетки не всегда выглядят как в учебнике, и часто встречаются переходные варианты. С экспертизой врачей мы не только научились различать их, но и разрабатываем точную классификацию для разметки ядер клеток почки.

Резюмируя, можно сказать, что разложить клетки, ткани, или органы на объекты для обучения моделей – очень непростая задача. Но наши разработчики вместе со специалистами Сеченовского Университета вполне успешно справляются с ней.

- Приведите примеры нескольких показательных проектов. Чем они интересны?

Хочу привести примеры, как использование ИИ технологий билайна может помочь выявлять вероятность различных заболевания на ранней стадии, существенно повышая шансы на более быстрое выздоровление.

Первый из них – анализ гистологических исследований почки для определения паттернов фиброза и воспаления. Трансплантация органов – порой единственный способ спасти жизнь пациента и значительно улучшить ее качество. Но трансплантация органа представляет собой очень сложный процесс. Часто он сопряжен с различными осложнениями, в том числе фиброзом тканей и воспалениями, которые сигнализируют об отторжении органа. Технологии компьютерного зрения позволяют сегментировать исследуемую ткань и определять паттерны фиброза и воспаления. Своевременное выявление фиброза и воспаления дает возможность принять меры по предотвращению прогрессирования заболевания и сохранению функции трансплантированной почки. Например, может быть проведена коррекции иммунных терапий, что предотвратит отторжение трансплантата.

Еще один пример – анализ гистологических исследований почки для определения ядрышковой градации (опухолевых клеток). С помощью технологий компьютерного зрения сегментируются ядра клеток и определяются потенциально опухолевые клетки на всем снимке. Раннее обнаружение онкологического заболевания повышает шансы на успешное лечение и увеличивает выживаемость пациентов. Начатая на ранней стадии терапия может предотвратить распространение опухолевых клеток и снизить необходимость радикальных хирургических вмешательств.

- Каких успехов удалось достичь?

Мы создали ИИ-решение для анализа гистологических препаратов почки для определения потенциально опухолевых клеток. Программа разработана для автоматизации определения с помощью ИИ классификации ядер клеток почки в рамках существующей классификации ВОЗ. Модель рассчитывает относительную плотность ядер опухолевых клеток различных типов и предоставляет эту информацию для анализа врачу. Результаты работы программы выражены в форме горячих карт и новых гистологических биомаркеров, обладающих прогностической ценностью.

Разработали ИИ-решение для анализа гистологических препаратов почки для определения вероятности паттернов фиброза и воспаления. ИИ помогает стандартизировать исследования и количественно оценить морфологические характеристики, улучшив воспроизводимость в клинической практике. Наш подход помогает отличить пограничные изменения от отторжения. ИИ-модель глубокого обучения продемонстрировала высокую точность предсказания клинических баллов по классификации Баннфа, что делает ее перспективным инструментом помощи для патологоанатомов.

- В чем роль медицинских проектов для билайна?

Медицинские проекты являются одним из важных направлений для нашей команды MedTech, которая занимается разработками в сфере здравоохранения, и важны для билайна в целом. Создавая такие решения, мы используем наши технологические возможности и ИИ экспертизу для улучшения качества жизни. Наконец, билайн – коммерческая компания, и такие проекты открывают нам возможности для коммерческого роста и новые области для бизнеса.

- Каковы направления развития медицинских инициатив в билайне?

Направления развития наших медицинских инициатив включают разработку, интеграцию и внедрение моделей ИИ в лабораторные и медицинские системы, а также развитие направления дистанционного мониторинга пациентов с использованием речевых технологий. Для этого мы будем расширять сотрудничество с медицинскими учреждениями и научным сообществом.

С точки зрения лабораторных систем важное для нас направление развития – патоморфология атрофического гастрита, который в последние десятилетия стал очень распространенным заболеванием. Своевременная диагностика, включая гистологическое исследование биопсийных образцов слизистой оболочки желудка, играет одну из ключевых ролей в выявлении и оценке степени атрофии. Мы разрабатываем алгоритмы машинного обучения, которые позволят определять вероятность и классифицировать изменения тканей с высокой точностью. Регулярный мониторинг состояния слизистой оболочки желудка позволяет врачам выявлять и контролировать прогрессирование заболевания, что существенно снижает риск развития его осложнений, включая рак желудка.

Что касается дистанционного мониторинга, то мы разрабатываем мониторинг с использованием речевых технологий, который будет обеспечивать эффективное и удобное взаимодействие между пациентами и врачами, а также позволит оперативно реагировать на изменения в здоровье пациентов. Речевые технологии также могут применяться для мониторинга побочных эффектов лекарственной терапии и, соответственно, быстрой коррекции. Дистанционный мониторинг актуален в онкологии, диабетологии, во время реабилитации после операций. В целом, дистанционный мониторинг с использованием речевых технологий представляет собой инструмент для обеспечения качественного медицинского ухода, повышения качества сервиса для пациентов и оптимизации ресурсов здравоохранения.

- Что нужно для развития ИИ-проектов в медицине? Какие шаги необходимы со стороны бизнеса, государства и научного сообщества?

Развитие ИИ-проектов в медицине требует комплексного подхода, объединения усилий со стороны бизнеса, государства и научного сообщества. Со стороны бизнеса необходимы инвестиции в исследования и разработки решений ИИ, которые способны помочь врачам эффективно и своевременно решать сложные медицинские задачи и отвечают реальным потребностям пациентов и системы здравоохранения.

Со стороны государства важно создание гибкой регуляторной среды, которая сможет обеспечить баланс между инновациями и частной жизнью пациентов. В то же время государство может выделять средства на исследования и разработки ИИ в медицине, поддерживая академические учреждения и исследовательские лаборатории. И конечно, необходимы кампании по повышению осведомленности людей о возможностях и преимуществах технологий ИИ в здравоохранении.

Научное сообщество может помочь с профильной экспертизой для разработки новых методов и алгоритмов ИИ, которые будут решать медицинские задачи. Это будет способствовать внедрению ИИ в практику здравоохранения, обеспечивая научное обоснование, данные для датасетов и поддержку для принятия решений.

По нашему мнению, только совместные усилия бизнеса, государства и научного сообщества могут ускорить развитие и внедрение ИИ-проектов в медицине, улучшая результаты для пациентов, повышая эффективность системы здравоохранения и открывая новые возможности для медицинских исследований и инноваций.

В «Северстали» разработали «Автотемп 2.0» – программный комплекс по оптимизации графика посада и управлению темпом прокатки и выдачей слябов из печей на основе моделей машинного обучения. Решение внедрено на стане 2000 Череповецкого металлургического комбината – одном из самых производительных станов горячей прокатки в России. За первые восемь месяцев работы решения экономический эффект составил 72,6 млн руб. О реализации проекта рассказывает Светлана Потапова, руководитель кластера «Искусственный интеллект» «Северстали» («Северсталь Диджитал») и номинант на премию Data Award.

- Что собой представляют процессы управления станом 2000, в чем заключалась проблема, почему это важно?

На стан 2000 со склада слябов поступают стальные заготовки – слябы –различных геометрических параметров и марок. Их подают в нагревательные печи в определенной последовательности, в соответствии с графиком прокатки, составленным по определенным правилам. В печах производится нагрев слябов – в среднем от двух до четырех часов, – затем они по очереди поступают в черновые и чистовые клети для дальнейшего обжатия до нужной толщины. После этого раскатанный металл сматывается в рулоны и транспортируется на следующие переделы. И именно печи являются ключевой точкой, определяющей производительность всего прокатного стана.

Проблема заключалась в том, что операторы вручную высчитывали и задавали темп прокатки. Назначение слишком медленного темпа прокатки приводит к тому, что слябы не успевает забирать чистовая группа клетей, и происходит остановка выдачи металла из печей. А если выдавать слябы из печей с темпом медленнее необходимого, увеличенные паузы приводят к потере производительности стана. Ошибка в темпе прокатки может привести к возврату слябов, снятию их с прокатки, столкновению хвоста предыдущей полосы и головы следующей, отсутствие готовности моталок и так далее – вплоть до поломки оборудования. Учитывая это, оператор выставлял темп всегда с небольшим запасом – но правильно ли он его высчитает? Нам было важно «оцифровать» этот процесс и снизить влияние человеческого фактора.

- Как задача решалась ранее?

С 2015 года на ЧерМК был внедрен комплекс «Автотемп», в который были заведены исторические значения машинного времени прокатки слябов и исторические паузы, сумма которых и образует темп прокатки. Они позволяли операторам стана ориентироваться в устанавливаемых значениях темпа. Но даже в этих условиях многое рассчитывалось вручную. Поэтому требовалась улучшенная версия, в которой все подсчеты выполнялись бы автоматически. В ситуации, когда мы боремся за каждый процент эффективности, мы не можем позволить себе непродуктивные паузы.

- Что представляет собой созданное решение?

Комплекс «Автотемп 2.0» включает в себя несколько компонентов: модель предсказания машинного времени прокатки сляба в чистовой группе клетей, алгоритм определения минимальной паузы между слябами, управление временем нагрева сляба в печи и оптимизация распределения необходимых пауз на очередность слябов. Решение позволяет рассчитать оптимальное время и отправить сигнал на выдачу слябов из нагревательных печей стана. Согласование графика выдачи с темпом прокатки металла позволяет осуществлять безопасную автоматическую выдачу из печей. Решение обрабатывает поступающую информацию по текущему состоянию печи, времени выдачи слябов, положению каждого из слябов, времени прокатки слябов и всем возникающим задержкам и ежесекундно пересчитывает свой прогноз.

- Какие данные собирали для обучения модели? Какие объемы потребовались?

В основе решения «Автотемп 2.0», наряду с большим количеством учтенных технологических ограничений, лежит модель машинного обучения с использованием алгоритма градиентного бустинга, с высокой точностью предсказывающая время прокатки металла в стане. Она учитывает такие параметры, как длина и ширина сляба, толщина готового продукта, температура конца прокатки, марку стали, назначение металла, класс прочности и многие другие. При этом был использован массив данных за два года. Для оптимизации посада слябов используется жадный алгоритм поиска, выбирающий печь для следующего посада сляба. Ровный ход печей, с равномерным нагревом по зонам, осуществляется благодаря применению алгоритма квадратичной оптимизации.

- Какими силами и в какие сроки реализован проект?

«Автотемп 2.0», как и все наши решения, разрабатывался в тесной связке с производством. В процессе разработки и при внедрении решения была задействована большая команда. В нее входили, помимо специалистов «Северсталь Диджитал», эксперты из производства плоского проката Череповецкого металлургического комбината, сотрудники АСУТП и другие сотрудники ИТ-команды. Разработка решения вместе тестированием заняла порядка полутора лет. В промышленную эксплуатацию комплекс запустили в третьем квартале 2022 года.

- С какими другими решениями осуществляется взаимодействие?

Для увеличения производительности участка печей решение объединено с конфигуратором посада слябов, оптимизационной моделью по выбору следующей к посаду печи. Кроме того, решение интегрировано с моделью нагрева металла. Зная расчетное время выдачи из печей, модель оценивает время нахождения каждого из слябов в нагревательной печи, что позволяет корректировать ее параметры и повышает энергоэффективность участка и качество нагрева сляба.

- Что в ходе проекта было самым сложным, как решались эти проблемы?

Отдельным вызовом было тестирование решения на одном из ключевых агрегатов комбината, где каждый час простоя приносит миллионы убытков. С ростом сложности решения усложняется и поиск возможных ошибок и недочетов. Для начального тестирования решения и наладки логики работы выдачи с печей наша большая команда экспертов разработала цифровую имитационную модель участка нагревательных печей. В ней можно произвести симуляцию выдачи слябов из печей и проигрывание различных сценариев работы стана 2000: отсутствие готовности печи к выдаче, выдача из печи раньше назначенного времени, выдачи из печи позже назначенного времени и прочие.

- Какие результаты достигнуты?

Решение полностью управляет выдачей сляба, за счет чего исключается человеческий фактор и снижается вероятность незапланированных простоев одного из ключевых агрегатов предприятия. За первые восемь месяцев работы решения экономия времени прокатки за счет оптимизации пауз составила 55 часов, что позволило дополнительно произвести более 50 тыс. тонн металлопроката. Экономический эффект составил 72,6 млн руб. Среднюю паузу при прокатке удалось снизить на 1 секунду на сляб.

- Как это соотносится с ожиданиями?

Этот результат соответствует нашим ожиданиям. Стоит отметить, что даже на этапе первой версии решения, которая появилась в 2015 году, задача управления темпом прокатки уже так или иначе была решена. С помощью машинного обучения мы исправили существовавшие недостатки и дополнительно оптимизировали технологический процесс – нам важна каждая секунда.

- Чем этот проект важен для компании?

Для компании высокая производительность стана 2000 – это возможность произвести для большего количества клиентов горячекатаный прокат с лучшими качественными характеристиками, а значит и получить дополнительный эффект на показатель EBITDA. Помимо финансовой составляющей, мы повышаем качество принимаемых решений за счет перехода на data-driven подход и достигаем значимых эффектов уже на начальной стадии внедрения решения.

- Что дальше? Каковы возможности для дальнейшего развития решения?

Сейчас мы ведем разработку модели компьютерного зрения для контроля наличия слябов на транспортере в процессе выдачи слябов из нагревательных печей стана 2000, что также влияет на сокращение паузы перед выдачей слябов.

«Промсвязьбанк» разработал и внедрил универсальную платформу для построения аналитических хранилищ данных – Единое Хранилище Данных (ЕХД ПСБ). Она реализована на импортозамещенном стеке технологий и вносит весомый вклад в технологический суверенитет банка. Накопленная экспертиза при реализации данного проекта может быть полезна и другим участникам банковского рынка, а также госкомпаниям – участникам директив импортозамещения.

Создание ЕХД ПСБ позволило, в числе прочего, решить такие важнейшие задачи, как централизация работы с данными, использование единых сквозных методологий расчета показателей, а также расширить число используемых внутренних и внешних источников данных. О реализации этого проекта и его роли для развития банка рассказывает Екатерина Варламова, директор департамента управления данными ПСБ и номинант на премию Data Award.

- Какие проблемы стояли перед банком, какую бизнес-задачу решали?

В рамках стратегии цифровой трансформации перед банком стояли не просто задачи, а настоящие вызовы с учетом значимых изменений контекста внешней среды. ПСБ является опорным банком для оборонно-промышленного комплекса – мы реализуем гособоронзаказ и сопровождаем госконтракты, а с введением санкций к нашей стране задача обеспечения технологического суверенитета стала особенно острой. Амбициозные цели ПСБ по развитию бизнеса и директивы импортозамещения требовали не просто повторить ранее разработанный функционал на российских технологиях, а дать качественный скачок в управлении и использовании данных во всех ключевых бизнес-процессах банка.

Здесь важно отметить, что помимо задачи по импортозамещению мы решали более масштабную задачу по созданию универсальной масштабируемой платформы для построения аналитических хранилищ данных.

- Почему это важно для банка?

В рамках бизнес-стратегии развития ПСБ еще в 2020 году была разработана и утверждена стратегия по управлению данными. Она содержит полный комплекс задач по работе с данными, в том числе: повышение качества данных, их унификацию, обеспечение целостности и доступности данных, контроль доступа и их защиту.

Проект направлен на обеспечение стратегических целей банка в части работы с данными. Для банка это поддержка статуса надежного и безопасного отраслевого банка страны, для клиентов — обеспечение высокого банковского сервиса как в коммерческом сегменте, так и для отраслевого направления ОПК. К этому направлению работ относится быстрая настройка сервисов, в том числе на сайте и в мобильных каналах связи за счет оперативного реагирования на отклонения в приложениях. Наконец, для государства важна поддержка госорганов необходимыми аналитическими данными.

- Какой подход был выбран?

При выборе подхода мы придерживались нескольких базовых принципов, и первый из них – это 100% технологический суверенитет. Во-вторых, платформа должна быть надежна и масштабируема. В-третьих, новая платформа должна быть позволить бизнесу быстрее, а главное – дешевле использовать данные в принятии управленческих решений.

ЕХД ПСБ – универсальная платформа для построения аналитических хранилищ данных, она может быть использована как самостоятельное решение, в организациях любого масштаба и любой отрасли для построения хранилищ данных. Она уже зарегистрирована в едином реестре российских программ Минцифры.

При проектировании системы приоритетный выбор был отдан российским технологиям. Очевидно, что отдельные архитектурные решения и гипотезы требовали прототипирования и пилотирования, так как у банка стояли высокие требования к надежности и производительности решения. И здесь российские решения, включая Arenadata DB, в рамках сравнительных тестов производительности, показали результаты, сопоставимые с лучшими мировыми аналогами, что стало приятным открытием для наших специалистов.

- Что представляет собой созданная система, какие данные она охватывает?

Платформа ПСБ ЕХД аккумулирует данные из более чем 20 информационных систем банка, а также более 50 внешних источников данных. Она создана на основе российских технологий и открытого ПО, что обеспечивает полный технологический суверенитет.

Основными инструментами для создания ядра системы выступили продукты компании Arenadata: Arenadata DB и Arenadata Hadoop. Инструменты Kafka, AirFlow, NiFi и пр. легли в основу универсальной транспортной системы, входящей в ядро ПСБ ЕХД – PSB DataCollector.

- Что сделано в рамках реализации проекта?

Нами разработано качественно новое масштабируемое ядро системы хранения, обработки и поставки данных, отвечающее как директивам импортозамещения, так и требованиям информационной безопасности. Кроме того, оно обеспечивает поддержку растущих объемов бизнеса, вызванных объединением новых банковских структур и открытием новых отделений. ПСБ первым из системно значимых банков начал работать в Крыму и Севастополе, а также пока единственный федеральный банк в новых российских регионах.

Итеративное повышение качества данных за счет использования подхода совместных сводных проектных команд с бизнесом позволило получить первые значимые результаты уже в течении первых месяцев работы с данными.

Возможности ad-hoc анализа в задачах управления доходностью клиентов, привлечением и удержанием были предоставлены бизнес-пользователям в течение первых трех месяцев реализации проекта.

- Какие проблемы возникали в ходе реализации проекта? Что было самым сложным?

Как и весь рынок, с 2020 года мы столкнулись с такими масштабными вызовами, как пандемия коронавируса, затем – с санкциями в отношении нашей страны и банка, увеличение требований со стороны регулятора и усиление контроля за исполнением директив импортозамещения. Как одним из первопроходцев данной темы, нам пришлось столкнуться со множеством трудностей, но из них можно выделить наиболее сложные и интересные для решения.

Например, изменение ИТ-ландашфта банка параллельно с построением платформы аналитического хранилища данных потребовало постоянно учитывать как внутренние, так и внешние изменения связанных проектов. Также важно отметить, что это одно из первых крупных внедрений Arenadata DB, и нам приходилось совместно создавать и накапливать экспертизу. Благодаря общим усилиям нашего банка и вендора накоплен огромный практический опыт. И третье, что мы понимали уже на старте, – безопасность данных является основой такого решения, как корпоративное хранилище данных в текущих реалиях нашей страны.

- Как эти проблемы решали?

Принято считать, что изучение новых технологий для ИТ-специалистов является одним из сильных мотивирующих факторов. В нашем проекте мы получили его отражение в полном объеме, причем не только для ИТ, но фактически для всех вовлеченных в проект специалистов. Требовалось не только спроектировать новую архитектуру решения, но и ежедневно итерационно адаптировать ее под новые требования – как в части работы с отечественным ПО, операционными системами, оборудованием, так и параллельно изменяющимся ИТ-ландшафтом, ужесточением проверок и требований информационной безопасности, а также растущими требованиями бизнес-заказчиков, связанными с параллельным расширением бизнеса и регионов присутствия. Это реальный вызов для всей проектной команды, начиная от методологов бизнес-заказчиков и заканчивая специалистами сопровождения.

Первое, что мы сделали еще на старте проекта – договорились с информационной безопасностью банка о всестороннем сотрудничестве. Учитывая характер данных, которые поступают в хранилище, вовлечение ИБ-специалистов уже на стадии открытия проекта позволило отразить и учесть требования к надежности и сохранности данных на всех этапах его реализации.

Другой важный фактор – это люди, их компетенции и вовлеченность. В текущих реалиях на рынке просто нет готовых специалистов, которые уже внедряли бы российские разработки в таких масштабах. Поэтому мы сделали дополнительный акцент на привлечении в команду аналитиков и архитекторов не только из банковского сектора, но и телекома. Нас интересовали эксперты из кросс-функциональных предметных областей, имеющие опыт работы с различными СУБД и системами с разной нагрузкой, специалисты, имеющие опыт разработки коммерческих, а также полностью «закрытых» систем, «инфраструктурщиков» и «безопасников». Никто из нас не решал подобную комплексную задачу в системе столь «высокой неопределенности», поэтому поиск оптимально работающего решения задачи стал даже более важным мотивирующим и объединяющим фактором, чем директивы регулятора.

Также, совместно с вендором мы запустили работы по архитектурному надзору и всестороннему аудиту разрабатываемой системы. Мы организовали взаимодействие с внутренней командой и вендором таким образом, чтобы все понимали ключевые цели проекта и работали по сути единой командой на общий результат, несмотря на регулярные изменения контекста внешней среды. Это позволило постоянно адаптировать архитектуру целевого решения к изменениям, получая надежное и масштабируемое решение.

- Какие из первых результатов вы можете выделить?

Качество клиентских данных физических лиц «карточки клиента», используемых в аналитических задачах и операционных процессах банка, улучшено на 56%. Это достигнуто благодаря разработанным системам мониторинга и контролям качества данных. На их основе внедрены новые проверки корректности ввода и обогащения данных на уровне фронт-офисных систем. Повышение качества данных позволяет сократить среднее время на обслуживание клиентов, повышать доходность каналов продаж и, что еще важнее, улучшать клиентский опыт.

- Как это отразилось на результатах банка?

Только за счет дедубликации рассылок по двум каналам коммуникаций и сокращения времени работы клиентских менеджеров при актуализации персональных данных, нам удалось достичь экономии более 8 млн руб. Совокупно за 2023 год уже удалось высвободить 22 тыс. часов на продажи и консультации по всей сети. В сегментах продаж улучшение качества одних только телефонных номеров позволило повысить процент успешных дозвонов и, как результат, заключить дополнительные контракты общей доходностью 15,7 млн руб.

Фактически, при улучшении качества карточки клиента всего на 4%, общая конверсия повысилась на 1%. Потенциал доходности при росте конверсии составляет до 15%, что превысит 47 млн руб. на новом потоке клиентов.

Коллеги из розничного блока также выделяют влияние проекта в задачах разумного потребления и охраны окружающей среды: так, например, дополнительная экономия бумаги на заявлениях об изменении персональных данных составила 7 млн руб., что равносильно 189 деревьям или среднему городскому парку.

С учетом текущих результатов и показателей эффективности по привлечению новых клиентов, по оценкам розничного блока, ожидается шестикратное увеличение эффективности розничных продуктов.

- А как изменилась жизнь сотрудников банка?

С точки зрения результатов проекта, использование расширенных наборов данных позволило решать новые аналитические задачи. Платформа ЕХД ПСБ используется в задачах привлечения и удержания, оценки банкротств, проблемной задолженности, эффективности взысканий и на многих других направлениях. Ключевыми пользователями являются такие подразделения как ЦОР ГОЗ, департамент финансового мониторинга, розничный бизнес, маркетинг, операционный департамент и т.д. Более 200 пользователей банка получили доступ к расширенной и детальной аналитической и транзакционной информации, включая обогащение данными из внешних источников (более 50 внешних реестров), в соответствии с ролевой моделью доступа.

Все наборы данных и технологии, которые нашли отражение в стратегии по управлению данными банка, рассчитаны на дальнейшее использование моделей искусственного интеллекта.

- Что реализовано с точки зрения безопасности данных?

Безопасность данных стала краеугольным камнем в архитектуре нашей системы. Наряду с использованием высоко доверительных программных систем и библиотек данных, нами была разработана модель безопасности данных и управление сегментами «чувствительности». Реализовано более 700 объектов доступа в классах чувствительности «персональные данные», «ОПК/ГОЗ», «общие». Внедрена система логирования системных, программных и пользовательских операций. Модель безопасности позволяет исключить риск несанкционированного доступа к данным, в том числе вызванного внешним воздействием.

Ведутся работы в направлении выделения дополнительных сегментов данных в физические подсегменты хранения, а также работы по реализации последующих аттестационных мероприятий в соответствии с приказами Минобороны.

- В каком направлении планируется развивать проект? Каково его будущее?

Если заглянуть в далекое будущее – 2040-е годы, то здесь хочется привести слова председателя ПСБ Петра Михайловича Фрадкова, что будущее будет сконцентрировано в отраслях высокотехнологичного сектора: «Экономика России будет полностью сконцентрирована на том, что мы сейчас называем высокотехнологичным сектором – виртуальная реальность, большие данные, искусственный интеллект и пр. В свою очередь банки в том виде, в котором они существуют сейчас, умрут, но с учетом влияния онлайн-технологий и ИТ-индустрии они переродятся в другом виде».

Поэтому наше решение продолжит свое развитие в части больших данных и расширения спектра моделей искусственного интеллекта. Чтобы будущее наступило завтра, работать над ним нужно уже сегодня.

Низкая скорость и большое количество ошибок в процессах учета рабочего времени и начисления заработной платы стали стимулом для внедрения в торгово-логистической компании «Континент» подходов data-driven. В результате удалось радикально повысить эффективность процессов и обеспечить их прозрачность. О реализации этого проекта рассказывает Светлана Пашнина, директор по персоналу логистической компании «Континент» и номинант на премию Data Award.

- Что стало причиной реализации проекта, откуда растут его корни? Почему это важно для вас?

Причин для реализации проекта было несколько. Критичным было отсутствие цифрового сервиса сбора и расчета KPI для подразделений и сотрудников компании, а также неэффективная работа с данными кадровой службы и службы расчета заработной платы. Отмечалась сложность и несвоевременное получение сотрудниками компании информации от кадровой службы и службы расчета заработной платы – справок, расчетных листков и т.д., отсутствие общей точки входа для получения услуг и информирования подразделениями и сотрудниками компании. У команды продаж была необходимость в аналитических инструментах, и у сотрудников всех подразделений были нарекания к непрозрачности процедуры расчета зарплаты.

- В чем заключались типичные бизнес-проблемы и головные боли кадровой и расчетной служб?

Главная проблема заключалась в неэффективной работе: рутинные процессы требуют продолжительных временных затрат. При этом отмечалась запутанная маршрутизация типовых процессов и неудобство в использовании программных решений для выполнения операций. Были трудности со сбором и обработкой новых данных – массово использовались Excel-файлы и бумажные носители информации.

Больным местом было управление зарплатами и выплатами. Расчет и обработка зарплаты, учет отпусков, больничных, налогов и других вычетов требовали точности и внимательности. Проблемы с ошибками в расчетах могли привести к недовольству сотрудников и даже к нарушению трудового законодательства.

Изменения в законодательстве и требования к отчетности также традиционно являются причиной головной боли для кадровой службы, так как ей приходится постоянно адаптироваться к новым правилам и требованиям. Необходимо наличие актуальной информации и изменений в корпоративной информационной системе.

Были очевидны проблемы в эффективной коммуникации с персоналом. Обработка запросов и коммуникация с сотрудниками по кадровым вопросам и финансовым вопросам затрудняется большим числом работников и их географической удаленностью: компания присутствует в 12 регионах России, в компании работает 1,7 тыс. сотрудников.

- Какой подход к их решению был выбран?

Мы начали движение в сторону data-driven. Ключевым элементом был признан анализ данных о текущих процессах кадровой службы и службы расчета заработной платы и их процессных взаимодействиях с другими подразделениями. Была необходима оценка времени, затрачиваемого на выполнение различных задач, выявление узких мест в процессах и анализ данных о производительности и удовлетворенности персонала.

Второе важное направление – идентификация ключевых метрик. Предстояло определить ключевые показатели эффективности (KPI) для подразделений. Эти метрики включают в себя время обработки запросов, точность расчетов зарплаты, уровень удовлетворенности сотрудников, качество получаемых аналитических данных и другой информации и т.д.

На основе данных анализа сформирована стратегия улучшения процессов кадровой службы и службы расчета заработной платы. Она включает в себя автоматизацию рутинных задач, внедрение цифровых сервисов для сбора и анализа данных, обновление информационной системы и другие мероприятия. После разработки стратегии происходит реализация изменений. Это подразумевает внедрение новых программных решений, изменение процессов работы и другие мероприятия, направленные на улучшение эффективности персонала.

Наконец, после внедрения изменений проводится мониторинг и оценка результатов с использованием данных. Это позволяет оценить эффективность внесенных изменений, выявить новые проблемы и корректировать стратегию дальнейших действий на основе данных.

- Это требует массовой цифровизации процессов…

Еще одним ключевым направлением усилий стала цифровая трансформация. Она включала схожие этапы. Начали с оценки текущего состояния. Провели анализ текущих процессов с целью выявления узких мест и проблемных зон, анализ текущей цифровизации в работе всех подразделений. Это включает в себя оценку эффективности текущих систем, программ и процессов. На основе результатов оценки разработали стратегию цифровой трансформации. Она включает в себя выбор и внедрение цифровых решений, таких как системы для кадровой службы и службы расчета заработной платы и средства отчетности и аналитики.

Далее следует внедрение выбранных технологий и их тиражирование, проводится мониторинг и анализ результатов их использования. Это позволяет оценить эффективность внедренных изменений и их влияние на работу подразделений, а также выявить новые возможности для улучшения.

И важно понимать, что требуется постоянное совершенствование. Цифровая трансформация — это непрерывный процесс, поэтому важно постоянно улучшать системы, процессы и методики работы подразделений на основе новых технологий и передовых практик.

- Что собой представляет созданное решение?

Это комплексное модульное решение, состоящее из четырех модулей: «Помощник кадровика», «Помощник расчетчика», «Личный кабинет сотрудника Веб» и «Личный кабинет сотрудника Мобильное приложение». Ядром системы является платформа «1С:Предприятие».

Например, личный кабинет сотрудника – это портал, позволяющий взаимодействовать с корпоративными информационными системами и получать всю необходимую актуальную информацию о своей деятельности в компании в режиме реального времени. Скажем, сотрудник отдела продаж и логистики может видеть и анализировать свои показатели и показатели своих сотрудников. Для менеджеров доступна информация по подчиненным и вакансиям. Есть возможность коммуницировать с кадровой службой и службой расчета заработной платы. Для служб эксплуатации и ИТ-подразделения выведен мониторинг по инфраструктуре с показателями и оповещением в режиме реального времени.

- Какие сложности возникали при реализации проекта?

У нас было восемь географически распределенных площадок на которых осуществлялся запуск. Происходило внедрение новых интеграционных потоков в существующую информационную систему (WMS, ERP, HRM, TMS). Требовалось создание большого количества новых модулей, компонентов и печатных форм. Активно создавались новые и преобразовывались старые аналитические инструменты, их категоризация, стандартизация и перевод в цифру. Возросли и нагрузки на инфраструктуру: средняя нагрузка составила 500-800 пользователей одновременно, а пиковая нагрузка достигала 2 тыс. запросов в секунду.

- Как изменились процессы сотрудников, чем их жизнь стала лучше? Приведите несколько примеров.

Полностью изменились бизнес-процессы работы кадровой службы и службы расчета заработной платы, а также работа задействованных в проекте подразделений: логистики, отдела продаж и др., особенно в части расчета заработной платы и кадровых операций – утверждение табелей, ввод неявок и пр.

Например, при расчете KPI руководитель отдела логистики вместо нескольких часов расчетов KPI в Excel по своим 240 сотрудникам стал их получать нажатием одной кнопки. Обработка данных по зарплате перешла полностью в информационную систему. Реализация проекта позволила отделу продаж видеть свои KPI в течение месяца. Вся необходимая аналитика по продажам доступна менеджерам и торговой команде на веб-портале. Сотрудники склада видят свою выработку и показатели, что позволяет сделать начисление зарплаты более прозрачной. Сократились вопросы о формировании начислений и расчета зарплаты.

Аналитические инструменты и отчеты у руководителей всегда под рукой через личный кабинет, что позволяет ускорить и качественно улучшить бизнес-процессы команды продаж и логистики. Сотрудники могут взаимодействовать с кадровой и расчетной службой в онлайн-режиме (справки, информация об отпусках и т.п.), что позволило минимизировать количество личных обращений в данные службы и получить качественный и быстрый сервис.

- Что в рамках решения было реализовано особенно удачно?

Все решения принесли значимые результаты для работы всех подразделений, они имеют общую ценностную составляющую как комплексный проект. Но если проводить оценку с точки зрения массового охвата и количества функциональных возможностей, то можно выделить личный кабинет сотрудника.

- Насколько хорошо решение воспринял персонал?

Для кадровой службы и службы расчета заработной платы данное решение максимально упростило жизнь. Оно позволило сократить временные трудозатраты на рутинные операции. У сотрудников появился автоматический контроль и постановка задач – как собственных, так и других подразделений, нет больше необходимости напоминать о не утвержденном табеле или других операциях в ходе маршрута выполняемых бизнес-процессов. Это позволило переключиться на более важные и интересные задачи

Личный кабинет сотрудника после анонса и тиражирования используется практически всеми сотрудниками компании для решения своих повседневных рабочих задач, что говорит о его приятии.

- Каких результатов уже достигли? А что ожидается в перспективе?

Достигнуто сокращение ошибок кадровой службой и службой заработной платы практически до нуля. Как следствие, меньше конфликтных ситуаций между сотрудником и работодателем. Произошло ускорение и оптимизация практически всех бизнес-процессов за счет доступности данных из корпоративных информационных систем. Достигнута экономия ФОТ за счет оптимизации штата кадровой службы и службы расчета заработной платы. Компания выстроила новую мотивационную модель в работе всех подразделений, получила качественную аналитику за счет нового инструментария по деятельности подразделений, а также удобную экосистему для решения повседневных рабочих задач.

- Как вы видите дальнейшие направления развития проекта?

Проект имеет модульную архитектуру, он продолжает развиваться и масштабироваться. В разработке и тестировании находятся новый модуль «Помощник рекрутера», запущен голосовой робот для найма персонала на основе ИИ и новый функционал в личном кабинете сотрудника.

Стратегия по управлению данными была принята в «М.Видео-Эльдорадо» в 2021 году. Она распространяется не только на дата-офис, но и на весь цифровой блок, а также сотрудников операционных подразделений, ведь каждый бизнес — процесс, ИТ-система, цифровой продукт — является и потребителем, и генератором данных. О том, какая роль в управлении данными отводится их качеству, и об их влиянии на бизнес, рассказывает Данила Наумов, CDO «М.Видео-Эльдорадо» и номинант на премию Data Award.

— Почему обеспечение качества данных стало актуальным для «М.Видео-Эльдорадо», да и ретейла в целом?

К середине 2023 года мы подошли достаточно зрелыми с точки зрения управления данными. У нас внедрен организационный фреймворк Data Mesh, сформированы 10 доменов данных со своими инженерными командами. При этом данные воспринимаются не как статичная, а как динамическая сущность, то есть продукт со своими метриками и планами развития, назначены владельцы данных. Есть централизованная платформа данных, включающая в себя ETL, хранилища, BI, инструменты MLOps, а также самописный каталог данных M.Data.

Кроме того, в компании внедрен федеративный орган – Дата Комитет, состоящий из владельцев доменов данных и представителей корпоративных функций архитектуры и информационной безопасности. Он устанавливает корпоративные политики в области работы с данными и согласует планы по развитию платформы данных.

Качество данных стало для нас очевидной зоной роста. Во-первых, мы занимались «тушением пожаров» вместо того, чтобы действовать проактивно. Мы узнавали об инцидентах с данными от пользователей и только после их обращения в поддержку. Во-вторых, хотя у нас уже были сформированы проверки качества для наиболее чувствительных данных, они являлись уникальными разработками со своей спецификой. Например, продукт по управлению ассортиментом магазинов крайне отзывчив к качеству данных – как загружаемых, так и расчетных. Стоимость потерь для компании в случае несвоевременной загрузки данных в этом продукте оценивалась в 60 млн руб. в день. Внедрение каждой новой проверки качества данных становилось долгой и ресурсоемкой задачей, не поддающейся масштабированию и переиспользованию. По мере роста бизнеса появлялось все больше ключевых data-driven процессов. Так возникла необходимость реализовывать такие проверки быстро и дешево.

— Какие из проблем были наиболее чувствительными?

Согласно внутренним опросам, отсутствие контроля за качеством данных входило в тройку «больных вопросов» по управлению данными, а повышение качества данных (валидация, достоверность, консистентность) – в тройку ожиданий. Пользователи, даже найдя данные в M.Data, не могли понять, достаточного ли качества эти данные для их задач и были вынуждены обращаться за поддержкой. И, наконец, из-за отсутствия процессов и политик управления качеством данных у владельцев данных просто не было возможности ставить долгосрочные и среднесрочные цели по развитию их активов.

Независимые оценки по методологии CMMI Data Management Maturity подтвердили необходимость разработки политики управления качеством и достоверностью данных на основе критических элементов данных, а также рекомендовали расширить платформу данных инструментами мониторинга и контроля их качества.

— На чем вы фокусировались при повышении качества данных?

Чтобы сформировать стратегическое видение по развитию качества данных, нам было важно определиться не только с тем, что мы делаем, но еще и с тем, что мы точно не делаем. Изучив теорию, мы выделили четыре блока управления качеством данных (Data Quality, DQ).

Первый из них – мониторинг DQ в соответствии с заведенными правилами и проверками. Мониторинг не меняет сами данные, а считает показатели DQ для конкретного актива в системе-источнике или хранилище данных. Второй блок – профилирование. Это статистический контроль – например, количество значений, частотная характеристика значений. Профилирование может быть как инженерное (количество заполненных полей, пустые поля и др.), так и бизнесовое. Третий блок – управление инцидентами. По мере запросов от пользователей или возникновения в результате мониторингов инциденты необходимо фиксировать и обрабатывать. И, наконец, клинзинг – процесс исправления ошибок не только в отчете или хранилище, но еще и в системе-источнике.

Рассылка в Telegram по инциденту на свежесть данных

— Что из этого оказалось важнее всего?

Проанализировав боли и ожидания, мы решили, что важнее всего сфокусироваться именно на мониторинге. Например, у команды логистики 95% проблем касались несвоевременной или неполной загрузки данных в хранилище.

Проверку качества данных над транзакционными системами-источниками мы решили оставить вне рамок нашего проекта, так как DQ-проверки – весьма ресурсоемкая операция, зачастую требующая полного сканирования, что сильно снизило бы производительность транзакционных систем. DQ-проверки в транзакционных системах релевантны только при распределенных транзакциях, и даже в этом случае сканирование будет осуществляться силами команд этих транзакционных систем. При этом, если мы на стороне аналитических систем находим ошибки, мы должны передавать информацию о них в команды исходных систем.

— Если обобщить, то какие цели перед вами стояли?

Мы хотели выстроить процесс управления DQ и обучить ему как инженерные команды дата-офиса и представителей других цифровых команд, так и операционные функции. Кроме того, требовалось внедрить дешевый, быстрый и автоматизированный инструмент, а также упростить предоставление информации о результатах проверок всем категориям заинтересованных пользователей. И, наконец, выстроить процесс и механизм передачи информации об ошибке в данных на сторону систем-источников.

— Как изменился процесс по управлению качеством данных?

Раньше если пользователь обнаруживал проблему с данными, он в самом худшем случае самостоятельно исправлял данные в своем дата-активе – например, внутри выгрузки в Excel. Таким образом, в компании появлялась новая, более качественная версия данных, а остальные пользователи продолжали работать с некачественными данными.

Раньше наш стандартный процесс выглядел следующим образом. Пользователь заводил инцидент в службу поддержки, которая вносил минорное изменение в дата-актив, если оно не требовало существенных доработок. В ином случае поддержка обращалась в соответствующую инженерную команду (конвейер данных), которая в свою очередь узнавала у пользователя требуемые изменения. Если пользователь не являлся владельцем дата-актива, изменения согласовывались с владельцем данных. Далее команда разработки модифицировала дата-актив, а приемочное тестирование проводилось с владельцем данных. В конце концов владелец подтверждал качество данных и передавал обновление на поддержку. Из-за этой непростой схемы нас в шутку называли дата-сатанистами.

В текущей версии количество субъектов и сущностей остается тем же, но связующим дополнительным звеном становится инструмент Data Quality. Пользователь заходит в дашборд DQ, дата-каталог или получает уведомление от системы мониторинга и видит текущий уровень качества данных.

Рассылка в почту на статистическое отклонение

— Есть ли у вас требования для инструмента Data Quality?

Конечно, мы сформулировали их на основе анализа потребностей. Главных требований три.

Система должна преимущественно запускать проверки над теми же хранилищами платформы данных, в которых и хранятся данные. Запуск внутри инструмента DQ должен осуществляться только для кастомных проверок, требующих использования данных одновременно из нескольких систем.

Для масштабирования инструмента результаты проверок DQ должны представляться в нашей внутренней BI-системе, привычной для всех. Иначе мы бы сосредоточились не на внедрении процесса, а на внедрении ИТ-системы.

Система должна бесшовно интегрироваться с нашим самописным каталогом данных M.Data для отображения метрики DQ и истории проверок непосредственно в карточке дата-актива.

— Можно ли назвать то, что вы сделали, инновационным?

В общем-то, да. Мы приняли решение сделать собственный инструмент качества данных — M.DQ. Силами шести человек за три месяца инструмент был запущен в эксплуатацию. В следующие два месяца он был масштабирован на все инженерные команды дата-офиса в каждом домене данных.

Интеграция метрик Data Quality в карточку дата актива в каталоге данных

— Измеряли ли эффективность проекта? Как оценить пользу для бизнеса от решения?

Эффективность можно показать на примере конкретных кейсов и бизнес-процессов, в которые было встроено это решение.

Например, команда логистики при планировании перемещений и поставок товаров использовала весогабаритные характеристики товара (ВГХ) из ERP. В какой-то момент коллеги заметили несоответствие данных фактическим значениям. В частности, не совпадали габариты товаров. DQ-команда выявила, что большинство аномальных значений выглядят как 1х1х1. Вместе с коллегами из команды мастер-данных выяснили, что заведение данных происходит сразу в нескольких системах: ВГХ для клиентов заводится в одной системе, для внутренних пользователей – в другой. Поля были обязательными для заполнения, но не было никакого контроля над процессом, поэтому при заведении нередко указывали пустые значения. На момент внедрения проверки в системе значилось более 5 тыс. наименований с некорректными габаритами. Логисты брали средние значения ВГХ по товарной группе, и неправильные расчеты приводили к ошибкам маршрутизации, необходимости ручных корректировок при планировании рейсов, а это означает задержки и отмены клиентских заказов.

Другой кейс – дубли чеков. Только за четвертый квартал 2023 года вторая линия поддержки дата-офиса обработала более 300 таких инцидентов качества данных. Это значит, что более 300 инцидентов не дошло до пользователей. Мы считаем, что демонстрацией зрелости в области управления качеством данных является и то, что мы поставили метрики качества в персональные KPI владельцам данных. Мне пришлось выступить амбассадором нововведения: я взял на себя самые востребованные дата-активы: чеки, заказы, веб-трафик, розничный трафик и основные справочники. За первый квартал 2024 года мы замерили текущие показатели DQ по этим активам и поставили измеримые цели на второй квартал. Для владельцев других доменов данных во втором квартале 2024 года мы сформируем показатели DQ по критическим элементам данных, и поставим цели на следующие кварталы.

Еще один важный кейс для любого ретейлера – расчет премий для сотрудников розницы. Иногда не вся атрибутика чека бывает верно загружена: не везде определяется продавец, кассир и категория товара. Была осуществлена проверка, и теперь наши коллеги заранее «отлавливают» отклонения и обрабатывают 150-200 обращений в месяц в рабочем режиме. При закрытии периода премия рассчитывается правильно.

И последний пример. Как известно, мы передаем фискальные данные в ФНС, а они в свою очередь сравнивают их с ОФД. Если есть хоть какое-то отклонение, из ФНС поступает запрос в бухгалтерию на проверку и корректировку. Когда возникали случаи несовпадения данных по причине сбоев в передаче данных с локальных касс в ОФД, это фиксировалось бухгалтерией через личный кабинет ОФД и требовало правок на стороне директора магазина. Конечно же, инциденты возникали в последний момент перед закрытием отчетного периода, что вызывало проблемы. Сейчас эти отклонения выявляются заблаговременно.

— Каковы основные итоги проекта?

Во-первых, мы успешно выстроили процесс управления качеством данных. Теперь при создании и изменении дата-активов силами инженерных команд конвейеров данных заказчику предлагается создать проверки DQ. Во-вторых, мы измеряем уровень качества данных. В каждом домене данных выделены критические элементы данных, по которым в динамике измеряется и отслеживается уровень качества данных, который доступен всем желающим. В-третьих, мы сократили срок реализации проверок DQ с двух недель до четырех часов. Теперь стандартные проверки может создавать даже представитель операционной функции, а разработчики не тратят время на сопутствующие процессы (оповещение, хранение и т.п.). В-четвертых, уже решили более 100 конкретных бизнес-кейсов. Наконец, мы можем масштабировать количество критичных элементов данных, не раздувая штат разработки и поддержки.

— В чем заключаются основные факторы успеха?

Очень помогла поддержка со стороны дата-архитекторов, и корпоративных архитекторов. Важную роль сыграло выделение отдельной команды для разработки инструмента. Кроме того, правильным было подключение центральной второй линии поддержки дата-офиса. Возможность передачи DQ-проверок, созданных с помощью общего инструмента, являлась решающим фактором, чтобы команды стали приобщаться к инструменту, а не плодить собственные наработки. И для любого подобного проекта важна удобная система оповещения в разных каналах.

— Каковы направления развития проекта?

Мы хотим, чтобы у всех владельцев доменов данных появилось персональное целеполагание, основанное на метриках качества данных по дата-активам у них во владении. Для этого мы замеряем текущий уровень и согласовываем с владельцами целевые уровни.

Также через инструмент M.DQ мы хотим фиксировать контракты – то есть требования пользователей к данным, находящихся во владении у других, и проверять исполнение этих требований через проверки качества данных. И, естественно, планируем увеличивать количество дата-активов с проверками качества данных, наращивать базу стандартных проверок для увеличения скорости внедрения.

В 2023 году был запущен веб-сервис «РосНавык», который обеспечивает пользователям полную информацию о требованиях и трендах на рынке труда, позволяя им принимать обоснованные решения в области образования и профессионального развития. О создании этого проекта и его роли в развитии российского рынка труда рассказывает Вячеслав Гойко, генеральный директор «Академии Дата-Дайвинг» и номинант на премию Data Award.

- В чем заключается решаемая проблема?

В последнее время буквально все вокруг говорят о нехватке специалистов на рынке труда. Мы сталкиваемся с тем, что экономике прямо здесь и сейчас нужны определенные специалисты, которых в нужном количестве не готовят образовательные учреждения. С другой стороны, остро стоит проблема синхронизации требований работодателей и содержания самих образовательных программ, чтобы выпускник, приходя на рабочее место, не слышал знаменитую фразу: «Забудьте все, чему вас учили в университете». Как раз для решения этой проблемы и создан сервис аналитики данных рынка труда «РосНавык».

- Почему это важно?

Самое главное в жизни человека – быть счастливым, а образование выступает фундаментом нашего будущего, и очень важно, чтобы этот фундамент был сделан качественно и мог выдержать все нагрузки в будущем. Таким образом, большой вклад в построение счастливой жизни у всех нас вносит система образования, и крайне необходимо сделать так, чтобы выпускник университета был готов к тем вызовам, которые ждут его на рабочем месте. В то же время экономика нашей страны, да и мира в целом, претерпевает сильнейшие изменения, и возможность быстро настраивать образовательные программы под изменяющиеся потребности рынка труда создают устойчивость и залог конкурентоспособности страны.

- Какие цели были поставлены перед проектом?

Миссия проекта – развитие кадрового потенциала страны, когда при переходе из школы в университет, из вуза на место работы решения будущим студентом и его родителями принимаются на основе данных о ситуации на рынке труда. Мы начали с задачи разработать и представить на российском рынке простой инструмент аналитики данных рынка труда для широкого круга пользователей. «РосНавык» позволяет автоматически извлекать из текста вакансий навыки и компетенции, наиболее востребованные работодателями в разных профессиях и регионах России.

- Какие данные используются?

Сервис работает на основании открытых данных о вакансиях с сайтов-агрегаторов HeadHunter, «Работа России», SuperJob, «Работа.ру». Данные в автоматическом режиме ежедневно выгружаются и агрегируются в общую базу данных. В процессе разработки для текстовой аналитики данных о вакансиях было использовано платформенное решение PolyAnalyst компании Megaputer Intelligence.

- Что представляет собой разработанное решение?

Функционал сервиса включает в себя интерактивный аналитический дашборд, который состоит из виджетов, позволяющих фильтровать данные по региону, отрасли, опыту работы, зарплатному предложению и многим другим параметрам. Имеется доступ к регулярно пополняющейся базе вакансий из открытых онлайн-источников. Кроме того, возможна разработка дополнительных аналитических решений под индивидуальный запрос пользователя.

В отличие от прочих аналитических сервисов, «РосНавык» предоставляет актуальные данные о ситуации на рынке труда, дает возможность обратиться к ретроспективным данным и проследить динамику изменения запросов на навыки и компетенции.

Алгоритм автоматической классификации текстовых данных вакансий разработан на основании экспертных мнений и прошел процедуру экспертной оценки. Для «дообучения» алгоритмов было проведено более 30 онлайн-сессий, в которых приняли участие более 100 экспертов – представителей различных отраслей деятельности, классифицировали навыки и компетенции с учетом профессиональной специфики.

- Кто является основными потребителями сервиса?

Веб-сервис предоставляет образовательным учреждениям возможность быстро реагировать на изменения спроса на те или иные компетенции, создавая и обновляя образовательные программы в соответствии с актуальными запросами работодателей. Для соискателей, студентов и выпускников сервис полезен как инструмент для профориентации и построения личной карьерной траектории. Местные органы власти могут использовать его для анализа специфики рынка труда в регионе, разработки региональной политики занятости и содействия трудоустройству граждан. Работодатели могут использовать возможности сервиса для планирования кадровой политики, анализа конкурентов и принятия управленческих решений на основе данных.

- Каких результатов удалось достичь?

В настоящий момент на «РосНавыке» зарегистрировано более 3 тыс. пользователей. Сервисом пользуются методисты и разработчики образовательных программ из более чем 100 университетов со всей страны.

С помощью сервиса разработаны и актуализированы более 20 образовательных программ дополнительного и основного профессионального образования. К их числу относится разработка магистерской программы «Дата-аналитика для бизнеса», анализ трендов в сферах бизнес-аналитики и экономической безопасности для сборки программ Российского университета кооперации, а также разработка образовательной программы «Бизнес-ассистент руководителя» и актуализация образовательной программы «Библиотекарь будущего: от буквы до цифры» в рамках Федерального проекта «Содействие занятости».

Кроме того, в августе 2023 года проведена первая Всероссийская школа анализа данных рынка труда для сотрудников кадровых центров из 7 субъектов РФ. В рамках Школы специалисты кадровых центров осваивали навыки анализа больших данных на базе нашего сервиса для профориентации и помощи в трудоустройстве соискателям.

- А что можно ожидать в дальнейшем?

Например, мы ожидаем массового обновления и создания образовательных программ под запрос рынка труда, причем как программ основного, так и дополнительного профессионального образования, в учреждениях высшего профессионального образования. Еще одно возможное направление – запуск образовательных программ по приоритетным направлениям и подготовка специалистов с соответствующими, актуальными на рынке труда, компетенциями. Можно упомянуть разработку профориентационного теста и банка обучающих материалов для самостоятельного планирования карьеры пользователями. И напрашивается использование возможностей сервиса для подготовки научно-исследовательских работ по тематике анализа рынка труда России.

- В чем социальная значимость проекта?

Во-первых, важно сокращение разрыва между спросом и предложением на рынке труда. Во-вторых, происходит формирование общего языка для взаимодействия и взаимопонимания между работодателями и образовательными организациями. Производится определение областей для инвестиций в образование и развитие навыков и прогнозирование тенденций и потребностей рынка труда. Наконец, мы создаем основу для разработки государственной политики в области занятости.

Таким образом, аналитика рынка труда обеспечивает основу для принятия информированных решений, которые способствуют экономическому развитию, социальной стабильности и повышению качества жизни населения.

- Куда будет развиваться проект?

Мы идем в сторону интеграции «РосНавыка» с EdTech-системами образовательных учреждений – системами электронного обучения, видеопорталами, сервисами для профориентации и т.д. – и государственными системами, где граждане могли бы выстраивать свои профессиональные треки развития. Помимо этого, есть амбициозные идеи по использованию наших данных для обновления профессиональных стандартов в ключевых отраслях экономики, и тогда будет можно влиять на содержание образования в целых отраслях.

Развитие медицины и повышение качества отечественного здравоохранения невозможно без полноценной систематизации данных. Именно эту задачу решает система бизнес-аналитики для медицины «ЕЦП.BI», зарегистрированная в реестре отечественного программного обеспечения как модуль «Аналитические показатели» медицинской информационной системы «ЕЦП.МИС». О реализации и роли этого проекта рассказывает Ольга Лебедева, руководитель направления «ЕЦП.BI» компании «РТ МИС» и номинант на премию Data Award.

– Какие цели преследовались при создании «ЕЦП.BI»?

Мы рассчитывали создать единое аналитическое информационное пространство на всех уровнях: регион, медицинская организация, подразделение, отделение, врач. Было важно выстроить процессы для оперативного принятия управленческих решений на каждом уровне, выработать четкую методологию расчета показателей бизнес-аналитики, а также минимизировать факты искажения информации и ошибки при ручном вводе через несистемные источники.

– Каких подходов старались придерживаться?

С точки зрения методологии нужно было охватить все значимые сферы здравоохранения, учесть нормативно-правовые акты РФ, сохранить общеизвестную медицинскую терминологию для корректной интерпретации данных. Следовало обеспечить перспективность использования накопленных бизнес-данных для анализа прогнозируемых событий, а также гибкость структуры для наращивания новых показателей или оперативного обновления текущих. Для этого было проведено согласование с группой методологов и экспертов-практиков в сфере здравоохранения.

– Что собой представляет созданное решение?

Основное назначение «ЕЦП.BI» – анализ ситуации в региональном здравоохранении, мониторинг слабых мест в задачах повышения качества и доступности медицинских услуг для населения, визуализация ключевых показателей с помощью интерактивных аналитических панелей. Система позволяет мгновенно принимать управленческие решения на основании всесторонней аналитики по множеству показателей, планировать с учетом текущей ситуации в здравоохранении региона и инфраструктуры. Отдельно следует отметить мониторинг выполнения показателей федерального проекта «Создание ЕЦК на основе ЕГИСЗ». Этот раздел «ЕЦП.BI» важен для организаторов здравоохранения. Он обеспечивает оперативный контроль показателей федерального проекта.

– Кто является ключевым пользователем?

У решения несколько категорий пользователей. Это губернаторы, региональные органы здравоохранения, главные врачи и руководители отделений медорганизаций, главные внештатные специалисты Минздрава.

В зависимости от роли пользователя функциональность системы заметно различается. Например, губернатор видит общую ситуацию по всем актуальным направлениям деятельности здравоохранения региона в разрезе муниципалитетов и медицинских организаций, главные врачи – информацию по своей организации в целом до уровня врача, руководители отделений получают информацию в пределах своей зоны ответственности.

– Какие платформы использованы?

Решение интегрировано с медицинской информационной системой в части исходных данных. В проекте не используются сторонние системы. «ЕЦП.BI» разработан на импортонезависимых платформах, которые зарегистрированы в реестре отечественного ПО.

– Какие основные проблемы возникали при разработке решения?

Стояли две основные проблемы — бизнес-уровня и технологического уровня.

Эксперты отмечали избыточность отраслевых отчетных форм. Для их подготовки нужны большие усилия по сбору данных, при этом информация остается разрозненной, что мешает принятию решений. Мы придумали, как решить эту бизнес-проблему, и предложили «дерево показателей», где «веточками» являются различные направления в здравоохранении. Все множество показателей оформили в виде дашборда с возможностью посмотреть значение, отсортировать по рейтингу, динамике и отобразить на карте. В основу этого решения заложен процессный подход.

С технологической стороны была проблема в построении архитектуры решения. Мы сделали несколько попыток, прежде чем нашли рабочий вариант, который учитывает специфику «широкой» базы источника данных, медицинской информационной системы.

– Какие результаты достигнуты?

Сегодня «ЕЦП.BI» помогает отслеживать показатели цифровой трансформации здравоохранения на региональном уровне. Получая информацию по каждому из показателей, по множеству разрезов и представлений, руководитель принимает решения на основе данных. Прикладная часть «ЕЦП.BI» включает более 270 аналитических показателей по 31 направлению, в том числе демографии, мониторингу смертности, деятельности медицинской организации, мониторингу беременных, доступности сервисов, сердечно-сосудистым заболеваниям и другие.

На данный момент функциональные блоки системы внедрены в шести регионах: Республике Карелии, Курганской, Рязанской и Пензенской областях, Кабардино-Балкарской Республике и ЯНАО.

– От чего зависит готовность региона внедрять ту или иную функциональность системы?

В первую очередь, от готовности руководителей использовать модель управления, где аналитика является частью их работы. Во-вторых, от уровня цифровой зрелости: чем она выше, тем полнее аналитика, а сбор данных легче.

– Что говорят пользователи? Собираете обратную связь?

Много говорят про алгоритмы. В основном удивляются, что формула простая, а описание алгоритма может достигать нескольких страниц, и тут становится виден масштаб работы специалистов медицинских организаций, которая требуется, чтобы собрать с виду простой отчет. Вижу, что меняется в целом подход к аналитике, формируется аналитическая культура, становится меньше ручной обработки данных.

– В чем роль проекта для общества?

Система бизнес-аналитики позволяет сократить расходы за счет синхронизации информации на всех уровнях, оперативного принятия управленческих решений, четкой методологии расчета показателей, минимизации фактов искажения информации. Развитие аналитической культуры пользователей повышает качество и доступность медицинских услуг для населения за счет полноты и разнообразия информации.

Когда мы соединяем для анализа информацию о том, сколько человек живет и работает на конкретной территории, сколько болеет и чем именно, мы можем понять, каких врачей не хватает, как изменить структуру медицинской организации и так далее. С развитием аналитических технологий здравоохранение быстрее адаптируется под потребности населения.

Благодаря этому организаторы здравоохранения могут проводить мероприятия по информированию населения, повышению качества работы медицинских организаций и качеству оказания медицинской помощи населению. Таким образом, достигаются экономические и социальные эффекты.

– В каком направлении планируете развивать проект?

Продолжим развивать функциональность модуля как рекомендательную систему. Например, в настоящее время уже существует возможность задавать критичность отклонения показателя от нормы, построить линию тренда.

Планируем наращивать число аналитических показателей. На данный момент реализовано 30-40% от задуманного объема: основные показатели смертности, доступности, заболеваемости и другие. В приоритете — разработка показателей для главного врача по работе служб медицинской организации.

Еще одно направление развития связано с использованием технологий искусственного интеллекта в профилактике здоровья людей. Оно включает специально подготовленные данные о диспансеризации, профилактике, цифровом профиле здоровья пациента и других аспектов.

Запуск рекламных кампаний в интернете – традиционная головная боль для некрупных фирм, не обладающих необходимыми ресурсами, штатом профильных специалистов и большими бюджетами. «СберТаргет» призван решить эту проблему, предоставляя необходимый инструмент в виде сервиса. О создании и развитии этого проекта рассказывает Ирина Литвинова, владелец продукта «СберТаргет» ООО «Сбер Бизнес Софт» и номинант на премию Data Award.

- Какова история сервиса «СберТаргет», как он появился?

Много работая с клиентами из сегмента малого и микробизнеса, в какой-то момент мы поняли, что одна из основных задач, стоящих перед предпринимателями, – это продвижение. Далеко не все руководители компаний были знакомы с тонкостями продвижения, не все были готовы нанимать отдельного специалиста или же учиться самостоятельно. Именно поэтому появился «СберТаргет» – сервис, который помогает предпринимателям запускать рекламные кампании.

- Какие бизнес-боли компаний решает сервис? Почему это важно?

Основные боли – это, конечно, незнание или недостаточное, слишком общее, упрощенное представление бизнеса о своей целевой аудитории. Более того, для настройки рекламы нужно знать, какая часть из этой аудитории готова платить за те или иные товары или услуги. Если же он понимает это, то нет ясности, где и как искать своих целевых клиентов. Другой один важный вопрос – какой бюджет выделить на рекламную кампанию, чтобы она была эффективной.

Еще одна боль, которую решает сервис, – это нежелание руководителей компаний тратить время на изучение настроек и особенностей площадок, на которых запускается реклама. В «СберТаргете» все автоматизировано, учитываются требования каналов распространения рекламы.

Очевидно, что использование такого сервиса очень удобно – уменьшает сроки запуска рекламных кампаний, помогает сократить расходы за счет оптимизации рекламного бюджета и расходов на привлечение специалистов по рекламе.

- Каковы основные принципы, заложенные при создании решения?

Основной принцип – простота, удобство и экономия времени на создание рекламы, которая реально работает. Клиенту не нужны специфические знания в маркетинге, сервис сам подскажет, заполнит за клиента все настройки по рекламе, а аналитика в сервисе детально покажет портрет действующего клиента.

- Какие технологии использованы при его реализации?

В основе работы сервиса лежит искусственный интеллект и большие данные.

- Что представляет собой это решение?

«СберТаргет» – это сервис с готовыми настройками и рекомендациями для запуска рекламы из единого окна на площадках партнеров («Яндекс», myTarget, 2ГИС, билайн). Он позволяет бизнесу применять data-driven подход в рекламе и цифровых коммуникациях с клиентами. В его основе лежит исследование аудитории бизнеса: чем интересуются, что покупают, что может влиять на принятие решений о покупке. То есть предприниматель получает не просто аналитику, а конкретные рекомендации и рекламные настройки: что, кому и где предложить, чтобы реклама была эффективнее.

Помимо описания портрета клиента, мы даем и аналитику спроса: соотношение новых и вернувшихся клиентов, динамику количества покупок и среднего чека, что также позволяет сравнивать свои данные со средними показателями в отрасли. Все это, разумеется, в обезличенном и агрегированном виде.

То есть в основу сервиса «СберТаргет» заложен искусственный интеллект, который подсказывает, где и кому показывать рекламу, а также помогает настроить кампанию под задачи бизнеса.

- Насколько сервис прост в использовании?

«СберТаргет» позволяет подготовиться к запуску рекламы в три шага: пользователь выбирает из списка цель рекламной кампании, каналы и целевую аудиторию. Далее сервис подбирает оптимальные рекламные каналы на основе заданной цели, а целевую аудиторию – на основе аналитики с учетом отрасли бизнеса и его расположения. Географию показов сервис предложит настроить с учетом расположения пользователя. Все, что остается сделать, – указать сайт, на который будет вести реклама, настроить время для показов и бюджет.

- Какие конкретные задачи решаются?

Сервис решает несколько ключевых задач. Во-первых, это привлечение клиентов благодаря настройке рекламы на потенциально заинтересованную аудиторию. Во-вторых, упрощение запуска и ведения рекламных компаний за счет готовых настроек, рекомендаций и поддержки на старте.

Кроме того, достигается сокращение расходов на рекламу. Предприниматель может запускать рекламу сам, не тратя деньги на услуги профильных специалистов, отслеживать в сервисе эффективность кампаний и останавливать те из них, которые не приносят нужного результата.

- Какие данные используются сервисом для выдачи рекомендаций?

В основе рекомендаций лежит анализ агрегированных и обезличенных данных по покупательской активности более 108,2 млн физических лиц по всей России с использованием искусственного интеллекта, а также нейромаркетинга – поведенческой разметки по более чем 1,7 тыс. параметров.

- Какие результаты можно ожидать при использовании сервиса?

Использование «СберТаргета» как единого окна с готовыми настройками позволяет клиентам сервиса быстрее размещать рекламу на площадках партнеров и получать показатель кликабельности (Click-Through Rate, CTR) втрое выше, чем в среднем по рынку. Эта оценка релевантна для канала MyTarget и получена путем анализа усредненных данных рекламных кампаний.

В целом использование сервиса может помочь снизить расходы на рекламу за счет более эффективных настроек, умного подбора площадок для размещения, промокодов от партнеров, позволяющих получить от рекламы больше при меньших вложениях.

- Каковы направления развития «СберТаргета»?

Мы видим большие перспективы для развития сервиса. Это и генерация креативов при помощи ИИ, и увеличение количества рекламных каналов, и оптимизация работы с уже имеющимися, и постоянное обновление рекомендаций по запуску и готовых аудиторий. Также направлением для дальнейшего развития может стать совершенствование действующей аналитики – добавление новых метрик и обогащение текущих.

Специалисты «Работа.ру» разработали аналитический продукт для автоматизации подготовки коммерческих предложений для клиентов. В ходе проекта был создан интерфейс, который в режиме реального времени показывает сотрудникам из департамента продаж аналитические данные по конкретным профессиям, отраслям, регионам и типам тарифов, позволяющие быстро сформировать коммерческое предложение. В результате время подготовки предложений сократилось в среднем с четырех часов до 10 минут, конверсия в продажу увеличилась на 11%, средний чек — на 8%, а выручка компании выросла на 16% за счет увеличения продаж более дорогих и эффективных тарифов. О реализации проекта рассказывает Елена Артемьева, директор по аналитике, Data Science и исследованиям сервиса «Работа.ру» и номинант на премию Data Award.

- В чем заключается процесс подготовки коммерческих предложений в «Работа.ру»? Как он выглядел до реализации проекта?

Первым шагом для команды продаж является взаимодействие с клиентом, чтобы понять, какую вакансию он планирует разместить и в каком регионе. После этого менеджеры приступают к подготовке коммерческого предложения, содержащего информацию о наиболее подходящем тарифе для конкретного клиента с учетом особенностей его вакансии и ситуации на рынке труда по данной вакансии. На заключительном этапе сотрудники отправляют клиенту коммерческое предложение с рекомендациями относительно использования определенного тарифа.

До запуска проекта по автоматизации подготовки коммерческого предложения менеджеры ориентировались на примерные и максимально простые расчеты. Также им не всегда была доступна готовая статистика эффективности размещения различных вакансий по регионам, профессиям и типам тарифов, что, в свою очередь, постоянно требовало обращения к аналитикам для получения дополнительных данных.

В некоторых регионах и профессиях наблюдается более высокая конкуренция за кадры, чем в остальных, вакансии требуют дополнительных инструментов для продвижения, а, следовательно, выбора более дорогого тарифа. Чтобы оперативно ориентироваться в ситуации на рынке и ситуации клиентов, необходимо было организовать для команды продаж быстрый доступ к аналитическим данным. Это помогает менеджерам вести более предметный диалог с работодателями, прогнозировать наиболее вероятную эффективность коммерческого предложения и сокращать зависимость от аналитиков.

- В чем заключалась проблема, почему это важно для компании?

Проблема заключалась в том, что процесс подготовки коммерческих предложений был трудоемким, занимал значительное количество времени и задействовал ресурсы как команды продаж, так и команды аналитиков. Это могло приводить к задержкам в обслуживании существующих клиентов и проблемам в привлечении новых. В результате это ограничивает возможности компании в увеличении выручки. Также недостатки ручных расчетов вели к тому, что клиент не всегда сразу понимал, что с таким тарифом на конкретную вакансию шансы на поиск сотрудников будут минимальны, и нужно сразу покупать более дорогие пакеты. Это влияло на уровень удовлетворенности клиентов нашим сервисом из-за несовпадения ожиданий и реальности.

Разработанный продукт по автоматизации подготовки коммерческого предложения стал ключевым решением данной проблемы.

- Какой подход решения проблемы был выбран?

Было решено создать интерфейс, который в режиме реального времени показывает сотрудникам из отдела продаж прогноз эффективности размещения определенной вакансии по конкретным регионам и тарифам. Взаимодействие с интерфейсом максимально простое и не требует никакой специальной подготовки и навыков.

- Какие требования требовалось выполнить? Какие принципы пытались соблюсти?

Основное требование, которое необходимо было выполнить, – повысить скорость предоставления информации, ее достоверность, релевантность и полноту для подготовки коммерческих предложений. Также важно было учесть, что пользователи – команда продаж – не являются аналитиками, поэтому интерфейс должен был быть максимально прост и понятен в работе.

- Что собой представляет собой созданное решение? Какие компоненты включает?

Созданное решение представляет собой отчет с фильтрами, в котором выводятся результаты расчетов прогнозируемой эффективности размещения в зависимости от региона, профессии и тарифа. Менеджер видит результаты и может их выгрузить в формате CSV для дальнейшего использования. Таким образом, созданное решение – это визуализированная модель прогноза эффективности. При реализации проекта были использованы Clickhouse, PostgreSQL как средства хранения данных и Superset в качестве системы визуализации.

- Что в ходе проекта было наиболее сложным?

Мы делали несколько итераций проекта ввиду того, что у нас сложная система тарифов и было необходимо учесть все особенности. Например, тариф может быть применен не сразу при размещении вакансии, а спустя какое-то время, или к одной вакансии последовательно применяются разные тарифы и дополнительные опции для продвижения. Кроме того, разные вакансии размещаются на разные сроки, что также влияет на общее количество откликов, звонков, показов и других параметров, которые важны для демонстрации клиенту и формирования коммерческого предложения. Для этого мы нормировали расчеты, чтобы их можно было применять к любому периоду размещения.

Одним из самых сложных моментов было создание группового справочника профессий, так как клиенты могут называть вакансии как угодно, но самом деле они могут значить одно и то же (например, «специалист контакт-центра», «оператор колл-центра» и т.п.), поэтому нам было важно учитывать в статистике синонимы. Вторая сложная задача – корректное разделение статистики эффективности по регионам, так как ряд вакансий с вахтовым и удаленным режимом работы размещаются сразу по всей России. Соответственно, нужно было разделить эффективность по конкретным территориям, где происходили отклики, что не всегда просто – например, для звонка не обязательна регистрация, чтобы можно было легко определить регион совершения полезного для работодателя действия.

Нам было необходимо разработать инструмент, который дает команде продаж репрезентативные данные, потому что именно на их основании менеджеры составляют предложения клиентам. Исходя из этих же расчетов, клиенты далее формируют ожидания по эффективности нашего продукта. Поэтому было важно учесть качество и точность прогноза при расчетах, чтобы, с одной стороны, повысить скорость общения с клиентами, а с другой – не давать клиентам неверного представления о том, что будет, если они выберут тот или иной тариф.

- Чем гордитесь, что удалось наиболее удачно?

Проект демонстрирует высокую эффективность в рамках операционной деятельности, внося значительный вклад в повышение результативности и, как следствие, – увеличение общей выручки компании. Благодаря автоматизации подготовки коммерческого предложения клиенты получают более оперативные и актуальные рекомендации о конкуренции в их регионе и в специфической профессиональной сфере, что, в свою очередь, стимулирует их решение приобрести более премиальный тариф, позволяя им таким образом быстрее закрывать открытые вакансии.

Также мы гордимся сроками, в которые был выполнен проект: его реализация заняла всего один месяц от момента составления технического задания до запуска. Отдельно отмечу, что в разработке проекта принимали активное участие всего два человека – аналитик и представитель команды дата-инженеров.

- Какие результаты были достигнуты?

До внедрения этого решения на подготовку коммерческого предложения уходило до четырех часов работы сотрудников. Теперь этот процесс значительно ускорен и занимает около 10 минут.

Результаты проведенных A/B-тестов показывают, что конверсия в продажу по тем, кто использовал новый интерфейс, увеличилась на 11%, а средний чек их клиентов – на 8%. Данные результаты, несомненно, отразились и на финансовом положении «Работа.ру». С момента внедрения инструмента инкрементальный рост выручки составил 16%, что является хорошим достижением.

Автоматизация подготовки коммерческого предложения стала важным шагом для «Работа.ру». Проект позволил повысить уровень обслуживания клиентов и репутацию компании в их глазах. Также удалось увеличить количество новых клиентов и поднять выручку, что является одним из ключевых факторов успеха и развития компании.

- Что дальше? В каком направлении планируется развивать проект?

Мы намерены усовершенствовать наш продукт, делая его более сложным, фокусируясь на повышении качества прогнозирования. Цель – расширить перечень профессий и охватить все сферы, предоставляя более гибкие настройки. Также наш план включает увеличение детализации данных и повышение точности прогнозов. Например, учитывать не просто профессию «водитель», а «водитель категории А», «водитель категории В» и т.д. Дополнительно рассматриваем возможность добавления новых фильтров по территории размещения вакансий – сейчас они работают только по регионам, но мы хотим расширить функционал до конкретных городов.