Data Award

В 2023 году команда Онлайн-университета «Ростелекома» разработала и провела образовательную программу повышения квалификации «Дата-инженер» для сотрудников компании на базе собственной отечественной «Платформы управления данными». За счет обучения внутренними ресурсами удалось подготовить необходимых специалистов, смягчив кадровый дефицит. О реализации программы рассказывает Екатерина Барабанова, директор по развитию персонала «Ростелеком» и номинант на премию Data Award.

- В каких направлениях «Ростелеком» видит особый дефицит кадров? В какие цифры вы его оцениваете?

Цифровая трансформация бизнеса — одна из национальных целей развития страны на ближайшее будущее. Это направление активно поддерживает и развивает «Ростелеком». Сейчас компании нужны специалисты, знакомые с корпоративными системами и обладающие знаниями для их развития. То есть требуются дата-инженеры, специалисты по машинному обучению, системные аналитики, разработчики баз данных, системные администраторы, DevOps-специалисты.

- В чем именно заключаются основные проблемы?

Сегодня в стране наблюдается острый дефицит ИТ-специалистов, который не закончится в ближайшее время. Рынок с точки зрения количества людей физически сократился. При этом число вакансий в сфере ИТ выросло на 40%.

Страна нуждается в отечественных и независимых от импорта программных решениях. Поэтому «Ростелеком» разрабатывает собственные решения по направлениям кибербезопасности, телекоммуникаций, облачных технологий, виртуализации, биометрии, видеонаблюдения, управления данными, искусственного интеллекта, цифровой медицины, государственных цифровых услуг и др. Одним из таких решений стала наша платформа управления данными — универсальный набор отечественных программных продуктов для построения хранилища данных и аналитики.

Компании нужны специалисты, обладающие достаточной квалификацией для разработки и развития наших решений. На рынке найти таких специалистов крайне сложно. Также компания стремится к повышению эффективности процессов и их автоматизации на всех уровнях.

- Какими способами пытаетесь решать эти проблемы?

Мы действуем сразу в нескольких направлениях для преодоления кризиса дефицита кадров. Во-первых, используем технологии для повышения эффективности: обучаем сотрудников языкам программирования и работе с искусственным интеллектом, чтобы они могли автоматизировать свою работу. Расширяем осведомленность о доступных инструментах внутри компании.

Во-вторых, растим кадры внутри. Запускаем собственные программы переквалификации, где на практике обучаем актуальным знаниям и инструментам. Развиваем собственную инфраструктуру для обучения и работаем с лучшими преподавателями.

Программа повышения квалификации «Дата-инженер» комбинирует в себе два подхода. На ней обучаются сотрудники, которые хотели научиться работать с новыми инструментами для автоматизации процессов на текущем месте работы, и те, кто хотел сменить карьерную траекторию и перейти в область дата-инженерии.

- Кто занимался разработкой программы?

В разработке и проведении программы участвовала школа программирования «Ростелекома», которая обучила уже более 3,5 тыс. сотрудников за пять лет работы, а также дата-офис. Дата-офис – это наш драйвер data-driven культуры, один из лидеров отрасли управления данными в России, команда-разработчик платформы управления данными. Экспертом и преподавателем был приглашен Азат Якупов – сертифицированный архитектор данных, инженер в сфере высоконагруженных и высокодоступных систем хранения, специалист в области аудита отечественной операционной системы «Аврора».

- Что включает программа?

Программа разрабатывалась с «чистого листа». Мы ориентировались на сотрудников, которые уже знакомы с SQL, Python и активно работают с большим количеством данных. Это позволило сосредоточиться на продвинутых инструментах. Программа получилась насыщенной, в нее вошли семь образовательных блоков, для практики был развернут учебный стенд. В рамках обучения сотрудники выполнили 10 практических заданий, разработали и защитили итоговый проект.

- Что было сделано в рамках проекта?

В рамках реализации проекта за 6,5 месяцев удалось провести большую работу. Была разработана система отбора на программу обучения и получено более 100 заявок от сотрудников различных подразделений.

С методической стороны разработана программа для обучения сотрудников от теоретических материалов до практических занятий (более 450 страниц). С технической стороны — подготовлен учебный стенд полностью на отечественном программном обеспечении, организован постоянный доступ участников обучения к стенду и круглосуточная поддержка стенда на время обучения. На протяжении всего курса было проведено более 30 занятий и консультаций в формате онлайн.

В рамках программы студенты изучили и на практике отработали вопросы работы с данными: хранение, трансформация и использование.

- Какие инструменты работы с данными изучались?

Изученные инструменты охватывают управление инфраструктурой ресурсов, работу с большими данными на платформе Hadoop, работу со структурированными данными на платформе GreenPlum, работу с потоковыми данными на платформе Kafka, аналитику данных на платформе ClickHouse.

- Каковы результаты обучения?

Проведен пилотный поток программы на 50 сотрудников различных подразделений в дистанционном формате. Стоит отметить, что они высоко оценили качество программы. По результатам опроса выпускников NPS программы превысил 90, содержание программы оценено на 4,82 из 5, а практическая применимость – на 4,68 из 5.

По результатам обучения сотрудники защитили 20 командных проектов, причем некоторые из них нацелены на решение реальных задач компании. Девять выпускников планируют переход в ИТ-подразделение компании, а остальные видят возможности в применении знаний на текущем рабочем месте.

Программа позволяет решить вопрос оттока кадров, рекрутинга кадров в дата-офис, а также повысить эффективность бизнес-аналитики в компании.

- В чем роль проекта для компании?

Пилотный проект обучения был ориентирован на сотрудников компании, которые уже работают с данными. На программе студенты смогли систематизировать и дополнить свои знания по работе с данными: от подготовки до визуализации и принятия решений, познакомиться на практике с продвинутыми инструментами работы с большими данными, узнать больше о направлениях работы с данными внутри компании.

За счет обучения студентов из разных подразделений компании мы ожидаем повышение качества и своевременности аналитики, сокращение издержек за счет оптимизации процессов обработки данных, а также рост удовлетворенности клиентов за счет способности более быстро и точно реагировать на их потребности и требования рынка.

- Каковы дальнейшие планы по развитию программы?

В 2024 году мы планируем адаптировать программу «Дата-инженер» для внешних слушателей и сделать ее доступной на одной из популярных платформ дистанционного образования.

Сеть ресторанов быстрого питания Rostic’s провела масштабную реорганизацию платформы данных, внедрив более современные и эффективные инструменты и обеспечив их работу в Yandex Cloud. О влиянии этого проекта на бизнес и открывающихся возможностях рассказывают Егор Попов, ведущий разработчик хранилищ данных, и Никита Целищев, инженер по данным сети ресторанов Rostic’s. Проект компании номинирован на премию Data Award.

- Что представляла собой аналитическая платформа Rostic’s до сих пор?

Егор Попов: Аналитическая платформа сети Rostic’s состоит из двух элементов: data-платформа и BI-отчетность. Изначально загрузка данных в платформу строилась на классическом ETL-подходе с использованием самописного Python-фреймворка на основе PySpark и SQL UDF для загрузки слоев внутри хранилища данных. Интеграция с основными и самыми крупными источниками данных была выстроена на прямых подключениях к базам данных и инкрементальной загрузке данных путем фильтрации SQL-запросов по бизнес-дате.

Такой подход имеет много узких мест: например, нагрузка на систему-источник – «спам» тяжелыми SQL-запросами, а также потери данных, если в источнике что-то изменилось и при этом нет аудитных полей, указывающих на эти изменения. Да и сама реализация ETL имела ряд недостатков: каждый пайплайн нужно было разрабатывать вручную, писать пользовательскую функцию (user-defined function, UDF) под каждую загрузку, расставлять зависимости.

- В чем заключались бизнес-проблемы, приведшие к необходимости построения новой платформы данных? Почему это важно для компании?

Е.П.: Наша компания – один из лидеров на рынке ресторанов быстрого обслуживания. В сети более 1,1 тыс. ресторанов, работающих под брендом Rostic’s, расположенных в 74 регионах РФ. Рестораны генерируют большой объем данных, которые необходимо быстро обрабатывать. Правами на бренд в России владеет «Юнирест», эта компания в том числе выполняет ряд бизнес-функций, включая финансовое планирование, маркетинг, HR, управление поставками. Эффективность этих процессов напрямую зависит от качества данных.

Кроме того, бизнес Rostic’s строится по модели франчайзинга. Партнерам также необходимо предоставлять актуальную информацию о работе их ресторанов, отдавать им данные и служить для них «единым источником правды» о работе всего бизнеса. Мы предоставляем для ресторанов доступ к информации о бизнес-показателях в его точках присутствия. Такая аналитика помогает партнерам быстрее принимать решения по управлению ресторанами.

Потребителями данных является BI-отчетность, аналитики данных. Еще одна важная функция платформы – построение озера данных, то есть единого хранилища данных для всей компании. Источником данных является большое количество систем: чаще всего это реляционные базы данных, есть FTP и API, а также файлы, которые поступают на почту и в хранилище. Чтобы ускорить обработку данных и упростить работу аналитиков, потребовалось пересмотреть архитектуру хранилища и перевести его на более современный стек технологий.

- Какие требования предъявлялись к создаваемому хранилищу данных?

Никита Целищев: Во-первых, хранилище данных (DWH) должно иметь архитектуру «звезда» и обладать полным слепком всех данных со всех источников. При этом загрузка должна осуществляться ежедневно, актуальность данных – не ранее T-1, а данные должны обновляться в хранилище до 9:00 по московскому времени. Платформа данных должна включать в себя озеро данных для холодного хранения, DWH для детальных данных, витрины данных для быстрого доступа к подготовленным или очищенным данным.

Важно было изменить ETL-подход на ELT, и были необходимы инструменты управления качеством данных и обеспечения наблюдаемости данных (Data Observability).

- Как это отразилось на выбранном стеке технологий?

Н.Ц.: Обновленная платформа данных архитектурно строится на Greenplum, а инструмент dbt отвечает за трансформацию данных. Airflow оркестрирует dbt, а dbt загружает сами данные. Данные загружаются из S3, куда они попадают с помощью Airbyte.

Входная точка работ – это забрать данные из всех источников и отправить их на платформу. Хранилище организовано на базе S3. Здесь находится озеро данных и исторические данные. Из S3 удобно считывать с помощью формата PXF данные Greenplum без дополнительных фреймворков. Использование S3 также позволяет оптимизировать затраты на обслуживание Greenplum. Все исторические данные, которые не нужны оперативно, попадают в S3, где происходит их охлаждение. Данные, которые поступают из источников, поступают уже в охлажденном виде.

Мы также перешли с концепции пакетной загрузки на Change Data Capture (CDC, «захват изменения данных»). Это механизм загрузки данных, при котором учитываются только измененные данные и нет необходимости отправлять прямые SQL-запросы в базы данных. Это в том числе позволяет снизить нагрузку на систему-источник. Это позволило заметно вырасти в производительности, сократить время разработки и сохранить всю историю в первозданном виде, имея полный слепок данных с источников.

После того, данные из S3 поступили в «сырой» слой, необходимо построить детальный слой витрин. Классический подход при построении этой трансформации – самописный ETL-фреймворк, написанный на Python, который оперирует YML-файлами, обрабатывает их и загружает в хранилище. Для прогрузки слоев DWH необходимо было многое делать вручную. Дата-аналитик с отсутствием опыта работы с Airflow не мог этого сделать. Внедрение инструмента dbt дало возможность оперировать знакомым каждому языком SQL, а зависимости и загрузка данных были реализованы автоматически.

Переход на dbt с самописного ETL-фреймворка себя оправдал: аналитики сами стали создавать объекты, в два раза сократили трудозатраты на постановку объекта на регламент, исключили разработчиков из построения детального слоя витрин. Аналитики создают модели быстрее, чем это делал бы разработчик, вдвое.

Greenplum и Clickhouse часто противопоставляют, но мы используем их в связке. Оба сервиса управляются с помощью Yandex Cloud. Поддерживать два кластера самостоятельно – трудозатратно, а Yandex Cloud это автоматизировано. Greenplum мы используем для построения быстрых слоев хранилища. Clickhouse, в свою очередь, используется как система источников для BI, подготовки данных для отчетности и др. В связке мы добились крайне быстрой, оптимальной работы.

- Почему были выбраны сервисы Yandex Cloud?

Е.П.: Мы выбрали Yandex Cloud, потому что у компании есть большое количество управляемых сервисов, что помогает снизить нагрузку на команду – все рутинные задачи выполняет облачный провайдер. В частности, в Managed Service for Greenplum и ClickHouse за управление кластерами и мониторинг работоспособности сервисов отвечают специалисты Yandex Cloud. Кластерами можно удобно управлять через интерфейс, используя большое количество метрик, логов, уведомлений, дашбордов. Это помогает оперативно отслеживать, что и в какой момент происходит в хранилище. Кроме того, мы используем возможности резервного копирования – есть возможность восстановить кластер Greenplum из резервной копии за заданный период времени.

- Что в итоге представляет собой созданная платформа?

Н.Ц.: В хранилище аккумулируются и обрабатываются данные из 12 источников, в том числе из программы для предприятий общественного питания R_Keeper, учетной системы «1С», банковских приложений, сервисов заказа быстрой доставки, таких как «Яндекс Еда», сервиса для треккинга и аналитики мобильных приложений AppMetrica, платформы для автоматизации маркетинга Mindbox и других.

В качестве технологий используются ClickHouse и Greenplum для организации хранилища данных, российская BI-система «Форсайт» и Python Airflow DBT как оркестратор пополнения данных. Все инструменты развернуты на платформе Yandex Cloud в Kubernetes. Классическая «тяжелая» ETL-загрузка происходит раз в сутки, ночью. Днем перегружаются небольшие объекты, для которых необходима оперативная аналитика. Managed Kubernetes как ETL-платформа в Yandex Cloud позволяет нам разграничивать ресурсы и автоматически масштабировать кластер ночью, а днем не платить за него. Удобные мониторинги, удобная настройка.

- В чем «фишка» созданного решения, что на ваш взгляд, удалось особенно удачно?

Н.Ц.: Можно выделить несколько деталей. В первую очередь, это автоматизация трансформации данных в слоях хранилища с помощью инструмента dbt и автоматически генерируемая документация объектов хранилища. Кроме того, появился Data Lineage, реализовано CDC как полноценная замена ETL-процесса. Производится автоматическое тестирование данных на их качество в процессе загрузки. Благодаря использованию dbt разработку всех объектов хранилища теперь можно доверить аналитикам, что существенно снижает трудозатраты и время работ.

- Каких значимых результатов удалось достичь на данный момент?

Е.П.: Cущественно повысилась прозрачность в работе с данными. Каждое утро в телеграм-бот приходит отчетность о том, как прошла ночная загрузка. Высвечиваются идентификаторы записей, которые не прошли проверки – например, что-то задублировалось, по каким идентификаторам прошли дубли и сколько их было. Это помогает оперативно исправлять ошибки и следить за качеством данных.

Благодаря реализации проекта компания уже ускорила разработку новых технологий в три раза и в два раза быстрее готовит аналитические отчеты – например, по продажам позиций из меню.

- А что ожидается в дальнейшем?

Е.П.: Платформа работает с 2022 года, и за это время уже стала неотъемлемой частью бизнеса компании. У нас большие планы по развитию. Например, развитие self-service BI – концепции, при которой бизнес может сам строить аналитику по параметрам, которые ему необходимы. Мы хотим использовать данные для разработки технологий искусственного интеллекта, в частности – внедрить прогнозирование спроса и предложения, развивать персонализированные сервисы для гостей.

- Какую роль играет реализация проекта для бизнеса компании? Какие принципиально новые возможности появляются?

Е.П.: Дата-платформа помогает оперативно реагировать на изменение ключевых показателей, видеть отклонения и аномалии данных, которые происходят в результате процессов, принимать на их основании решения и более гибко управлять бизнесом, реагируя на изменения рынка.

Большинство отчетов для бизнеса формируются уже на основании существующих данных, загруженных в систему. Самообслуживание (Self-service) – важный инструмент аналитики, который помогает бизнесу самостоятельно проверять различные гипотезы и создавать новые срезы данных. В результате процесс разработки происходит гораздо быстрее и дешевле, без привлечения дорогостоящих ресурсов разработчиков.

- В каком направлении будет развиваться платформа данных Rostic’s?

Е.П.: Будет происходить уход от пакетной (Batch) загрузки в сторону потоковой загрузки (Streaming), что даст дальнейшую экономию времени. Проведем внедрение полноценного каталога данных. Ожидается развитие data-driven культуры и процессов data governance, а также в целом направления Data Science.

В ОАО «РЖД» за короткое время осуществили перенос на импортонезависимую платформу основной функциональности управления критически важной для бизнеса НСИ. Кроме этого, в рамках проекта обеспечены технологические условия для тиражирования этого решения. О реализации проекта рассказывают Кирилл Семион, начальник департамента информатизации ОАО «РЖД», и Александр Толгский, руководитель дирекции по продажам департамента «Государственные программы» IBS – номинанты на премию Data Award.

— В каком состоянии находились процессы управления НСИ в РЖД до реализации проекта? Как они были реализованы?

Кирилл Семион: ОАО «РЖД» имеет разветвленную организационную структуру и осуществляет хозяйственную деятельность по различным направлениям. С учетом этого, а также высокого уровня автоматизации деятельности ОАО «РЖД» и его дочерних предприятий одним из ключевых вопросов, стоящих перед компанией, является обеспечение единства, полноты и достоверности нормативно-справочной информации, используемой различными специалистами компании в ходе исполнения своих обязанностей.

В рамках решения этой задачи в компании в разное время были созданы специализированные системы для ведения нормативно-справочной информации, но, несмотря на это, в различных создаваемых и развиваемых информационных системах ОАО «РЖД» разработчиками были реализованы возможности по ведению НСИ. Это приводило к нарушению принципов единства и полноты нормативно-справочной информации, затрудняло взаимодействие на уровне отдельных информационных систем, усложняло существующую архитектуру и ИТ-ландшафт ОАО «РЖД».

— В чем заключались основные проблемы? Почему это было важно для РЖД?

К.С.: Ключевая предпосылка проекта — отсутствие единой системы управления НСИ. По состоянию на 2022 год в ОАО «РЖД» эксплуатировались две информационные системы, обеспечивающие централизованное ведение справочников — ИС, предназначенная для ведения технологических справочников, и система, предназначенная для ведения справочников, используемых в рамках автоматизации предприятия в целом (ERP).

Второй предпосылкой стало то, что централизованные системы ведения НСИ были созданы с использованием лучших на тот момент из представленных на рынке решений — платформы и продукты иностранных производителей. Таким образом, использование решений иностранных вендоров для автоматизации функции ведения справочников во множестве функциональных и технологических систем ОАО «РЖД», после ухода иностранных вендоров из России несло существенные риски выхода из строя вычислительной инфраструктуры и общесистемного программного обеспечения, а также обострило вопрос информационной безопасности.

Совокупность этих факторов и привела к старту проекта по созданию новой версии Автоматизированной системы централизованного ведения нормативно-справочной информации (АС ЦНСИ-2), реализованной на базе решений, включенных в реестр отечественного программного обеспечения Минцифры России, и отвечающей всем требованиям ОАО «РЖД» к решению такого класса.

— Какой подход был выбран для решения задачи?

К.С.: В ОАО «РЖД» существуют довольно жесткие требования, предъявляемые к внедряемому ПО. На старте проекта было принято решение провести анализ включенных в реестр отечественного программного обеспечения продуктов, а затем предложить разработчикам пройти комплексное тестирование в соответствии с методикой ОАО «РЖД» и подтвердить возможность применения своего решения как в части показателей назначения, так и в части предоставляемых продуктом функциональных возможностей.

Мы направили ряду разработчиков письмо с предложением провести демонстрацию и последующее тестирование их решений. Ряд компаний, включая компанию IBS, ответили согласием. По итогам тестирования, которое в общей сложности продолжалось более трех месяцев, был подготовлен отчет о тестировании, который подтвердил заявленные характеристики продукта «Планета.НСИ» и его функциональность.

После выбора решения для создания АС ЦНСИ-2 ОАО «РЖД» была проведена объемная работа по формированию границ проекта, состава нормативно-справочной информации, организационного объема и требований к создаваемой на базе платформы автоматизированной системе.

— Какие требования предъявлялись к создаваемому решению?

Александр Толгский: В первую очередь создаваемое отечественное решение необходимо было за короткое время интегрировать в существующую ИТ-архитектуру ОАО «РЖД» без ущерба для существующих процессов управления НСИ в замещаемом ПО. Чтобы упростить переход специалистов к полноценному использованию новой системы, также было необходимо, с одной стороны, воспроизвести существующую в АС ЦНСИ функциональность, а с другой — обеспечить ее реализацию максимально удобным для пользователей способом с учетом существующих технологических возможностей платформы.

В целом, если говорить про требования, система на первом этапе должна была обеспечить централизованную миграцию исторических данных и ведение более 1,4 тыс. справочников и связанных с ними метаданных, обеспечить возможность интеграции с более чем 140 информационными системами ОАО «РЖД» (как потребителями, так и источниками данных).

— Что было сделано в рамках проекта?

А.Т.: В рамках проекта была проведена масштабная работа по развертыванию отказоустойчивой конфигурации инфраструктурного ПО и платформы «Планета.НСИ» в тестовом и производственном контурах ОАО «РЖД», настроена базовая функциональность платформы и реализована дополнительная функциональность в соответствии с ТЗ, реализованы типовые средства интеграции с системами-потребителями и системами- источниками, мигрированы справочники и связанные с ними метаданные, проведено комплексное тестирование и обеспечена возможность переключения взаимодействия внешних систем со старой АС ЦНСИ на новую АС ЦНСИ-2 без пауз в предоставлении нормативно-справочной информации.

— В какие сроки и какими силами реализован проект?

А.Т.: Тестирование платформы заняло три месяца, далее порядка восьми месяцев шла работа проектной команды на стороне ОАО «РЖД». Сам проект реализации и внедрения платформы АС ЦНСИ-2 проходил с марта 2023-го по ноябрь 2023 год.

Общий размер команды с нашей стороны составил более 100 человек.

— В чем заключались сложности проекта? Как они решались?

А.Т.: При внедрении новой системы ведения НСИ требовалось воспроизвести все наполнение унаследованной системы, реализовать более 1,4 тыс. справочников, настроить связи между ними и контроли, которые обеспечивались не только видимыми триггерами в базе данных, но и в программном коде унаследованного приложения.

Кроме того, в новой системе ведения НСИ требовалось реализовать дополнительные ссылочные связи между справочниками, которые ранее велись независимо друг от друга. В процессе настройки был выявлен ряд расхождений в технологических справочниках.

Специалистами IBS совместно со специалистами Главного вычислительного центра с привлечением АО «НИИАС» была проведена работа по глубокому обследованию особенностей реализации каждого справочника, настроены автоматические процедуры сверки данных между унаследованной и новой системой АС ЦНСИ-2 и исследования причин каждого расхождения в данных и их устранения.

На этапе ввода системы в эксплуатацию требовалось обеспечить постоянную загрузку данных из систем-источников, которые не имели в тестовом контуре релевантных данных для отладки интеграции. В результате значительную часть интеграционных сценариев пришлось отлаживать уже в производственном контуре, обеспечив параллельную загрузку данных из систем-источников в унаследованную и в новую систему ведения НСИ и сверку справочников между системами.

— Что представляет собой созданное решение?

К.С.: Созданная АС ЦНСИ-2 обеспечивает централизованную функцию ведения НСИ в ОАО «РЖД», функционирует на базе программной платформы и вычислительного кластера, созданных в Российской Федерации.

Сегодня система включает в себя более 1,4 тыс. справочников, для каждого из которых реализованы модели данных, средства контроля качества данных и пользовательские интерфейсы. Для основной массы справочников АС ЦНСИ-2 является мастер-системой, а для части систем, которые еще находятся в процессе перевода на отечественные решения, АС ЦНСИ-2 выступает в качестве шлюза-маршрутизатора в старую систему АС ЦНСИ.

— Как изменились процессы, связанные с управлением НСИ? Как это повлияло на работу сотрудников?

К.С.: Благодаря реализации дополнительной ссылочной связи между технологическими справочниками упростились процессы актуализации НСИ, ряд задач, ранее выполнявшихся администраторами данных вручную, теперь выполняется в автоматическом режиме, повысилось качество данных.

С внедрением платформы «Планета.НСИ» существенно упростились процедуры по созданию новых объектов НСИ. Создание новых объектов НСИ, включая создание моделей данных, экранных форм, форм поиска и алгоритмов контроля качества данных, теперь можно проводить непосредственно через веб-интерфейс АС ЦНСИ-2 без участия разработчика.

Система также предусматривает возможность создания новых объектов НСИ при помощи импорта метаданных из шаблона, что существенно ускоряет реализацию новых объектов НСИ, и перевод ведения справочников из смежных информационных систем ОАО «РЖД» в АС ЦНСИ-2.

— Каких результатов удалось достичь?

А.Т.: АС ЦНСИ-2 за короткое время была интегрирована в существующую ИТ-архитектуру ОАО «РЖД». При этом был обеспечен перенос на импортонезависимую платформу основного функционала управления критически важной для бизнеса НСИ. Кроме этого, в рамках проекта обеспечен технологический задел для тиражирования АС ЦНСИ-2 в части состава справочников и подключения новых источников и потребителей данных.

— А какие результаты ожидаются в перспективе?

К.С.: К АС ЦНСИ-2 активно подключаются новые системы, в том числе реализуемые в рамках стратегии цифровизации ОАО «РЖД».

Мы планируем и далее развивать АС ЦНСИ-2 как в части расширения функциональных возможностей и повышения удобства пользователей в работе с системой, так и в части перевода ведения справочников из функциональных систем в АС ЦНСИ-2 и обеспечения интеграции с автоматизированными системами ОАО «РЖД».

Еще одним приоритетом для нас является расширение функционала по контролю качества данных, что позволит упростить такие процессы, как выявление дубликатов записей, нормализация данных справочников и т.д.

— В каких направлениях будет развиваться проект? И какие возможности он открыл для компании?

К.С.: Реализация проекта позволила ОАО «РЖД» выявить точки роста не только в части ведения нормативно-справочной информации, но и в существующих бизнес-процессах компании и смежных с АС ЦНСИ-2 системах. Мы продолжим и далее совершенствовать процессы ведения нормативно-справочной информации и переводить системы на централизованное ведение справочников. То есть новая информационная система стала и будет развиваться как полноценный компонент всей корпоративной системы управления данными.

Health&Nutrition (бывшее подразделение Danone в России) реализует проект перехода с корпоративной системы по управлению нормативно-справочной информацией на решение «Гармония MDM» – 100% российскую систему, внесенную в реестр отечественного ПО. О ходе работ и первых результатах рассказывает Анна Ерохина, руководитель команды технической поддержки сервисов по работе с мастер-данными Health&Nutrition и номинант на премию Data Award.

- В чем заключалась бизнес-проблема, почему внедрение MDM важно для компании?

Управление корпоративными справочниками является бизнес-критичной задачей для нормальной работы производства, логистики, продаж. Не менее важно качество мастер-данных для аналитических систем и корпоративной отчетности. Отсутствие автоматизированного подхода привело бы к многочисленным ошибкам, что повлияет на производственные процессы компании и, как итог, ее финансовый результат.

Перед нами стояла задача локализовать процессы ведения справочников в ERP-системе и получить полноценное централизованное решение для ведения корпоративных мастер-данных с подключением внутренних и внешних источников. В очень сжатые сроки в систему «Гармония MDM» должен был быть перенесен функционал из корпоративного решения Danone по управлению мастер-данными, а также проведена дополнительная автоматизация.

- Какой подход был выбран для решения задачи?

Мы выбрали итерационный подход. В первую очередь, мы сфокусировались на переносе основного функционала из корпоративного решения – внедрение MVP-версии. Затем, вторым этапом, идет настройка интеграции с корпоративной ERP-системой. Одновременно с этим на стороне вендора ведется разработка функционала системы, который поможет адаптировать новое решение к бизнес-процессам компании. Третий этап – перенос в новую систему справочников, которые вручную ведутся командой бизнеса в формате Excel, а также настройка интеграции с хранилищем данных.

- В чем заключались сложности проекта?

Как обычно, основная сложность проекта заключалась в сочетании сжатых сроков и большого объема проекта. У нас было всего шесть месяцев на внедрение MVP по пяти крупным корпоративным справочникам. Мы приняли решение проводить сверку и выравнивание данных между MDM и ERP одновременно с эксплуатацией системы. Также нам потребовалась оптимизация производительности, и доработка критически важного функционала.

Из организационных проблем можно выделить вовлечение в проект порядка 10 различных команд бизнеса и ИТ, а также одновременное подключение ресурсов MDM-проекта к общему, «большому» проекту локализации компании.

- Как решались проблемы?

Производитель «Гармонии MDM» принял в бэклог доработки коробочного решения значительный объем задач, который позволил адаптировать систему под зрелые и развитые процессы управления справочниками в нашей компании. В частности, был разработан специализированный инструмент для сверки данных с ERP-системой.

До окончания сверки и выравнивания данных справочники одновременно ведутся вручную в MDM и ERP. Старт интеграции запланирован сразу после подтверждения полной сходимости данных.

Наконец, произошло усиление менеджерского состава со стороны подрядчика для повышения управляемости проектом.

- В какие сроки и какими силами реализован проект?

Проект реализован силами подрядчика Axenix с активным и деятельным вовлечением бизнес-заказчика и локального ИТ. На внедрение MVP потребовалось шесть месяцев, на настройку интеграции – 10 месяцев, сейчас мы находимся на финальном шаге по запуску интеграции MDM с ERP.

- Что представляет собой созданное решение?

Это полноценная MDM-система, в которой ведутся критичные для бизнеса справочники материалов, клиентов, поставщиков и контрактов, с реализованными процессами управления данными. В ней уже настроены правила для проверки соблюдения бизнес-логики ведения атрибутов. У системы более 700 конечных пользователей и на данный момент она на 80% готова к интеграции с ERP.

- Что было сделано в рамках проекта?

В рамках MVP был реализован довольно объемный функционал. Во-первых, созданы справочники для хранения данных из ERP-системы: материалы, клиенты, поставщики, закупочные и сбытовые контракты, производственные рецептуры, ассортиментные матрицы, а также связанные с ними более 200 вспомогательных справочников. Работа серьезная — данные о материалах содержат 400 тыс. записей и 600 атрибутов, о клиентах – 300 тыс. записей и 300 атрибутов, о поставщиках – 70 тыс. записей и 200 атрибутов, о контрактах с клиентами и поставщиками – 4 млн и 600 тыс. записей соответственно.

Во-вторых, выстроены 90 бизнес-процессов, содержащих в себе от 1 до 10 шагов от момента инициирования заявки до финального обновления данных в справочнике, а также отправка уведомлений на почтовый ящик пользователей, задействованных в процессах. Создано 1,8 тыс. бизнес-правил, позволяющих автоматически заполнять значения атрибутов и выполнять проверку соблюдения бизнес-логики ведения данных. Настроена ролевая модель – более 60 ролей в системе, позволяющая управлять доступами и полномочиями пользователей. Функционал решения позволяет гибко скрывать и делать доступными для просмотра и заполнения поля справочника в зависимости от выбранного бизнес-процесса и роли пользователя.

Кроме того, разработан функционал массового обновления данных в системе через интерфейс (загрузка с помощью Excel-шаблона). Настроена прямая и обратная интеграция в режиме реального времени по перечисленным справочникам с корпоративной ERP-системой.

По итогам проекта разработано более 100 дополнительных функций, которые были добавлены в «коробочную» версию системы.

- А какие работы еще предстоят?

Предстоит реализовать различные справочники для хранения данных из Excel-файлов, а также из системы поддержки работы мобильных сотрудников (sales force automation, SFA) и веб-приложений: матрицы торговых точек, актуальная цена товаров на полке, мастер-данные торговых точек, варианты дизайна SKU, новинки, сроки действия дизайнов, данные для расчетов RTM. Конечно, потребуется настроить бизнес-процессы управления перечисленными справочниками и их интеграцию с хранилищем данных и другими системами.

- В каких направлениях будет развиваться проект? И какие возможности он открыл для компании?

Внедрение MDM-системы открыло нам возможность организации целостного подхода к управлению критичными для бизнеса справочниками и данными в едином инструменте.

В планах на май – настройка интеграции с корпоративной ERP-системой по справочникам материалов, клиентов и поставщиков, а также интеграция с хранилищем данных по ряду ручных справочников. В планах на июнь – настройка интеграции с корпоративной ERP-системой по клиентским и сбытовым контрактам. В планах до конца года – перенос для ведения в MDM-системе порядка 100 ручных справочников и развитие интеграции с хранилищем данных и системой SFA.

В «Ростелекоме» разработаны модели ИИ, помогающие определять сегменты клиентов, с которыми необходимо работать. Выстроенные модели затрагивают как потенциальных, так и действующих клиентов. Важной их частью является аргументация – создается «портрет» клиента и выявляются причины его склонности клиента к тому или иному продукту, что позволяет верно выстроить диалог с клиентом и привести ему убедительные аргументы. О реализации проекта рассказывает Андрей Зима, директор департамента развития решений искусственного интеллекта «Ростелеком» и номинант на премию Data Award.

- В чем заключалась бизнес-боль, какие задачи требовалось решить?

До внедрения ИИ в процесс работы с потенциальной и действующей клиентской базой, план по продажам, в основном, выполнялся за счет «клиентов-самоходов», то есть тех, кто обратился сам с потребностью подключить дополнительные телеком-услуги. Процесс кросс-продаж носил ситуативный характер и не имел системного подхода.

Возникла потребность в развитии данного процесса и формирования исходящих активностей, направленных на развитие клиентской базы. Не всегда использование одних лишь бизнес-правил давало эффект, который мог бы соответствовать тенденциям на рынке. По потенциальным клиентам проблема наблюдалась особо остро: процесс выбора наиболее конверсионного сегмента клиентов осложнялся отсутствием причин и формализованных правил этого выбора. Требовалось найти решение, позволяющее формировать комплексные предложения для клиентов, которые включали бы в себя сразу несколько услуг.

Задачей проекта стала разработка моделей ИИ, которые помогали бы бизнесу определять сегмент клиентов, с которым необходимо работать.

- Почему это важно для Ростелекома?

Внедрение ИИ-инструментов для бизнес-процессов «Ростелекома» – это необходимость, а не следование модным тенденциям. Мы предоставляем нашим клиентам более 500 видов услуг, количество наших абонентов превышает 48 млн человек, у нас более 4,1 млн B2B-клиентов, а всего в стране 7,3 млн юридических лиц, включая индивидуальных предпринимателей. Мы не можем предлагать нашим клиентам весь перечень услуг методом «ковровой бомбардировки». Нам нужны методы и алгоритмы, чтобы точно определять потребности в сервисах и услугах нашей компании, автоматизировать процессы, снижать нагрузку на сотрудников и повышать удовлетворенность наших клиентов.

- Какой подход был выбран?

Проект было решено реализовать силами внутренней команды «Ростелекома», так как основная сложность задачи была не в том, чтобы разработать саму ML-модель, а в том, чтобы полноценно внедрить ее в бизнес-процессы. А для этого нужно правильно сформулировать постановку задачи, что сделать невозможно без хорошего понимания данных компании и процессов – на формирование такой экспертизы у внешней команды ушло бы много месяцев.

Также между бизнес-подразделением и офисом Data Science нужно было выстроить партнерские взаимоотношения, а не применять модель «заказчик-исполнитель». Важно было достигать бизнес-результаты, а не просто исполнять запросы в рамках технического задания.

- Что представляет собой созданное решение?

Для обучения ML-моделей мы использовали собственные данные «Ростелекома», а также внешние данные. Результаты работы ML-моделей загружаются в бизнес-системы – например, в систему управления кампаниями (Campaign Management). Эти результаты использовались в бизнес-процессах в каналах продаж и коммуникаций.

По большому счету, результат работы ML-модели – это заполненное текстовое поле внутри карточки клиента, которое полезно продавцу во время коммуникаций: оно содержит информацию о том, какие услуги могут быть интересны клиенту. Эти услуги расположены в порядке убывания их полезности для клиента, и для каждой услуги приведена информация – почему клиенту может быть интересен предлагаемый продукт. Внутри своей привычной системы продавцы получают списки клиентов, ранжированные по общему потенциалу коммуникации. Таким образом, сокращается количество «холостых» звонков, которые не только снижают мотивацию продавцов, но и бесполезны для наших клиентов.

- Какой математический аппарат использован?

Вся математика сосредоточена в выборе алгоритма машинного обучения и правильного его применения. Мы остановились на использовании мощной и универсальной техники – градиентном бустинге. Контроль за процессом «выучивания» паттернов в поведении клиентской базы отвечает математическая функция ошибок, которая позволяет «наказывать» модель в случае неверных прогнозов и «поощрять» в случае правильных решений. Благодаря градиентному бустингу мы строим сложную композицию относительно слабых моделей. Каждый предыдущий шаг находит более сильные зависимости и отделяет их, тем самым позволяя на следующих шагах находить менее выраженные зависимости. За счет большого количества таких шагов модель хорошо предсказывает поведение клиента. Как аналогию можно привести прогнозирование временных рядов, где в начале выделяем тренд, а после этого явно видна сезонность. После выделения сезонности видны зависимости последующего значения от предыдущего. На этой идее работают, например, ARIMA-модели (интегрированная модель авторегрессии – скользящего среднего).

- Какие ИТ-платформы применялись?

Наша ML-модель разработана на языке программирования Python с использованием библиотеки LightGBM. Сбор признаков для обучения и прогнозирования производится с применением технологий больших данных – экосистемы Hadoop c системой управления базами данных Hive и хранилищем Greenplum. Координация всех процессов преобразования данных и расчета модели опирается на оркестратор Airflow. Ведение проектной деятельности по разработке программного кода, а также вывод новых релизов в промышленную эксплуатацию осуществляется посредством GitLab. Контейнеризатор приложений Docker позволяет удобно изолировать окружения моделей друг от друга, а также способствует ведению исследовательской деятельности разработчиков на серверах JupyterHub, не мешая друг другу.

Коллеги из бизнес-подразделений могут быть уверены – качественный скоринг будет доступен в нужное время и в нужном месте!

- В чем «фишки» созданного решения?

Наверное, основное отличие нашего решения – в масштабе его применения.

Мы комплексно анализируем поведение клиентов по всей стране с учетом региональных особенностей. Мы определяем общий потенциал клиента, чтобы понять, кому звонить, а кому нет, и тем самым повышаем эффективность тысяч часов рабочего времени наших продавцов. Также мы экономим время наших клиентов – мы предлагаем им не десятки разных продуктов, а только те, которые с высокой вероятностью заинтересуют их. Кроме того, определенные с помощью ИИ причины склонности клиента к продукту позволяют правильно выстроить диалог с клиентом, привести ему правильные аргументы и помочь осознать свои потребности.

Например, благодаря моделям ИИ мы видим, что наш клиент – это пункт выдачи заказов. Если мы посмотрим на сформированные с помощью ИИ предложения, там первым приоритетом стоит видеонаблюдение. А в качестве аргументов этой услуги будет указано, что видеонаблюдение для пункта выдачи заказов – это необходимый продукт для организации безопасности в помещении, а также для контроля сотрудников и подсчета посетителей. Также в процессе диалога менеджер может упомянуть, что пункты выдачи заказов часто подключают подобную услугу – это правда, и это убеждает клиентов.

- Каких результатов удалось достичь, как они соотносятся с ожиданиями?

В результате проекта была выстроена работа по созданию и развитию моделей Data Science, которые затрагивали как потенциальных, так и действующих клиентов. Были сформированы портреты каждого клиента, с указанием всех исторических изменений. Был выбран определенный период, на основании которого мы формируем «эталонного» клиента для продаж. Каждый из клиентов получил определенный скоринговый балл, на основании которого образовались группы клиентов – кластера по вероятности их покупки (высокосклонные, низкосклонные и т.п.).

Для каждого клиента были определены наиболее подходящие для него телеком-услуги. Помимо этого, мы стали понимать их приоритетность и вес. Это позволило создать эффективный процесс определения высоко склонных к покупке клиентов среди действующей и потенциальной базы, и формирования персональных предложений для каждого клиента.

- Как это оценивается в финансовом выражении?

В 2022 году мы смогли увеличить выручку по проекту в два раза по сравнению с 2021 годом, а перевыполнение плана составило 75%. Дальнейший рост выручки стал более плавным, так как мы уже приближаемся к границе возможностей ИИ, но все равно составляет десятки процентов.

Если оценивать результаты проекта в целом от старта, то произошло увеличение конверсии по действующим клиентам в шесть раз, по потенциальным клиентам – в четыре раза. Средний чек на клиента вырос на 15%, а срок жизни клиента увеличился на шесть месяцев.

- В каком направлении будет развиваться проект?

Сейчас мы активно смотрим в сторону анализа диалогов и внедрения алгоритмов аналитики речи. Мы планируем подключать искусственный интеллект в процессе диалога с клиентами для выявления потребностей и перерасчета рекомендательной модели в процессе диалога. Также мы планируем использовать генеративные сети для составления писем и диалогов операторов, и тестируем возможности применения роботов и голосовых ботов.

Мы уже протестировали некоторые гипотезы. Наши пилотные проекты показывают, что голосовые боты способны обеспечить более высокую конверсию за счет более четкого следования сценарию и отсутствия человеческого фактора. Также по процессам обслуживания видим, что диалог с ботом клиенты оценивают существенно выше, чем с человеком.

Трансформация инфраструктуры данных стала для сети «Бургер Кинг» стратегическим вектором развития, открывающим дорогу к принятию решений на основе данных. Переход на Arenadata DB в облаке VK Cloud позволил оптимизировать работу бизнес-систем и сделал возможными решение многих аналитических задач. О реализации проекта и его первых результатах рассказывает Александр Кулиев, директор офиса по данным «Бургер Кинг» и номинант на премию Data Award.

- Что привело «Бургер Кинг» к реализации проекта перестройки инфраструктуры данных?

В 2022 году инфраструктура для работы с данными в «Бургер Кинг» состояла из большого количества разрозненных источников данных и BI-системы, которая, помимо задач визуализации и формирования отчетов, иногда выполняла функции обработки и хранения данных. При этом в компании не было общей методологии сбора, обработки и хранения данных. Данные хранились в разных местах, а их выгрузка для формирования отчетности зачастую занимала много времени и могла негативно сказываться на производительности бизнес-систем.

Перед дата-командой «Бургер Кинг» встала задача – спроектировать и запустить централизованное корпоративное хранилище данных (DWH), которое должно решить существующие на тот момент проблемы и обеспечить потенциал для дальнейшего развития собственной платформы данных и data-driven подхода в целом.

- Какой подход был выбран?

В качестве основного решения для запуска DWH была выбрана Arenadata DB – СУБД на основе Greenplum. Однако ситуацию осложняло то, что у нас не хватало необходимых компетенций для реализации данных задач. При этом хранилище предстояло строить «с нуля», да еще и переводить в новое решение более 800 существующих приложений и множество источников данных. Это повлекло за собой некоторые трудности на старте проекта.

Помимо дефицита компетенций и ресурсов для самостоятельного развертывания, настройки и администрирования платформы, не было возможности расширить текущую локальную инфраструктуру. При этом существующих ресурсов не хватало, чтобы удовлетворить растущие потребности.

Именно поэтому мы изначально рассматривали только облачное решение. В качестве партнера по инфраструктуре выбрали VK Cloud, так как на платформе были все необходимые инструменты для построения и развития решения, в том числе ADB как Managed-решение.

- Что еще было сделано в рамках проекта?

Запуск ADB в облаке значительно сократил время и трудозатраты на запуск решения, и команда смогла сосредоточиться на методологической части и бизнес-логике работы хранилища. Команда провела рефакторинг текущих процессов, чтобы обеспечить плавный переход компании на новые рельсы. Была проведена структуризация данных, сформулирована единая методология работы с данными, объединены справочники и собраны требования со всех контрагентов в компании.

В первую очередь новый подход был применен к самым критичным для отчетности показателям, среди которых выручка, дополнительные доходы от программ лояльности, себестоимость продукции и так далее. Следующим этапом являлось развитие текущей концепции – например, предоставление полной клиентской информации внутренним предиктивным системам для прогнозирования выручки, повышения маржинальности и так далее.

- Какие еще решения использовались при построении платформы?

Помимо хранилища данных Arenadata DB в облаке VK Cloud, в качестве витрины данных используется ClickHouse.

- Какие трудности возникали в ходе проекта? Как их решали?

Само по себе отсутствие единого подхода влечет за собой ряд проблем, не только технических, но и процессуальных. В частности, высок риск создания «бутылочных горлышек». Когда данные и аналитические инструменты не интегрированы, процесс принятия решений становится затруднительным и медленным. Решения зависят от ограниченного числа людей, что увеличивает риск создания узких мест в процессах. Чтобы решить эту проблему, на первом этапе проекта мы проработали единую методологию сбора, обработки и хранения данных, и только после этого начали перенос источников данных на новое технологическое решение.

Еще один важный момент – это соответствие нормативным требованиям. Неоднородные данные и процессы затрудняют контроль за соответствием законодательству и стандартам, особенно в отношении защиты данных и конфиденциальности. В нашем случае этот вопрос удалось стандартизировать и упростить путем проработки единой методологии и переносом данных в облако VK Cloud, которое соответствует 152-ФЗ и размещено в ЦОДах Tier III.

Любой проект трансформации предполагает изменение культуры работы и сталкивается с проблемами недостаточного вовлечения и мотивации сотрудников. Отсутствие культуры, ориентированной на данные, может снизить мотивацию сотрудников к поиску новых идей и улучшению процессов на основе аналитики. Поэтому стоит понимать, что внедрение новых подходов по работе с данными – это важный и непрерывный процесс, по пути которого мы следуем.

Работа по этим направлениям и переход к единому data-driven подходу позволило нам улучшить процессы принятия решений, повысить эффективность и открыть новые возможности для роста и инноваций.

- Каких результатов уже достигли?

После запуска хранилища данных удалось значительно ускорить в ресторанах WFM-систему, которая прогнозирует оптимальное количество сотрудников ресторана на смене. Время просчета оптимального количества сотрудников сократилось радикально – с двух недель до трех часов. Помимо этого, система помогает грамотно сформировать запасы на складах ресторанов.

Также запуск DWH позволил оптимизировать рекомендательные системы для гостей ресторанов, которые рекомендуют клиентам наиболее релевантные позиции в соответствии с их профилем потребления,

Один из самых заметных финансовых эффектов от внедрения достигнут за счет того, что компании удалось убрать нагрузку по обработке данных с систем-источников. Это обеспечило большую производительность, отказоустойчивость и непрерывность бизнес-процессов. Раньше, чтобы получить отчетность по некоторым категориям, приходилось ограничивать доступ к BI на время формирования отчета. Это было весьма критично, с учетом того, что на подобные операции могло уходить до нескольких дней. Теперь система доступна для внутренних пользователей всегда, при этом удалось значительно сократить время получения отчетности.

- Повлияло ли повышение доступности аналитической системы на восприятие аналитики (и работы с данными в целом) пользователями?

С начала 2024 года, сразу после запуска, наш проект уже заметно отразился на бизнес-показателях компании. Мы добились роста эффективности CRM на 3% благодаря персонализации и повышения эффективности бизнес-процессов, а в ресторанной части – на 5%. Это вполне конкретный, понятный бизнесу эффект. Поэтому краткий ответ – да, повлияло.

Однако как я говорил ранее, изменение культуры – это не разовая акция, а постоянный процесс, к которому мы последовательно движемся.

- В чем роль проекта для бизнеса компании?

Роль проекта трансформации инфраструктуры корпоративных данных для компании «Бургер Кинг» – стратегическая. Это значимый этап на пути развития компании, который открывает дорогу к принятию решений на основе данных, а также имеет большое влияние на эффективность бизнеса.

Проект также позволил заложить фундамент к новым концепциям и инструментам, таким как озеро данных и использование централизованных технологий применения машинного обучения.

- Каковы пути дальнейшего развития проекта?

Реализация облачного DWH и переход на «новые рельсы» позволили заложить фундамент для внедрения новых инструментов. Мы уже сейчас видим огромный потенциал для повышения прибыльности за счет data-driven подхода и планируем развиваться в этом направлении. Следующие шаги – построение озера данных объемом более 500 Тбайт для хранения и обработки сырых и неструктурированных данных, организации песочниц для проведения экспериментов и тестирования бизнес-гипотез, а также для развития и автоматизации проектов Data Science. Параллельно ведутся работы по развертыванию единой ML-платформы для разработки и инференса моделей машинного обучения, а также создания промышленных процессов применения искусственного интеллекта.

В России наблюдается новый виток развития индустрии электронной коммерции и рынка интернет-рекламы. Важную роль в этом процессе играет ретейл-медиа – реклама на сайтах и в мобильных приложениях онлайн-площадок. О своих взглядах на рынок и предлагаемых инструментах рассказывает Артур Асланов, руководитель adtech-платформы Retail Rocket Group и номинант на премию Data Award.

- Каковы проблемы рынка интернет-рекламы и предпосылки к разработке платформы?

За последние годы сильно изменилось покупательское поведение — покупать стали больше, покупать стали чаще. Как офлайн, так и онлайн. Но из-за коронавируса электронная коммерция стала обгонять по темпам роста традиционный рынок: расширилась зона онлайн-доставки, доступ к Интернету стал привычным делом для всех возрастов. Теперь все больше компаний, даже из среднего и малого бизнеса, стали вкладывать деньги в продвижение в интернете.

Однако из-за огромного количества утечек персональных данных Google и другие крупные игроки усилили контроль за конфиденциальностью данных. Поэтому традиционная онлайн-реклама, которая использует сторонние куки (third-party cookies), стала менее эффективной.

Чтобы получать хорошие результаты, бизнесу нужны инструменты, которые работают на базе данных из первоисточника (first-party datа). Именно поэтому на Западе активно формируется ретейл медиа — рынок маркетплейсов, интернет-магазинов, сайтов объявлений и других онлайн площадок, которые собирают много данных о поведении своих пользователей. Благодаря этой информации они монетизируют свой трафик — продают рекламу внешним и внутренним продавцам. Amazon, Walmart, eBay, Instacart, Macy’s, Farfetch, Alibaba, Carrefour, Zalando, Mercado Libre — яркие примеры ретейл медиа площадок.

- А что с нашим рынком?

В России рынок ретейл медиа также привлекает онлайн-площадки, которые владеют first-party data. Однако до сих пор только крупные универсальные маркетплейсы смогли создать по-настоящему эффективные инструменты. Нишевые и мультибрендовые магазины могут предоставить только размещение на ограниченном количестве статичных баннеров и с помощью подсказок в поисковой выдаче. Рекламодатели в таком случае управляют всей рекламой с помощью технической службы поддержки и не имеют доступа к аналитике.

Нишевые магазины не могут превратиться в полноценные ретейл медиа, потому что для разработки разнообразного рекламного инвентаря потребуется дорогостоящий штат ИТ-специалистов. Бизнес не готов тратить несколько лет на разработку решения, которое не сможет мгновенно окупиться.

- В чем заключаются главные проблемы существующих решений?

Во-первых, размещение рекламы осуществляется вручную. Площадка предоставляет медиакит, бренд выбирает рекламу, специалисты площадки согласовывают все организационные моменты и заводят рекламную кампанию. Это долго и неудобно для рекламодателя.

Во-вторых, инвентарь площадок не позволяет размещать таргетированную рекламу. Единственный доступный рекламодателям вариант — статичные размещения на главной странице и в категориях. Такую рекламу видят все подряд, поэтому бренды часто платят за нецелевой трафик.

В-третьих, невозможно масштабировать монетизацию данных. Маркетплейс может продавать одно рекламное место только одному рекламодателю, из-за чего всегда будет ограничен фиксированным количеством рекламодателей.

В-четвертых, отсутствие прозрачной аналитики. Бренды платят большие деньги за размещение, но могут оценить результативность рекламной кампании только по числу показов и другим косвенным признакам. Доступа к полноценной аналитике у рекламодателей нет.

- Как вы ответили на эти вызовы?

Retail Rocket Group вывели на рынок adtech-платформу Smart Placement Ads, которая закрывает большинство потребностей всех участников процесса. Она автоматизирует управление размещениями рекламы без инвестиций в разработку со стороны онлайн-площадки. Кроме того, платформа интегрирует в онлайн-площадку рекламный инвентарь — таргетированную рекламу в формате товарных рекомендаций, баннеров, видео, сторис и т.д. С ее помощью рекламодатели получают возможность самостоятельно размещать таргетированные рекламные кампании на онлайн-площадках так же легко, как с помощью «Яндекс Директа» или Ozon Performance.

- Что представляет собой решение, какой функционал включает?

Первая ключевая функция Smart Placement Ads — алгоритмы таргетинга. Платформа работает на основе алгоритмов машинного обучения, которые анализируют поведение покупателей на сайте и в мобильном приложении: просмотры страниц, клики, добавление в корзину и «Избранное», совершенные покупки. На основе этих данных можно предсказать дальнейшее поведение пользователя и показать рекламу только тем, кто готов к покупке.

Для реализации этого функционала не используются персональные данные. Автоматизация рекламных размещений происходит с помощью аукциона второй цены.

Второй важный элемент — удобное пользовательское управление. Через кабинет рекламодателя бренды и рекламные агентства могут через кабинет самообслуживания размещать рекламу на ресурсах площадок, которые внедрили в рекламный инвентарь.

Онлайн-площадки через свой рекламный кабинет могут не только автоматизировать размещение рекламы, но и управлять ею со своей стороны. Назначать стоимость размещения, добавлять или скрывать места размещения, менять форматы рекламы, управлять количеством рекламных мест доступных на конкретных страницах. Также разработан «региональный кабинет» – отдельное решение для рекламодателей за пределами России.

Еще одна важная функция — отчеты о результатах рекламных кампаний в режиме реального времени. В интерфейс пользовательского кабинета встроен аналитический модуль, который позволяет брендам видеть статистику по каждому рекламному размещению и выбирать периоды для анализа. Можно оценить рекламное размещение по количеству показов, кликов, показателям «кликабельности» (click-through rate, CTR) и «цены за клик» (cost per click, CPC), расходу на продвижение, количеству заказов, выручке в штуках и рублях и доле рекламных расходов.

Последняя ключевая функция — автоматизация работы с операторами рекламных данных и автоматический мониторинг остатков на складе. Платформа в реальном времени получает данные, необходимые для отображения при показах рекламы, а также автоматически отчитывается о всех показах в конце периода размещения. Алгоритмы платформы непрерывно мониторят остатки на складе и показывают рекламу только по тем товарам, которые есть в наличии. Это позволяет не тратить бюджет на продвижение закончившегося товара.

- На каких платформах реализовано решение?

В качестве технологического стека использованы. Net C#, Scala и Python. Сервера разбиты на кластеры: кластеры систем управления базами данных MongoDB, PostgreSQL, Redis; кластеры выполнения и развертывания приложений Kubernetes, кластер шины данных Kafka. Инфраструктура состоит из 150 выделенных серверов в трех странах мира.

- Каковы успехи на российском рынке?

За период с 2022 года Smart Placement Ads был интегрирован в два десятка российских нишевых онлайн-площадок, среди которых «Детский мир», «Зоозавр» и другие. Kassir.ru и еще несколько онлайн-площадок находятся в процессе интеграции прямо сейчас.

«Детский мир» с помощью Smart Placement Ads за год провел 110 рекламных кампаний, которые принесли поставщикам значительную выручку. Ожидается дальнейший рост показателей ценности клиентов и общей выручки маркетплейса.

Также Smart Placement Ads помог сформировать SMB-сегмент среди рекламодателей, позволив малому и среднему бизнесу конкурировать с большими брендами. Например, российский производитель деревянных развивающих игрушек Alatoys увеличил свои продажи в 7 раз, а среднемесячный показатель рентабельности рекламных расходов (ROAS) достиг 2300%.

- В чем роль проекта для российского рынка?

Наблюдается новый виток в развитии индустрии электронной коммерции и рынка интернет-рекламы. Ретейл медиа становится для компаний дополнительным источником прибыли: теперь не только крупные маркетплейсы, а абсолютно любая торговая площадка может монетизировать трафик, используя большие данные и алгоритмы машинного обучения.

Можно говорить о революции на рынке интернет-рекламы. С увеличением числа площадок, которые превратились в ретейл медиа, объем российского рынка интернет-рекламы будет быстро расти. Это ознаменует третью волну развития рынка интернет-рекламы: первую в начале XXI века создали поисковики благодаря контекстной рекламе, а вторую — социальные сети с помощью таргетинга.

Внедрение инструмента расширит возможности малого и среднего бизнеса по продвижению. Теперь небольшие компании могут позволить себе рекламу на маркетплейсах и эффективно конкурировать с крупными брендами за внимание покупателей.

«Ростелеком» запустил образовательную программу «Аналитика данных и методы искусственного интеллекта» на отечественной платформе управления данными для крупнейших вузов страны. Программа призвана подготовить больше высококвалифицированных специалистов в области анализа больших данных и должна способствовать укреплению импортонезависимости ИТ-отрасли в целом. О запуске и ходе реализации этой инициативы рассказывают Андрей Телюков, директор управления развитием платформы больших данных, и Владимир Татаринцев, директор по развитию стратегических проектов «Ростелеком», – номинанты на премию Data Award.

- Насколько активно вы вообще сотрудничаете с вузами?

Владимир Татаринцев: Инициатива по созданию образовательных программ в различных направлениях была запущена уже более двух лет назад департаментом по развитию стратегических проектов «РТК ИТ» в рамках подготовки высококвалифицированных ИТ-кадров. Большое количество студентов завершило свое обучение по программам, созданным внутри компании «Ростелеком». Если говорить о программе «Аналитика данных и методы искусственного интеллекта», то в этом году стартует уже второй поток обучения.

Количество вузов, участвующих в программе, растет от потока к потоку. И сейчас мы уже сотрудничаем с более десяти ведущими вузами странны. Мы оказываем техническую и консультационную поддержку сотрудникам и преподавателям учебных заведений, помогаем внедрять новые инструменты в образовательные процессы. Планируется, что число вузов, реализующих нашу программу, будет расти, а, следовательно, – и количество квалифицированных кадров на рынке труда будет становиться больше.

- Чем проект, посвященный подготовке дата-специалистов, выделяется из остальных?

Андрей Телюков: В условиях нарастающего санкционного давления и отказа иностранных ИТ-компаний от сотрудничества с Россией создаются риски в подготовке высококвалифицированных ИТ-специалистов в вузах. Не секрет, что в образовательных программах значительную долю занимает именно иностранное программное обеспечение. И особенно это важно в направлении аналитики данных и искусственного интеллекта, которые имеют стратегический приоритет для государства.

Согласно данным HeadHunter, темп прироста вакансий ИТ-профиля ежегодно возрастает. Так, за 2022 год компании разместили вдвое больше предложений о работе в ИТ, чем за 2020 год. А спрос на специалистов, владеющих навыками работы с российским программным обеспечением, за последние два года вырос даже втрое – на 200%.

- Чего в этом проекте больше: бизнесового, имиджевого или социального?

В.Т.: Однозначно, для нашей компании в первую очередь это бизнес-проект, хотя мы не зарабатываем на нем напрямую. Но для нас ощутимы и важны косвенные выгоды.

Во-первых, мы получаем возможность нанимать лучших ИТ-специалистов до того, как они вышли на рынок. При этом они уже знакомы с инструментами, которые используются в ландшафте нашей компании. Тем самым, мы получаем экономию при найме новых сотрудников и конкурируем за лучших ребят с высоким потенциалом.

Во-вторых, на рынке становится больше специалистов, которые в рамках университетских программ прошли обучение по работе с нашей платформой. Поэтому нашим партнерам и заказчикам будет проще реализовывать проекты на наших технологиях, что повышает конкурентоспособность продуктов нашей Платформы управления данными.

— Что представляет собой образовательная программа?

В.Т.: Образовательная программа включает изучение методов и подходов к анализу данных и их применению при решении практических бизнес-задач. Учебно-методический план содержит такие разделы, как введение в бизнес-аналитику, современные озера и хранилища данных, аналитика больших данных и методы искусственного интеллекта. Конечно же, он содержит и практические занятия на современных инструментах для работы с данными, построенных на базе open source технологий.

Важно, что в рамках проекта была разработана не только методическая и образовательная программа, но и переданы лицензии на нашу платформу управления данными на некоммерческой основе – лицензии на ПО вузам предоставлены в бессрочное пользование за 1 рубль.

Программа рассчитана на 256 часов и состоит из четырех модулей с промежуточной и итоговой аттестаций с обязательным выполнением практических заданий, обеспечивающих эффективное освоение получаемых навыков по работе с данными.

- Кто занимался разработкой программы? За счет чего обеспечивается ее актуальность?

А.Т.: Программу разработали коллеги из департамента по развитию стратегических проектов «РТК ИТ» при участии специалистов поддержки и разработчиков платформы в рамках инициативы «Ростелекома» по подготовке высококвалифицированных ИТ-кадров. Актуальность обеспечивается за счет того, что обучение происходит на базе технологий, которые уже применяются во многих крупных компаниях, а также за счет практических задач, решаемых в рамках программы.

- Какие платформы используются для обучения?

А.Т.: Для обеспечения особенности практико-ориентированной направленности и использования при обучении отечественного программного обеспечения, был развернут образовательный стенд с продуктами RT.Warehouse, RT.DataLake, RT.Streaming, RT.DataLoader, RT.DataVision. Для обучения используются открытые данные.

- Как договариваетесь с вузами? Всегда ли находите взаимопонимание?

В.Т.: В большинстве случаев мы наблюдаем инициативу вузов, коллеги понимают важность современного качественного обучения. Поэтому выстраиваются партнерские качественные взаимоотношения.

- Какие возникают проблемы?

В.Т.: Очевидно, что без проблем не обходится. Иногда сталкиваемся с проблемами на инфраструктуре или нехваткой знаний у администраторов на стороне вузов. Для решения таких проблем существует дополнительное обучение, но уже для преподавателей и администраторов вузов, которое проводится перед стартом программы, а во время инсталляции инженеры нашей технической поддержки помогают решать возникающие сложности.

- Какие результаты достигнуты и ожидаются?

А.Т.: Программа обучения «Аналитика данных и методы искусственного интеллекта» привлекла более 2 тыс. студентов уже в первом 2023-2024 учебном году. На данный момент семь вузов включили ее в свой образовательный план, еще несколько планируют это сделать в следующем учебном году, с 10 учебными заведениями подписаны лицензионные договоры о предоставлении права использования программного обеспечения для целей обучения.

Обучение на программах осуществляется в вузах, ставших участниками пилотного проекта, по всем формам подготовки и является полностью бесплатным для студентов-участников проекта. На текущий момент обучение по программе ведется в следующих вузах: МГТУ «СТАНКИН», ТулГУ, СПБГУТ, ПГУТИ, СибГУТИ, РГГУ, СКФУ, Первый МГМУ им. И.М. Сеченова, МИРЭА, УРФУ, ТПУ.

- На какие показатели рассчитываете? Что будете считать положительным результатом?

В.Т.: Рассчитываем, что наша программа обучения будет представлена в десятке ведущих вузов страны. Уже сейчас обучение прошли более 2 тыс. студентов, рассчитываем, что этот показатель будет приближаться к 10 тыс. студентов в год. Положительный успех для нас то, что уже нанимаем в штат лучших выпускников программы.

- В чем роль этого проекта для рынка, бизнеса и общества?

А.Т.: Реализация образовательной программы в вузах «Аналитика данных и методы искусственного интеллекта» на базе отечественных технологий является стратегической задачей развития ИТ-отрасли в России. Программа позволяет подготовить больше высококвалифицированных специалистов в области анализа больших данных и способствует укреплению импортонезависимости ИТ-отрасли в целом. Увеличение количества специалистов, владеющих платформами open source в области аналитики данных поможет удовлетворить возрастающий спрос на ИТ-специалистов: от банков и ретейла до промышленности и энергетики.

- В каком направлении можно ждать развития проекта?

В.Т.: Я считаю, что нам нужно развивать программу в сторону практики. Необходимо добавлять больше прикладных задач и кейсов, чтобы ребята после выпуска были готовы решать реальные производственные задачи. А для того, чтобы студенты смогли поработать с большим спектром задач, – от задач хранения данных до задач визуализации и искусственного интеллекта – нужно включить в программу весь спектр наших продуктов. Это стоит ожидать в следующих версиях программы. Соответственно, программу будем актуализировать уже к новому учебному году.

Также стоит отметить, что в Ростелекоме появилась новая образовательная структура – ИТ школа РТК. Ее стратегия развития предусматривает предоставление возможности обучаться на программах дополнительного образования как для работников групп и компаний Ростелеком, так и партнерских организаций и частных лиц.

Компания «АстраЗенека» запустила платформу, позволяющую увеличить эффективность коммуникаций со специалистами здравоохранения c целью повышения их профессионального уровня. Система позволяет спрогнозировать оптимальные параметры коммуникаций на основании предыдущего опыта, что дает возможность оптимально выстраивать работу нескольких сотен медицинских представителей компании. О реализации проекта рассказывает Александр Мамонтов, Chief Data & BI Lead компании «АстраЗенека» и номинант на премию Data Award.

- Какую бизнес-задачу требовалось решить? В чем ее особенность?

Перед нами стояла следующая задача – оценить текущую модель обучения сотрудников здравоохранения и на основе этой оценки определить оптимальные показатели (охват, кратность обучения) с точки зрения эффективности донесения информации и использования ресурсов компании.

- Почему это важно для компании «АстраЗенека»?

Мы стремимся к максимальному информированию сотрудников здравоохранения о новейших научных открытиях и возможностях в таких областях, как онкология, кардиология, нефрология, гастроэнтерология, пульмонология и др. При этом нам важно оптимально использовать ресурсы.

- Какие цели были поставлены перед проектом?

Целью проекта было оценить эффективность текущей модели обучения врачей общей практики и терапевтов, чтобы, во-первых, обнаружить возможные пробелы в ключевых показателях и, во-вторых, найти новые возможности расширения базы обучаемых специалистов.

- Какой подход был выбран, какие принципы пытались соблюсти?

Мы выполнили ретроспективный анализ эффективности модели обучения и определили тренды зависимости ресурсов и эффективности обучающих инструментов для выявления возможных пробелов. На основе получившихся гипотез были рассчитаны возможные изменения в модели и их ROI, что позволило подтвердить необходимость в изменениях по одному из продуктов и отсутствие необходимости в изменениях по остальному портфелю.

- Какие ИТ-платформы были выбраны для реализации проекта?

Используются облачные сервисы AWS для построения озера данных, датапайплайнов, машинного обучения, а Power BI – для визуализации и анализа результатов.

- Что в итоге представляет собой созданное решение?

Реализована Единая платформа данных, которая позволяет анализировать эффективность и тренды, генерировать и проверять гипотезы и визуализировать результаты кейсов. Платформа позволяет оперативно добавлять новые источники в пайпланы, корректировать модели и создавать новые.

- Кто является основными пользователями, как изменились их рабочие процессы?

Основными пользователями системы является команда Sales Force Efficiency, а также Field Force и Marketing. На основании данных и анализа ежеквартально пересматривается и корректируется организационная структура и цели для 350 сотрудников.

- Что в системе получилось удачнее всего?

Система позволяет видеть ситуацию не только в целом по России и субъектам, а также в разрезе сформированных групп регионов, обладающих общими социально-экономическими признаками. За счет еженедельного обновления система позволяет регулярно проверять эффективность и оперативно реагировать на ситуацию.

Более того, кроме решения исходной бизнес задачи, Единая платформа данных позволила организовать переиспользование данных для других инициатив и проектов, а также стала частью глобальной инициативы FAIR-data.

- Приведите примеры наиболее показательных инсайтов, которые удалось обнаружить.

Результатами работы системы стали наборы сценариев модели обучения: необходимое количество сотрудников на территориях, целевые метрики работы персонала – охват, кратность, каналы взаимодействия. Такой сценарный анализ подтвердил эффективность текущей модели обучения по зрелым препаратам компании, которая была внедрена согласно экспертным подходам за полгода до создания платформы. Но благодаря системе удалось найти дополнительные возможности для повышения эффективности работы по другому фокусному препарату, и сценарии работы сотрудников были скорректированы в соответствии с рекомендациями платформы.

- Каких результатов в целом удалось достичь?

Как было сказано выше, с помощью анализа данных для одной части портфеля препаратов мы подтвердили эффективность текущей модели обучения, и годовой прирост эффективности обучения медицинских специалистов этой части портфеля составил 30%. А в той части портфеля, где система обнаружила дополнительные возможности по расширению и корректировке модели, годовой прирост достиг 79%!

- Каковы перспективы развития проекта?

Мы планируем развивать проект, внедряя ретроспективный анализ в обычные процессы компании по расширенному списку продуктов, а также развивая предиктивный анализ для оценки влияния будущих внешних факторов, таких как финансирование, истечение патентной защиты и прочего, на модель обучения и ее результаты. Для компании «АстраЗенека» важно оперативно реагировать на изменение рынка и эффективно направлять ресурсы для обучения врачей и обеспечения доступности препаратов для пациентов.

В «Русагро» запустили систему для сельскохозяйственного бизнес-направления, которая дает рекомендации агрономам по планированию различных полевых работ. Обрабатывая большое количество производственных данных, она учитывает множество факторов и оптимизирует весь комплекс полевых операций, позволяя экономить ресурсы и получать максимальную прибыль от урожая. Важным компонентом системы, созданной при помощи специалистов «Инфосистемы Джет», являются алгоритмы на базе машинного обучения. О реализации системы рассказывают Владимир Горохов, директор по развитию «Русагро Тех» и Максим Андрианов, директор по разработке и внедрению ПО «Инфосистемы Джет» — номинанты на премию Data Award.

- Какая задача стояла перед «Русагро», какие проблемы требовалось решить?

Владимир Горохов: Чтобы понимать задачу, которая стояла перед нами, важно понимать предпосылки проекта. «Русагро» выращивает различные сельскохозяйственные культуры на 685 тыс. гектаров полей. 

Особенно сложно принимать решения в ситуации, когда нужно провести полевые работы сразу на большом количестве полей, но при этом количество доступной техники и механизаторов ограничено. А если нарушить технологию, то можно частично или полностью потерять урожай. Риски этих нарушений для разных полевых работ и культур известны, их можно учитывать в принятии решений. Например, если вовремя не внести калийные удобрения в почву при выращивании сахарной свеклы, можно потерять до 15% урожая. А если не произвести обработку поля средствами защиты растений от вредителей, то показатель потерь будет 70%. Учесть все эти факторы в масштабе большого агропромышленного холдинга — очень трудоемкая задача для человека, а цена любой ошибки может быть очень велика.

Кроме того, что количество сельскохозяйственной техники и специалистов, участвующих в уборке урожая ограничено, каждая культура имеет свою стоимость. Поэтому фактор ценности культуры должен также учитываться в ситуациях, когда приходится выбирать, какое поле убрать первым.

Одним из самых критичных для бизнеса и при этом труднопланируемых процессов является сбор урожая. Поэтому было принято решение разработать и внедрить интеллектуальную систему планирования уборки урожая. Для реализации проекта была выбрана компания «Инфосистемы Джет», совместно с которой «Русагро» уже сделала ряд инновационных проектов.

Когда сервис для планирования уборки урожая прошел тестирование, начал работать в промышленной эксплуатации и показал хорошие результаты, руководство компании приняло решение разработать и внедрить еще один алгоритм — уже для комплексного планирования и оптимизации всех остальных полевых работ.

- Почему это важно для компании?

В.Г.: В каждый сезон необходимо производить ряд работ — от вспашки и посева до сбора урожая и подготовки полей к зиме. Планирование полевых работ — сложный процесс, при котором надо учитывать свойства каждой культуры, погодные условия и другие факторы, управлять сельскохозяйственной техникой и занятостью специалистов.

Автоматизация этого процесса, помощь специалистам в принятии правильных решений, учет множества факторов, влияющих на процесс, позволяет получить больше урожая и более эффективно использовать технику.

- Какой подход был выбран для реализации?

Максим Андрианов: Важно отметить, что мы работаем с «Русагро» уже давно, по нескольким направлениям, и хорошо понимаем специфику агропрома, поэтому выбрали технологии и инструментарий, подходящие именно для решения конкретной задачи холдинга. Мы внедрили алгоритмы, разработанные с применением целочисленного и линейного программирования, которые интегрированы с информационными системами «Русагро», обрабатывают большое количество производственных данных и дают рекомендации по времени проведения полевых работ. Все рекомендации визуализируются в интуитивно-понятном интерфейсе, изменения в информации об выполненных работах вносятся в систему оперативно — можно с уверенностью сказать, что специалисты холдинга получили удобный инструмент для планирования и отслеживания выполнения полевых работ.

Первый разработанный нами алгоритм позволяет планировать уборку урожая зерновых, бобовых и сахарной свеклы. Благодаря его рекомендациям агрохолдингу удается избежать порчи культур из-за погодных условий или перезревания, а также организовать оптимальное использование сельскохозяйственной техники и времени агрономов.

Второе решение учитывает все нюансы технологических процессов, а также множество факторов, влияющих на выращивание сельскохозяйственных культур, и оптимизирует весь комплекс полевых операций, позволяя экономить ресурсы и увеличивать показатели урожайности.

Функционал решения включает автоматическое формирование планов полевых работ на каждом поле, приоритизацию операций с учетом технологии выращивания культур и севооборота (чередования видов растений на поле), построение оптимальных маршрутов движения техники и перегонов с одного участка на другой.

- Какие требования предъявлялись к создаваемому решению?

М.А.: К алгоритму планирования предъявлялось достаточно много разных экономических и технологических требований. Важнейшими требованиями были приоритетность проведения работ в зависимости от потенциальной выручки за определенную сельскохозяйственную культуру и выполнение всех работ максимально близко к оптимальным (с точки зрения агрономии) срокам. Также требовалось учитывать перегоны техники между полями для минимизации времени и затрат на топливо.

Кроме того, нужно было учитывать наличие на производственных участках вспомогательной техники, необходимость дополнительных затрат времени при изменении вида выполняемых операций, состояние техники и графики отпусков механизаторов.

- Какие данные используются разработанными системами?

М.А.: Решения обрабатывают большой объем данных, включая требования технологии выращивания растений, отчеты агрономов, материалы аэросъемки, индексы вегетации, помогающие определить степень зрелости культур, а также данные из метеорологической системы. Это помогает точнее рассчитать рекомендуемое расписание всего спектра полевых работ, а также техническую спелость урожая при планировании уборки – например, если прошел дождь, уборка поля откладывается. Также источником данных является ERP, откуда поступает информация о сельхозтехнике и производственных заказах на продукцию с полей. Планы актуализируются ежедневно, при этом учитываются данные о выполненных работах.

- Какие технологии применялись?

М.А.: Поскольку основой большинства подобных проектов является работа с данными, в качестве основного языка программирования мы используем Python и фреймворки на его основе. Для решения задач оптимизации была выбрана библиотека OR-Tools. Чтобы обеспечить надежность и управляемость процессов вычислений и интеграции нашего решения с внешними системами, мы использовали инструмент Apache Airflow.

- Что собой представляет созданное решение?

М.А.: В итоге мы создали решение для продвинутого производственного планирования сельскохозяйственных работ, альтернативное импортным продуктам класса APS (Advanced Planning & Scheduling), таким как Siemens Opcenter или DELMIA Ortems. Важным компонентом системы являются алгоритмы на базе машинного обучения. Решение учитывает множество факторов и оптимизирует весь комплекс полевых операций, позволяя экономить ресурсы и получать максимальную прибыль от урожая.

- Алгоритмы машинного обучения делают решение по производственному планированию сельскохозяйственных работ действительно эффективным. Почему это так?

М.А.: Алгоритмы машинного обучения учитывают разные факторы для каждого поля и позволяют адаптироваться к изменяющимся условиям, таким как изменения погодных условий и сортов высаживаемых культур. Благодаря анализу данных и обучению на них система способна выявлять и снижать риски потери урожая. Кроме того, модели машинного обучения в системе постоянно обновляются на основе новых данных. Это позволяет постоянно улучшать качество рекомендаций, а также адаптировать систему к изменяющимся условиям и требованиям.

- Приведите несколько примеров «интеллектуальной начинки» решения. Какой математический аппарат используется и какие задачи он решает?

М.А.: В составе решения были использованы сразу несколько различных «интеллектуальных элементов». Это машинное обучение для прогноза таких характеристик полей, как достижение определенной фазы развития растения или влажность зерна. Также мы использовали метод смешанного программирования (Mixed-Integer Programming, MIP) для описания задач оптимизации с помощью фреймворка OR-Tools, который позволил решить задачу построения маршрутов движения техники для выполнения работ.

- Что в проекте было самым сложным?

М.А.: Процесс выращивания сельскохозяйственных растений в промышленных масштабах очень сложен сам по себе, поэтому самым трудным этапом проекта была реализация исполнения технологии производства в системе с учетом всех правил и ограничений. Например, в какие временные интервалы должна выполняться полевая операция, сколько времени может пройти относительно предыдущих и последующих работ, насколько конкретная операция необходима и т. д. Для решения этой задачи наши математики описывали всю технологию производства в виде довольно масштабного графа полевых работ, где вершинами были операции, а ребра показывали, в каком порядке должны выполняться данные операции.

Кроме того, перед нами стояла задача планировать полевые работы сразу на текущий сезон и следующий, так как в то время, как одни сельскохозяйственные культуры убирают с полей, другие – озимые – уже нужно сеять, предварительно подготовив поле и внеся удобрения.

И конечно, крайне трудоемким был этап тестирования алгоритма с ежедневными разборами плана, построенного им, с руководителями производственных участков и подтверждения его корректности.

- Какие результаты достигнуты?

М.А.: В этом проекте у нас стояла задача минимизации человеческого фактора при унификации самого процесса планирования, чтобы он стал прозрачным, объяснимым и зависел только от входных данных. С этой задачей наше решение успешно справляется.

Если говорить об экономическом эффекте, то он достигается за счет снижения рисков, расхода ГСМ и объема ручного труда при планировании полевых работ. Выполнение агроопераций в заданный срок и приоритизация самых важных работ позволяет увеличить урожайность до 10% в год. Кроме того, достигается минимизация перегонов техники с последующим сокращением издержек на ГСМ и ремонт на 6,4%.

- Каково будущее проекта? Каковы перспективы его развития?

М.А.: Существует много направлений дальнейшего развития проекта. На сегодняшний день не все факторы, влияющие на выполнение работ, могут быть однозначно рассчитаны – например, погода на 10 дней вперед. Для них разумно реализовать имитационное моделирование, чтобы определить и минимизировать риск дефицита техники при неблагоприятном сочетании обстоятельств. Скажем, если неожиданно пойдет сильный дождь, сразу большое количество полей нужно будет убирать досрочно, чтобы не лишиться урожая.

Кроме того, можно реализовать функционал учета всех входных данных в реальном времени так, чтобы система могла автоматически перепланировать полевые работы в случае, если существенно изменились условия. Еще один интересный вектор развития — добавить в систему функционал, который будет считать экономический эффект от применения рекомендаций, оптимального плана проведения полевых работ и использования сельскохозяйственной техники.