Data Award

Современные технологии становятся неотъемлемой частью социальных проектов, и сервисы билайна помогают сделать жизнь людей лучше. О применении больших данных и технологий искусственного интеллекта в социальных инициативах компании рассказывает Константин Романов, директор по искусственному интеллекту и цифровым продуктам ПАО «ВымпелКом» и номинант на премию Data Award.

— Откуда у компании интерес к социальным инициативам?

Мы реализуем ESG-стратегию, миссия которой формулируется как возможность влиять на социальные и экономические проблемы с помощью современных технологий: разрабатывать и поддерживать новые проекты, делиться экспертизой, предоставлять платформу для развития. Такой подход мы используем в развитии технологий с использованием больших данных и искусственного интеллекта для поисково-спасательного отряда «ЛизаАлерт», а также технологий для социального сектора, медицины и экологического направления. Несмотря на то, что большие данные призваны помогать нашим клиентам развивать или создавать бизнес, активная социальная позиция – это то, что нас драйвит. Я ощущаю это как культурный код команды билайна.

— Расскажите о реализуемых вами проектах.

«билайн.Поиск» (18+) – это платформа для помощи в поиске пропавших людей с использованием технологии анализа больших данных. Решение разработано специально для поиска людей и позволяет находить потенциальных свидетелей, а также людей, с высокой вероятностью обладающих дополнительной информацией о пропавшем человеке. Для команды билайна и волонтеров свидетели остаются неизвестны, так как весь процесс их поиска – это автоматизированная работа сложных алгоритмов. Найденным контактам обеспечивается отправка сообщений со сведениями о пропавшем человеке с фотографией, приметами, возрастом и телефоном горячей линии поисково-спасательного отряда «ЛизаАлерт» для сообщения имеющейся информации о пропавшем. Далее собирается статистика по звонкам со свидетельствами.

«билайн.Поиск» & Digital Indoor – решение двух сервисов билайна по поиску людей с помощью медиаэкранов в магазинах сети «Пятерочка». На экраны выводятся ориентировки на людей, чьим поиском занимается отряд «ЛизаАлерт» в данном районе, с целью привлечь внимание гостей магазинов и поиска людей, которые могли узнать или видеть пропавшего. Когда на экране появляется объявление о пропаже, внимание покупателей к нему возрастает на 50%.

«beeline AI — поиск людей» — технология на основе сверточных нейронных сетей. Она призвана распознавать образ человека и следы его присутствия на тысячах снимков, сделанных дроном при облете лесных массивов, промышленных зон, полей. Это помогает в десятки раз сократить время анализа местности и экономить физические силы людей, позволяя более оперативно принимать решения о стратегии проведения спасательной операции. Как правило, за один полет дрон делает около 2,5 тыс. фотографий, которые команда из 30 человек отсматривает примерно пять часов. Обычно одного полета недостаточно, и получаются тысячи отснятых фотографий. Мы предложили заменить человеческий глаз искусственным интеллектом.

— Вероятно, реализуемые проекты касаются не только поиска людей?

Да. Мы подписали соглашение о сотрудничестве с Сеченовским Университетом. Оно стало основой для создания цифровой лаборатории и продуктов с использованием искусственного интеллекта в медицине. Такие решения могут помочь снизить нагрузку на врачей и сделать диагностику заболеваний и патологий эффективнее, так как результат анализа данных используется врачами в качестве «второго мнения» при постановке диагноза.

Наконец, «Контроль площадок сбора ТБО» — решение по видеоаналитике, используемое для повышения качества жизни жителей населенных пунктов России. Его цель – обеспечить почти 100% уровень контроля за чистотой контейнерных площадок, наличием и степенью заполненности контейнеров для сбора твердых бытовых отходов разных типов и своевременно дать сигнал о необходимости вывоза отходов с помощью анализа видеозаписей нейронными ML-моделями.

— Какие технологии использованы для проекта «билайн.Поиск»?

В проекте для отряда «ЛизаАлерт» используются данные абонентов, которые дали согласие на получение рассылок по сети связи. На текущий момент реализовано три сценария поиска потенциальных свидетелей с помощью алгоритмов больших данных. Самый очевидный из них – абоненты, бывшие в определенном радиусе во время последнего факта связи телефона пропавшего абонента с вышкой сотовой связи. Второй сценарий – абоненты, находившиеся в определенном радиусе в то время, когда пропавшего видели в последний раз. Наконец, абоненты, часто пересекавшиеся с пропавшим в одном и том же месте в одно и то же время. Повторюсь, что все данные остаются анонимными и обезличенными для всех участников процесса. Получив сообщение, человек сам принимает решение связаться с отрядом и сообщить информацию о пропавшем.

Для поддержки одного поиска обрабатывается более 1 Тбайт данных. На нашей платформе внедрена модель автоматического распознавания статуса по пропавшему для реализации автоматической остановки показов. Это важно в случае, если человека нашли. В настоящий момент приложением пользуется специально выделенная команда кураторов «ЛизаАлерт» из восьми человек.

Проект по поиску людей с помощью медиаэкранов в Москве реализуется на базе платформы Digital Indoor, которая использует «умные» алгоритмы для настройки сообщений на удаленных рекламных носителях. Если кто-то из гостей магазинов «Пятёрочка» узнает пропавшего человека, он может сообщить об этом на круглосуточную горячую линию отряда «ЛизаАлерт».

При разработке технологии особое внимание уделялось скорости, которая так важна в первые часы поиска пропавших. Информация о человеке и фото загружаются в личный кабинет волонтерами «ЛизаАлерт» в пределах двух минут и благодаря привязке к геопозиции оперативно выводятся на экраны магазинов в свободные эфирные слоты в радиусе 5–10 км от места, где человек находился или был замечен в последний раз.

Используя инфраструктурные решения компании, поисково-спасательный отряд «ЛизаАлерт» в 2021 году провел более 42 тыс. поисков, более 30 тыс. человек спасены. Всего за время 12-летнего сотрудничества удалось спасти более 150 тыс. человек.

— В другом поисковом проекте речь идет об анализе изображений…

Поиски с использованием беспилотной авиации и технологии «Beeline AI — поиск людей» проводились более 800 раз. Во время вылетов было сделано порядка 700 тыс. снимков, а общий трек беспилотников составил более 20 тыс. км. Непосредственно с воздуха пилоты направления и группы просмотра нашли в 2021 году 42 человека. При этом решение билайн отработало более 1,5 тыс. сложных «квадратов» — поля, болота, лесные завалы и т.п. «Проверка» местности с воздуха позволяет определить стратегию поиска, векторы направления поисковых групп, что в итоге позволило за год сэкономить 12 тыс. часов работы добровольцев. А люди – это главный ресурс поисково-спасательных операций.

Всего за несколько лет с помощью технологии Beeline AI обработано более 1,5 млн снимков, а непосредственно с воздуха найдено около 100 человек. При этом данные за 2022 год пока не подсчитаны.

— Использование ИИ в медицине постепенно становится мейнстримом?

Безусловно. Мы видим интерес не только со стороны разработчиков ИТ-решений, но и медицинского сообщества. В результате тестирования решения мы с точностью более 80% научились предсказывать вероятность развития патологии тазобедренного сустава, в частности – синовита и повреждения хряща (это наиболее часто встречающиеся патологии). Особенно это важно на ранних стадиях развития заболевания. Данная патология сложна в ранней диагностике, и билайн – одна из немногих компаний в мире, которая взялась за создание решения, которое может использоваться специалистами при назначении лечения.

Кроме того, среди медицинских проектов можно выделить морфометрический анализ гистологических препаратов. Наша технология сегментации может помочь сэкономить время дорогих специалистов и сократить ожидание пациентов на проведение обязательного анализа. Система сегментирует биопсию почки с точностью до 92% и биопсию толстой кишки с точностью до 99%. Использование ИИ в дальнейшем анализе помогает врачам сформировать персонализированные рекомендации по терапии.

В трансплантологии ИИ-анализ способен помочь врачам в вопросе по принятию или отторжению органа, основываясь в том числе на результате анализа данных. В настоящий момент мы научились прогнозировать вероятность клеточного отторжения с точностью 92%. Результат анализа данных является вспомогательным инструментом, решение по диагнозу принимает квалифицированный специалист. Точность моделей рассчитана в результате тестирования решений.

— А что с мусорными контейнерами?

Это решение для бизнеса и государства мы создавали с мыслью о ежедневных проблемах каждого человека: чисто ли на площадке, где играют дети, комфортно ли во дворе проходить мимо зоны с мусорными контейнерами, адекватно ли работают подрядные организации, отрабатывая расходы «за вывоз мусора».

В решении «Контроль площадок сбора ТБО» для сегментации мусора и детекции баков и мусоровозов используются нейронные ML-модели. Они могут обрабатывать до 5 кадров в секунду с камеры на карте T4, что позволяет при обработке 1 изображения с камеры в 30 минут, обрабатывать на одной карте до 8 тыс. камер. Модели обучались на 1 тыс. изображений.

Сервис позволяет анализировать в режиме реального времени состояние контейнеров и площадок вокруг них, выставлять интегральную оценку их состояния. Мы умеем детектировать три типа мусорных контейнеров: обычный, раздельный и для твердых отходов. Умеем определять замусоренность при ориентации камеры на контейнер сбоку и при ориентации внутрь контейнера. Отдельно от степени заполнения баков определяется замусоренность площадки. Точность работы модели составляет до 98%.

В целом, сервис предоставляет операторам возможность оптимизировать свою работу, до 20% уменьшить пробег спецтехники, снизить вероятность получения штрафов, а также выявлять факты несанкционированного выброса мусора. Потенциально такое решение может использоваться и надзорными органами для повышения ответственности и качества работы операторов по вывозу ТБО. В целях использования сервиса клиент самостоятельно уведомляет о ведении видеонаблюдения. Мы, в свою очередь, предоставляем доступ к сервису или программному обеспечению, позволяющему автоматически анализировать состояние контейнеров и площадок вокруг них.

— Почему это важно для компании?

В основе стратегии устойчивого развития билайна лежит понимание, что эффективное развитие бизнеса сопряжено с очень серьезной включенностью в решение стратегически важных задач экономики и общества. Наш выбор – создание технологий, которые могут усилить инновационный потенциал страны и оказать значимое позитивное воздействие на жизни людей. Кроме того, опрос вовлеченности сотрудников показал, что возможность участвовать в реализации социально значимых проектов положительно влияет на их выбор билайна как работодателя. Они гордятся своей деятельностью в этой связи и положительно относятся к переключению с бизнес-проектов на социальные и обратно.

В B2B-Center создали методологию, позволяющую вывести управление НСИ на системный уровень. О подходах к созданию решения и достигаемых результатах рассказывает Виктор Мастеров, руководитель бизнес-линии НСИ компании B2B-Center и номинант на премию Data Award.

— Что привело к созданию решения? В чем заключаются решаемые проблемы?

Наш опыт показывает, что после решения насущных проблем, таких как создание корпоративного справочника и повышение качества данных, компании неизбежно приходят к необходимости комплексного управления НСИ. Поэтому мы разработали и предложили рынку методологический подход, который выводит прикладные задачи на системный уровень. Он является фундаментом для формирования экосистемы НСИ на предприятии.

Мы — «пионеры» рынка электронных торгов России. За 20 лет мы прошли путь от небольшой компании до лидера рейтинга ЭТП, в чьем портфеле есть разнообразные сервисы для корпоративных закупок и продаж, а также решение для сквозной автоматизации закупочного процесса B2B Altis.

Управление нормативно-справочной информацией является одним из ключевых направлений нашего бизнеса. На сегодняшний день мы реализовали свыше 35 крупных проектов по НСИ, многие из которых включали интеграцию, программную разработку, консалтинг и нормализацию данных. Среди наших заказчиков — «Кордиант», «Макфа», «Полиметалл», "Российские коммунальные системы", «Самолет», «Хеликон».

— В чем особенность и «фишка» вашего подхода?

Для наших основных заказчиков — директоров по закупкам — автоматизация НСИ не является первоочередным вопросом. Они сосредоточены на надежном снабжении своих предприятий качественными товарами, в необходимый срок и по оптимальным ценам.

Ключевая особенность нашего подхода как раз в том, что мы предлагаем вывести управление НСИ на системообразующий уровень. Мы говорим о том, что данные — это прежде всего инструмент достижения стратегических целей предприятия. И чтобы эффективно ими управлять, необходимо провести комплексную оценку всех бизнес-процессов.

В НСИ мы выделяем несколько компонентов. Это инфраструктура НСИ, компетенции, ресурсы, изменения. В рамках каждого компонента решаются как фундаментальные, так и прикладные задачи.

На фундаментальном уровне задача НСИ сводится к тому, чтобы управлять уровнем соответствия данных тем физическим объектам, которые они описывают. Мы должны смоделировать оптимальный состав данных и механизм их интерпретации. Отбор признаков диктуют потребности различных подразделений: финансы, закупки, маркетинг и т.д. Недостаток данных — проблема для многих предприятий. Но не меньшие сложности возникают из-за их избыточности. Компания задействует ресурсы и мощности, накапливает информацию и не может ее в последствии эффективно применить.

Прикладные задачи, которые мы помогаем решать — это подготовка данных для внедрения ERP-системы, повышение эффективности закупочного процесса, обеспечение уровня качества поступающих данных и т.д.

— Какой методологический аппарат используется?

Мы стремимся построить устойчивую и гибкую экосистему НСИ. В основе нашей методологии лежит принцип сдержек и противовесов.

Например, на предприятии существует проблема занесения некорректных данных в справочник. Мы не пытаемся найти единственное решение, а предлагаем разнести задачу по различным слоям, внедрить несколько микрорешений. Это могут быть методологические (архитектура самого справочника), технические (стандартизированные формы занесения информации) и административные инструменты. Все они работают на одну задачу и уравновешивают друг друга.

Принцип сдержек и противовесов с одной стороны повышает устойчивость системы НСИ перед человеческим фактором и риском возникновения недостоверных данных, а с другой — позволяет гибко и эффективно управлять конфигурацией системы в условиях меняющегося контекста.

— Какие требования вы предъявляли к создаваемому решению, какие принципы старались соблюдать?

Основной принцип — построение цельной и взаимосвязанной экосистемы НСИ, которая учитывает специфику отдельно взятого предприятия. Для нас важно было разработать такой подход, который можно легко масштабировать на предприятиях всех отраслей с различным уровнем зрелости внутренних бизнес-процессов и ИТ-инфраструктуры.

— На какой платформе реализовано решение?

Экосистема НСИ реализована на технологической базе B2B-Center. Мы разработали ряд функциональных модулей: «Информационное ядро», «Мой справочник НСИ» — для самостоятельной нормализации и поддержки качества данных; Darwin — для совместного управления проектами нормализации; «Заявки Тьюринга» — для передачи функций ведения НСИ на аутсорсинг. Из них можно сконфигурировать оптимальное решение для конкретной компании. При этом мы дополнительно предлагаем методологию, которую можно самостоятельно или с нашей помощью реализовать на собственной ИТ-инфраструктуре.

— Кто является целевой аудиторией, какие компании могут быть заинтересованы?

Крупный и средний бизнес любых отраслей, для которого актуальна работа с данными, как с важнейшим компонентом эффективного управления.

— Каких эффектов может ожидать компания?

Мы помогаем выстроить эффективный подход к управлению количественным и качественным составом данных, снизить издержки на обработку избыточных данных, их актуализацию, ИТ-инфраструктуру. В конечном итоге повышается качество принимаемых управленческих решений.

У нас накоплена широкая экспертиза в управлении данными о коммерческих закупках. Наши решения в этой сфере позволяют cэкономить на трудозатратах на ведение корпоративных справочников до 40%, уменьшить складские запасы на 20%, снизить простои команды НСИ до 30% в год.

— Кто ваши клиенты? Что ими уже достигнуто?

Среди наших клиентов крупные и средние предприятия из горнодобывающей отрасти, АПК, фармацевтики, транспорта и логистики. Уже реализованные проекты предполагали разный масштаб внедряемых изменений. Среди решенных задач можно выделить несколько направлений. Во-первых, это автоматизация сквозной аналитики и отчетности для закупочного процесса по предприятиям группы в разрезе поставщиков, стоимости ТМЦ и услуг, категорий закупок. Во-вторых, внедрение принципов интерпретации и формирование самих данных для централизации процесса закупок в рамках группы компаний. Кроме того, мы выполнили формирование и аутсорсинг операционной функции НСИ для группы компаний, включая актуализацию, поддержку целостности, обогащение и нормализацию номенклатурных данных. Наконец, снижение риска возникновения некорректных данных за счет автоматической проверки качества входящих данных, внедрения контрольных точек и анализа взаимодействия пользователя с ИТ-системой.

— Каковы направления развития решения?

Прежде всего, мы хотим изменить само отношение рынка к управлению НСИ. Показать, что это не просто прикладная задача, а важная стратегическая функция наравне с другими процессами. И эффективность этих процессов зачастую зависит от НСИ и качества данных.

В перспективе мы хотим создать максимально полную базу устойчивых методологических шаблонов, по которым формируются и интерпретируются данные на предприятиях. Это поможет нам эффективно и быстро их автоматизировать, а также масштабировать решение с учетом специфики различных отраслей.

«Нетология», MTS AI и NtechLab совместно разработали бесплатный обучающий курс по разметке данных, целевая аудитория которого – люди с расстройствами аутистического спектра и другими ограничениями здоровья. С учетом дефицита таких специалистов это поможет выпускникам стать востребованными. О реализации проекта рассказывают номинанты на премию Data Award – Анна Дружкина, руководитель центра работы с данными MTS AI, Валентина Куренкова, GR-директор «Нетологии» и Надежда Глебко, руководитель группы по разметке данных NtechLab.

— Как родилась идея этого проекта?

Надежда Глебко: Идея сделать инклюзивный онлайн-курс по разметке данных пришла мне после успешного опыта стажировки и трудоустройства сотрудника с расстройством аутистического спектра (РАС). Я увидела, что особенности РАС в каком-то смысле помогают размечать данные, как это ни удивительно. Разметка данных предполагает долгий и однообразный труд, требующий внимания, усидчивости, способности обнаружить свои ошибки. Для многих людей работа исключительно по инструкции и без разнообразия воспринимается тяжело, но не для людей с РАС. В силу специфики функционирования когнитивных функций именно шаблонная работа дается им легче всего – а в разметке как раз не должно быть вариативности, все строго по инструкции. Кроме того, разметка данных обладает низким порогом вхождения в профессию и может осуществляться из любой точки мира с компьютером и интернетом, поэтому такой вариант подработки может стать для многих в буквальном смысле спасением. Также стоит отметить, что разметка данных становится все более востребованной, а потому спрос на грамотных специалистов растет. Именно эти наблюдения и привели к созданию этого проекта. Безусловно, NtechLab в одиночку было бы тяжело реализовать эту идею, поэтому после недолгих обсуждений с коллегами из МТС и «Нетологии» было принято решение о реализации проекта.

Валентина Куренкова: К нам обратились наши партнеры из NtechLab с предложением вместе поработать над таким курсом. У нас уже есть опыт обучения людей с ограниченными возможностями здоровья. В прошлом году в рамках проекта «Цифровые профессии» у нас начали обучаться более 3 тыс. людей с инвалидностью, а мы адаптировали образовательные программы в соответствии с потребностями таких людей.

Анна Дружкина: Разметка данных – относительно новая специальность, которой нигде не учат. А потребность в разметчиках действительно растет день ото дня. У нас в компании есть постоянная необходимость в разных видах разметки аудио, текста и изображений. Мы регулярно проводим обучение новых приходящих к нам сотрудников, так что у нас довольно обширная экспертиза. Мы рады возможности доработать наш курс и прочитать его для новой аудитории. Более того, у нас есть сотрудники с ограниченными возможностями здоровья, и это очень позитивный опыт.

— На какие именно ограничения здоровья ориентировались? Кто является целевой аудиторией?

Н.Г.: При разработке онлайн-курса мы прежде всего ориентировались именно на РАС, поскольку именно с такими ребятами был опыт взаимодействия. Тем не менее, эксперты постарались максимально расширить целевую аудиторию, чтобы люди с различными ограничениями здоровья – например, моторными или слуховыми – также могли пройти обучение. Конечно, здесь стоит учитывать, что мы в любом случае не обучим всех. Несмотря на низкий порог входа, разметка данных требует развитых коммуникативных навыков, уверенного владения ПК, способности понимать инструкции и ориентироваться на нее при работе, а это могут далеко не все люди. Но перспективность данного проекта от этого не теряется.

В.К.: Люди с аутистическими расстройствами внимательны к деталям, усидчивы и могут запоминать большие объемы информации. Это, если хотите, их суперспособность и конкурентное преимущество. Поэтому мы верим, что у наших студентов получится реализовать себя в сфере ИТ.

— Каковы задачи проекта?

Н.Г.: Наша задача – научить студентов такой востребованной в последнее время специальности, как разметка данных. Мы создали курс, в котором обучаем студентов разным видам разметки текста, аудио, видео и изображений. Мы учим их пользоваться распространенными инструментами разметки, а также рассказываем, как начать карьеру в области разметки данных и как взаимодействовать с заказчиками.

А.Д.: Общая цель курса состоит в том, чтобы дать слушателям представление о профессии разметчика: показать само существование такой возможности и помочь им освоить специальность разметчика. Таким образом, надо познакомить студентов с основными видами разметки, с полным циклом рабочего процесса разметчика, от постановки задачи до оценки качества разметки, дать возможность попрактиковаться на реальных заданиях.

— Что собой представляет курс?

Н.Г.: Курс рассчитан на 100 студентов и проходит в четыре потока. Сейчас проходят первые два потока курса, и студенты уже приступили к подготовке дипломных проектов. Каждый поток курса длится три месяца (22 часа теории и 28 часов практики в формате видеолекций, онлайн-встреч с преподавателями и практических заданий).

А.Д.: За это время студенты осваивают разметку изображений: классификацию, выделение объектов, сегментацию; разметку видео; разметку аудио: отекстовку (транскрибирование с привязкой ко времени) и сравнение; разметку текста: выделение именованных сущностей, классификацию, вопросно-ответные задачи, задачи генерации текста. Также они узнают некоторые базовые понятия из области машинного обучения, а также проходят небольшой карьерный блок, посвященный старту в профессии. Таким образом, студенты осваивают полноценную профессию разметчика.

В.К.: За три месяца обучения студенты освоят два инструмента и научатся размечать в них четыре типа данных: изображения, аудио, видео и текст. Каждую неделю студентов ждет практическое занятие с экспертом, на котором участники рассмотрят, как инструмент работает на практике, домашнее задание с проверкой, а также онлайн-консультация с преподавателем, где студенты смогут задать свои вопросы. Одна неделя – одна задача в копилку студента. По итогам обучения слушатель выполняет проект. Ему предстоит разметить большой датасет самостоятельно. После обучения студентов ждет карьерный блок, где мы совместно с партнерами расскажем ребятам, как найти работу, и сопроводим их в поиске первого проекта на краудсорсинговых платформах.

— Как учитываются в ходе обучения особенности студентов? Или в этом нет необходимости?

Н.Г.: На самом деле, каких-то существенных отличий в процессе обучения от других онлайн-курсов нет. Обучение в данном случае не должно быть легким, а для самих студентов не должно быть особых поблажек, поскольку целью обучения является подготовка востребованных специалистов. Однако, безусловно, мы учитывали особенности потенциальных студентов с РАС. Перед запуском первого потока все причастные к курсу эксперты и специалисты проходили специальный тренинг на тему того, как лучше вести коммуникацию. В качестве особенностей, например, можно выделить то, что наши студенты всегда задают много вопросов – заметно больше обычного. Также на занятиях всегда необходимо давать больше деталей, прописывать и проговаривать все то, что кажется очевидным. Это может показаться нудным и мешающим процессу, но вкладываться в сотрудников на этапе обучения важно и полезно для любого работодателя, если он хочет видеть эффективность в дальнейшем.

— Какие платформы и данные используются?

А.Д.: Для разметки используются платформы CVAT и Label Studio, одни из самых широко используемых платформ для разметки. Важно давать актуальные инструменты, чтобы у студентов был опыт с реальными инструментами и материалами.

В качестве «сырых данных» мы используем наши рабочие инструкции, адаптированные под программу курса, и реальные данные, которые можно распространять, а также данные из открытых корпусов и материалы соревнований по машинному обучению.

— Каковы первые результаты?

В.К.: Первый поток уже приступает к дипломным задачам. Второй поток проходит занятия. Набраны третий и четвертый поток. До конца 2023 года мы планируем обучить 100 студентов.

А.Д.: Мы будем помогать выпускникам с трудоустройством, как в МТС и NtechLab, так и в компании наших партнеров. На реальных примерах докажем: людям с аутизмом есть место в ИТ.

— Получаются действительно полноценные специалисты?

Н.Г.: Основываясь на собственном опыте и опыте коллег, например, из «МВС Груп», могу с уверенностью сказать, что ребята с РАС – прекрасные кандидаты на разметчиков данных. На данный момент такой наш сотрудник выполняет все поставленные ему задачи. Конечно, в начале всегда надо немного помочь с объяснением задания. Однако при должном уровне организации работы и построения коммуникации это не составляет большого труда.

— Среди других компаний есть интерес?

Н.Г.: Чем больше мы освещаем эту тему, тем выше интерес. Многие компании опасаются вступать на путь инклюзии, поскольку видят для себя в этом разные риски, например, большие затраты различных ресурсов. Также велико и влияние стереотипных представлениях о «не таких» людях. Правда же состоит в том, что каждый из нас – обычный человек со своими особенностями. И когда удается показать компаниям вокруг, что ребят с РАС не стоит бояться и что помогать находить таким людям работу – это не только про благотворительность, но еще и про пользу компании, вот тогда интерес начинает появляться. Надеюсь, что данный курс послужит катализатором развития инклюзивности во многих ИТ-компаниях.

А.Д.: Да, коллеги из других компаний интересуются и нашим проектом, и возможностями найма и стажировок наших выпускников.

— В чем роль проекта для общества?

А.Д.: Это первый в России подобный курс, который помогает людям с ограниченными возможностями здоровья получить востребованную специальность. Мы рассчитываем, что благодаря таким проектам у людей с ограниченными возможностями здоровья появится возможность быть востребованными. Разметчиков данных не хватает на рынке, в то время как потребность в них постоянно растет, поскольку компаниям постоянно необходимы обработанные данные для эффективного обучения систем искусственного интеллекта.

Разметка данных – реальный способ для людей с ограниченными возможностями начать карьеру в ИТ. Люди с аутистическими расстройствами внимательны к деталям, усидчивы и могут запоминать большие объемы информации. Это их конкурентное преимущество. Поэтому мы верим, что у наших студентов получится реализовать себя в новой профессии.

В.К.: Мы верим, что проект поможет людям с ограниченными возможностями здоровья получить новую профессию и изменить жизнь.

А.Д.: Конечно, наш курс учит тех, кто хочет научиться разметке данных, но не менее важно то, что у людей появляется представление о самом существовании такой профессии.

— Есть ли у вас планы по развитию проекта?

Н.Г.: Курс стартовал только недавно, поэтому конкретные планы по развитию имеет смысл строить по итогам первых потоков, чтобы оценить эффективность обучения и т.д. Однако уже на данный момент есть идеи по поводу расширения целевой аудитории, чтобы разметка данных была еще более доступной для освоения.

В ICL Services разработали и реализовали устройство сбора и передачи данных с диагностического офтальмологического оборудования, а также серверные и веб-приложения для их декодирования. Включение диагностического оборудования в цифровой контур клиник позволило ускорить процессы и минимизировать ошибки. О реализации проекта рассказывает Илья Апполонов, старший руководитель группы Интернета вещей направления цифровых технологий ICL Services и номинант на премию Data Award.

— Какова история реализации проекта: зачем это потребовалось, в чем заключались проблемы?

Одному из наших заказчиков – медицинскому центру «КОРД» – потребовалось оцифровать и интегрировать данные с диагностического офтальмологического оборудования в общую цифровую среду на базе «1С: Управление медицинским центром».

Проект был инициирован с несколькими целями. Требовалось уйти от хранения медицинских архивов в бумажном виде и увеличить скорость и качество обслуживания пациентов на стадии диагностики. Кроме того, было важно повысить эффективность цифровизации за счет перевода данных диагностики в цифровой вид и интеграции в медицинскую информационную систему.

Фактически речь шла об интеграции медицинского оборудования в цифровой контур компании.

— Почему это важно?

Архив медицинских данных – это огромное количество бумажных носителей, которые по регламенту должны храниться в медицинском учреждении на протяжении многих лет. Такой объем документов занимает большую площадь, а активная деятельность организации с каждым месяцем увеличивает потребность в свободных площадях для хранения. Перевод в цифровую форму позволяет прямым образом снизить затраты на всю цепочку процессов, связанных с бумажными носителями: закупку бумаги, печатающих устройств, их заправка, ремонт и сервис, ручное архивирование и поднятие из архива карт, поиск информации внутри медкарт, анализ медицинской информации в научных и производственных целях.

Сейчас процесс обслуживания пациентов в большинстве клиник не является сквозным с точки зрения обработки данных в информационных системах: приходится что-то делать вручную, вводить данные анализов, привязывать к электронной карточке пациента и т.д. Это может вызывать появление ошибок в данных, задержки в обслуживании, делает невозможным оперативное предоставление доступа к данным для пациента.

— Какие задачи были поставлены перед проектом?

Проект призван интегрировать диагностические данные со специфичного медицинского оборудования, которое не имело открытых стандартных средств сетевого взаимодействия, в медицинскую информационную систему на базе «1С».

— Какой подход был выбран для их решения?

Для решения поставленной задачи был использован программируемый сервер последовательных портов собственной разработки, который позволял не только передать данные в режиме моста, но и на стороне оборудования преобразовать «сырые» данные из формата производителя оборудования в общепринятый формат обмена данными (JSON). Для сервера последовательных портов разработана библиотека конвертеров под различные модели медицинского оборудования, которые автоматически подключаются в зависимости от того, на каком оборудовании установлен сервер портов. Для оператора оборудования (медицинской сестры) было разработано веб-приложение, которое запускается на планшете на рабочем месте и отображает полученные с оборудования данные диагностики. При этом формат данных идентичен тому, который ранее был представлен на бумажном чеке. То есть с точки зрения человека, который работает с оборудованием, бумажный чек просто стал цифровым и с ним можно привычно работать, остается только подтвердить верность распознавания и отправить чек в электронную карту пациента.

— На каких платформах построена система?

Веб-приложение и серверная часть решения разворачиваются на любой платформе за счет реализации в виде микросервисов, упакованных в docker-контейнеры. Встроенное ПО сервера последовательных портов реализовано на MicroPython. Такой подход позволил очень быстро разработать ПО и ввести систему в эксплуатацию, но при этом сохранить достаточный уровень надежности и быстродействия.

— Что собой представляет созданное решение?

Решение представляет собой программно-аппаратный комплекс, в который входит сервер последовательных портов (один на каждую единицу оборудования), веб-приложение для оператора оборудования (лаборанта), серверная часть для обработки данных и управления библиотекой конвертеров данных с разных моделей медоборудования, а также планшет для оснащения рабочего места оператора (опционально).

— Каких результатов удалось достичь, что из них является самым важным?

Разработанное решение подключено к двум офтальмологическим системам.

Произошло повышение пропускной способности линий диагностики на 30%. Система управления клиникой собирает всю информацию в цифровом виде, что делает ее работу максимально эффективной от регистратуры до выписки пациента после операции. Риски ошибок внесения информации сводится к минимуму, так как необходимость «вклейки» бумажных носителей отсутствует. Таким образом, был сокращен объем бумажных архивов, снижено число ошибок в данных, была повышена скорость обслуживания клиентов клиники.

Главным итогом можно считать именно повышение точности и исключение ошибок на стадии ручного переноса данных. В среднем чек одного исследования содержит 20-30 значений, каждое из которых необходимо врачу. Ошибка при внесении данных может привести к медицинским осложнениям.

— Удалось ли заказчику достичь экономического эффекта?

Экономический эффект – существенное повышение скорости работы, а значит снижение трудозатрат и повышение пропускной способности рабочего места, снижение утомляемости работников от монотонного рутинного труда. Кроме того, реализация проекта на удаленном сервере, а не на рабочих местах врачей, позволяет руководству компании получать доступ к базе данных в любой момент и не тратить средства и время на развертывание серверных мощностей и их поддержку.

— Каковы возможности тиражирования системы?

Система универсальна с точки зрения ее применения в клиниках офтальмологического профиля, а также расширяема с точки зрения возможности любого количества приборов и рабочих мест.

— Есть ли перспективы развития решения? В каком направлении?

В дальнейшем возможно подключение приборов других моделей и производителей путем пополнения библиотеки конвертеров медицинских данных новыми «драйверами» для получения универсального текстового формата обмена данными. Система будет расширяться как с точки зрения роста количества поддерживаемого оборудования, так и с точки зрения расширения функционала по работе с отдельными видами оборудования. Например, появится возможность указывать сопутствующие проводимые манипуляции, на фоне которых проводилась диагностика, контроль доступа к оборудованию в зависимости от квалификации персонала и т.п.

Реклама на сайтах и в мобильных приложениях онлайн-ретейлеров становится очередным полем сражения за кошельки покупателей. Платформа Eshop Whitе Label, работающая по принципу программатик, призвана стать одним из инструментов в этой борьбе. О ее роли рассказывает Зоя Андреева, генеральный директор медиаагентства Eshopmedia и номинант на премию Data Award.

— Каковы предпосылки появления платформы для ретейл медиа, в чем суть проблемы?

По мере роста популярности онлайн-шопинга среди потребителей, реклама в точках онлайн-продаж (на сайтах ретейлеров) становится все более популярной среди брендов: она позволяет коммуницировать с покупателем непосредственно в месте и в момент покупки. В ответ на этот запрос со стороны рекламодателей онлайн-ретейлеры также стали трансформироваться и создавать рекламную медиасеть, в которую входят разные цифровые каналы одного ретейлера – сайт и приложение. Все эти процессы в электронной коммерции привели к взрывному росту ретейл медиа – рекламы на сайтах и в мобильных приложениях онлайн-ретейлеров.

— Это направление действительно востребовано?

Ретейл медиа открывает новые возможности как для ретейлеров, так и для брендов. Ретейлеры могут значительно увеличить прибыль от рекламы, а бренды получают возможность влиять на выбор пользователей, которые находятся в процессе принятия решения о покупке. Среди ретейлеров ориентиром является Amazon, который первым начал развивать этот канал. Его рекламная выручка за 2021 год составила 31 млрд долл.

Что касается брендов, то, по данным Group M, доля рекламных бюджетов в ретейл-медиа уже сейчас занимает 11% от всего бюджета цифровой рекламы. Согласно прогнозам BCG, к 2026 году этот сегмент будет занимать уже около 25% от общего рынка цифровой рекламы.

В России ретейл медиа только начинает развиваться, и мы видим бурный рост рекламы в электронной коммерции: рекламная выручка маркетплейсов растет на 100-200% в год. Мы планируем стать ведущим игроком в России в ретейл медиа – как с точки зрения технологических продуктов, так и с точки зрения управления рекламными кампаниями. Для этого у нас есть и рекламная программатик-платформа Eshop Whitе Label, которая позволит автоматизировать рекламу и многократно увеличить прибыль от продажи рекламного инвентаря, так и глубокая экспертиза в рекламном сервисе.

— Что вы предлагаете рынку?

Мы используем собственную платформу Eshop White Label, которая работает по принципу программатик и имеет собственные алгоритмы для автоматизации и оптимизации кампаний. Интеграция с внутренними базами данных ретейлера и широкий функционал платформы позволяют работать с данными площадки для увеличения релевантности показа рекламных объявлений, обрабатывать текущее поведение и запросы пользователей в режиме реального времени для оптимизации показа с учетом целей размещения (охват или конверсии).

Также доступны широкие возможности по таргетированию на основе внутренних данных о пользователе и его поведении. Это социально-демографические данные, геопозиция, посещение определенных страниц сайта и приложения, просмотр и добавление в корзину или покупка определенного ассортимента, наполнение заказа, платформа (десктоп, мобильная версия сайта, приложения). Кроме того, можно использовать и внешние данные, которые подключаются к платформе, – например, погодные условия или данные операторов связи для обогащения таргетингов.

— Какие ИТ-платформы лежат в основе решения?

В основе нашей платформы лежат три технологии. DSP (Demand Side Platform) – система, которая позволяет закупать рекламные места по максимально выгодным ценам на рекламных площадках. SSP (Suply Side Platform) позволяет продавать рекламные места по максимально выгодным ценам. И, наконец, CDP (Customer Data Platform) – это платформа многоканальной атрибуции данных, которая собирает и кластеризирует информацию о покупателях. Эта информация потом используется при закупке и продаже рекламы. Для создания платформы были использованы языки R, Python, Java, Rust, JavaScript, HTML, SQL, awk, bash-scripting, jq.

— Какой математический аппарат используется?

Ключевое преимущество программатик-платформы – это возможность продавать рекламный инвентарь в режиме реального времени по модели аукциона. Аукционы бывают двух типов: открытые и закрытые, первой и второй цены, последний построен на математической модели Викри.

— Какие результаты достигнуты и ожидаются?

Агентство Eshopmedia было основано в 2022 году, однако каждый ключевой игрок команды имеет более чем 10-летний опыт работы в своем направлении: электронной коммерции или ИТ. Это позволило уже в первый год основания заключить партнерства и интегрировать рекламную программатик-платформу Eshop White Label на площадки ключевых ретейлеров в категориях фармацевтики и детских товаров.

Например, в фарминдустрии нашим партнером стала крупнейшая онлайн-аптека Apteka.ru, которая насчитывает около 20 млн уникальных пользователей, примерно 20% всего Рунета. В категории детских товаров сотрудничаем с компанией «Детский мир», который является лидером в этой категории и имеет безусловный авторитет среди целевой аудитории.

Сейчас мы ведем переговоры и планируем интеграцию нашей платформы в медиа ключевых ретейлеров. Рассматриваем такие категории, как DIY, техника, мода, продукты и др.

— В чем роль вашего проекта для рынка?

Вместе с ростом ретейл медиа появилась необходимость в развитии дополнительных технологий и автоматизации процессов продажи рекламы. Ответом на этот запрос как раз и стало развитие программатик-платформ, которые позволят каждому из участников процесса достигать своих целей.

Благодаря нашей платформе ретейлеры смогут автоматизировать процессы продажи рекламного инвентаря и многократно увеличить прибыль. Автоматизация позволит им предоставлять рекламные услуги даже брендам с небольшими рекламными бюджетами, запросы которых невозможно было бы обработать вручную. Бренды же, представленные в ретейл медиа с установленной платформой Eshop White Label, получат возможность максимально эффективно коммуницировать со своим покупателем благодаря переданным добровольно персональным данным, оптимизации в режиме реального времени, таргетингам, разнообразному инвентарю и др. Возможность самостоятельного управления снизит порог входа на площадку ретейлера для брендов с небольшими рекламными бюджетами. Кстати, в мировой практике ROI рекламных кампаний в ретейл медиа может достигать 400%.

Если же говорить о покупателях, то благодаря правильно настроенным алгоритмам они получат релевантную персонализированную рекламу. Это позволит значительно сократить время на поиски нужного товара и находить наиболее оптимальное ценовое предложение. Кроме того, большее количество рекламодателей и борьба за внимание покупателям будут инициировать различные акции и промопредложения. Это, в конечном итоге, позитивно отразится на кошельке покупателей.

— В каком направлении будет развиваться платформа?

Очевидно, что в будущем рекламодателям потребуется единая «точка входа» для работы с рекламными кампаниями – как с внутренними, так и с внешними источниками. Мы планируем развивать нашу платформу таким образом, чтобы можно было запускать, управлять и анализировать рекламные кампании на всех рекламных каналах из единого дашборда. Кроме того, мы будем развивать аналитический дашборд с точки зрения метрик, которые важны как для медийной, так и для перформанс-рекламы.

Вовлечение бизнеса в более активную работу с данными стоит на повестке большинства компаний. В «Магните» к решению этой задачи подошли многогранно: перестроены принципы взаимодействия офиса данных с пользователями, проводятся многочисленные популяризационные мероприятия и тренинги, а импортозамещающий BI-инструмент «МагРепорт» стал популярен среди самой широкой аудитории. О проведенной работе и достигнутых результатах рассказывает Павел Шорохов, CDO сети «Магнит» и номинант на премию Data Award.

— Какие проблемы вы решали, почему офису CDO потребовалось меняться?

Управление данными в «Магните» развивалось эволюционно и очень давно. Корпоративное хранилище данных было создано еще в 2010 году на базе решений Teradata. За более чем 10 лет появилось много функциональности. Я помню, как в 2020 году мы обсуждали с вендором покупку одного решения, связанного с резервным копированием, но когда они увидели нашу собственную разработку, то сказали: «Вам наш продукт не понадобится: то, что вы сделали, – более функционально!». Тем не менее, развитие управления данными было довольно стихийным. Это и понятно: ретейл – очень динамичная сфера деятельности, и поэтому очередь задач у разработчиков всегда росла стремительно. Это привело к тому, что данных было много, но не всегда было понятно, как их быстро найти и какого они качества. Было непонятно, кто за что отвечает – множество разных команд работали над разными этапами формирования данных, не было закрепленных ответственных за кросс-функциональный процесс. Количество запросов на изменения росло, но скорость решения задач и пропускная способность не менялись.

Мы поставили себе задачу – повысить доступность данных, вовлечь сотрудников компании в активную работу с данными и улучшить их пользовательский опыт.

— Как вы подошли к решению задачи?

Мы трансформировали офис CDO и операционную модель работы с данными для 10 тыс. сотрудников. Чтобы улучшить пользовательский опыт, мы поменяли формат работы пользователей с офисом CDO: перешли к модели единого окна, в роли которого выступают выделенные для каждого направления бизнеса data-партнеры. Каждый data-партнер стал своеобразным аккаунт-менеджером своего бизнес-блока и при этом управляет кросс-функциональной data-командой.

Кроме того, мы упростили процесс поиска и работы с данными – сейчас поиск можно осуществлять через каталог данных, а также через чат-бот в Telegram и корпоративном мессенджере. Дополнительно мы предоставили пользователям возможности self-service BI на базе нашего собственного решения «МагРепорт». Наконец, мы организовали внутренние курсы повышения квалификации по работе с данными, запустили регулярный обзор Data Digest про основные изменения в области работы с данными и создали специализированные data-комьюнити.

— Как воспринимают эту «движуху» пользователи? У них не вызывает сомнений необходимость изменений?

До «Магнита» я работал более 10 лет в ИТ-консалтинге и успел увидеть, как работают с данными многие компании. Мало где можно увидеть такую же готовность к изменениям, как в «Магните»! Бизнес не только не сомневается в том, что нужно менять подходы, но и часто готов участвовать, и мы работаем над изменениями в одной команде.

— Что важнее: организационные или технологические изменения?

Чтобы построить космический корабль, одинаково необходимы и высокие технологии, и лучшие инженеры, и правильно выстроенные процессы. Убери что-то одно, и успеха не будет. Мы строим не космический корабль, но базовый принцип тот же: организационные и технологические изменения одинаково важны, и они должны дополнять друг друга.

Например, мы поставили перед собой цель повысить доступность данных, начали строить корпоративное озеро данных. Но озеро данных само по себе еще не решение – важно, чтобы поиск информации в нем был максимально быстрым и удобным. Это, в свою очередь, потребовало наличия инструментов Data Governance. Эти инструменты могут эффективно работать только при наличии налаженных процессов управления данными, в том числе закрепления владельцев данных и появления новых ролей, таких как дата-стюард.

В итоге для достижения цели нам понадобились и технологические, и организационные изменения, чего-то одного было бы недостаточно.

— Какие результаты были достигнуты?

В совокупности перечисленные изменения дали сокращение времени разработки data-продуктов по всем ключевым направлениям, образовались центры компетенций, а главное – повысилась удовлетворенность бизнеса и его вовлеченность в использование инструментов данных.

Выросла data-driven культура: за год в полтора раза (на 50%) выросло количество ad-hoc пользователей. Это связано с тем, что сотрудники теперь понимают, где лежат нужные им данные, и быстрее их находят. Это стимулирует интерес к данным. На 81% выросло количество запросов к данным. В 2,7 раз выросло количество посещений инструментов self-service BI.

Кроме того, повышена прозрачность формирования данных: на 158% выросло ежемесячное количество посещений базы знаний корпоративного хранилища данных. У нового каталога данных количество уникальных пользователей за месяц увеличилось на 450 человек, это дополнительные 2 тыс. посещений в месяц. Более 400 сотрудников компании пользуются минимум дважды в месяц новым чат-ботом для самообслуживания при работе с КХД.

Наконец, нужно отметить повышение грамотности работы с данными – так называемую data literacy. 60 сотрудников прошли обучение по работе с инструментами self-service BI и 120 – по работе с хранилищем данных. Созданы сообщества по инструментам работы с данными, в которые суммарно входит более 300 участников. Кстати, еще 60 студентов поступили в нашу «Школу бизнес-анализа» (всего было получено более 3 тыс. заявок), по итогам прохождения которой 45% готовы устроиться в «Магнит».

— Как вы оцениваете эти результаты? Отработали удачно или ожидалось лучше?

Безусловно, впереди очень много работы, и нам есть к чему стремиться. Но мы – и, главное, бизнес – видим огромные результаты, к которым привела проделанная работа. Очень мотивирует, когда заказчики пишут нам, что стало комфортнее работать с данными и теперь они стали эффективнее. Мы понимаем, что предстоит еще много изменений. Впереди огромный пласт работы в области качества данных и, конечно, реализация масштабного проекта по импортозамещению. Огромный вызов в том, что одновременно с этими масштабными изменениями мы должны повышать эффективность и качество нашей операционной работы – то есть решение ежедневно возникающих задач бизнеса при работе с данными.

— Вы упомянули про data-driven культуру. Что вы понимаете под этим словом?

Обычно под data-driven культурой подразумевают вовлеченность сотрудников компании в активное использование данных, которое выражается в принятии стратегических решений, основанных на анализе данных и их интерпретации. С этой точки зрения вряд ли в современном мире может выжить «не data-driven» компания – крупный бизнес важные решения обязательно принимает, основываясь на данных. Поэтому сейчас я бы уточнил это определение, добавив к параметру «вовлеченность в использование данных» два других важных параметра: «доступность данных» и «качество данных». Таким образом, получается, что data-driven культура – это возможность сотрудников компании быстро получать нужные им качественные и актуальные данные, на основе анализа которых они принимают стратегические решения.

— Что нужно, чтобы повысить data-driven культуру компании?

Ключевая задача для достижения такого состояния – упростить работу с данными. Приведу пример. Помню, как 20 лет назад мы с другом обсуждали, в какой стране больше население: во Франции или Италии. Нам пришлось доставать БЭС и искать статьи про эти страны. Оказалось, что население этих стран очень близко по численности, а учитывая, что энциклопедия была старой, данные, возможно, были неактуальны. Сегодня наш спор разрешился бы прямо во время разговора – не вставая с места, в телефоне один из нас ввел бы буквально один поисковый запрос и получил ответ.

Задача с доступом к корпоративным данным выглядит точно так же. Одна из целей офиса данных заключается в том, чтобы пользователи получали ответы на свои вопросы мгновенно или, по крайней мере, за комфортное для них время. Пусть сотрудник занимается своей работой, а в тот момент, когда ему понадобятся данные для принятия решения, получает их максимально быстро и в удобном ему виде. При этом он должен понимать, какие данные ему доступны, что они означают и какого они качества.

Мы уделяем работе по созданию такой прозрачности большое внимание: чат-боты, каталоги, бизнес-глоссарии, базы знаний, data-комьюнити – общая площадка для общения сотрудников про данные. Эти мероприятия помогают повысить доверие к данным и инструментам работы с ними, а значит, и повысить data-driven культуру.

— Расскажите подробнее про «Школу бизнес-анализа». Что это за курс, на кого ориентирован и какие задачи решает?

Мы запустили «Школу бизнес-анализа» в ноябре 2022 года. Ключевыми предпосылками стала высокая потребность компании в бизнес-аналитиках (более 200 человек в год). Решили готовить их самостоятельно: давать людям необходимые знания, а лучших пробовать трудоустраивать, исходя из потребностей на момент окончания курса.

Если вкратце о курсе, то мы взялись за полгода (и 247 академических часов) подготовить 60 обучающихся из четырех стран. Все обучение проводится действующими сотрудниками компании из 8 департаментов, то есть мы обучаем на реальных практических кейсах. Курс состоит из следующих крупных блоков: управление в бизнес-аналитике, информационные технологии для целей бизнес-анализа (в том числе архитектура данных, знакомство с Big Data, BI и основы управления данными), финансы и бюджетирование, аналитика в ретейле и развитие личностных компетенций.

На выходе студенты получают диплом государственного образца, практические знания и трудоустройство (по наличию мест в компании на момент окончания обучения), а компания – подготовленных «бойцов». База целевой аудитории для рекрутинга состоит из более чем 400 молодых специалистов – потенциальных кандидатов.

— Какое значение имеют предпринятые усилия по вовлечению сотрудников в работу с данными для бизнеса компании?

Невозможно измерить значимость того, что компания стала более data-driven. Но по косвенным признакам вижу, что данные действительно меняют компанию. Повышение доступности данных и, одновременно с этим, уровня компетенций сотрудников привели к тому, что решения на основе данных стали приниматься быстрее и, как было сказано выше, существенно вырос спрос на данные и аналитику.

Есть и долгосрочный эффект: знания, полученные аналитиками, привели к появлению новых идей и возможностей по использованию данных. Это, в свою очередь, привело к тому, что в начале 2023 года одновременно стартовало несколько крупных проектов, связанных с данными и продвинутой аналитикой.

— Реалии 2022 года отразились на многих аналитических инициативах: популярные BI-вендоры ушли с рынка. Как это откорректировало ваши планы?

Мы импортозаместили BI своими руками: разработали собственную систему корпоративной отчетности «МагРепорт» с возможностью быстро создавать отчеты на основе достоверных данных, выгружать их в Excel в формате, нужном получателю, взаимодействовать с корпоративными сервисами шифрования данных и управлять разграничением доступа как на уровне объектов системы, так и данных. Эта система закрывает базовые потребности в аналитике: она доступна через удобный веб-интерфейс и позволяет работать в стиле сводных таблиц с данными в СУБД. Для остальных задач мы планируем внедрить и другие решения.

— Какие результаты достигнуты?

«Магрепорт» сегодня выступает корпоративным порталом, обслуживающим тысячи пользователей практически из всех подразделений компании.

В цифрах результаты можно описать следующим образом: сегодня это 5 тыс. уникальных пользователей за месяц – от директора магазина до директора департамента, 36 тыс. отчетов, запускаемых в месяц, более 120 предподготовленных отчетов для бизнеса.

— Какова значимость этого проекта для бизнеса?

Сегодня мы уверены, что вне зависимости от любых санкций у наших пользователей всегда будет гарантированный доступ к анализу данных. Причем благодаря простоте использования «МагРепорт» легко подключается к любой информационной системе, в которой нет системы отчетности, а необходимость ее загрузки в хранилище данных сомнительна. В зависимости от сложности источника данных за считанные дни, а иногда даже часы, пользователь, не обладающий технической подготовкой, получает возможность исследовать данные и проверить свои гипотезы.

Мы надеемся, что инструмент будет полезен не только нам, но и поможет другим компаниям, которые столкнулись с проблемой импортозамещения BI-инструментов, поэтому мы выпустили «МагРепорт» в open source.

В «БАРС Груп» внедрили решение Analytic Workspace в бизнес-центре BI, с помощью которого систематизировали данные ресурсного планирования и провели анализ эффективности выполнения задач. Это позволило запустить основанную на данных трансформацию подразделения и подготовить почву для масштабирования системы на всю компанию. О реализации проекта рассказывает Арслан Катеев, руководитель отдела аналитики и внедрения бизнес-центра BI-решений компании «БАРС Груп» и номинант на премию Data Award.

— Что привело к реализации проекта? В чем заключались проблемы?

В 2021 году с целью внутренней оптимизации и развития компания «БАРС Груп» запустила пилот по переходу на scrum-модель планирования и реализации задач руководителями структурных подразделений по достижению квартальных OKR (Objectives and Key Results) на основе мониторинга достижения количественных показателей. Каждый руководитель подразделения предложил свой список метрик, релевантных для оценки деятельности его направления. Списки были объединены для формирования общей картины эффективности работы отдельного юнита компании «БАРС Груп» – Бизнес-центра BI-решений (БЦ BI), который был выбран как пилотный для этого проекта.

— Почему это было важно для компании?

Финансовые метрики должны давать возможность видеть, насколько БЦ BI приближается к плановым показателям по выручке и рентабельности. При этом нужно контролировать возможный перерасход бюджета по каждому проекту для своевременного выяснения причин и коррекции стратегии реализации проекта.

Производственные метрики должны отражать оценку процента выполнения плана, среднее списание времени по типам задач для определения доли трудозатрат по коммерческим и инвестиционным проектам. Таким образом, еще одной задачей была оценка распределения трудозатрат по подразделениям для выявления возможности перераспределения кадровых и бюджетных ресурсов на более доходные либо иным образом коммерчески оправданные задачи.

Кроме того, требовалось разработать метрики, характеризующие работу команды. Это не классическая HR-аналитика, но близко к ней: востребованность ресурсов, переработки, командировки. Если мониторить эти показатели, то можно заранее увидеть потребности в увеличении команды или перераспределении нагрузки.

— Что вы понимаете под термином «трансформация, основанная на данных»?

Я для себя формулирую так: это изменение от видения картины бизнеса «по ощущениям» к видению этой картины в цифрах, на основании актуальных данных. Это позволяет легко сравнивать показатели, анализировать отклонения от плана и принимать соответствующие управленческие решения.

— Какие задачи были поставлены перед проектом?

Необходимо было реализовать сбор, анализ и визуализацию данных бизнес-центра компании в реальном времени по нескольким направлениям: финансовый и кадровый учет, проектная деятельность, производство (разработка и внедрение), сопровождение.

Важным моментом являлось обеспечение соблюдения уровней доступа к информации, то есть к некоторым информационным панелям либо разрезам данных должен быть доступ только у руководителей направлений, к другим – у рядовых аналитиков. При этом данные требовалось собирать из нескольких источников: внутренней СУБД компании на базе PostgreSQL, Jira (подключение по API), внешней системы техподдержки (подключение по API), а также партнерского кабинета «БАРС Груп».

— Какие требования предъявляли к создаваемому решению, как выбирали платформу?

Для решения поставленных задач был выбран комплекс решений, состоящий из платформы данных AlphaBI и self-service BI платформы Analytic Workspace. На начальном этапе важно было заложить прочную основу под описательную аналитику и обеспечить максимальное качество данных. Для этого использовались модуль ETL и конструктор хранилища AlphaBI, который позволил создать единое информационное поле для четырех систем и шести предметных областей, проставить зависимости между данными и обеспечить их своевременное наполнение. Для реализации диагностической аналитики, получения ответов на вопросы: «Почему это произошло?» и визуализации метрик был использован Analytic Workspace – инструмент интерактивного анализа и визуализации данных.

Analytic Workspace – это наше партнерское решение, мы прекрасно знаем его возможности и поэтому долго выбирать нам не пришлось. Наиболее значимыми для нас была возможность подключения одновременно к нескольким источникам данных, быстрое внедрение обучение сотрудников – решение было полностью готово к использованию меньше чем за три месяца. Важно отметить наличие полноценного ETL-модуля, ролевой модели доступа, а также соотношение стоимости и функционала.

— Что собой представляет созданная система?

В рамках проекта «Метрики БАРС Груп» был сформирован ряд информационных панелей. Всего их было создано более 50.

Наиболее важным было финансовое направление, оно включило отклонения по бюджетам сделок, трудозатратам и коммерческому чеку. Например, на информационной панели «План-факт отклонение по бюджетам сделок» мы контролируем прямые расходы бизнес-центра по каждому из проектов и отклонения в процентном и абсолютном выражении от планируемого темпа расхода бюджета. Если отклонение становится существенным (скажем, более 25%), то актуальным может оказаться перераспределение бюджета между сделками либо плана проекта. То же самое касается отклонений от плана по трудозатратам – мы можем своевременно усилить команду на «буксующей» сделке, перебросив людей с проекта, где по факту сформировался избыток трудовых ресурсов.

Что касается анализа отклонений по коммерческому чеку, то бизнес в нашей компании организован таким образом, что некоторая часть сделок является не вполне коммерческой, это так называемые «инвестиционные» проекты. Доход по ним получается ниже коммерческого чека, однако они важны – например, для продвижения и повышения узнаваемости компании на рынке. При этом важно контролировать, чтобы доля таких сделок не превышала определенного предела для сохранения прибыльности бизнеса.

Если говорить о кадровом направлении, то основными пользователями этих метрик являются руководители отдельных направлений БЦ BI, которые принимают управленческие решения, касающиеся их подразделений, пользуясь актуальными данными метрик. Например, при планировании рабочего времени крайне полезным оказалось узнать фактическую мощность команды – ведь, скажем, из 10 человек, в среднем, один оказывается в отпуске, на больничном или в командировке. Кроме того, важно знать долю отпусков и больничных в общей структуре затрат, а также статистику по командировкам.

Производственное направление информационных панелей включает анализ трудозатрат (среднее списание времени по типам задач, доля задач с типом ошибок, доля непроизводственных затрат), а также анализ выполнения задач – процент попадания в оценку, абсолютное отклонение от оценки, среднее время пребывания в статусе и переиспользование функционала.

— Что в ходе проекта вызвало наибольшие сложности, как их решали?

Как ни удивительно прозвучит, наибольшей сложностью оказалось собрать с руководителей подразделений те метрики, с которыми они теперь работают каждый день, для формирования общей архитектуры проекта. Людям трудно отвлечься от каждодневных задач, чтобы выделить усилия на создание чего-то нового и непривычного.

— Каких бизнес-результатов удалось достичь за счет реализации проекта?

Внедрение BI-системы позволило более эффективно перераспределить производственные ресурсы, что дало возможность существенно сократить нецелевые расходы, оптимизировать бюджетное планирование и увеличить чистую прибыль бизнес-центра компании. Так, например, около 3% сделок содержали ошибки при планировании бизнес-процессов (а это порядка 50 сделок в год в абсолютном выражении). После реализации проекта удалось свести этот показатель к нулю.

Еще один пример: выяснилось, что около 20% трудозатрат одной из команд уходили на недоходные сделки. Мы пересмотрели ресурсное планирование, сфокусировав внимание на коммерчески выгодных сделках, что позволило ускорить разработку и внедрение наших продуктов для коммерческих заказчиков и на 7% повысить выполнение KPI.

— Что из этого для вас является самым главным?

Самое главное – удалось в целом достичь на 5% лучших показателей план-факт по году. Это произошло за счет того, что при анализе отклонений от плана по конкретным проектам мы теперь имеем возможность оперативно перераспределять финансовые и трудовые ресурсы, пользуясь актуальными данными и имея перед глазами всю картину бизнеса в реальном времени.

— Пытались ли оценить эффекты в финансовом выражении?

Да, конечно. За счет тех изменений в ресурсном планировании и сокращения нецелевых расходов, о которых я уже говорил, мы смогли добиться улучшения финансовых показателей бизнес-центра по рентабельности на 5% в целом по году.

— В каком направлении будет развиваться проект?

Поскольку проект оказался успешным на примере нашего бизнес-центра, планируется внедрение системы и в других бизнес-центрах компании «БАРС Груп».

В компании «Финам» создан офис данных, главной задачей которого стало повышение эффективности бизнес-процессов и оптимизация работы с клиентами. О предпринятых шагах и принципах взаимодействия с бизнесом рассказывает Николай Саратовский, руководитель офиса данных компании «Финам» и номинант на премию Data Award.

— Два года назад вы участвовали в Data Award и рассказали о своих первых шагах по созданию в «Финаме» рекомендательных систем для менеджеров на основе машинного обучения. Что интересного произошло с тех пор? Выделите несколько ключевых вех.

Мы проделали огромный объем работы и буквально с нуля перезапустили все внутренние процессы. Это позволило нам максимально эффективно отработать падение на финансовых рынках в 2022 году и выйти из кризиса с минимальными потерями. В частности, мы расширили функционал рекомендательной системы, которая рассчитана как на действующих, так и на потенциальных клиентов. Был разработан центр управления коммуникациями, позволяющий эффективно доставлять предложение до клиентов с использованием различных каналов связи (не только через менеджеров). С помощью этой разработки мы смогли балансировать информационную нагрузку и на клиентов, и на персонал.

— Как были сформулированы задачи, стоящие перед офисом данных, какова его миссия? На каком этапе своего развития он находится?

Ситуация на финансовых рынках постоянно меняется, а в последний год волатильность повысилась еще сильнее, поэтому нам приходится проявлять гибкость, чтобы отслеживать все тренды. На этом фоне видоизменяются и эволюционируют задачи, которые стоят перед дата-офисом. Также на нашей деятельности сказываются и внутренние процессы – мы выстраиваем свою работу, исходя из накапливаемых в озере данных и вливания в него новых источников. Если кратко, наша основная миссия – повысить эффективность бизнес-процессов таким образом, чтобы минимизировать влияние внешних факторов и оптимизировать работу с клиентами без потери качества – в частности, увеличить кросс-продажи, используя минимум ресурсов.

— Важной целью офиса данных обычно становится евангелизация работы с данными и продвижение в компании data-driven культуры. Какие усилия прикладываются в этом направлении?

В нашем подразделении появились дата-стюарды, которые как раз стали евангелистами data-driven культуры в компании. Они вырабатывают принципы построения хранилища данных, занимаются описанием источников данных, а также дают оценку их качества. Кроме того, дата-стюарды выстраивают базу знаний, позволяющую аналитикам и дата-сайентистам эффективно и быстро работать с данными, искать необходимые для бизнеса ответы на вопросы и разрабатывать новые системы на базе машинного обучения.

— Что важнее: организационные мероприятия или техническая «демократизация данных» – обеспечение их прозрачности и доступности?

На мой взгляд, оба эти фактора важны одинаково, они взаимно дополняют друг друга.

— Какие технологии лежат в основе хранилища данных и решений для управления и работы с данными?

Мы используем Hadoop, Spark, Kafka и Python.

— Какие показательные проекты были реализованы в последнее время, каковы их результаты?

Мы реализовали и продолжаем развивать три больших проекта: рекомендательная система 2.0, умный аналитический дайджест и автоматизированные отчеты (по компании в целом и продуктам в частности).

В рамках рекомендательной системы мы сократили количество коммуникаций вдвое по сравнению с обычной продажей, также мы отмечаем рост заинтересованности и удовлетворенности клиентов. Результатом реализации умного аналитического дайджеста стало повышение открываемости и читаемости рассылок до 20%, в некоторых случаях – до 30%. Автоматизированные отчеты помогли сократить время на подготовку отчетности в три-пять раз. Глубина отчетов увеличена с трех месяцев до пяти лет. В некоторых отчетах глубину отображаемых данных удалось нарастить даже до 15 лет.

— Какие ключевые сервисы данных сейчас находятся в стадии реализации? Каковы ожидания относительно них?

В стадии реализации сейчас находится «AI-скринер» — инструмент для инвесторов, построенный на алгоритмах машинного обучения. Сервис обучен и протестирован на финансовых показателях компаний, макроэкономических данных, техническом анализе и других данных, что позволяет ему делать прогнозы относительно капитализации компании: рассчитывать стоимость ценных бумаг, дивидендную доходность, чистую прибыль и другие показатели. Думаю, скринер будет востребован среди розничных инвесторов, поскольку в разы облегчит процесс инвестирования и сэкономит время на анализ котировок.

— Исходя из каких соображений ранжируются проекты? Наверняка они стоят в очереди на год вперед...

Если речь идет о ноу-хау, которого нет у конкурентов, а исследования на фокус-группах говорят, что проект может быть востребован среди клиентов, то задаче будет присвоен высший приоритет и она в кратчайшие сроки окажется в разработке. Следующими по грейду идут проекты, повышающие лояльность клиентов к компании и их индекс счастья от взаимодействия с нашими продуктами и сервисами. Далее следуют проекты, которые могут быть финансово выгодны компании.

— В целом чего компания требует больше: повышения выручки или сокращения издержек?

На первом плане для нас – удовлетворенность клиентов и повышение времени их жизни в компании, а потом уже сокращение издержек и повышение выручки.

— Пытаетесь ли оценивать экономический эффект проектов?

Конечно. Сейчас мы активно занимаемся оценкой всех сделанных проектов и подведением итогов 2022 года.

— Что вы считаете своим главным достижением как главы офиса данных?

Формирование сильной и сплоченной команды, внедрение в компании новых подходов и культуры работы с данными. Нормой стало принятие решений на основе анализа больших данных.

— Каковы ближайшие планы дата-офиса?

Дальнейшее усиление команды, повышение общего уровня компетенций сотрудников дата-офиса. Готовимся стартовать два новых проекта в области искусственного интеллекта. Планируем перейти от пилотных проектов в области предиктивной аналитики к повсеместному ее внедрению в работе компании, а также заняться структурированием инсайтов, в том числе создать их базу.

«Домклик» от Сбера построил BI-систему на базе бесплатных инструментов. Целью проекта стало не только импортозамещение зарубежных систем, но и разработка удобного и простого сервиса для визуализации данных, не требующего специальных знаний, кроме владения SQL и принципами работы сводных таблиц. О реализации проекта рассказывает Дмитрий Леонов, руководитель направления по исследованию данных и номинант на премию Data Award.

— В чем заключалась проблема? Зачем потребовалось создавать собственную BI-систему?

У нас в компании на еженедельной основе готовится большое количество аналитических материалов, из которых формируется большая презентация для совещания топ-менеджеров. Помимо этого, конкретным командам необходима регулярная аналитика для внутренних совещаний и отслеживания эффективности работы бизнеса. Сотрудникам в регионах необходимы различные детальные выгрузки и отчеты для разбора кейсов и анализа отклонений в работе.

Все эти потребности закрывались с большим количеством ручного труда аналитиков, отчетность была очень разрозненна по своему формату, структуре и размещалась в разных местах. Не было должного контроля качества данных и «единого источника правды». У разных команд были разные подходы к построению отчетов и разные инструменты для этого.

Кроме этого, было много дублирующихся показателей с разной логикой расчета. Это происходило как раз из-за разрозненности в подходах к отчетности и отсутствия единых правил.

— Какой подход к решению был выбран?

Было принято решение о создании единой системы, в которой будет храниться вся официальная отчетность управления с централизацией работы аналитиков. Подход подразумевал разработку единых правил и требований к размещаемым отчетам, а также обеспечение контроля качества данных и поддержание их максимальной актуальности.

— Какие требования предъявлялись к будущему решению?

Необходимо было создать простой инструмент, чтобы сократить время на создание новых аналитических материалов, а также обеспечить новым сотрудникам быстрое погружение в процесс. С точки зрения пользователей должна была обеспечиваться максимальная актуальность данных и поддержка работы на мобильных устройствах. Для сотрудников в регионах требовался портал для возможности скачивания отчетов в виде файлов.

Нужно было обеспечить разграничение доступа к конфиденциальной информации вроде финансовых показателей и данным HR. Также было важно создать решение с постоянной ИТ-поддержкой, соблюдением требований кибербезопасности и мониторингом качества данных.

— На каких технологиях построено решение?

Бэкенд реализован на Python и PostgreSQL, а также Clickhouse. В качестве фронтенда используется React.

— Как учитывали потребности пользователей? Что им вообще нужно?

Первоначально требования шли от текущей отчетности и пожеланий топ-менеджеров. Для них важно иметь доступ к аналитике круглосуточно, с мобильного телефона или компьютера, видеть достоверные проверенные данные, быстрые внесения изменений аналитиками.

После реализации MVP проводились регулярные встречи с пользователями и выявлялись более специфичные требования. Вдобавок, в процессе работы с инструментом аналитиками, сформировался большой пласт работ по более тонкой настройке визуализации.

— Что получилось удачнее всего, а над чем еще предстоит работать?

Хорошо получилось обеспечить простоту инструмента и низкий порог входа для новых аналитиков, закрыть основные потребности пользователей и аналитиков. Достаточно легко и безболезненно прошел переход на нашу систему с всего множества платформ, которые использовались ранее.

Предстоит много работ по доведению инструмента до полноценной BI-системы – то есть добавление большего количества визуализаций, вариантов расположения виджетов, более точной настройки отображения, дополнительных сложных вычислений и формул.

Остается большое количество технических задач и задач по улучшению пользовательского опыта.

— Каких результатов удалось достичь?

Удалось централизовать аналитику и наладить процесс построения отчетности. У нас получилось сформировать простые и понятные правила по построению дашбордов и данным, на основе которых они строятся, а также привести отчетность к единому формату как данных, так и визуализации. Очевидно, удалось популяризовать работу с отчетностью, ведь около двух третей всех наших пользователей теперь посещают систему каждый рабочий день.

Важно отметить метрики по качеству и скорости работы дашбордов. Среднее время загрузки данных в виджетах – менее 1 секунды. Этого удалось достичь за счет лимитов на скорость выполнения скриптов и на количество данных, на которых строится визуализация. Для более детальных отчетов и выгрузок у нас используются отчеты в виде файлов, которые можно связать с виджетами.

— Насколько сильно снизились требования к аналитикам? И как вообще более простой сервис отразился на процессах?

При найме новых аналитиков перестало требоваться знание BI-инструментов вроде Tableau, PowerBI, QlikView. Основным требуемым навыком выступает SQL и аналитическое мышление.

Простой процесс создания дашбордов значительно снизил время их разработки. Уменьшилось дублирование одних и тех же показателей от разных аналитиков. Как следствие, повысилось доверие к отчетности.

— Пытались ли оценить финансовый результат?

Проводился сравнительный анализ расходов на покупки лицензий зарубежных популярных BI-инструментов (до ухода этих компаний из России). Получались достаточно крупные суммы с учетом большого количества пользователей и аналитиков.

Создание отдельной команды под разработку собственного решения получилось более выгодно экономически.

— В чем роль проекта для компании и для рынка в целом?

В текущих реалиях основная роль – конечно же, импортозамещение зарубежных продуктов, а также обеспечение бесперебойной работы с отчетностью в рамках компании.

Ожидается распространение системы на другие подразделения – такой шаг поможет коллегам перенять наш опыт и лучшие практики, а не тратить ресурсы на создание собственной системы аналитики в условиях практически отсутствия альтернатив на рынке. Конечно, можно найти решения open source, но требуется много времени и ресурсов чтобы развернуть и настроить их под себя. А для специфических задач наверняка потребуются доработки такой системы.

— Каковы планы по развитию решения?

Планируем превратить решение в полноценный BI-инструмент с поддержкой всех основных возможностей по визуализации и анализу данных. Важно совершенствовать интерфейс, чтобы процесс работы аналитиков стал максимально простым и интуитивно понятным.

А для распространения на другие подразделения планируем создать коробочную версию. Это подразумевает довольно большую техническую работу и анализ потребностей коллег. Возможно, у них есть очень специфичные задачи, которые у нас не решались, и для этого потребуется расширить функционал.

Использовать data-driven подход, быть в курсе изменений в бизнесе и операционной работе и сразу реагировать на них, корректируя прогнозы и адаптируя решения, – очень важно для команды, которая развивает HiFi-стриминг Звук. Аналитики компании для решения этой задачи используют бот в Telegram, с помощью которого они уменьшают время реакции на инциденты и высвобождают ресурсы на подготовку отчетов. О реализации проекта рассказывает Павел Пуряев, руководитель отдела аналитики в Звуке и номинант на премию Data Award.

— Почему анализ данных – это важно для Звука?

Сегодня люди живут в мире контента. И мы – часть этого мира, наш сервис относится к развлекательной индустрии. Мы преображаем жизнь, а не диктуем ее правила. Наша миссия – обогатить жизнь человека, сделать ее интереснее и эмоциональнее. Для этого нам необходимо постоянно анализировать поведение пользователей в сервисе и принимать решения по развитию и изменению на основе этих данных.

Анализ данных – это достаточно сложный процесс, как в части необходимой инфраструктуры, так и в части экспертизы у сотрудников, непосредственно работающих с данными. Мы собрали сильную команду аналитики, которая решает все необходимые задачи, от технических – создания витрин, построения ETL-процессов, до аналитических – очистки выбросов, построения и расчета дерева метрик, анализа отклонений, формирования гипотез, поиска точек роста, проведения A/B-тестов.

— Как работа менеджеров с данными была организована ранее? В чем были проблемы, почему не устраивало?

Ранее метрики считались по ad-hoc запросам, а затем передавались заказчику. Часто метрики можно интерпретировать и считать по-разному, и логика расчета ложилась на плечи аналитика. Если в компании несколько аналитиков в разных направлениях, то при таком подходе возникает проблема разных расчетов для одной и той же метрики. И как следствие – разные данные у разных заказчиков и невозможность принятия правильных управленческих решений.

Эту проблему мы решили с помощью единой инфраструктуры для метрик. Так, если метрика когда-то уже была рассчитана, она попадала в инфраструктуру и любой аналитик мог ее переиспользовать в своих дашбордах и отчетах без необходимости придумывать логику самостоятельно. На основе этой инфраструктуры были реализованы разные дашборды для отдельных направлений, и на какое-то время проблемы ушли. Но когда метрик стало ощутимо много, менеджеру приходилось просматривать сразу несколько дашбордов, чтобы получить взгляд сверху по ситуации или отдельному продукту, а это занимает очень много времени. Аналитики настроили автоматические отправки на почту, но проблема оставалась: большое количество отчетов просто не успевали просмотреть.

Мы ценим время своих коллег, поэтому обратили внимание на проблему перегрузки отчетами и реализовали возможность для каждого конкретного менеджера выбрать и отслеживать именно то, что ему нужно. Получился фактически персональный конструктор отчетов.

— Что «под капотом» аналитической инфраструктуры?

Инфраструктура состоит из двух систем: системы автоматического расчета метрик и системы доступа к данным.

Система по автоматическому расчету представляет собой выстроенный ETL-процесс, написанный на Python и автоматизированный с помощью Airflow. Мы создали шаблон, который ежедневно последовательно запускается для каждой метрики, считает ее в различных разрезах и записывает в витрину. Логика расчета каждой метрики записана отдельным SQL-скриптом, и с помощью параметров шаблон поэтапно подставляет необходимые разрезы, выполняет расчет и записывает результаты в витрину. Документирование метрик (название, описание, логика) происходит в Apache DataHub, что позволяет быстро найти нужную метрику и понять логику ее расчета. Аналогичным образом считаются доверительные интервалы для каждой метрики и каждого разреза. Доверительные интервалы помогают увидеть статистически значимые изменения в метриках и вовремя среагировать на них.

Для прогнозирования мы используем библиотеку Prophet с подобранными для каждой метрики коэффициентами. Прогноз пересчитывается раз в неделю и учитывает исторические данные, маркетинговые кампании, праздники, факторы сезонности и т.д. Эта система позволяет нам в автоматическом режиме считать все метрики, нужные разрезы, доверительные интервалы, статистически значимые изменения, а также строить прогнозы.

Что касается системы доступа к данным, то для составления дашбордов мы используем FineBI. Однако это решение требует лицензий для просмотра отчетов и доступно только из внутренней сети. Менеджмент попросил о возможности быстро (без помощи аналитиков) смотреть значения конкретной метрики с динамикой в нужном разрезе. В итоге мы пришли к простому и удобному решению: Telegram-боту, в котором можно подписаться на метрики в нужных разрезах (тогда он будет ежедневно в 10 утра присылать сводку по метрикам, на которые пользователь подписан) или просто разово запросить информацию.

— Как выбирали платформы для реализации проекта?

Мы искали простой инструмент, который не требует долгого обучения, дополнительных лицензий и будет доступен каждому члену команды (с поддержкой ролевой модели). Все это мы смогли реализовать в функционале бота в Telegram.

Нам нужна была не просто отправка отчетов, а еще и их персонализация. В Telegram-ботах уже реализован удобный интерфейс для взаимодействия с пользователями. Пользоваться ботом быстрее, чем открывать табличные отчеты или дашборды и ежедневно отслеживать там показатели, кроме того, есть возможность настроить выгрузку под себя.

— Как выглядит взаимодействие с ботом?

Взаимодействие построено так: пользователь выбирает метрику, настраивает нужные разрезы, нажимает опцию «подписаться» или «разовый просмотр».

Бот в ответ отправляет сводку по выбранной метрике: динамику за последние три месяца по дням с детализацией (доверительный интервал, обозначения статистически значимых изменений и прогноз на 30 дней вперед). Дополнительно отправляется информация в виде абсолютных значений за текущий день и сравнение с предыдущим значением, значением неделю назад и значением предыдущего месяца в аналогичный день. Если в текущий день есть статистически значимое изменение, это также будет отражено в сообщении.

Отдельная полезная функция бота – это ежедневный отчет по статистически значимым изменениям, так называемый «алертинг». Он показывает изменения в каждом разрезе и отмечает метрики с значимым падением или ростом. Данный функционал очень полезен аналитикам и продакт-менеджерам для быстрого реагирования.

— Приведите примеры того, как новые инструменты повлияли на процессы принятия решений, принеся очевидную пользу.

Во-первых, существенно сократилось количество типовых запросов в аналитику. Это означает уменьшение повторяющихся действий и прямое высвобождение ресурсов аналитиков. Во-вторых, менеджеры начали сами следить за метриками и приходить к командам с вопросами, если показатель резко меняется. Это ускорение реагирования, что ценится любым бизнесом. Наконец, дата-аналитики быстрее отлавливают проблемы в данных и устраняют проблемы сразу во всех отчетах. Это повышение качества данных их надежности.

К примеру, менеджер отдела роста ежедневно отслеживает показатели, в случае их критического изменения ставит задачи на исследование, принимает оперативные решения, чтобы повлиять на ситуацию. Другой пример: менеджер саппорта отслеживает значение месячной аудитории и соотносит его с количеством обращений, чтобы выявлять наличие нехарактерного количества запросов. На основе прогноза он также может корректировать количество необходимых дежурных специалистов в смене.

— Каких результатов достигли?

На текущий момент в аналитической инфраструктуре ежедневно рассчитываются показатели по более чем 170 метрикам. Кроме того, по каждой из них рассчитываются доверительные интервалы для формирования уведомлений по резким аномалиям. Сейчас мы расширяем возможности инфраструктуры путем добавления прогноза в дополнение к фактическим данным. По 10 метрикам такие прогнозные данные уже готовы.

К инфраструктуре подключен функционал, который позволяет подписаться на отчет по конкретной метрике в конкретном срезе. Благодаря этому можно получать полную актуальную информацию по любой метрике без необходимости постоянно запрашивать ее у ответственных и отслеживать вручную. Время реакции на аномальные изменения метрик сократилось с нескольких дней до нескольких часов.

Около 10% сотрудников Звука уже используют наш инструмент в своей ежедневной работе на постоянной основе. Основываясь на данных отчетов, которые отправляет бот, мы принимаем бизнес-решения.

— Пытаетесь ли оценить финансовые результаты? Чем можете похвастаться?

В этом проекте мы не фокусировались на изменении финансовых показателей. Нашей целью было и остается снижение нагрузки на отдел аналитики, оптимизация процессов, развитие data-driven культуры в Звуке и ускорение реакции, а значит – решение проблемных кейсов, связанных с данными.

— Почему пока только 10% сотрудников используют инструмент на постоянной основе? Кто в итоге стал первыми пользователями и почему?

Эти 10% – те менеджеры, которым важно отслеживать метрики. Фактически это люди, принимающие операционные бизнес-решения, исходя из полученных данных. Объективно не на всех уровнях и не во всех отделах есть потребность в этом. Для нас важно, что именно для этой заинтересованной группы мы смогли увеличить вовлеченность, и тем самым двигаемся в сторону data-driven подхода.

— Что делаете, чтобы повысить процент пользователей? И вообще, каковы целевые показатели использования?

Мы рассказываем про преимущества использования бота на внутренних митапах и во внутренних рассылках, а также во время онбординга сотрудников. Моя миссия как руководителя подразделения аналитики – выстроить полноценный data-driven подход на всех уровнях компании, чтобы любое, даже самое незначительное, решение проходило через призму данных. На 2023 год мы ставим себе цель 40% сотрудников: в дополнение к текущим пользователям, это будут все руководители направлений.

— Что дальше? В каком направлении будет развиваться решение?

Текущего функционала уже достаточно для полноценной работы и решения проблемы на первом этапе, но мы планируем доводить его до совершенства, а также учитывать возникающие потребности пользователей. Для этого мы постоянно проводим опросы.

Первое направление развития – увеличение информативности отчетов. Будем улучшать структуру и увеличивать ценность отправляемого отчета. Сюда будет входить повышение удобства обработки результатов – например, добавление описаний к метрикам или разделение их на группы.

Второе важное направление – добавление нового функционала. Например, у нас появятся новые отчеты (рассматривается вариант отправки PDF-отчета из дашборда) или возможность объединять несколько показателей на один график.