Статьи

Переход платформы персонализации «Сбера» с Teradata на связку Hadoop и GreenPlum планировался еще до санкционного кризиса, но весной прошлого года приобрел особую актуальность. Помимо устранения технологических рисков, у группы появились новые возможности для оперативного выявления потребностей клиентов. Про реализацию проекта рассказали Игорь Зарубинский, директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента и Алексей Смирнов, управляющий директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента – номинанты на премию Data Award.

— Какова предыстория проекта? Что привело к его реализации?

Игорь Зарубинский: «Сбер» работает над созданием полностью интегрированной системы удобных онлайн-сервисов в самых разных сферах для любых жизненных ситуаций: от покупки продуктов на маркетплейсе до оформления ипотечного кредита. С помощью новой стратегии мы переходим от прогнозирования покупки продукта к созданию предложения, адаптированного под жизненную ситуацию и потребность клиента в конкретный момент времени. Точно предугадывая потребность клиента, «Сбер» обеспечивает долгосрочное взаимовыгодное сотрудничество с ним. Основная цель – выявить релевантную в данный момент времени потребность клиента и подобрать наиболее удобный продукт или сервис для удовлетворения этой потребности.

Для решения этой задачи мы стали создавать платформу данных, которая содержит информацию о клиенте и его действиях в контуре «Сбера». При этом для выявления текущих потребностей клиента требуется оперативная и гибкая работа как с онлайн-, так и с офлайн-потоками данных о действиях клиента.

— В чем заключалась проблема?

Алексей Смирнов: Изначально в качестве основной платформы для работы с данными использовалась Teradata. В связи с ростом количества источников и объема данных появилась проблема доставки этих данных до хранилища с актуальностью не хуже, чем на вчерашний день (Т–1 день). Вместе с этим обнаружилась проблема с хранением большого массива данных: данные в «сыром» слое, с которыми мы работаем, занимают десятки петабайт. Весь этот объем информации необходимо оперативно обрабатывать: от момента попадания данных в «сырой» слой до обновления витрины должно проходить не более нескольких часов, так как данные нужны максимально быстро для использования в бизнес-процессах.

Кроме того, для оперативного выявления потребностей клиентов было реализовано большое количество стриминговых потоков с триггерами о действиях клиентов в контуре группы «Сбера». Возник вопрос об эффективной обработке и создании витрин данных, которые обновляются в реальном времени и используют как информацию из онлайн-потоков, так и из витрин, которые обновляются пакетом.

На платформе Teradata реализация подобной задачи становилась крайне дорогой или невозможной, поэтому «Сбер» принял решение изменить технологическую платформу и перейти на использование связки платформ Hadoop и GreenPlum. Задача миграции стала особенно актуальна в 2022 году, так как Teradata приняла решение уйти с российского рынка. Из-за прекращения поддержки возник риск прекращения работы всех бизнес-процессов, что могло привести к потерям в сотни миллиардов рублей.

— То есть миграция планировалась заранее? Насколько сильно планы откорректировались в связи с санкционным кризисом?

А.С.: Да, миграция планировалась заранее и была инициирована недостатком функциональности предыдущей платформы и дороговизной ее масштабирования. Планы реализации проекта поменялись незначительно, так как к моменту появления санкционных рисков большая часть проекта уже была реализована. Когда ушли иностранные вендоры, мы уже имели на 70% импортозамещенный продукт, и нам пришлось действовать еще быстрее, чтобы компенсировать оставшиеся 30% решений до конца 2022 года.

— Что стало самым сложным в процессе миграции? Как решали эти проблемы?

А.С.: Самым сложным в реализации проекта было изменить модель мышления пользователей платформы: перейти на другой технологический стек и новую модель данных, переосмыслить процессы, которые были сделаны на базе технологии Teradata и реализовать новые, по сути, процессы на новом стеке технологий. Также большим вызовом для нас было доказать преимущества новой платформы для работы дата-инженеров, дата-аналитиков, дата-сайентистов: ее работоспособность, надежность, масштабируемость, скорость работы вычислений для больших объемов данных.

— Сколько времени и ресурсов потребовалось на реализацию проекта?

А.С.: Проект был инициирован в конце 2020 года и завершен в конце 2022 года. За это время мы мигрировали более 300 бизнес-процессов с Teradata на новую платформу.

— Какие данные используются для построения персональных предложений?

А.С.: Мы используем информацию из всех банковских систем, а также данные из систем компаний-партнеров, что позволяет сформировать полный профиль клиента: его финансовые и социально-демографические характеристики, данные об интересах, его предпочтениях в кино, еде, музыке. Разумеется, при этом в обязательном порядке учитывается согласие клиентов на сбор, обработку и использование данных.

Витрины данных являются основой для ключевых задач формирования персональных предложений клиентам. С их помощью создаются модели искусственного интеллекта для работы с данными, аналитика и отчетность, формируются персональные предложения с индивидуальными условиями для клиентов. При этом мы создаем не только витрины «холодного вектора», которые обновляются ежедневно с актуальностью Т–1 день, но и витрины «горячего вектора», которые основаны на потоковой обработке данных.

Новые технологические платформы позволяют нам хранить петабайты данных, быстро обрабатывать десятки терабайт данных в инкременте, а также работать с данными в режиме реального времени.

— Какие изменения в бизнес-процессах породили новые возможности?

И.З.: Новые возможности стали базой для построения SberNBA – платформы персональных рекомендаций. SberNBA обеспечивает расчет персональных предложений, коммуникацию в релевантный момент времени на каждом этапе жизненного пути клиента и максимизирует долгосрочную ценность сотрудничества «Сбера» с клиентом. В основу архитектуры платформы заложены алгоритмы машинного обучения, которые позволяют анализировать события в жизни каждого клиента и реагировать на них в режиме реального времени.

— Какие результаты достигнуты и ожидаются?

А.С.: На текущий момент решение содержит более 300 витрин, которые, в свою очередь, содержат более 15 тыс. атрибутов общим объемом более 9 Пбайт. Самая крупная витрина занимает 1 Пбайт с ежедневным инкрементом в 5 Тбайт. Самая большая витрина содержит более 1 тыс. атрибутов.

Витрины данных имеют актуальность Т–1 день уже к началу следующего рабочего дня. Таким образом, решение позволяет обрабатывать десятки терабайт данных инкремента и за 4,5 часа ежедневно формировать более 300 витрин, существенная часть из которых — это сложные витрины типа SCD2 (медленно меняющиеся измерения, Slowly Changing Dimensions).

Вместе с тем, реализованы десятки онлайн-потоков, которые умеют «на лету» определять потребность, исходя из комбинации совершенных действий клиента. Плотность потока стриминговых данных составляет более 10 тыс. транзакций в секунду. Для определения потребности клиентов при работе с потоками мы не только пользуемся готовыми потоками из систем «Сбера», но и донасыщаем их дополнительной информацией из параллельных стриминговых потоков и витрин, которые обновляются в пакетном режиме. В ряде случаев требуется создание онлайн агрегатов для выявления аналитических триггеров в потоковом режиме.

Также решения, построенные на онлайн-потоках, позволяют предсказывать вопросы и проблемы, которые могут возникнуть у клиента при взаимодействии со «Сбером». Благодаря этому появилась возможность заранее сформировать соответствующую коммуникацию или настроить персональный ролик в канале телемаркетинга по актуальной проблеме и быстро решить вопрос клиента, не привлекая к этой задаче оператора горячей линии контакт-центра.

После перехода на новую платформу обработки данных более 500 наших D-people –дата-инженеров, дата-аналитиков, дата-сайентистов – ежедневно стоят свои решения как на базе платформенных решений, так и на базе реализованных потоков данных. Что немаловажно, во все процессы встроены инструменты контроля качества данных, в том числе с использованием моделей искусственного интеллекта, которые позволяют проверять сложные зависимости в данных для предоставления наилучшего результата.

— В чем роль проекта для «Сбера»?

А.С.: Переход на новую платформу, состоящую из Hadoop и GreenPlum, позволил выполнить ряд крупных задач для B2C-бизнеса «Сбера». Нам удалось добиться непрерывности работы бизнеса за счет отказа от зарубежного вендорского решения. Появилась возможность хранить огромные массивы данных в десятки петабайт, необходимые для реализации предиктивной аналитики и отчетности. Специалисты смогли настроить процесс ежедневного быстрого применения инкремента в 10 Тбайт и реализовать системы потоковой обработки данных.

И.З.: Все это позволило уменьшить временной лаг между совершаемым клиентом действием и реакцией бизнеса на это действие. Благодаря переходу на новую платформу для работы с данными «Сбер» намного раньше узнает о текущих потребностях клиента. Это позволяет формировать наиболее актуальный пул персональных предложений, что было невозможно при использовании предыдущей платформы для работы с данными.

Точно предугадывая потребность клиента, мы обеспечиваем долгосрочное взаимовыгодное сотрудничество с ним. Это подтверждают бизнес-результаты. Например, количество жалоб на коммуникации уменьшилось на 12%. Чистая приведенная стоимость по некоторым коммуникационным кампаниям увеличилась на 20% по сравнению с месяцем, когда в процессе участвовали данные с актуальностью Т–1 день.

Девелоперская компания «Самолет» повысила производительность труда на своих стройках за счет интеллектуальной системы мониторинга, позволяющей оперативно реагировать на любые отклонения от планов. Решение уже показало эффективность в сокращении сроков строительства на 5%, а снижение себестоимости строительства может достигнуть 1,5%. О реализации проекта рассказывает Екатерина Линкевич, директор по данным компании «Самолет» и номинант на премию Data Award.

- В чем заключалась бизнес-проблема?

Производительность труда в строительной отрасли в мире не растет с начала 1990-х годов. Расходы, связанные со строительством, составляют 13% от мирового ВВП, что в денежном эквиваленте оценивается в 1,6 трлн долл. В России этот показатель на уровне 6% от ВВП или 5,5 трлн руб. Ежегодный прирост производительности сектора составлял в среднем 1% за последние 20 лет.

Группа «Самолет» — одна из крупнейших девелоперских компаний в России, с портфелем текущего строительства 3,3 млн кв. м и земельным банком в 34,2 млн кв. м реализуемой площади. Перед нами стояла непростая задача: по производительности труда приблизиться к показателям Китая и США, которые в полтора раза выше российского. Ключевым моментом в повышении эффективности стройки является выполнение плановых показателей и соблюдение техники безопасности, контроль за выполнением строительно-монтажных работ и подготовка квартир к сдаче.

В первую очередь нас интересовала автоматизация контроля и своевременного реагирования на отклонения от плановых показателей во время всего хода строительства жилых домов. На группу «Самолет» работает большое количество подрядных организаций, поэтому довольно сложно самостоятельно контролировать фактически выполненные объемы стройки, и приходится доверять статистке подрядчиков. Не меньшую роль играет контроль отделочных работ – чистовой и черновой отделки, наличия санфаянса и мебели, наличия мусора внутри квартиры после завершения работ. Необходимо создание системы, которая повысит качество контроля и исключит возможность пропуска специалистами тех или иных помещений. Наконец, нужна автоматизация мониторинга наличия ограждений на открытых участках на протяжении всего хода строительства. Строительная площадка – территория повышенной опасности, несоблюдение правил техники безопасности может стоить жизни. И здесь наша задача – создать решение, которое может автоматически выявлять факты нарушения и с помощью системы штрафов исключить прецеденты.

- Как пришла идея мониторинга с помощью видеоаналитики?

Мы стремимся к тому, чтобы стать data-driven компанией, где 100% бизнес-процессов автоматизированы, а решения принимаются на основании данных. С учетом большого количества процессов, мы приоритезировали наши активности по доле трудозатрат в соотношении к потенциальному эффекту для компании и их реализуемости. Себестоимость стройки занимает 60-75% всех затрат компании, поэтому данное направление стало одним из приоритетных. Далее, в рамках анализа инициатив и потенциальных эффектов, мы поняли, что замена ручного труда при управлении стройкой может привести не только к росту производительности, но и к повышению безопасности, существенно повлиять на снижение себестоимости. Так мы выбрали список инициатив, которые приводят компанию к заявленным бенчмаркам эффективности и начали их параллельную разработку и внедрение.

- Какие требования предъявлялись к решению?

Все требования можно разделить на несколько верхнеуровневых блоков. Основными из них были сокращение времени фиксации прогресса и нарушений для каждого корпуса на 95%, сокращение количества нарушений и штрафов до 65%, сокращение инцидентов на стройке до 50%, сокращение времени строительства до 20%.

Нам нужно было создать решение, позволяющее передавать данные в текущие мастер-системы, которые уже используются командой ведения эффективного процесса строительства, и реализовать ролевую модель своевременного оперативного информирования и реагирования задействованных сотрудников на стройке (включая топ-менеджмент компании) через оперативные каналы коммуникаций.

Для внешнего мониторинга стройки требовалось обеспечить ежедневный мониторинг прогресса строительства за счет получения видеопотока с камер, его обработки, и автоматического сравнения с плановыми показателями по монолиту, кладке и окнам, наличию защитных сеток. Для мониторинга внутренних отделочных работ был нужен еженедельный мониторинг прогресса черновых и чистовых работ за счет получения данных с переносных камер сотрудников. Подразумевается фиксация этажа, корпуса, здания в специальном приложении и обработка видеопотока с последующим автоматическим сравнением с плановыми показателями по отделке – пол, потолок, двери, сантехника, радиаторы, электрика и т.п. При этом время обработки видео с одного этажа не должно превышать 30 секунд.

- Какие технологии использованы при разработке?

Все решение можно разделить на несколько компонентов. Внешняя оболочка – это панель администратора с настроенными отчетами, оповещениями и метриками, построенная на Python, Flask и шаблонизаторе Jinja. Этот сервис включает в себя мониторинг хода строительства с настроенными отчетами, алертами и метриками, а также инструментарий для возможности расширения количества объектов для внедрения системы мониторинга. Мониторинг поддерживает прием данных с фото-ловушек, дронов, камер видеонаблюдения. Выполняемые алгоритмы решения реализованы на Pytorch, MMDetection, Numpy, Pandas, OpenCV и Timm. Мобильное приложение для сбора данных о внутренней отделке – Javascript и Capacitor. Бэкенд продукта построен на Airflow, SQLAlchemy, FFmpeg, Minio, PySpark, Flask и Telegram. Он представлен в виде конвейера, который по расписанию собирает изображения с источников, отдает их на обработку модели машинного обучения, сохраняет и перемещает все изображения и метаданные на всех этапах, формирует и отправляет отчеты.

- Что потребовалось сделать, чтобы обеспечить систему данными?

Нашей главной задачей было получение корректного видеопотока для дальнейшей обработки.

Если говорить о внешнем мониторинге, то одной из самых сложных проблем было обеспечение бесперебойного канала получения видеопотока со строительных площадок. Как вы понимаете, стройка – это постоянно развивающаяся и меняющаяся среда, в процесс работы на площадке вовлечено очень большое количество сотрудников разных профилей. На каждом проекте работает своя команда, у них свои правила и особенности. И вот в таких условиях, наверное, самым тяжелым было выстроить организованную работу всех команд на всех площадках. В перечень таких работ входило составление плана по монтажу устройств, замер необходимого расстояния, обеспечение точек энергопитанием, непосредственно сам монтаж устройств, корректировка ракурсов, заведение данных в систему обработки и много всего прочего.

Для некоторых объектов установка дополнительных камер и создание соответствующей инфраструктуры было дорогим мероприятием, а иногда и вовсе невозможным – например, когда нет физической возможности повесить камеру. В таких условиях мы решили пойти немного дальше, и поэкспериментировать с альтернативными каналами получения видео, такими как фотоловушки и дроны. Фотоловушка – это простое в установке устройство, которое не требует скрупулезной настройки и поддержания работоспособности, она может долгое время работать в автономном режиме без какого-либо контроля, в том числе, в период экстремальных перепадов температуры.

Дроны нам очень помогли в получении видеопотока в тех местах, где невозможно установить ни камеры, ни фотоловушки. Например, в ситуациях, когда архитектурная форма здания не позволяет установить камеру на достаточном расстоянии. Но этот канал получения данных является альтернативным в силу своей высокой стоимости.

Внутренний мониторинг тоже имеет свои особенности. Сбор данных происходит с камер сотрудников, которые совершают обход. Для анализа корректности работы и подтверждения, что все этажи действительно пройдены, требуется автоматизация распознавания дома, корпуса, этажа. В идеале было бы хорошо иметь данные мониторинга квартиры «до», но это задача на будущее. Ключевая проблема заключается в том, что в ходе отделки, особенно черновой, этажи никак не обозначены, и это затрудняет разметку сплошного видеопотока. Для этих целей мы разработали схему с QR-кодами, которые размещаются на каждом этаже. Чтобы исключить случаи недобросовестного выполнения контроля, прорабатываем размещение специальных меток, которые могут быть нанесены под штукатурку для автоматического считывания.

- Что представляет собой созданное решение?

Модель внешнего мониторинга состоит из нескольких нейросетей и алгоритмов. Во-первых, стоит упомянуть алгоритм исправления искажений объектива. Была задача создать максимально универсальное решение для разных типов камер. Некоторые модели видеокамер имеют искажающий эффект объектива, называемый «рыбий глаз». Необходимо рассчитать матрицу коэффициентов, которая произведет линейное преобразования изображения так, что искажение будет нивелировано.

Вторая важная составляющая – алгоритм перспективной трансформации здания. При установке камеры, которая будет мониторить строительный объект, важным требованием является соблюдение ракурса относительно строительного объекта – он должен быть фронтальным. От того, как будет произведена установка, напрямую зависит качество обработки модели и итоговые результаты – это имело особенно сильное влияние на алгоритм подсчета этажей. К сожалению, во время установки камер стало ясно, что соблюсти данное требование не представляется возможным. В качестве решения был реализован алгоритм перспективной трансформации, суть которого заключается в том, чтобы любой ракурс приблизить к фронтальному. Стоит отметить, что данный алгоритм решает еще одну важную проблему – попадание в кадр нескольких однотипных зданий в случае, когда камеру ставят далеко от наблюдаемого строительного объекта.

Детектор основного здания – еще один важный компонент решения, так как часто на фоне нужного объекта строятся и другие здания. Если не заниматься «чисткой», то можно получить большое количество ложно-детектированных ячеек, что приведет к зашумлению и ошибкам в отчетах. Кроме того, можно упомянуть детектор и классификатор строительных ячеек, алгоритм подсчета этажей, детектор строительной сетки и классификатор нарушений установки ограждений.

- Модель внутреннего мониторинга устроена иначе?

Все квартиры проходят несколько этапов жизненного цикла после завершения строительных работ от черновой до чистовой отделки, до ремонтно-монтажных работ, например, таких, как установка сантехники или кухонного гарнитура. С целью оптимизации затрат на вычислительные ресурсы, администрирование и поддержку мы приняли решение сгруппировать классы и научить одну нейронную сеть правильно детектировать их. Простым языком, мы показываем модели изображение, а она выдает все классы, которые на нем видит. Мы выделили следующие группы классов: классификация помещений (коридор, ванная, кухня и т.д.), классификация частичной отделки (черновая и чистовая, пол, потолок, стена, коридор, общественное место, классификация предметов (батарея, унитаз и т.д.)

Мы отошли от идеи покадровой обработки, так как в рамках задачи поступает огромный поток видео. Вместо этого мы добавили процесс нарезки видео на кадры. То есть берем каждый N-ный кадр, а дальше данные группируются вместе и обрабатываются разом. Нейросеть выдает «сырые» данные, в которых указаны классы, которые она увидела на изображениях. На выходе мы получаем таблицу, в которой для каждого класса помещений, указывается количество раз, сколько в этом помещении модель увидела классы из групп частичной отделки и предметов. Например, в комнате мы можем 10 раз увидеть, что стены отштукатурены, и пять раз – что установлены розетки. Далее на основании этих данных строится процентное соотношение готовности отделки помещения и рассчитывается процент выполнения плановых показателей.

- Какими силами реализовывалась система, сколько времени потребовалось?

Наша задача – развивать внутренние компетенции и масштабировать их на рынок. Продукт реализован силами внутренней команды с привлечением внешних сотрудников. Вся команда состоит из шести человек, включающей двух дата-сайентистов и двух бэкенд-разработчиков.

Если говорить про сроки реализации, то продукт находится в постоянной модификации, постоянном улучшении. Мы приступили к созданию решения в мае 2022 года, и к концу года уже увидели практические результаты от его применения. Мы постоянно работаем над повышением точности моделей, над разработкой новых алгоритмов для мониторинга эффективности, над оптимизацией и улучшением клиентского пути.

- Каких результатов достигли?

Что касается контроля сроков строительно-монтажных работ и соблюдения правил и техники безопасности, то на сегодняшний день наше решение установлено на 25 строящихся объектах, и уже показало эффективность в сокращении сроков строительства на 5%, сокращение количества инцидентов до нуля и сокращения количества штрафов за отсутствие оградительных сооружений в три раза.

Если говорить про направление по мониторингу внутренней отделки, то текущая точность алгоритма в данном направлении составляет не менее 85% по любому из указанных классов. В настоящий момент алгоритм проходит финальную стадию стабилизации, и уже в ближайшее время будет также работать на ускорение сроков завершения работ по внутренней отделке.

В следующем году мы планируем провести масштабирование продукта абсолютно на все проекты нашей компании не только в Москве и Московской области, но и в других городах присутствия. Также мы постоянно работаем над повышением точности алгоритмов и расширением функциональных возможностей, чтобы обеспечить наших клиентов качественным жильем в максимально короткие сроки, и при этом гарантировать нашим сотрудникам должный уровень безопасности.

- За счет чего произошло повышение производительности труда строительного цикла и целевое снижение сроков рабочего проектирования и строительства?

Основным фактором повышения производительности труда послужила возможность проактивного реагирования на отклонения от плановых значений в реализации. Что из себя представляет процесс строительства? Это огромные площадки, множество зданий, которые все нужно обойти, по которым нужно физически зафиксировать прогресс строительства, а затем предоставить полученные результаты топ-менеджменту, по пути пройдя ряд согласований линейного руководства. Иными словами, традиционный процесс мониторинга прогресса в строительной индустрии весьма трудозатратный, небыстрый и с возможностями человеческих ошибок. Наше решение минимизировало вероятность ошибок, и в разы сократило сроки предоставления понятной прозрачной картины хода строительства.

На сегодняшний день все руководство компании, начиная от линейных руководителей на проектах, и заканчивая топ-менеджментом, ежедневно получает информацию о том, на каком проекте идет отставание, и на каком происходят нарушения техники безопасности. Это дает, во-первых, возможность быстро выявить причины таких отставаний и принять меры по их исправлению, а во-вторых, является дополнительным мотивационным аспектом, который побуждает команды не выходить за рамки запланированных сроков реализации.

- Каков экономический эффект?

В «Самолете» цифровизация позволила увеличить производительность труда на 60% за полтора года. Этот показатель был достигнут, в том числе, благодаря и проекту по мониторингу процесса строительства с использованием искусственного интеллекта. Сложно выделить влияние какого-то одного элемента, потому что это комплексное решение, в которое входят все цифровые инструменты управления стройкой, эффективные проектные решения, минимизация изменений, эффективная организация работ и обучения.

Решение было полностью внедрено в августе 2022 года, и мы рассчитываем выйти на 1,5-процентное снижение себестоимости строительства. Сюда входит эффект от ускорения работ, сокращения штрафов за срыв сроков и оплаты инцидентов.

- Каковы планы развития платформы?

Основными задачами на ближайшее время мы ставим повышение точности текущих алгоритмов и разработку новых моделей, способных повысить эффективность и качество строительства. Например, речь идет о мониторинге качества материалов во внешней отделке фасадов и их соответствия архитектурному плану. Также работаем над улучшением опыта внутренних пользователей продукта.

Долгосрочная цель, к которой мы идем, – оцифровать абсолютно все процессы на стройке, поделиться продуктами наших наработок с клиентами, а также масштабировать решения на внешний рынок. Мы хотим быть полезными и эффективными не только нашим сотрудникам и клиентам, но и делиться всеми наработками с рынком, тем самым развивая его и мотивируя на новые достижения.

Компания «Интеко», один из ведущих девелоперов страны, запустила систему динамического ценообразования от компании «Иннодата», позволившую оптимизировать процесс реализации квартир. В результате средняя выручка по проектам увеличилась на 5-7% без учета рыночных факторов. О построении решения и его роли для бизнеса рассказывает Полина Балашова, директор по аналитике и ценообразованию компании «Интеко» и номинант на премию Data Award.

— Каковы были «головные боли» бизнеса? Какие проблемы пытались решить с помощью системы динамического ценообразования?

Со временем в компании увеличивалось количество проектов, и оперативная работа по корректировке цен, оценке новых объемов, построению отчетов и анализу спроса начала занимать очень много времени. Мы понимали, что на формирование стоимости влияет огромное количество факторов, в том числе не всегда очевидных. Учет всех этих факторов для максимизации цены реализации квартиры без снижения темпов продаж невозможен при ручном ценообразовании. Так появилась идея использовать технологии машинного обучения.

— Почему это было важно для вас?

Максимизация прибыли, цифровизация процессов и прозрачность принятия решения дает бизнесу понимание, что мы движемся в сторону развития и совершенствования.

— Какие варианты решения проблемы рассматривали? Какие требования предъявлялись?

Изначально была идея сделать динамическое ценообразование на базе CRM-системы, но сложность разработки, трудозатраты и отсутствие необходимых знаний у внутренних специалистов заставили отказаться от такого решения. Важным требованием была точность прогнозирования, выполнение системой заданных целей.

— Что в итоге было выбрано и почему?

Мы выбрали систему динамического ценообразования от компании «Иннодата», так как они представили наиболее гибкое и подходящее решение для бизнеса.

— Что в итоге представляет собой созданное решение?

Это несколько моделей машинного обучения, предсказывающих вероятность продажи квартиры на разный горизонт времени, то есть ее ликвидность, а также сложная алгоритмическая цепочка бизнес-правил компании для формирования итоговой стоимости каждой конкретной квартиры с обоснованием ее изменения. Модель облечена в дружественную для бизнес-пользователя оболочку, которая понятна аналитикам на интуитивном уровне.

— Что в ходе проекта оказалось самым сложным?

Наиболее сложным процессом оказалось сведение множества данных из различных систем в единую структуру. Для каждого из источников были разработаны отдельные процедуры обработки данных. В дальнейшем данные обогащают общую витрину, которая является основой для визуализации всех отчетов и дашбордов системы. При этом хотелось бы заметить, что наша система – это не просто калькулятор, который дает фиксированный процент изменения стоимости на каждое бизнес-правило, а интеллектуальный механизм автоматического расчета оптимального изменения в каждый момент времени. То есть для одного и того же правила в зависимости от рыночных изменений может рассчитываться разный оптимальный коэффициент изменения стоимости.

— Как изменились подходы и бизнес-процессы, связанные с ценообразованием, в результате реализации проекта?

Компании удалось полностью отказаться от ручного труда в рамках ценообразования, создана панель дашбордов для руководства компании, обновляемая в режиме реального времени. В разы сокращены затраты на анализ данных и увеличена скорость принятия решений.

— Каких результатов удалось достичь? Какие из них самые важные?

Точность прогнозирования цен составляет 85-90%, в среднем выручка по проектам увеличилась на 5-7% без учета роста цен на строительную готовность и рыночных факторов.

— Какова роль этого проекта для бизнеса компании?

Проект дал компании понимание, что ручной фактор ограничивает возможности формирования оптимальных цен на недвижимость, а динамическое ценообразование снимает эти риски.

— Есть ли у этого проекта какие-то перспективы развития?

Система постоянно совершенствуется и дорабатывается, обрастает новыми опциями. Чем больше данных поступает, тем она активнее адаптируется к новым непростым условиям рынка. Планируется дальнейшее расширение функционала с точки зрения автоматизации новых бизнес-процессов, связанных с ценообразованием. Например, оценка земельного участка с использованием генетического алгоритма или расширение функциональности по требованиям, возникшим в ходе эксплуатации системы. Предполагается также дополнительная визуализация рыночных данных, подключение новых источников к модели машинного обучения и многое другое.

Сегодня в основе практически всех современных услуг и сервисов лежат персональные данные. Узнать клиента лучше, чтобы своевременно предложить ему качественные сервисы, услуги и товары в зависимости от его потребностей – это интерес любой компании. Несоблюдение правил работы с персональными данными и их недостаточная защищенность неминуемо приводит к утечкам, следствием которых является использование полученной информации злоумышленниками в различных мошеннических схемах.

Конфиденциальность личной информации, «приватность», является не только одной из базовых потребностей человека, но и безусловным приоритетом Сбера. Осознавая свою роль в совершенствовании отрасли персональных данных с целью защиты интересов наших граждан, Сбер принял решение поделиться своей экспертизой в данной области с широкой публикой. В этом году журнал Sber Privacy Journal, издание Сбера о защите персональных данных и приватности, перестал быть исключительно внутренней инициативой и теперь публикуется в интернете на сайте «Кибрарий» (онлайн-библиотека знаний по кибербезопасности, которую развивает Сбер). Его содержание может быть полезно не только специалистам по защите персональных данных (ПДн), но и специалистам по управлению данными. О первых результатах проекта рассказывает Евгений Калинин, руководитель Центра DPO «Сбера» и номинант на премию Data Award.

— В чем вы видите свою миссию?

В России Сбер – один из крупнейших операторов персональных данных: банк обрабатывает данные более чем 100 млн клиентов и 250 тыс. сотрудников. У команды Сбера самая широкая экспертиза в области обработки персональных данных.

Миссия нашей команды – защита персональных данных клиентов и безусловное обеспечение прав граждан как субъектов персональных данных. В целях реализации этой миссии мы непрерывно занимаемся экспертизой и контролем соответствия банковских процессов законодательству РФ, повышением privacy-культуры клиентов и наших работников, чтобы помочь им избежать мошеннических схем злоумышленников, и многими другими смежными направлениями деятельности.

— Какие шаги для этого предпринимаются?

Для выполнения поставленных перед нами задач мы формируем требования к банковским процессам, в которых происходит обработка персональных данных, проводим экспертизу всех продуктов и сервисов согласно принципам privacy by design, уделяем повышенное внимание проведению обучающих мероприятий для работников и клиентов.

При лидирующей роли нашей команды в банке внедряются бизнес-процессы, реализуются пилоты различных продуктов и сервисов в соответствии с требованиями законодательства, выстроена единая методология и мощная экспертная поддержка бизнеса – фактически наша команда стала надежным помощником в организации банковских процессов.

Privacy-учения для дочерних компаний, ежегодные конференции, активные дискуссии в рабочих группах по развитию законодательства, десятки мероприятий по повышению privacy-культуры как для сотрудников, так и для широкой аудитории, информационный канал о приватности «Ничего личного» в мобильном приложении Сбербанк Онлайн – это только «вершина айсберга», внешние проявления той огромной работы, которую мы выполняем.

В 2022 году мы запустили Sber Privacy Journal – первое регулярное корпоративное издание, посвященное актуальным вопросам обработки персональных данных и в целом проблеме приватности. С января 2023 года журнал доступен в библиотеке знаний о кибербезопасности «Кибрарий».

В мире давно существует традиция выпуска профильных изданий, формируемых международными организациями, крупнейшими аналитическими и научно-исследовательскими центрами, финансовыми институтами. Нам кажется правильной концепция, когда организация, специализирующаяся на определенной сфере, например, на международном гуманитарном праве, финансовом секторе или юриспруденции, публикует свой анализ, свой взгляд на происходящее в мире в данной области. Если говорить о России и о нашей деятельности, у нас достаточно много журналов, посвященных информационной безопасности, но нет по сути ни одного издания, чьим основным фокусом являются персональные данные.

— На какую аудиторию вы нацелены в первую очередь?

С самого начала мы исходили из того, что журнал должен быть интересен и полезен как профессионалам в данной сфере, так и обывателю, не погруженному в сферу персональных данных. Мы стараемся держать баланс, чтобы отойти от излишнего формализма, но вместе с тем сохранить экспертность и практическую пользу публикуемого материала. Поэтому в журнале можно найти как практические статьи, рассматривающие, например, вопросы правоприменения или виды мошенничества с данными, так и научно-популярные материалы об истории становления концепции приватности, о влиянии технологий на общество и т. д. В Sber Privacy Journal можно узнать много интересных фактов, которые расширяют кругозор и дают лучшее понимание того, чем и для чего мы занимаемся. Наш журнал – это не «методичка», а сборник авторских размышлений и исследований на тему приватности, её роли в современном обществе.

— А может быть, многим специалистам нужна именно «методичка»?

Мы выступаем за системный подход и осмысленность в работе. Комплаенс в области защиты и обработки данных «для галочки» нам не интересен. Убеждены, что каждый специалист в области защиты персональных данных должен быть глубоко погружен в четыре области («домена», как мы их называем): доскональное знание законодательства и права в области персональных данных, знания требований к защите и обеспечению безопасности персональных данных, навыки проектирования и анализа качества описания бизнес-процессов, а также знания основ передачи и обработки данных в компьютерных сетях, и, безусловно, уверенное понимание того, что происходит в мире информационных технологий.

Именно глубокое, осмысленное погружение в вопросы безопасности позволит чувствовать себя уверенно в условиях непрерывного развития технологий сбора и анализа данных перед лицом новых вызовов со стороны киберпреступности.

— Разве для закрытия внутренних потребностей не хватает более простых и менее затратных мероприятий – например, периодических тренингов?

Безусловно, такие мероприятия мы тоже проводим. В качестве фундаментальной базы мы разработали онлайн-курс «Основы работы с персональными данными», который проходит каждый сотрудник банка. Помимо этого, мы с регулярной периодичностью «точечно» определяем круг слушателей, собираем интересующие вопросы и проводим встречи офлайн и онлайн, общаемся с бизнесом и ИТ-подразделениями. Если у коллег остаются волнующие нерешенные проблемы – оказываем индивидуальную поддержку. Журнал – это проект, который изначально задумывался «для себя», для внутренних потребностей и для всех энтузиастов в области приватности и конфиденциальности, которые довольно часто, надо сказать, встречаются среди банковских работников.

— Какие темы охватываются в журнале?

В журнале рассматривается широкий спектр тем, начиная от использования технологий биометрического распознавания и заканчивая требованиями к обработке персональных данных в зарубежных юрисдикциях. К примеру, мы подробно рассматривали регулирование сферы персональных данных в разрезе правоприменения Китая и Индии. Изучали феномен дипфейков и правовые основания их использования в рекламных интеграциях, исследовали вопросы приватности в контексте разных исторических эпох и многие другие темы.

— Работа ориентирована исключительно на специалистов? Планируется ли обучать теме приватности и защиты данных клиентов?

Назову одну цифру – 20 миллионов. В 2022 году наши мероприятия по повышению privacy-культуры граждан охватили более 20 миллионов человек. Мы регулярно проводим обучающие мероприятия совместно с государственными органами и ведущими вузами страны. Особое внимание мы уделяем детям, людям пожилого возраста, студентам. Так, например, рамках 2-й Международной олимпиады по финансовой безопасности мы провели обучение основам безопасного хранения и передачи персональных данных для более чем 550 студентов из 12 стран СНГ и БРИКС.

В канале Сбербанк Онлайн «Ничего личного», о котором я упоминал выше, только за прошлый год было опубликовано свыше 40 образовательных статей и материалов с полезными рекомендациями о защите личных данных, направленных, в том числе, на повышение бдительности наших сограждан в вопросах, связанных с использованием их данных.

Также в прошлом году на сайте Сбера мы запустили информационную страницу sberbank.ru/privacy, на которой простыми словами рассказываем посетителям о том, как Сбер обрабатывает и защищает персональные данные.

— Если вернуться к изданию Sber Privacy Journal, то какие результаты достигнуты?

23 января мы опубликовали на «Кибрарии» свежий номер журнала, а заодно и два предыдущих, и практически сразу получили большое количество положительных отзывов. И, что не менее важно, – увидели пожелания и профессиональные рекомендации. Обратная связь особенно приятна с учетом того, что подготовка Sber Privacy Journal – не наша основная работа, а, можно сказать, «факультативная». Ведь по сути все это создавалось и версталось в свободное от основной работы время, которого остается не так много. Здесь действительно стоит поблагодарить наших коллег за их время, инициативность и проявленный интерес к общему проекту.

Мы считаем, что нам удалось заинтересовать российское экспертное сообщество, а если наши наработки будут внедряться на практике – значит, наша задача выполнена на 100%.

— Каковы ваши планы развития?

В числе ближайших планов развития – получить номер ISSN, благодаря чему журнал попадет в международную базу периодических изданий, упростится его распространение и поиск. Будем однозначно расширять авторский состав, привлекать внешних экспертов, включая зарубежных специалистов. Кроме того, мы прорабатываем создание полноценного информационного онлайн-портала Sber Privacy с новостями и аналитикой из мира приватности, запуск англоязычной версии журнала, а также тесное сотрудничество с крупнейшими вузами и ассоциациями в части публикации их материалов.

«Сбер» запустил графовую платформу, позволяющую объединить возможности методов графовой аналитики и технологий больших данных. Ее использование позволило на порядок ускорить разработку моделей и снизить количество затрачиваемых ресурсов при их промышленном запуске. О значении созданного решения для бизнеса и его перспективах рассказывает Алексей Булавин, исполнительный директор управления развития технологий искусственного интеллекта и машинного обучения департамента управления данными Сбербанка и номинант на премию Data Award.

— Какие задачи решает платформа?

В бизнес-практике все чаще встречаются комплексные задачи, для решения которых невозможно использовать традиционные методы и инструменты аналитики, поскольку они требуют обработки информации, которая характеризуется неоднородной структурой и глубокой связанностью.

Если необходимо проанализировать не только объекты и их свойства, но также их связи с другими объектами различных уровней и характеристик, необходимо использовать методы графовой аналитики. Она применяется для получения дополнительных знаний об объекте за счет извлечения знаний о его окружении, выявления наиболее значимой информации, центров влияния, групп связанных объектов, цепочек и многого другого. К задачам графовой аналитики можно отнести как нахождение новых молекулярных соединений, так и более привычные для бизнеса задачи – построение портрета клиента «360 градусов», оптимизацию логистических цепочек или таргетирование.

— Почему это важно?

Сейчас мы наблюдаем взрывной рост объема данных из различных источников во всех сферах деятельности человека. Связанность данных между собой также быстро растет. Это означает, что все больше и больше задач решаются уже не просто на данных, а на больших данных. На российском рынке сегодня нет технологических решений – а тем более платформ – для работы с графами, представляющими большие данные, которые смогли бы объединить эффект от использования Graph Analytics и big data для бизнеса.

— Каков ваш подход?

«Сбер» разработал собственные технологии хранения и обработки данных, представленных в виде больших графов, и за счет инновационных подходов и архитектурных решений добился их высокой производительности на внутреннем аналитическом хранилище, где собрано более 17 Пбайт плотно связанной между собой неоднородной информации.

Для того чтобы возможности наших технологий можно было применить для бизнес-задач различной природы (разработка и внедрение витрин, моделей, нейросетей, создание онлайн-сервисов, BI-инструментов и др.), мы объединили их в технологическую платформу, состоящую из семи сервисов.

Сервис лаборатории графов – интерактивный инструмент для исследования графов, разработки новых графовых моделей (ML). Сервис графовых расчетов – механизм выполнения массовых регулярных расчетов на больших графах для исполнения графовых моделей. Сервис единого графа клиентских связей (ЕГКС) – актуальные витрины данных о полной связанности между собой всех клиентов банка. Сервис онлайн-доступа к графу – средство доступа к графам класса big data через API в режиме вопрос-ответ в режиме реального времени. Сервис визуализации графов – интерактивный BI-интерфейс для решения прикладных задач на графах в реальном времени. Сервис встраиваемой графовой базы данных – производительная встраиваемая графовая база данных для нестандартных решений. Наконец, сервис графовых нейронных сетей (GNN) – готовый пошаговый механизм обучения нейросети для конкретной бизнес-цели на базе графа. Эти сервисы платформы унифицированы для взаимодействия между собой и позволяют как конструктор собрать любую конфигурацию в зависимости от решаемой бизнес-задачи.

— Что представляет собой решение, запущенное в «Сбере»?

Созданный нами Единый граф клиентских связей – это сервис графовой платформы «Сбера», который создает из 15 источников данных различных видов: txt, csv, parquet и ежедневно обновляет витрину данных, содержащую граф класса big data. Он содержит 17 млрд связей, 390 млн узлов, 187 типов связей и 374 типа атрибутов узлов. Это один из самых крупных графов в России.

Сервис горизонтально масштабируется, поэтому количество источников и данных в графе растет.

— На каких технологиях построена платформа?

Наша графовая платформа не использует в своей основе другие платформы. Она имеет в своем ядре собственную высокоэффективную графовую базу данных FastGraph, написанную с нуля, а также open source технологии стека Hadoop: HDFS, Spark, Solr, Hbase. Таким образом, это 100% российская разработка.

— Как принципиально новые возможности отразились на бизнес-процессах?

У специалистов, разрабатывающих собственные витрины, модели, нейросети и сервисы на больших графах, появилась возможность делать это эффективнее, причем на порядок. Например, в 10 раз ускорилась разработка графовых моделей за счет использования сервисов лаборатории графов и графовых нейронных сетей. Также в 10 раз уменьшилось время работы, либо количество затрачиваемых ресурсов кластера при промышленном запуске графовых моделей за счет использования сервиса графовых расчетов. Примерно в 20 раз уменьшились затраты на внедрение в промышленную эксплуатацию разработанных графовых моделей.

— Пытались ли оценить экономический эффект?

На старте внедрения данной технологии команда оценивала показатели экономической эффективности от использования графовой платформы и графовых данных на пилотных проектах. Результаты исследования показали, что выросла эффективность управления бизнес-процессами и скорость выдачи кредитов. Экономический эффект от внедрения платформы, безусловно, очень значим, поскольку изменения затронули портфель потребительских кредитов.

— Какую роль этот проект играет для банка?

Для банковского бизнеса крайне важно эффективное управление рисками, в том числе кредитным портфелем. Своевременное выявление инсайтов об изменениях в потребительской и деловой активности клиентов позволяет осуществить прогноз дефолта по кредиту на ранней стадии и зачастую предотвратить его. Также понимание потребностей и особенностей деятельности клиентов позволяет правильно настроить кредитный процесс и сделать клиенту наилучшее для него предложение при сохранении требуемого уровня управления рисками.

Наша графовая платформа уже встроена в бизнес-процессы корпоративного и розничного кредитования, что позволяет быстро, взвешенно и с оптимальными затратами принимать решения о выдаче кредитов и их параметров. Сервисы платформы уже используются в десятках автоматизированных бизнес-процессов «Сбербанка». BI-инструментами и данными платформы пользуются порядка 6,5 тыс. специалистов, и их число продолжает активно расти.

— А может ли созданная платформа иметь влияние на рынок в целом?

Думаю, да, поскольку данная платформа вполне может использоваться и в качестве технологической основы других компаний, открыть для них новые возможности по обработке больших данных.

«Ростелеком» запустил собственную систему управления данными, которая не только обеспечила компании технологическую независимость, но и дала возможность повысить собственную эффективность. О реализации проекта рассказывает Андрей Телюков, директор управления развитием платформы больших данных «Ростелеком» и номинант на премию Data Award.

— Как и почему у «Ростелекома» появился собственный продукт для управления данными?

«Ростелеком» – крупнейший в России интегрированный провайдер цифровых услуг и решений, который присутствует во всех сегментах рынка и охватывает миллионы домохозяйств, государственных и частных организаций. Это оказывает влияние и на структуру компании, в которую входит несколько больших региональных филиалов. Мы почувствовали потребность обладать всеми необходимыми данными в едином месте, и данный факт сподвиг нас к реализации проекта по созданию единого корпоративного хранилища – «Платформы управления данными».

Во время работы над этим большим проектом собралась сильная дата-команда, компетенции которой позволяли решать сложные, нетривиальные задачи. Это уже выходило за классические рамки дата-офиса – речь шла о проектировании и разработке собственных инструментов по работе с данными.

Сначала мы делились своим опытом в группе компаний «Ростелеком», но потом пошли дальше и стали предлагать свои наработки рынку. О правильности такого решения свидетельствует нынешний высокий спрос на наш продукт.

— Когда начинался проект, никто не мог представить мощного санкционного кризиса. Что было первичным при разработке решения: импортозамещение, минимизация стоимости владения, технологические преимущества и т.п.?

Все перечисленные аргументы комплексно повлияли на принятие решения о разработке «Платформы управления данными». При этом все же можно выделить первичные причины и посмотреть, как решались задачи хронологически.

В первую очередь перед командой, конечно же, стояла задача минимизации совокупной стоимости владения. Переход на продукт собственной разработки позволяет отказаться от лицензионных затрат на решения других компаний. Это позволило расширить нашу команду и выделить группы специалистов по отдельным направлениям.

Сильное влияние оказало и движение в сторону отказа от зарубежных вендоров. Силами команды мы выполнили необходимые регистрационные и сертификационные действия для подтверждения того, что продукты «Платформы управления данными» – собственная разработка и созданы на базе открытых решений. Это позволило нам получить регистрацию в реестре отечественного ПО.

И, наконец, самая сложная и важная часть – получить технологические преимущества. Мы внимательно следим за рынком, изучаем запросы от внутренних и внешних заказчиков, анализируем потребности и формируем вектор развития наших продуктов. В результате удобный, качественный и надежный сервис получает не только «Ростелеком», но и другие наши клиенты.

— Каких принципов придерживались при создании платформы?

В нашей команде большинство специалистов в прошлом были пользователями подобных систем, то есть «по ту сторону баррикад». Поэтому основной принцип – разработка качественного и удобного решения, которая позволила бы экономить время и силы всем многочисленным участникам процесса работы с данными, и тем самым давать экономическую выгоду бизнесу. Кроме того, мы стараемся подходить к каждой задаче критически, чтобы процесс разработки был выстроен эффективно и можно было избежать лишних и ненужных затрат.

Еще один важный принцип, особенно актуальный в последнее время, – это безопасность разработки. Мы уделяем этому вопросу большое внимание. Работаем и выстраиваем процесс, разработки, сборки и тестирования таким образом, чтобы в наш продукт не попадали уязвимые и сомнительные зависимости.

И в заключение хочется обозначить мой личный принцип. Я как руководитель команды много внимания уделяю развитию и росту сотрудников. Нам удалось собрать в одну команду сильных технических специалистов, и мы продолжаем расти и дальше, что позволяет говорить, что наша техническая команда – одна из лучших в этой отрасли в стране.

— Что собой представляет разработанная платформа?

Наша платформа управления данными – это 14 продуктов, которые охватывает полный жизненный цикл работы с данными: от подключения системы источника до искусственного интеллекта. В «Ростелекоме» внедрены следующие компоненты, о сути которых можно догадаться из названий: RT.DataLake, RT.Warehouse, RT.Streaming, RT.ClusterManager, RT.DataLoader, RT.DataSync, RT.DataGovernance, RT.MDM.

Хранилище данных содержит около 7 Пбайт данных, в том числе аналитический контур объемом более 400 ТБайт. Хранилище охватывает данные из 450 внутренних источников компании, а также 30 внешних источников (СМЭВ, ФНС, СПАРК, 2ГИС, «Яндекс» и др.).

— Есть ли «фишки» платформы, которыми в «Ростелекоме» особенно гордятся?

В первую очередь, это несколько наших сборок Hadoop под названием RT.DataLake. У нас есть набор для миграции с зарубежных аналогов «один в один» по версиям, а также сборки с более свежими версиями сервисов и компонент. Мы достаточно быстро движемся за комьюнити и при этом продолжаем набирать скорость, благодаря автоматизации. И наши процессы сборки и тестирования – это несомненно, отдельная фишка.

Кроме того, мы много инвестировали в работу над UX/UI нашей собственной разработки RT.ClusterManager. Это решение, которое сильно упрощает работу со сложными системами наподобие Hadoop и Greenplum и позволяет из одного места удобно собрать хранилище данных любой сложности, а также интегрироваться с облачными провайдерами «Ростелекома».

В разработке у нас еще немало «секретных» решений, о которых предстоит рассказать в ближайшем будущем.

— Сразу ли ориентировались на вывод решения на внешний рынок?

Как упоминал ранее, это было последовательное развитие, которое привело нас к текущему состоянию дел. При этом, так или иначе, когда почти три года назад мы вывели «Платформу управления данными» в отдельное направление, мы уже были ориентированы и на внешний рынок.

— Вообще насколько востребованной на рынке оказалась «Платформа управления данными»? И какими видятся дальнейшие перспективы?

Сейчас наблюдается наличие постоянного спроса. Компании пытаются адаптироваться к новым реалиям, но надо понимать, что такой спрос носит вынужденный характер, и поэтому он будет ограничен во времени. Дальнейшие перспективы «Платформы управления данными» могут быть обеспечены только технологическим лидерством. Уникальные идеи и решения позволят развиваться нам – как команде платформы, клиентам и компании «Ростелеком» в целом.

— Какие результаты достигнуты?

Мы исключили лицензионные риски и продолжили эффективно управлять данными в условиях ухода западных вендоров. Повышены доступность, актуальность и качество данных для бизнеса. Увеличена скорость подготовки отчетности и, как следствие, скорость принятия управленческих решений. На новой платформе уже выполнено более 300 бизнес-проектов. Сокращены затраты на поддержку и развитие витрин данных и отчетности, появилась возможность быстрого анализа, построения пилотных моделей за счет наличия песочницы для бизнеса с доступом ко всем аналитическим данным.

Достигнута экономия около 600 млн руб. за счет отказа от использования стороннего ПО и перехода на решение собственной разработки. На пятилетнем горизонте экономия должна составить более 1 млрд руб.

— Какова роль проекта для бизнеса компании и рынка?

Можно выделить несколько видов эффектов. Во-первых, направление B2G. Построена экосистема управления данными на отечественных продуктах в крупнейшем телеком-операторе страны. Это дает надежность и независимость решения, устойчивость к валютным рискам и политическим изменениям. Обеспечена эффективная работа по национальной безопасности и антитеррористической деятельности – исключена возможность предоставления услуг связи запрещенным организациям.

Во-вторых, достигаются B2С-эффекты. Речь идет о планировании строительства и модернизации сети, а также об эффективном обслуживании клиентов. Инструменты платформы позволяют выявлять закономерности в поведении клиентов и оптимизировать инфраструктуру и ресурсы, внедрять чат-боты, оперативно устранять проблемы. Наконец, есть кадровые и ESG-эффекты.

— В числе эффектов вы отдельно упоминаете ESG. Насколько эта повестка сохраняет актуальность, с учетом изменения политической обстановки?

«Платформа управления данными» в целом предназначена для того, чтобы удовлетворять запросы быстрорастущего рынка. Тенденция последних лет транслирует многократное увеличение объема данных, с которыми приходится иметь дело нашим клиентам. Мы как команда, которая работает над платформой, можем и должны предлагать рынку оптимальные решения для работы с данными.

Новые технологии, доработки платформы, различные алгоритмы сжатия позволяют оптимизировать хранение и организовать эффективную обработку данных. В свою очередь, это оказывает влияние на количество закупаемого оборудования и потребление энергии, что в конечном итоге позитивно влияет на экологию. Безусловно, мы продолжим работать над данным направлением, так как в этом часть нашего бизнеса и одно из конкурентных преимуществ.

— Каково будущее платформы, куда она движется?

В ближайшем будущем мы планируем объединить все наши продукты в единую платформу. Мы уже движемся в этом направлении, но на текущий период все же остается некая разрозненность.

Ключевая цель – предоставить пользователю некий «комбайн», с помощью которого можно будет решить весь спектр задач по работе с данными – от хранения до построения BI-отчетности. Это позволит убрать лишние накладные расходы и дублирование при сопровождении огромного числа разрозненных сервисов.

Возможности оценки эффективности всегда были слабым местом наружной рекламы. С появлением новых технологических возможностей у этого направления появились инструменты, которые являются классическими в случае размещения рекламы в Интернете. О создании такого комплекса, выводящего на новый уровень эффективность взаимодействия компаний с аудиторией, рассказывает Евгений Краснов, директор департамента управления дата-продуктами «ГПМ Дата» – единого центра компетенций по сбору и обработке больших данных «Газпром-Медиа Холдинга», и номинант на премию Data Award.

- В чем суть решаемой проблемы?

Для таргетирования наружной рекламы на определенные аудиторные сегменты необходимо определить, какая именно аудитория находится рядом с рекламной конструкцией в каждый момент времени, вычленив только ту часть потока, которая движется навстречу ей, а также разделяя аудиторию на пешеходную и автомобильную. При этом также необходимо выявить сам факт просмотра рекламного креатива, и это сделать не так просто, как определить факт просмотра рекламного креатива в интернете. Наружная реклама на цифровых поверхностях (Digital Out of Home, DOOH) изначально нацелена не на одного человека, а на аудиторию, поэтому решение задачи улучшения эффективности рекламных размещений – это комбинаторная задача, которую мы решаем, обрабатывая большие массивы данных из нескольких источников и применяя современные алгоритмы.

- Почему это важно?

Решение задачи таргетирования наружной рекламы на аудиторные сегменты значимо повышает эффективность рекламных размещений, так как в сочетании с аукционной моделью выкупа рекламных слотов позволяет выявить наиболее эффективные слоты и выкупить их по оптимальной стоимости.

- В чем суть предлагаемого решения?

Мы разработали комплекс технологических решений для рынка наружной рекламы, включающий в себя инструменты медиапланирования и таргетирования, а также набор аналитических инструментов для анализа результатов рекламных кампаний по всем этапам маркетинговой воронки, включая анализ бренд-метрик и заканчивая этапами по развитию клиентской базы рекламодателя. Решение предоставляет инструменты коммуникации как с новой аудиторией – для решения задач расширения клиентской базы, так и для развития существующей клиентской базы рекламодателя.

- Какова история этого проекта?

Основой продукта является система аукционной закупки инвентаря (Demand Side Platform, DSP) компании Qvant – дочернего предприятия «Газпром-Медиа Холдинга», а также опыт в аналитике online-to-offline (O2O) команды, перешедшей из «МаксимаТелеком». Qvant поставляет технологическое решение рекламодателям для возможности закупки инвентаря по аукционной модели в реальном времени (Real-Time Bidding, RTB) как для DOOH, так и для случая баннерной рекламы в рамках программатик-платформы GetIntent. Поставку таргетингов и аналитики обеспечивает «ГПМ Дата».

- Какие технологии используются?

Благодаря данным с Wi-Fi-сенсоров и цифровизации рекламных поверхностей мы отчетливо понимаем профиль аудитории, которая имела возможность видеть рекламу. Это означает, что мы можем выделить те рекламные конструкции и временные слоты, где больше целевой аудитории – по сути, сделать таргетинг в DOOH.

Для сбора и обработки больших объемов данных используется достаточно классический стек технологий: Kafka, Clickhouse, aerospike, а также собственная платформа клиентских данных CDP Scout (Customer Data Platform), которая передает данные для таргетинга в рекламную платформу DSP DOOH Qvant, либо непосредственно в плеер DOOH.

Для построения полной маркетинговой воронки используются данные с собственной панели опросов для анализа бренд-метрик. Также есть возможность проанализировать взаимодействие пользователя с рекламными сообщениями (в рамках дополнительной коммуникации с помощью push-уведомлений и sms) и данные по конверсиям с рекламной активности, включая конверсии в посещение точек продаж.

- Как оценивается конверсия в случае DOOH?

Оценка эффективности рекламных размещений производится по ряду метрик. Одни из наиболее важных – это общий аудиторный охват: Reach, а также Target Reach (целевой охват). При размещении рекламодателю важно получить определенное количество контактов с целевой аудиторией.

Конверсию возможно измерить по изменению бренд-метрик (Brand lift): Brand Awareness, Brand Consideration, Ad Recall и другие. Их измерение производится после проведения рекламной кампании.

Там, где это применимо, проводится измерение O2O-конверсии. Оно осуществляется за счет установки Wi-Fi-сенсора в локацию рекламодателя. То есть оценивается конверсия «доходимости» аудитории в локацию рекламодателя с проведенной рекламной компании. Для измерения конверсии в продажи (Sales lift) замер может производиться как по картам лояльности, так и по данным ОФД.

Для измерения эффективности рекламного размещения по той или иной метрике по факту выделяют тестовую и контрольную группы, балансируют их друг относительно друга и определяют наличие статистически значимого отличия конверсионных показателей по классическим статистическим критериям.

- Какие результаты достигнуты?

Уже проведены более 10 исследований и реализовано более 30 рекламных кампаний с крупными рекламодателями в рамках прямых размещений и аукционов в реальном времени. Мы продолжаем работать над автоматизацией бизнес-процессов по предоставлению аналитических отчетов, расширения набора таргетингов и предоставления различных вариантов триггерных размещений сразу на нескольких видах инвентаря: СМС, пуш-уведомления, DOOH, баннерная реклама на инвентаре «Газпром-Медиа Холдинга»). Для этого ведем активную совместную работу с сейлз-хаусом «Газпром-Медиа» и крупнейшими рекламными агентствами России.

- Как оценивают результаты сотрудничество сами рекламодатели? Ожидания оправдываются?

Да, есть ряд публичных кейсов, в рамках которых были получены положительные результаты по эффективности самих размещений, так и по части предоставления услуг в целом. При этом нужно отметить, что есть ряд потребностей рекламодателей, которые еще предстоит закрыть.

- Каков финансовый эффект от этого направления, в том числе вклад в бизнес компании?

Данное решение дает значимый эффект в бизнес компании, но также требует инвестиций в продвижение продукта и развития функциональности.

- Какова роль проекта?

Создание и поставка комплекса решений позволила предоставить рекламодателям инструменты, которые являются классическими и привычными в случае размещения рекламы в Интернете, но ранее были не доступны в DOOH: таргетирование рекламы, инструменты медиапланирования в рамках RTB-размещений, комплексный анализ рекламных поверхностей и отдельных рекламных активностей, различные вариант A/B-тестов.

- То есть он может изменить рынок рекламы?

Это большая работа, которая может быть решена при слаженной работе с владельцами DOOH-инвентаря и бизнес-заказчиками в лице рекламных агентств и рекламодателей. Вместе с операторами наружной рекламы нами были построены первые оценки Sales lift в DOOH в России, развивается аукционная модель закупки. Это значимые изменения, которые явно влияют на рынок DOOH-рекламы.

- Каковы направления развития проекта?

Текущие задачи по развитию проекта направлены на автоматизацию построения и предоставления аналитических отчетов, увеличение количества доступных таргетингов, а также предоставления более гибких инструментов медиапланирования.

Для рекламодателей также интересна возможность построения мультиканальной атрибуции по всем видам рекламного инвентаря, включая DOOH-инвентарь. Это амбициозная задача, но вполне решаемая как в рамках взаимодействия с партнерами в «ГПМ Дата», так и в рамках «Газпром-Медиа Холдинга» в целом.

«Ростелеком» запустил в контакт-центре чат-бота со встроенным искусственным интеллектом, который охватывает более 20% поступающих обращений. При этом удовлетворенность клиентов выросла, и далеко не все из них способны отличить «нейросетевого» сотрудника от живого. О подходах к реализации проекта и достигнутых эффектах рассказывает Андрей Зима, директор департамента развития решений искусственного интеллекта «Ростелеком» и номинант на премию Data Award.

— Какова история проекта? Как компания пришла к его реализации?

Клиенты «Ростелекома» исчисляются десятками миллионов. Ежемесячно мы получаем более 3 млн обращений как в голосовом, так и в текстовых каналах.

Безусловно, любой бизнес, чтобы развиваться, должен становиться более эффективным, и «Ростелеком» не исключение. Мы приняли решение максимально систематизировать отработку обращений, сделать ее единой и унифицированной, что и привело к созданию чат-бота.

В итоге, в условиях увеличения трафика в дискретном канале, не наращивая количество операторов, нам удалось обработать больший объем обращений. Попутно снизилось время ожидания клиентов в чате, ведь чат-бот не знает усталости, работает без обеда и выходных.

— В чем суть разработанного решения?

Мы запустили чат-бот, который работает в нашем решении «Омничат» – оттуда мы получаем обращения клиентов. С помощью технологий искусственного интеллекта мы понимаем, чего хочет клиент: бот распознает его запрос и смысл текста. Для того, чтобы качественно ответить на вопрос клиента, нам потребовались интеграции с внутренними системами. Например, из биллинга мы можем получить баланс счета, а из CRM – информацию об авариях и сроках окончания ремонтных работ на линии.

— Какие технологические принципы закладывались в создаваемое решение?

Мы разработали решение, основанное на собственном технологическом стеке, которое позволяет нам автоматизировать сценарии любой сложности и не требует специальных знаний, особенно программистов. Разработка ИИ-движка внутри чат-бота обеспечивает обучение нейросетей на основании различных выборок данных из ИТ-систем.

— В чем инновационность разработанного решения?

Чат-бот – оригинальное решение, реализованное с помощью современных инструментов, базирующееся на компонентах собственной разработки и открытых языках программирования. Интеллектуальные нейросети, скрипт-менеджер и бот на микросервисной архитектуре обеспечивают гибкое и динамичное масштабирование системы в условиях изменяющихся требований бизнеса, а также оптимизацию стоимости владения инфраструктурой. Ядро бота поддерживает автоматизацию и текстового, и голосового каналов. Сценарии базируются на скриптах, используемых в контакт-центре, что обеспечивает единый подход к обслуживанию клиентов в разных каналах.

— Что в ходе проекта было самым сложным? Как решали проблемы?

Трудно выделить что-то одно – для нас это был новый процесс, требующий большого количества интеграций. К тому же он реализовывался в крупной ИТ-компании с большим количеством сложных бизнес-процессов и подразделений со своими целями. Поэтому процесс в целом был непростым.

— Какова интеллектуальная начинка?

Для определения намерений клиента, ответа на различные вопросы используются BERT-like модели, адаптированные под задачу и требования.

— Сколько времени и каких ресурсов потребовали работы?

К текущим результатам мы шли на протяжении полутора лет небольшой командой. Но итоги подводить еще рано – мы считаем, что у нас все впереди.

— Что удалось особенно хорошо, чем в созданном решении можно гордиться?

Мы гордимся тем, что получился проект, ценный и для нас, и для клиентов. С одной стороны, мы смогли решить цели, которые перед собой ставил бизнес, с другой – предоставили клиентам удобный и современный сервис. Мы достигли нужного экономического эффекта, а наши пользователи теперь получают ответы на свои запросы быстрее. А еще люди даже не всегда понимают, с кем они общаются в чате – с электронным помощником или с живым. Вот это, я считаю, настоящий успех.

— Каких результатов уже удалось достичь, а что еще можно ожидать?

Приведу несколько ключевых цифр. Для консультации клиента чат-бот использует более 150 скриптов, внутри одного диалога задействовано около 100 нейросетей. Нами реализовано более 150 тематик обслуживания клиента, это не менее 65% тематик от общего объема. Чат-бот потенциально может обслуживать одновременно более 5 тыс. клиентов, на текущий момент зафиксирован максимум в пике – более 500 обращений. При этом чат-бот обслуживает клиента примерно в 2,5 раза быстрее, чем живой сотрудник.

Более 20% всех обращений, которые поступают в чат «Ростелекома» в месяц, обрабатываются полностью автоматически. И при этом удовлетворенность клиентов, обслуженных ботом, более 80%. Это выше, чем было до внедрения чат-бота.

— Какие тематики обращений закрываются наиболее полно, а какие пока еще не отдают роботу, и почему? Автоматизация каких именно обращений приносит наибольший эффект?

У нас большое количество различных продуктов: это и «Домашний интернет», и наш онлайн-кинотеатр Wink – по ним с обращениями работает бот. При этом есть продукты с чуть меньшей базой клиентов, такие как умный дом от «Ростелеком», видеонаблюдение – обращения от клиентов этих продуктов обслуживают пока живые люди. Но и тут все просто: мы пошли от большего, чтобы сразу получить крупный эффект, автоматизировав

сложные сценарии с большим количеством проверок, проходящих незаметно для клиента: от финансовых блокировок до проверки сети и оборудования при решении вопросов технической поддержки.

При этом мы не собираемся останавливаться на достигнутом. Мы продолжим внедрять бот в неохваченные продукты и в другие, в том числе внутренние, процессы компании – например, при взаимодействии между подразделениями.

— За счет чего повышается удовлетворенность клиентов? Далеко не все горят желанием общаться с машиной…

Да, согласно исследованиям, сейчас пользователи не очень любят общение с ботом. Но при общении с нашим «нейросетевым» сотрудником они далеко не всегда понимают, что общались не с живым человеком.

Высокий уровень удовлетворенности клиентов связан, в первую очередь, со скоростью и точностью решения их вопросов, ведь скорость обработки запросов и решение их «в одно касание» – одни из ключевых параметров для наших пользователей. В случаях, когда оператору нужно кликать мышкой, чтобы проверить баланс пользователя и напечатать ответ на клавиатуре, чат-бот благодаря интеграциям получает ответы от систем почти мгновенно и сразу выдает ответ пользователю. Нагрузка на операторов снизилась, и у сотрудников появилось больше времени, чтобы решать действительно сложные вопросы.

— Ирония жизни: по-настоящему «человеческое» отношение к клиенту зачастую может обеспечить только робот. В этом будущее клиентского сервиса?

«Роботы», как вы говорите, – это будущее во многих сферах жизни. Нейросети уже пишут музыку, рисуют картины и занимаются еще очень многим. Поэтому без проникновения тренда на роботизацию в клиентский сервис, особенно в высокотехнологических отраслях и крупных компаниях, было не обойтись. В нашей компании много достаточно стандартных операций, которые можно и нужно автоматизировать. Поэтому – да, клиентский сервис и далее наверняка будет развиваться в этом направлении.

— Проект имеет ярко выраженную бизнес-направленность. Каковы экономические результаты?

Мы не можем раскрывать полные данные об экономическом эффекте решения, при этом отмечу, что у нас получилось достигнуть уверенного уровня автоматизации при сохранении, и даже увеличении, уровня удовлетворенности наших пользователей. Все прогнозируемые эффекты на текущий момент исполняются – проект вышел на самоокупаемость.

— В чем роль проекта для компании?

Во-первых, удалось добиться улучшения обслуживания клиентов. Чат-бот позволяет оказывать быструю и эффективную помощь клиентам, отвечая на их вопросы и решая их проблемы в режиме реального времени. Это повышает уровень качества услуг связи в стране и снижает затраты на поддержку пользователей для компании.

Во-вторых, крайне важна персонализация. Чат-бот использует методы обработки естественного языка и машинное обучение. Это позволяет лучше понимать потребности клиентов и быстрее предоставлять персонализированные рекомендации, сохраняя личное время клиентов на решение других вопросов.

Наконец, повышенная эффективность. Чат-бот автоматизирует повторяющиеся задачи, такие как запросы баланса счета и обработка платежей, высвобождая менеджеров технической поддержки. В конечном итоге, это позволяет повысить уровень вовлеченности персонала и их технические компетенции.

— В каком направлении будет развиваться проект?

Для себя мы обозначаем два направления развития: увеличение количества автоматизированно отработанных обращений, и удовлетворенность пользователей – как внешних, так и внутренних.

Агентство «Полилог» разработало и внедрило в подведомственном учреждении Минпромторга России информационную систему для автоматизации проверок иностранных производителей лекарственных средств. Решение позволило автоматизировать нормативные процессы проведения инспекций. О реализации проекта рассказывает Людмила Богатырева, руководитель департамента цифровых решений агентства «Полилог» и номинант на премию Data Award.

— Что стало предпосылкой реализации проекта?

С 2015 года в России проводятся инспекции иностранных производителей лекарственных средств. Их осуществляет подведомственное учреждение Минпромторга России (далее – учреждение).

В рамках инспекций сотрудники проверяют соответствие производственных площадок требованиям к организации производства и контроля качества продукции (Good manufacturing practice, GMP). По итогам проверки формируется и направляется в Минпромторг соответствующее заключение, на основании которого ведомство принимает решение о выдаче сертификата GMP, необходимого для поставки лекарств в Россию.

Объем импорта лекарств на протяжении многих лет рос, поэтому каждый год нагрузка на сотрудников учреждения увеличивалась. Количество инспекций росло с каждым годом. Например, в 2018 году было проведено в 3,5 раза больше инспекций, чем в 2016 году. Поэтому профильным сотрудникам стало сложно справляться с большим объемом бумажной работы и хранить большинство данных в Excel-файлах.

— Какой был выбран подход?

В рамках решения проблемы в период 2018-2023 годах агентство «Полилог» разработало, внедрило и развивало информационную систему для автоматизации проверок иностранных производителей лекарственных средств.

— Что включали проведенные работы?

Работа над автоматизацией проверок шла в два этапа – проектирование и внедрение. На первом этапе мы изучили систему менеджмента качества в учреждении, ознакомились с нормативно-правовыми актами, описали процесс на основе этих документов и согласовали его с рядовыми сотрудниками. Затем мы составили интерактивные карты процессов и документов для навигации по операциям и данным, а также разработали архитектуру данных.

В период внедрения на основе полученной информации мы автоматизировали бизнес-процессы на базе программной платформы Polycode, осуществили миграцию ранее накопленных данных и подготовили обучающие инструкции для сотрудников.

— Какие проблемы возникали?

Одной из самых сложных задач была миграция данных. Они велись без учета последующей автоматизации наряду с распространёнными проблемами: дублирование, ссылки на несуществующие данные, неконсистентность, неформализованная информация в сносках, примечаниях, цветовой индикации. Нашей задачей было устранить неточности и привести все данные к общему виду.

— Как и с помощью каких инструментов происходила миграция данных?

В основном, данные хранились в Excel, но не были однозначно формализованы. При подготовке данных для загрузки в разрабатываемую систему использовались алгоритмы нечеткого поиска и инструменты нормализации данных: алгоритм Левенштейна, расширения выборки, хеширование.

— Что собой представляет созданное решение?

Система ведет исполнителей по настроенным маршрутам бизнес-процессов. Например, пользователи могут формировать проекты документов на основе сведений, которые ранее были заведены в систему, формировать инспекционные группы и их график с учетом информации о занятости сотрудников, их компетентности и расположения производственных площадок, ставить задачи и оповещать сотрудников о переходе процесса в их зону ответственности.

Решение позволяет автоматически обмениваться информацией с «1С», системой документооборота и системой управления финансами.

— Чем помогли непосредственно в работе с данными?

В ходе проекта нами был реализован процессный подход управления жизненным циклом данных об инспектировании производителей лекарственных средств для медицинского применения. Одной из ключевых задач на пути реализации проекта стала разработка бизнес-процесса, учитывающего текущую ситуацию при внесении данных в систему. Достаточно однократного ввода информации для машинной интерпретации данных и их автоматического распределения в нужную сущность, в зависимости от конфигурации других данных. Системой учитываются такие данные, как занятость инспекторов, близость инспекторов к площадке, наличие визы и вакцины и др.

Специализированные платформы данных при этом не использовались, а в качестве основного инструментария обработки данных задействовались скриптовые расширения российской BPM-платформы Polycode, зарегистрированной в Едином реестре отечественного ПО. Также в проекте использовались возможности языков PHP, JavaScript, CSS и HTML.

— Каких результатов удалось достичь?

В ходе проекта было автоматизировано 60% процессов – в основном, связанных с подготовкой к инспекции. В результате удалось справиться с увеличением количества инспекций без увеличения штата. У каждого сотрудника учреждения появилось автоматизированное рабочее место для сопровождения процессов инспектирования иностранных производителей лекарственных средств.

— В чем значимость этого проекта?

Российский фармацевтический рынок динамично растет, однако зависимость от импортных поставок все еще достаточно высока. Так, по данным ФТС, объем импорта лекарственных средств в Россию в 2021 году превысил 1 трлн руб., а в 2022 году вырос еще на 3%. Лекарства из года в год входят в топ-3 товаров с наибольшим объемом импорта в денежном выражении. Поэтому успешные поставки зарубежных лекарственных средств в Россию – по-прежнему одно из ключевых направлений функционирования этого рынка.

Автоматизация проверок зарубежных фармацевтических компаний позволила справиться с ростом количества проверок без наращивания кадровых ресурсов. И если раньше 80 сотрудников проводили за год чуть более 200 проверок, то теперь могут провести более 600. Это позволило сократить организационные процедуры, которые могли стать препятствием к быстрому выводу иностранных лекарств на территорию России и ЕАЭС.

— Есть ли перспективы развития этого проекта?

Планируется погружение в систему всех бизнес-процессов инспектирования, полный отказ от бумаги и достижение максимальной автоматизации. Кроме того, результаты проекта могут быть использованы в других отраслях, таких как проверки по охране труда, сертификация продукции и менеджмента, строительные инспекции, проведение различных экспертиз и т. д.

Банк ВТБ разработал и внедрил комплексный процесс подготовки управленческой отчетности в сегменте средний и малый бизнес в формате Analytics-as-a-Service. На основе детальных массивов информации бизнес-пользователи принимают решения с целью повышения эффективности бизнес-процессов. О реализации проекта рассказал Иван Уколов – вице-президент, начальник управления «Аналитика и отчетность продаж СМБ» департамента Анализа, координации и продуктового развития Блок среднего и малого бизнеса Банка ВТБ, и номинант на премию Data Award.

— Что вы понимаете под Analytics-as-a-Service применительно к потребностям пользователей ВТБ?

Основная идея – максимально облегчить процесс получения отчетности сотрудниками банка, минимизировать количество точек контакта пользователя с разработчиками в процессе подготовки. Тем самым мы оптимизируем ресурсы, дополнительно сокращаем время создания аналитических продуктов и обеспечиваем end-to-end процесс от запроса данных до его трансформации в концепцию, а также техническую реализацию финального продукта с исполнением всех бизнес-требований.

— Какие проблемы пользователей решали, реализуя этот проект?

Проблем было несколько. Во-первых, у пользователей не было полного знания о продукте в каждый конкретный момент времени и статистики о своем продукте, которые критично необходимы для принятия бизнес-решений. Во-вторых, мешало отсутствие единого центра компетенций по реализации и дальнейшему сопровождению готовой отчетности. Наконец, нас не устраивал длительный процесс разработки, сложные и многоуровневые форматы взаимодействия с кросс-функциональными командами.

— Какие рассматривали возможности и альтернативы?

Первый альтернативный вариант – оставить текущие процессы без изменений, при этом принимая явные риски отсутствия оперативной информации и отчетности как для бизнес-подразделений, так и для руководства. Второй – отложить собственное решение до появления в банке успешной реализации систем отчетности другими подразделениями. Они оба нас не устраивали.

— Какие требования предъявлялись к решению, как формулировались его задачи?

Блоку Средний и малый бизнес Банка ВТБ требовалось создать систему оперативной релевантной отчетности и аналитики, обеспечивающей повышение эффективности бизнес-решений на основе комплексной информации по основным показателям, характеризующим бизнес всего блока – в том числе продукты, каналы, продажи.

Еще одно важное требование – масштабируемость решения на большую филиальную сеть и адаптивность к изменениям бизнес-процессов.

— Что было выбрано в качестве платформы?

Хранилище данных построено с использованием следующего технического стека: Hadoop, Airflow, Kafka, QlikSense, Informatica MDM, Spark, Scala, Arenadata.DB, Git, Яндекс.Метрика.

— Что решение представляет собой с точки зрения пользователя?

У пользователя появились дашборды, а также понятная система поддержки и развития их функциональности с прозрачным SLA.

— Что, с вашей точки зрения, удалось особенно удачно?

За счет оптимизации релизного процесса удалось в разы сократить время создания платформы, сохранив при этом основную ценность для пользователей, когда каждая поставка несет в себе бизнес-ценность.

Как отметили коллеги из технологического блока, участвовавшие в проекте, задача по созданию платформы отчетности имела ряд интересных особенностей: разные классы отчетности – оперативная, аналитическая, ad-hoc, совершенно разные источники данных (более 50), начиная от ключевых систем банка и аналитических хранилищ, заканчивая целым рядом внешних аналитических сервисов. То есть платформа должна была удовлетворять не только требованиям по возможности загрузки и преобразования больших объемов гетерогенных данных, но и отвечать высоким SLA с точки зрения оперативности данных, отказоустойчивости и производительности. По совокупности факторов для реализации была выбрана платформа Hadoop. Проект выполнен в кратчайшие сроки для задач такой сложности и объемов функционала благодаря максимальному вовлечению бизнес-заказчика и совместной работе всех участвующих команд на результат.

— В платформе для работы с данными остаются западные продукты (Informatica, QlikSense). Почему, и какие планы?

В банке запущена программная инициатива импортозамещения, которая предполагает постепенную замену западных продуктов аналогами решений, которые существуют на нашем рынке. Одно из обязательных условий, имеющих наибольший вес при принятии решения о выборе продукта, – сохранение текущей функциональности.

— Какие достигнуты результаты?

Усовершенствована система мотивации Банка ВТБ в сегменте СМБ для более чем 6 тыс. сотрудников сети продаж за счет внедрения новых витрин данных и отчетных форм. Нами сформирован центр компетенций по продуктовой и канальной аналитике за счет внедрения BI-инструментария для динамично развивающихся продуктовых направлений и каналов продаж, а также каналов обслуживания клиентов. С использованием современных инструментов (Kafka) выстроен процесс стриминга данных из систем на омниканальной архитектуре в озеро данных банка.

— Пытались ли оценить экономический эффект?

Да. Эффект отражается как на финансовом результате отдельно взятых продуктов, так и на Блоке СМБ в целом.

— В чем роль проекта для бизнеса ВТБ?

Внедрена система принятия решений, выстроенная на основе data-driven подхода с использованием реальных данных о клиентах и объемах бизнеса. Банк в целом теперь знает своего клиента лучше, а подразделения, которые взаимодействуют с клиентами, обеспечены аналитикой для максимального фокуса на потребностях клиента.

— В каком направлении будет развиваться проект?

Дальнейшее совершенствование проекта напрямую связано с развитием продуктового предложения Блока СМБ. Кроме того, технологическая трансформация процессов в Банке ВТБ требует загрузки в хранилище новых систем-источников данных и развитие на их базе всесторонней аналитики.