Сбер

Переход платформы персонализации «Сбера» с Teradata на связку Hadoop и GreenPlum планировался еще до санкционного кризиса, но весной прошлого года приобрел особую актуальность. Помимо устранения технологических рисков, у группы появились новые возможности для оперативного выявления потребностей клиентов. Про реализацию проекта рассказали Игорь Зарубинский, директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента и Алексей Смирнов, управляющий директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента – номинанты на премию Data Award.

— Какова предыстория проекта? Что привело к его реализации?

Игорь Зарубинский: «Сбер» работает над созданием полностью интегрированной системы удобных онлайн-сервисов в самых разных сферах для любых жизненных ситуаций: от покупки продуктов на маркетплейсе до оформления ипотечного кредита. С помощью новой стратегии мы переходим от прогнозирования покупки продукта к созданию предложения, адаптированного под жизненную ситуацию и потребность клиента в конкретный момент времени. Точно предугадывая потребность клиента, «Сбер» обеспечивает долгосрочное взаимовыгодное сотрудничество с ним. Основная цель – выявить релевантную в данный момент времени потребность клиента и подобрать наиболее удобный продукт или сервис для удовлетворения этой потребности.

Для решения этой задачи мы стали создавать платформу данных, которая содержит информацию о клиенте и его действиях в контуре «Сбера». При этом для выявления текущих потребностей клиента требуется оперативная и гибкая работа как с онлайн-, так и с офлайн-потоками данных о действиях клиента.

— В чем заключалась проблема?

Алексей Смирнов: Изначально в качестве основной платформы для работы с данными использовалась Teradata. В связи с ростом количества источников и объема данных появилась проблема доставки этих данных до хранилища с актуальностью не хуже, чем на вчерашний день (Т–1 день). Вместе с этим обнаружилась проблема с хранением большого массива данных: данные в «сыром» слое, с которыми мы работаем, занимают десятки петабайт. Весь этот объем информации необходимо оперативно обрабатывать: от момента попадания данных в «сырой» слой до обновления витрины должно проходить не более нескольких часов, так как данные нужны максимально быстро для использования в бизнес-процессах.

Кроме того, для оперативного выявления потребностей клиентов было реализовано большое количество стриминговых потоков с триггерами о действиях клиентов в контуре группы «Сбера». Возник вопрос об эффективной обработке и создании витрин данных, которые обновляются в реальном времени и используют как информацию из онлайн-потоков, так и из витрин, которые обновляются пакетом.

На платформе Teradata реализация подобной задачи становилась крайне дорогой или невозможной, поэтому «Сбер» принял решение изменить технологическую платформу и перейти на использование связки платформ Hadoop и GreenPlum. Задача миграции стала особенно актуальна в 2022 году, так как Teradata приняла решение уйти с российского рынка. Из-за прекращения поддержки возник риск прекращения работы всех бизнес-процессов, что могло привести к потерям в сотни миллиардов рублей.

— То есть миграция планировалась заранее? Насколько сильно планы откорректировались в связи с санкционным кризисом?

А.С.: Да, миграция планировалась заранее и была инициирована недостатком функциональности предыдущей платформы и дороговизной ее масштабирования. Планы реализации проекта поменялись незначительно, так как к моменту появления санкционных рисков большая часть проекта уже была реализована. Когда ушли иностранные вендоры, мы уже имели на 70% импортозамещенный продукт, и нам пришлось действовать еще быстрее, чтобы компенсировать оставшиеся 30% решений до конца 2022 года.

— Что стало самым сложным в процессе миграции? Как решали эти проблемы?

А.С.: Самым сложным в реализации проекта было изменить модель мышления пользователей платформы: перейти на другой технологический стек и новую модель данных, переосмыслить процессы, которые были сделаны на базе технологии Teradata и реализовать новые, по сути, процессы на новом стеке технологий. Также большим вызовом для нас было доказать преимущества новой платформы для работы дата-инженеров, дата-аналитиков, дата-сайентистов: ее работоспособность, надежность, масштабируемость, скорость работы вычислений для больших объемов данных.

— Сколько времени и ресурсов потребовалось на реализацию проекта?

А.С.: Проект был инициирован в конце 2020 года и завершен в конце 2022 года. За это время мы мигрировали более 300 бизнес-процессов с Teradata на новую платформу.

— Какие данные используются для построения персональных предложений?

А.С.: Мы используем информацию из всех банковских систем, а также данные из систем компаний-партнеров, что позволяет сформировать полный профиль клиента: его финансовые и социально-демографические характеристики, данные об интересах, его предпочтениях в кино, еде, музыке. Разумеется, при этом в обязательном порядке учитывается согласие клиентов на сбор, обработку и использование данных.

Витрины данных являются основой для ключевых задач формирования персональных предложений клиентам. С их помощью создаются модели искусственного интеллекта для работы с данными, аналитика и отчетность, формируются персональные предложения с индивидуальными условиями для клиентов. При этом мы создаем не только витрины «холодного вектора», которые обновляются ежедневно с актуальностью Т–1 день, но и витрины «горячего вектора», которые основаны на потоковой обработке данных.

Новые технологические платформы позволяют нам хранить петабайты данных, быстро обрабатывать десятки терабайт данных в инкременте, а также работать с данными в режиме реального времени.

— Какие изменения в бизнес-процессах породили новые возможности?

И.З.: Новые возможности стали базой для построения SberNBA – платформы персональных рекомендаций. SberNBA обеспечивает расчет персональных предложений, коммуникацию в релевантный момент времени на каждом этапе жизненного пути клиента и максимизирует долгосрочную ценность сотрудничества «Сбера» с клиентом. В основу архитектуры платформы заложены алгоритмы машинного обучения, которые позволяют анализировать события в жизни каждого клиента и реагировать на них в режиме реального времени.

— Какие результаты достигнуты и ожидаются?

А.С.: На текущий момент решение содержит более 300 витрин, которые, в свою очередь, содержат более 15 тыс. атрибутов общим объемом более 9 Пбайт. Самая крупная витрина занимает 1 Пбайт с ежедневным инкрементом в 5 Тбайт. Самая большая витрина содержит более 1 тыс. атрибутов.

Витрины данных имеют актуальность Т–1 день уже к началу следующего рабочего дня. Таким образом, решение позволяет обрабатывать десятки терабайт данных инкремента и за 4,5 часа ежедневно формировать более 300 витрин, существенная часть из которых — это сложные витрины типа SCD2 (медленно меняющиеся измерения, Slowly Changing Dimensions).

Вместе с тем, реализованы десятки онлайн-потоков, которые умеют «на лету» определять потребность, исходя из комбинации совершенных действий клиента. Плотность потока стриминговых данных составляет более 10 тыс. транзакций в секунду. Для определения потребности клиентов при работе с потоками мы не только пользуемся готовыми потоками из систем «Сбера», но и донасыщаем их дополнительной информацией из параллельных стриминговых потоков и витрин, которые обновляются в пакетном режиме. В ряде случаев требуется создание онлайн агрегатов для выявления аналитических триггеров в потоковом режиме.

Также решения, построенные на онлайн-потоках, позволяют предсказывать вопросы и проблемы, которые могут возникнуть у клиента при взаимодействии со «Сбером». Благодаря этому появилась возможность заранее сформировать соответствующую коммуникацию или настроить персональный ролик в канале телемаркетинга по актуальной проблеме и быстро решить вопрос клиента, не привлекая к этой задаче оператора горячей линии контакт-центра.

После перехода на новую платформу обработки данных более 500 наших D-people –дата-инженеров, дата-аналитиков, дата-сайентистов – ежедневно стоят свои решения как на базе платформенных решений, так и на базе реализованных потоков данных. Что немаловажно, во все процессы встроены инструменты контроля качества данных, в том числе с использованием моделей искусственного интеллекта, которые позволяют проверять сложные зависимости в данных для предоставления наилучшего результата.

— В чем роль проекта для «Сбера»?

А.С.: Переход на новую платформу, состоящую из Hadoop и GreenPlum, позволил выполнить ряд крупных задач для B2C-бизнеса «Сбера». Нам удалось добиться непрерывности работы бизнеса за счет отказа от зарубежного вендорского решения. Появилась возможность хранить огромные массивы данных в десятки петабайт, необходимые для реализации предиктивной аналитики и отчетности. Специалисты смогли настроить процесс ежедневного быстрого применения инкремента в 10 Тбайт и реализовать системы потоковой обработки данных.

И.З.: Все это позволило уменьшить временной лаг между совершаемым клиентом действием и реакцией бизнеса на это действие. Благодаря переходу на новую платформу для работы с данными «Сбер» намного раньше узнает о текущих потребностях клиента. Это позволяет формировать наиболее актуальный пул персональных предложений, что было невозможно при использовании предыдущей платформы для работы с данными.

Точно предугадывая потребность клиента, мы обеспечиваем долгосрочное взаимовыгодное сотрудничество с ним. Это подтверждают бизнес-результаты. Например, количество жалоб на коммуникации уменьшилось на 12%. Чистая приведенная стоимость по некоторым коммуникационным кампаниям увеличилась на 20% по сравнению с месяцем, когда в процессе участвовали данные с актуальностью Т–1 день.

Сегодня в основе практически всех современных услуг и сервисов лежат персональные данные. Узнать клиента лучше, чтобы своевременно предложить ему качественные сервисы, услуги и товары в зависимости от его потребностей – это интерес любой компании. Несоблюдение правил работы с персональными данными и их недостаточная защищенность неминуемо приводит к утечкам, следствием которых является использование полученной информации злоумышленниками в различных мошеннических схемах.

Конфиденциальность личной информации, «приватность», является не только одной из базовых потребностей человека, но и безусловным приоритетом Сбера. Осознавая свою роль в совершенствовании отрасли персональных данных с целью защиты интересов наших граждан, Сбер принял решение поделиться своей экспертизой в данной области с широкой публикой. В этом году журнал Sber Privacy Journal, издание Сбера о защите персональных данных и приватности, перестал быть исключительно внутренней инициативой и теперь публикуется в интернете на сайте «Кибрарий» (онлайн-библиотека знаний по кибербезопасности, которую развивает Сбер). Его содержание может быть полезно не только специалистам по защите персональных данных (ПДн), но и специалистам по управлению данными. О первых результатах проекта рассказывает Евгений Калинин, руководитель Центра DPO «Сбера» и номинант на премию Data Award.

— В чем вы видите свою миссию?

В России Сбер – один из крупнейших операторов персональных данных: банк обрабатывает данные более чем 100 млн клиентов и 250 тыс. сотрудников. У команды Сбера самая широкая экспертиза в области обработки персональных данных.

Миссия нашей команды – защита персональных данных клиентов и безусловное обеспечение прав граждан как субъектов персональных данных. В целях реализации этой миссии мы непрерывно занимаемся экспертизой и контролем соответствия банковских процессов законодательству РФ, повышением privacy-культуры клиентов и наших работников, чтобы помочь им избежать мошеннических схем злоумышленников, и многими другими смежными направлениями деятельности.

— Какие шаги для этого предпринимаются?

Для выполнения поставленных перед нами задач мы формируем требования к банковским процессам, в которых происходит обработка персональных данных, проводим экспертизу всех продуктов и сервисов согласно принципам privacy by design, уделяем повышенное внимание проведению обучающих мероприятий для работников и клиентов.

При лидирующей роли нашей команды в банке внедряются бизнес-процессы, реализуются пилоты различных продуктов и сервисов в соответствии с требованиями законодательства, выстроена единая методология и мощная экспертная поддержка бизнеса – фактически наша команда стала надежным помощником в организации банковских процессов.

Privacy-учения для дочерних компаний, ежегодные конференции, активные дискуссии в рабочих группах по развитию законодательства, десятки мероприятий по повышению privacy-культуры как для сотрудников, так и для широкой аудитории, информационный канал о приватности «Ничего личного» в мобильном приложении Сбербанк Онлайн – это только «вершина айсберга», внешние проявления той огромной работы, которую мы выполняем.

В 2022 году мы запустили Sber Privacy Journal – первое регулярное корпоративное издание, посвященное актуальным вопросам обработки персональных данных и в целом проблеме приватности. С января 2023 года журнал доступен в библиотеке знаний о кибербезопасности «Кибрарий».

В мире давно существует традиция выпуска профильных изданий, формируемых международными организациями, крупнейшими аналитическими и научно-исследовательскими центрами, финансовыми институтами. Нам кажется правильной концепция, когда организация, специализирующаяся на определенной сфере, например, на международном гуманитарном праве, финансовом секторе или юриспруденции, публикует свой анализ, свой взгляд на происходящее в мире в данной области. Если говорить о России и о нашей деятельности, у нас достаточно много журналов, посвященных информационной безопасности, но нет по сути ни одного издания, чьим основным фокусом являются персональные данные.

— На какую аудиторию вы нацелены в первую очередь?

С самого начала мы исходили из того, что журнал должен быть интересен и полезен как профессионалам в данной сфере, так и обывателю, не погруженному в сферу персональных данных. Мы стараемся держать баланс, чтобы отойти от излишнего формализма, но вместе с тем сохранить экспертность и практическую пользу публикуемого материала. Поэтому в журнале можно найти как практические статьи, рассматривающие, например, вопросы правоприменения или виды мошенничества с данными, так и научно-популярные материалы об истории становления концепции приватности, о влиянии технологий на общество и т. д. В Sber Privacy Journal можно узнать много интересных фактов, которые расширяют кругозор и дают лучшее понимание того, чем и для чего мы занимаемся. Наш журнал – это не «методичка», а сборник авторских размышлений и исследований на тему приватности, её роли в современном обществе.

— А может быть, многим специалистам нужна именно «методичка»?

Мы выступаем за системный подход и осмысленность в работе. Комплаенс в области защиты и обработки данных «для галочки» нам не интересен. Убеждены, что каждый специалист в области защиты персональных данных должен быть глубоко погружен в четыре области («домена», как мы их называем): доскональное знание законодательства и права в области персональных данных, знания требований к защите и обеспечению безопасности персональных данных, навыки проектирования и анализа качества описания бизнес-процессов, а также знания основ передачи и обработки данных в компьютерных сетях, и, безусловно, уверенное понимание того, что происходит в мире информационных технологий.

Именно глубокое, осмысленное погружение в вопросы безопасности позволит чувствовать себя уверенно в условиях непрерывного развития технологий сбора и анализа данных перед лицом новых вызовов со стороны киберпреступности.

— Разве для закрытия внутренних потребностей не хватает более простых и менее затратных мероприятий – например, периодических тренингов?

Безусловно, такие мероприятия мы тоже проводим. В качестве фундаментальной базы мы разработали онлайн-курс «Основы работы с персональными данными», который проходит каждый сотрудник банка. Помимо этого, мы с регулярной периодичностью «точечно» определяем круг слушателей, собираем интересующие вопросы и проводим встречи офлайн и онлайн, общаемся с бизнесом и ИТ-подразделениями. Если у коллег остаются волнующие нерешенные проблемы – оказываем индивидуальную поддержку. Журнал – это проект, который изначально задумывался «для себя», для внутренних потребностей и для всех энтузиастов в области приватности и конфиденциальности, которые довольно часто, надо сказать, встречаются среди банковских работников.

— Какие темы охватываются в журнале?

В журнале рассматривается широкий спектр тем, начиная от использования технологий биометрического распознавания и заканчивая требованиями к обработке персональных данных в зарубежных юрисдикциях. К примеру, мы подробно рассматривали регулирование сферы персональных данных в разрезе правоприменения Китая и Индии. Изучали феномен дипфейков и правовые основания их использования в рекламных интеграциях, исследовали вопросы приватности в контексте разных исторических эпох и многие другие темы.

— Работа ориентирована исключительно на специалистов? Планируется ли обучать теме приватности и защиты данных клиентов?

Назову одну цифру – 20 миллионов. В 2022 году наши мероприятия по повышению privacy-культуры граждан охватили более 20 миллионов человек. Мы регулярно проводим обучающие мероприятия совместно с государственными органами и ведущими вузами страны. Особое внимание мы уделяем детям, людям пожилого возраста, студентам. Так, например, рамках 2-й Международной олимпиады по финансовой безопасности мы провели обучение основам безопасного хранения и передачи персональных данных для более чем 550 студентов из 12 стран СНГ и БРИКС.

В канале Сбербанк Онлайн «Ничего личного», о котором я упоминал выше, только за прошлый год было опубликовано свыше 40 образовательных статей и материалов с полезными рекомендациями о защите личных данных, направленных, в том числе, на повышение бдительности наших сограждан в вопросах, связанных с использованием их данных.

Также в прошлом году на сайте Сбера мы запустили информационную страницу sberbank.ru/privacy, на которой простыми словами рассказываем посетителям о том, как Сбер обрабатывает и защищает персональные данные.

— Если вернуться к изданию Sber Privacy Journal, то какие результаты достигнуты?

23 января мы опубликовали на «Кибрарии» свежий номер журнала, а заодно и два предыдущих, и практически сразу получили большое количество положительных отзывов. И, что не менее важно, – увидели пожелания и профессиональные рекомендации. Обратная связь особенно приятна с учетом того, что подготовка Sber Privacy Journal – не наша основная работа, а, можно сказать, «факультативная». Ведь по сути все это создавалось и версталось в свободное от основной работы время, которого остается не так много. Здесь действительно стоит поблагодарить наших коллег за их время, инициативность и проявленный интерес к общему проекту.

Мы считаем, что нам удалось заинтересовать российское экспертное сообщество, а если наши наработки будут внедряться на практике – значит, наша задача выполнена на 100%.

— Каковы ваши планы развития?

В числе ближайших планов развития – получить номер ISSN, благодаря чему журнал попадет в международную базу периодических изданий, упростится его распространение и поиск. Будем однозначно расширять авторский состав, привлекать внешних экспертов, включая зарубежных специалистов. Кроме того, мы прорабатываем создание полноценного информационного онлайн-портала Sber Privacy с новостями и аналитикой из мира приватности, запуск англоязычной версии журнала, а также тесное сотрудничество с крупнейшими вузами и ассоциациями в части публикации их материалов.

«Сбер» запустил графовую платформу, позволяющую объединить возможности методов графовой аналитики и технологий больших данных. Ее использование позволило на порядок ускорить разработку моделей и снизить количество затрачиваемых ресурсов при их промышленном запуске. О значении созданного решения для бизнеса и его перспективах рассказывает Алексей Булавин, исполнительный директор управления развития технологий искусственного интеллекта и машинного обучения департамента управления данными Сбербанка и номинант на премию Data Award.

— Какие задачи решает платформа?

В бизнес-практике все чаще встречаются комплексные задачи, для решения которых невозможно использовать традиционные методы и инструменты аналитики, поскольку они требуют обработки информации, которая характеризуется неоднородной структурой и глубокой связанностью.

Если необходимо проанализировать не только объекты и их свойства, но также их связи с другими объектами различных уровней и характеристик, необходимо использовать методы графовой аналитики. Она применяется для получения дополнительных знаний об объекте за счет извлечения знаний о его окружении, выявления наиболее значимой информации, центров влияния, групп связанных объектов, цепочек и многого другого. К задачам графовой аналитики можно отнести как нахождение новых молекулярных соединений, так и более привычные для бизнеса задачи – построение портрета клиента «360 градусов», оптимизацию логистических цепочек или таргетирование.

— Почему это важно?

Сейчас мы наблюдаем взрывной рост объема данных из различных источников во всех сферах деятельности человека. Связанность данных между собой также быстро растет. Это означает, что все больше и больше задач решаются уже не просто на данных, а на больших данных. На российском рынке сегодня нет технологических решений – а тем более платформ – для работы с графами, представляющими большие данные, которые смогли бы объединить эффект от использования Graph Analytics и big data для бизнеса.

— Каков ваш подход?

«Сбер» разработал собственные технологии хранения и обработки данных, представленных в виде больших графов, и за счет инновационных подходов и архитектурных решений добился их высокой производительности на внутреннем аналитическом хранилище, где собрано более 17 Пбайт плотно связанной между собой неоднородной информации.

Для того чтобы возможности наших технологий можно было применить для бизнес-задач различной природы (разработка и внедрение витрин, моделей, нейросетей, создание онлайн-сервисов, BI-инструментов и др.), мы объединили их в технологическую платформу, состоящую из семи сервисов.

Сервис лаборатории графов – интерактивный инструмент для исследования графов, разработки новых графовых моделей (ML). Сервис графовых расчетов – механизм выполнения массовых регулярных расчетов на больших графах для исполнения графовых моделей. Сервис единого графа клиентских связей (ЕГКС) – актуальные витрины данных о полной связанности между собой всех клиентов банка. Сервис онлайн-доступа к графу – средство доступа к графам класса big data через API в режиме вопрос-ответ в режиме реального времени. Сервис визуализации графов – интерактивный BI-интерфейс для решения прикладных задач на графах в реальном времени. Сервис встраиваемой графовой базы данных – производительная встраиваемая графовая база данных для нестандартных решений. Наконец, сервис графовых нейронных сетей (GNN) – готовый пошаговый механизм обучения нейросети для конкретной бизнес-цели на базе графа. Эти сервисы платформы унифицированы для взаимодействия между собой и позволяют как конструктор собрать любую конфигурацию в зависимости от решаемой бизнес-задачи.

— Что представляет собой решение, запущенное в «Сбере»?

Созданный нами Единый граф клиентских связей – это сервис графовой платформы «Сбера», который создает из 15 источников данных различных видов: txt, csv, parquet и ежедневно обновляет витрину данных, содержащую граф класса big data. Он содержит 17 млрд связей, 390 млн узлов, 187 типов связей и 374 типа атрибутов узлов. Это один из самых крупных графов в России.

Сервис горизонтально масштабируется, поэтому количество источников и данных в графе растет.

— На каких технологиях построена платформа?

Наша графовая платформа не использует в своей основе другие платформы. Она имеет в своем ядре собственную высокоэффективную графовую базу данных FastGraph, написанную с нуля, а также open source технологии стека Hadoop: HDFS, Spark, Solr, Hbase. Таким образом, это 100% российская разработка.

— Как принципиально новые возможности отразились на бизнес-процессах?

У специалистов, разрабатывающих собственные витрины, модели, нейросети и сервисы на больших графах, появилась возможность делать это эффективнее, причем на порядок. Например, в 10 раз ускорилась разработка графовых моделей за счет использования сервисов лаборатории графов и графовых нейронных сетей. Также в 10 раз уменьшилось время работы, либо количество затрачиваемых ресурсов кластера при промышленном запуске графовых моделей за счет использования сервиса графовых расчетов. Примерно в 20 раз уменьшились затраты на внедрение в промышленную эксплуатацию разработанных графовых моделей.

— Пытались ли оценить экономический эффект?

На старте внедрения данной технологии команда оценивала показатели экономической эффективности от использования графовой платформы и графовых данных на пилотных проектах. Результаты исследования показали, что выросла эффективность управления бизнес-процессами и скорость выдачи кредитов. Экономический эффект от внедрения платформы, безусловно, очень значим, поскольку изменения затронули портфель потребительских кредитов.

— Какую роль этот проект играет для банка?

Для банковского бизнеса крайне важно эффективное управление рисками, в том числе кредитным портфелем. Своевременное выявление инсайтов об изменениях в потребительской и деловой активности клиентов позволяет осуществить прогноз дефолта по кредиту на ранней стадии и зачастую предотвратить его. Также понимание потребностей и особенностей деятельности клиентов позволяет правильно настроить кредитный процесс и сделать клиенту наилучшее для него предложение при сохранении требуемого уровня управления рисками.

Наша графовая платформа уже встроена в бизнес-процессы корпоративного и розничного кредитования, что позволяет быстро, взвешенно и с оптимальными затратами принимать решения о выдаче кредитов и их параметров. Сервисы платформы уже используются в десятках автоматизированных бизнес-процессов «Сбербанка». BI-инструментами и данными платформы пользуются порядка 6,5 тыс. специалистов, и их число продолжает активно расти.

— А может ли созданная платформа иметь влияние на рынок в целом?

Думаю, да, поскольку данная платформа вполне может использоваться и в качестве технологической основы других компаний, открыть для них новые возможности по обработке больших данных.

«Домклик» от Сбера построил BI-систему на базе бесплатных инструментов. Целью проекта стало не только импортозамещение зарубежных систем, но и разработка удобного и простого сервиса для визуализации данных, не требующего специальных знаний, кроме владения SQL и принципами работы сводных таблиц. О реализации проекта рассказывает Дмитрий Леонов, руководитель направления по исследованию данных и номинант на премию Data Award.

— В чем заключалась проблема? Зачем потребовалось создавать собственную BI-систему?

У нас в компании на еженедельной основе готовится большое количество аналитических материалов, из которых формируется большая презентация для совещания топ-менеджеров. Помимо этого, конкретным командам необходима регулярная аналитика для внутренних совещаний и отслеживания эффективности работы бизнеса. Сотрудникам в регионах необходимы различные детальные выгрузки и отчеты для разбора кейсов и анализа отклонений в работе.

Все эти потребности закрывались с большим количеством ручного труда аналитиков, отчетность была очень разрозненна по своему формату, структуре и размещалась в разных местах. Не было должного контроля качества данных и «единого источника правды». У разных команд были разные подходы к построению отчетов и разные инструменты для этого.

Кроме этого, было много дублирующихся показателей с разной логикой расчета. Это происходило как раз из-за разрозненности в подходах к отчетности и отсутствия единых правил.

— Какой подход к решению был выбран?

Было принято решение о создании единой системы, в которой будет храниться вся официальная отчетность управления с централизацией работы аналитиков. Подход подразумевал разработку единых правил и требований к размещаемым отчетам, а также обеспечение контроля качества данных и поддержание их максимальной актуальности.

— Какие требования предъявлялись к будущему решению?

Необходимо было создать простой инструмент, чтобы сократить время на создание новых аналитических материалов, а также обеспечить новым сотрудникам быстрое погружение в процесс. С точки зрения пользователей должна была обеспечиваться максимальная актуальность данных и поддержка работы на мобильных устройствах. Для сотрудников в регионах требовался портал для возможности скачивания отчетов в виде файлов.

Нужно было обеспечить разграничение доступа к конфиденциальной информации вроде финансовых показателей и данным HR. Также было важно создать решение с постоянной ИТ-поддержкой, соблюдением требований кибербезопасности и мониторингом качества данных.

— На каких технологиях построено решение?

Бэкенд реализован на Python и PostgreSQL, а также Clickhouse. В качестве фронтенда используется React.

— Как учитывали потребности пользователей? Что им вообще нужно?

Первоначально требования шли от текущей отчетности и пожеланий топ-менеджеров. Для них важно иметь доступ к аналитике круглосуточно, с мобильного телефона или компьютера, видеть достоверные проверенные данные, быстрые внесения изменений аналитиками.

После реализации MVP проводились регулярные встречи с пользователями и выявлялись более специфичные требования. Вдобавок, в процессе работы с инструментом аналитиками, сформировался большой пласт работ по более тонкой настройке визуализации.

— Что получилось удачнее всего, а над чем еще предстоит работать?

Хорошо получилось обеспечить простоту инструмента и низкий порог входа для новых аналитиков, закрыть основные потребности пользователей и аналитиков. Достаточно легко и безболезненно прошел переход на нашу систему с всего множества платформ, которые использовались ранее.

Предстоит много работ по доведению инструмента до полноценной BI-системы – то есть добавление большего количества визуализаций, вариантов расположения виджетов, более точной настройки отображения, дополнительных сложных вычислений и формул.

Остается большое количество технических задач и задач по улучшению пользовательского опыта.

— Каких результатов удалось достичь?

Удалось централизовать аналитику и наладить процесс построения отчетности. У нас получилось сформировать простые и понятные правила по построению дашбордов и данным, на основе которых они строятся, а также привести отчетность к единому формату как данных, так и визуализации. Очевидно, удалось популяризовать работу с отчетностью, ведь около двух третей всех наших пользователей теперь посещают систему каждый рабочий день.

Важно отметить метрики по качеству и скорости работы дашбордов. Среднее время загрузки данных в виджетах – менее 1 секунды. Этого удалось достичь за счет лимитов на скорость выполнения скриптов и на количество данных, на которых строится визуализация. Для более детальных отчетов и выгрузок у нас используются отчеты в виде файлов, которые можно связать с виджетами.

— Насколько сильно снизились требования к аналитикам? И как вообще более простой сервис отразился на процессах?

При найме новых аналитиков перестало требоваться знание BI-инструментов вроде Tableau, PowerBI, QlikView. Основным требуемым навыком выступает SQL и аналитическое мышление.

Простой процесс создания дашбордов значительно снизил время их разработки. Уменьшилось дублирование одних и тех же показателей от разных аналитиков. Как следствие, повысилось доверие к отчетности.

— Пытались ли оценить финансовый результат?

Проводился сравнительный анализ расходов на покупки лицензий зарубежных популярных BI-инструментов (до ухода этих компаний из России). Получались достаточно крупные суммы с учетом большого количества пользователей и аналитиков.

Создание отдельной команды под разработку собственного решения получилось более выгодно экономически.

— В чем роль проекта для компании и для рынка в целом?

В текущих реалиях основная роль – конечно же, импортозамещение зарубежных продуктов, а также обеспечение бесперебойной работы с отчетностью в рамках компании.

Ожидается распространение системы на другие подразделения – такой шаг поможет коллегам перенять наш опыт и лучшие практики, а не тратить ресурсы на создание собственной системы аналитики в условиях практически отсутствия альтернатив на рынке. Конечно, можно найти решения open source, но требуется много времени и ресурсов чтобы развернуть и настроить их под себя. А для специфических задач наверняка потребуются доработки такой системы.

— Каковы планы по развитию решения?

Планируем превратить решение в полноценный BI-инструмент с поддержкой всех основных возможностей по визуализации и анализу данных. Важно совершенствовать интерфейс, чтобы процесс работы аналитиков стал максимально простым и интуитивно понятным.

А для распространения на другие подразделения планируем создать коробочную версию. Это подразумевает довольно большую техническую работу и анализ потребностей коллег. Возможно, у них есть очень специфичные задачи, которые у нас не решались, и для этого потребуется расширить функционал.

Сохранение клиентов всегда было приоритетной задачей любой компании. Ключевой проблемой здесь является выявление тех клиентов, которые по каким-то причинам собираются уйти, и определение среди них ценных, которых важно удержать. О реализации такого проекта рассказывает Валентина Литвинова, руководитель направления Дивизиона «Малый и Микро "Сбербанк"» и номинант на премию Data Award.

- В чем заключалась проблема?

До 2021 года достижение стратегических целей по росту операционного дохода в «Сбербанке» реализовывалось путем привлечения новых клиентов и кросс-продаж продуктов действующим клиентам. Но в то же время не было определено понятие «оттока» и, соответственно, не существовало процесса работы по сохранению клиентов в банке.

Усиление конкуренции на рынке банковских услуг среди юридических лиц и индивидуальных предпринимателей привело к тому, что мероприятия, направленные на привлечение новых клиентов, становились все менее эффективными. Новая экономическая ситуация, связанная с пандемией коронавируса, существенно ограничила рост новых регистраций юридических лиц и даже привела к сокращению числа компаний на рынке. Таким образом, основным источником операционного дохода для банков становится существующий рынок действующих компаний. Очевидно, что за действующего клиента необходимо бороться, так как существенно выросли риски его перехода на обслуживание к конкурентам.

Мы провели анализ по ушедшим клиентам за ретро период и обнаружили, что помимо ликвидированных компаний и юридических лиц, попавших под блокировку по 115-ФЗ («антиотмывочному закону»), существует значительная доля действующих организаций, которая прекратила партнерские отношения с банком. Это послужило главным фактором для создания процесса по сохранению действующих клиентов и возобновлению сотрудничества с клиентами, кто ранее был нашим партнером.

- Какой подход для ее решения был выбран?

В течение 2021 года в рамках направления по обслуживанию малого и микробизнеса, в банке была сформирована методология, определяющая «оттекающего клиента». В ее рамках реализован регулярный подсчет и мониторинг фактической ситуации с объемами уходящих клиентов и финансовых потерь, организован регулярный мониторинг негативных изменений в транзакционной активности клиентов – триггерные события, указывающие на вероятность оттока клиентов. Нами построены модели машинного обучения, позволяющие с использованием огромного массива данных (более 500 различных косвенных признаков изменений в поведении клиента) заранее оценить вероятность его ухода из банка или снижения операционного дохода от клиента в течение ближайших трех месяцев.

Был выстроен процесс удержания клиентов на обслуживании в банке через различные каналы обслуживания на основании данных триггеров и результатов модели, реализованы регулярные исследования причин оттока клиентов, созданы новые инструменты по предоставлению клиентам уникальных предложений с целью их сохранения в банке на основании результатов исследований. Наконец, нами построена оценка финансовой эффективности сквозного процесса от момента предсказания вероятности оттока клиентов до подтверждения их сохранения на обслуживании в банке.

Таким образом, сейчас в банке существует трехступенчатая система работы с оттоком клиентов. Она включает предупреждение оттока клиентов и доли оборотных средств с высокой вероятностью ухода в течение ближайших трех месяцев; удержание клиентов, по которым зафиксированы фактические неблагоприятные изменения в их поведении при использовании подключенных банковских продуктов; возврат ушедших клиентов на обслуживание в банке спустя 90 дней по отдельным продуктам и 180 дней по комплексному оттоку.

- Какие задачи были поставлены перед проектом?

Главной целью было снижение доли клиентов – юридических лиц малого и микро-бизнеса, которые уходят с обслуживания в банке и переходят к конкурентам. При помощи модели машинного обучения требовалось выявлять клиентов, склонных к оттоку, и определять самые эффективные инструменты их сохранения: банковские и партнерские продукты, скидки на обслуживание и пр. Дальнейшая задача – своевременное проведение взаимодействия с клиентом с целью его сохранения.

— Какие технологии использовали?

Это классическая задача бинарной классификации. Мы использовали алгоритм градиентного бустинга. Он реализован на языке Python c использованием библиотеки LightGBM. Глубина данных для обучения модели составила 24 месяца.

В качестве данных использовали транзакционную аналитику, доходность клиентов, активность в использовании продуктов, обращения, уровень удовлетворенности, сведения о связанных лицах, а также отрасль бизнеса и другие регистрационные и отчетные данные.

— Что было самым сложным в ходе проекта?

Самое сложное в реализации нашего процесса – собрать все данные по клиентам (как юридическим, так и физическим лицам), что есть в «Сбере», из разных источников. В нашем банке их колоссальное количество. Кроме того, было непросто проработать бизнес-гипотезы, чтобы выявить, какие именно события или параметры влияют на отток клиента. Из этого предстояло построить модель предсказания оттока и улучшить ее до достаточно качественного уровня – мы выявляем каждого третьего уходящего клиента.

— Приведите пример неожиданных инсайтов, появившихся в ходе проекта.

При проработке бизнес-гипотез мы встречались с разными инсайтами. Например, кажется абсолютно очевидным, что жалобы точно должны повлиять на уход клиента из банка. Ведь он жалуется, ему что-то не нравится, его лояльность снижается... Но посмотрев на цифры, мы увидели обратную зависимость: оказалось, что если клиент принял решение уйти, то он это делает «тихо». А те, кто жалуются, на самом деле неравнодушны к банку, помогают нам стать лучше и продолжают с нами работать. Их жалобы для нас действительно сродни подарку.

— Как выявляются оптимальные инструменты для сохранения клиента? В случае пошатнувшейся лояльности права на ошибку нет…

В процессе создания бесперебойного механизма по сохранению клиентов возникли два главных вопроса: почему уходят клиенты и что банк может дать клиенту, чтоб он продолжил сотрудничество.

Ответить на эти вопросы могли только клиенты банка, которые прекратили сотрудничество со «Сбером» или попали в категорию оттока. Поэтому была создана система регулярных исследований по выявлению причин ухода клиентов. Затем, обладая ценными знаниями, банк приступил к реализации гибких инструментов сохранения клиентов в зависимости от причин оттока, доходности клиента, вида деятельности компании и других признаков. Важно сказать, что процесс исследований и разработки гибких инструментов удержания – непрерывный и динамический, позволяющий «держать руку на пульсе» и оперативно реагировать на все изменения.

Действующие инструменты сохранения клиентов — это индивидуальные непубличные продукты и условия по банковским продуктам, акции и компенсации на продукты банка, а также уникальные предложения от компаний экосистемы «Сбера» и партнеров банка.

— Каковы результаты?

При создании процесса сохранения клиентов нами был выделен ключевой показатель по сохранению количества и доли клиентов – абсолютное значение по количеству ИНН, оставшихся на обслуживании в «Сбере», и доля сохраненных клиентов относительно ушедших на обслуживание в другие банки. Кроме того, в ходе развития процесса был выделен критерий доходности – объемы экономической прибыльности по клиенту, на основании которых принимается решение по его сохранению. Очевидно, если по клиенту отрицательная экономическая прибыльность, то банк не проводит мероприятия по его сохранению на обслуживании. Наконец, были сформированы дополнительные ключевые показатели по сохранению операционного дохода.

В итоге, за 2022 год нам удалось снизить долю оттекающих доходных клиентов на 17%. Увеличение среднего срока жизни клиента в банке составило 20%.

— Насколько это соответствовует ожиданиям? Возможно ли результат улучшить, и за счет чего?

Результат превысил наши ожидания: для себя мы определили цель снижения оттока не менее чем на 10%. Мы не останавливаемся на достигнутом и ставим себе все более амбициозные цели. Для их достижения улучшаем процесс взаимодействия с клиентами. Формируем таргетированную выборку с выбором оптимального канала взаимодействия – например, клиентам, привыкшим взаимодействовать только в цифровых каналах, мы направляем коммуникацию без участия сотрудников. Развиваем перечень продуктов и условий по обслуживанию в банке для сохранения клиентов – например, запускаем акции, которые применяются только на закрытой выборке клиентов, склонных к оттоку. Механики таких акций побуждают клиентов становиться активными и продолжать сотрудничество с нашим банком.

— Как новые подходы отразились на финансовых результатах?

Сохранение чистого операционного дохода по оттекающим клиентам за 2022 год составило несколько миллиардов рублей.

— В чем роль этого проекта для бизнеса?

Процесс по сохранению клиентов занимает одну из ключевых ролей в выполнении бизнес-планов банка по доходности и доли рынка. Дополнительно в рамках текущего процесса проводится регулярная аналитика причин ухода клиентов и их потребностей, из чего формируются релевантные продуктовые предложения, исправляются ошибки в процессах банка и улучшается клиентский опыт.

Оцифровка клиентского опыта и оценка влияния удовлетворенности клиента на прибыльность – полезный показатель для компаний, однако комплексно подойти к решению этой задачи непросто. В «Сбере» удалось построить модель, показывающую связь между удовлетворенностью клиента и доходом. О подходах к реализации проекта, решении возникавших проблем и первых результатах рассказывает Полина Лямина, лидер команды «Исследование и развитие клиентского опыта клиентов Малого и Микро Бизнеса» и номинант на премию Data Award.

— В чем суть решаемой вами задачи?

Сколько времени существует понятие «клиентский опыт», столько же бизнес задается и вопросом: «Сколько приносит денег качественный сервис?». Ранее мы смотрели только на затраты, которые несем при возникновении жалоб, но в этом случае мы не понимали, сколько приносят довольные клиенты. Целью проекта стал поиск ответа на этот вопрос с помощью моделей машинного обучения.

— Как приступили к решению?

Мы решили разработать методологию, способную показать, как наши действия влияют на чистый операционный доход от клиента. Основной целью проекта стал расчет финансовых потерь от некачественного сервиса.

Для того, чтобы понять, у каких клиентов он действительно был некачественным, нам пришлось решить еще одну задачу – определить уровень удовлетворенности у всех наших клиентов. По части клиентов в банке имеется информация в виде оставленной обратной связи – опросы, жалобы и т.п. Нам предстояло решить вопрос с тем, как быть с остальными клиентами, по которым у нас отсутствует обратная связь. Логичным выходом было бы спросить самих клиентов, но, во-первых, мы не хотели беспокоить клиентов, в том числе нарушать внутреннюю политику частоты контактов, а во-вторых, опросы являются достаточно затратными в части ресурсов.

— В этом случае на помощь тоже приходит машинное обучение?

Да, мы построили модель, которая предсказывает, насколько удовлетворен клиент, исходя из его фактического опыта взаимодействия с банком. Эта модель получила название Smart RTFB (Smart Real Time Feedback).

Расчет модели строился исключительно на объективных показателях, например, таких как длительное ожидание в очереди, сбои при проведении платежей в интернет-банке, отказ по кредиту и т.д. Согласитесь, очень сложно быть довольным сервисом, если происходят подобные случаи. Мы собрали более 250 значимых факторов, которые негативно влияют на клиентский опыт и удовлетворенность в целом.

С помощью исторических данных мы смогли получить степени неудовлетворенности каждым видом произошедших проблем, на основе чего построили предсказательную модель, которая показывает вероятность негативного отношения к банку. Таким образом, мы получили полную картину того, как к нам относятся клиенты.

— А как вы оценили соответствие предсказаний реальному положению дел?

Мы проводили количественные исследования клиентов и задавали им вопросы относительно их удовлетворенности обслуживания в банке. Более 90% ответов клиентов совпали с предсказанием модели.

— Итак, вы узнали степень удовлетворенности клиентов…

После получения оценок удовлетворенности можно было переходить к следующей части – непосредственно расчету финансового эффекта. Для начала мы распределили всех клиентов на группы, их получилось шесть. Основными характеристиками были организационно-правовая форма, длительность работы с банком и уровень доходов.

Далее мы убедились, что в каждой группе у клиентов, у которых нет жалоб и низких оценок, чистый операционный доход (ЧОД) растет. После этого проверили гипотезу о том, что жалоба и низкая оценка являются тем триггером, после которого ЧОД падает. Гипотеза подтвердилась.

Наконец, мы взяли временные ряды ЧОД клиентов с негативом и без него, и сравнили их. Получилась определенная «дельта» между временными рядами. Эта разница и составляет тот недополученный доход, который в случае образования жалобы или негатива имеет банк.

— Что «под капотом»? На какой математике базируется решение?

Нами было разработано два пайплайна для решения задачи: интерпретируемый (для принятия решений) и неинтерпретируемый (для более точного предсказания). В качестве разметки для моделей были использованы данные опросов клиентов об их уровне удовлетворенности. На их основе были обучены алгоритмы машинного обучения, которые пытаются выявить зависимость ответа клиента от его признаков.

В интерпретируемом пайплайне за базовый алгоритм берется модель логистической регрессии. Так как сам алгоритм довольно слабый, для большей прогностической способности используется некоторая технология повышения качества. Она сложная и длинная, но если коротко, то она основана на методе весомости признака (WoE-анализ), анализе статистической обоснованности и достаточности модели и разных алгоритмах отбора признаков. В неинтерпретируемом пайплайне используется ансамбль моделей, а именно «стекинг над бустингами».

— Что в ходе проекта было самым сложным?

У нас была амбиция завершить проект за три квартала, и самое сложное было уместиться в заданные сроки, так как параллельных задач очень много. Но мы справились.

— Какие результаты достигнуты?

По результатам расчетов был сформирован план мероприятий по устранению основных недочетов в работе подразделений, участвующих в процессе обслуживания клиентов и в разработке продуктов для них. Важно, что методология получила высокое одобрение и была положительно принята коллегами. Благодаря этому цифры, полученные в результате расчетов, будут являться основным аргументом при принятии решения о доработках систем и процессов.

— Пытались ли оценить финансовый эффект от новых знаний?

Да, конечно, это была одна из основных целей. Мы смогли рассчитать, сколько денег банк не получил от некачественного сервиса. Сумма получилась значительная и превысила в несколько раз нами ожидаемую.

— Каково значение этого проекта?

Практически все компании, которые так или иначе сталкиваются с клиентским опытом, пытаются его оцифровать. С уверенность могу заявить, что наш подход является инновационным и уникальным. Теперь мы точно можем ответить на вопрос: «Сколько стоит хороший сервис?»

Кроме того, разработанная модель Smart RTFB позволила получить больше знаний о том, как к нам относятся все наши клиенты, без исключения.

— В каком направлении будет развиваться это решение?

На текущий момент прорабатывается встраивание модели в общий контур работы с негативными сценариями (комплексная система компенсаций). Дополнительно мы встроим модель в общую систему замеров удовлетворенности, а в дальнейшем, возможно, откажемся от ряда опросов, которые мы направляем клиентам.

— Дорогу каким новым инициативам это может открыть?

Оцифровка клиентского опыта поможет в дальнейшем качественно приоритезировать все доработки продуктов и сервисов, которые так или иначе связаны с клиентом. Также это поможет выстроить систему проактивного взаимодействия с клиентом до того, как он перейдет в критическое состояние негатива и начнет жаловаться или покинет банк. Таким образом, нововведения созданы, в первую, очередь, для клиента, чтобы он получал услуги и сервисы высокого качества.

Создание и внедрение собственной аналитической платформы «всё в одном» создало в компании SberDevices возможности для перехода к модели data-driven. Проект был начат в конце 2021 года с целью оптимизации затрат на управление данными и аналитику и запуска новых сценариев применения данных для развития бизнеса компании. В феврале прошлого года он превратился в антикризисный с приоритетной целью срочной миграции с иностранных решений. О реализации проекта и полученных в результате возможностях рассказывает Андрей Евтихов, управляющий директор SberDevices и номинант на премию Data Award.

— Что стало причиной реализации проекта? Каковы были проблемы и боли?

Причин было несколько. Во-первых, мы очень серьезно относимся к конфиденциальности данных наших пользователей, и сторонние решения не могли обеспечить наши высокие требования в полной мере. Перед нами встали серьезные ограничения корпоративных политик управления данными в используемых коммерческих решениях. Они касались как возможности использования информации по юнит-экономике продуктов, отдельных типов идентификаторов пользователей.

Следующий вопрос касался снижения будущих затрат на все типы решений для управления данными. Запланированный рост собираемых объемов данных на 2022-2023 годы приводил к значительному нелинейному росту затрат.

Кроме того, интересовали возможности сквозной аналитики, интеграция со специализированными потребителями данных внутри компании: внутренними рекомендательными системами и системами коммуникаций с пользователями.

— Главной целью создания аналитической платформы вы называете переход к data-driven компании. Что вы понимаете под data-driven применительно к SberDevices? И почему пока компанию таковой нельзя назвать?

Под подходом data-driven мы понимаем принятие ключевых решений на основании данных, то есть алгоритмизацию ключевых управленческих решений. Например, на основе данных планируется принимать решения о продолжении и размере инвестиций в развитие продуктов – на основании динамики показателей юнит-экономики, о размере инвестиций в продвижение продуктов в онлайн-каналах – на основании динамики показателей привлечения пользователей, о коммерческих условиях взаимодействия с партнерами, о перераспределении ресурсов продуктовых команд между задачами – на основании динамики влияния ошибок на продуктовые показатели.

На данный момент SberDevices находится в процессе перехода к полной data-driven организации. Как минимум, нам требуется накопление исторических данных для обучения точных аналитических моделей для прогнозов и дальнейшее развитие системы A/B-экспериментов, накопление практического опыта применения конкретных продуктовых показателей для принятия объективных и эффективных решений. Важна дальнейшая демократизация инструментов аналитики для расширения возможностей их использования со стороны тимлидов, руководителей команд и подразделений, руководителей старшего уровня. Внедрение подходов data-driven идет последовательно для отдельных продуктов, ожидается полный их охват до конца 2023 года.

— Как сложилось, что в компании работало множество зарубежных коммерческих решений? По каким принципам они подбирались?

Эта картина типична для большинства компаний. Мы всегда ориентировались на индустриальные стандарты для решений по управлению данными. Например, для мобильной аналитики это Firebase, а для технического мониторинга приложений – Sentry. Использовали решения для аналитики, поставляемые партнерами, в частности сервисы аналитики от поставщика платформ управления устройства для умного дома Tuya. Решения для маркетинговой аналитики Data.ai использовались нашими партнерами. При выборе ориентировались на наличие практического опыта работы с решениями у ключевых сотрудников компании, предлагаемые партнерами коммерческие условия использования поставляемых решений, проводили конкурсные процедуры по выбору наилучших решений, так произошло с Amplitude.

— Что требовалось реализовать в ходе проекта?

С технической точки зрения было необходимо подключить к единому хранилищу данных все источники данных, реализовать интеграции с потребителями обработанных данных. При этом требовалось обеспечить хранение и возможности использования «по запросу» всех собранных сырых данных в течении как минимум пяти лет с учетом запланированного роста объемов собираемых данных. Еще одна важная задача – создание аналитических витрин для всех продуктов (по состоянию на момент старта проекта их было более 60) и их поддержка в актуальном состоянии. И, конечно, возможность проведения аналитики за любой период до миграции на новое решение. Это подразумевало бесшовную интеграцию исторических данных из заменяемых систем с «новыми» данными

— Объем работ велик. В какой последовательности и в какие сроки планировалась миграция?

Плановые сроки миграции на старте проекта были оценены в 12 месяцев. Разработка и внедрение платформы осуществлялись внутренними ресурсами компании.

Структура работ была основана на последовательном переключении каждого источника данных на целевое решение. В рамках каждого этапа типовой состав задач выглядел следующим образом: замена компонентов по сбору данных непосредственно на источниках, параллельный сбор данных в ранее используемые системы и в целевое разрабатываемое решение, воспроизведение аналитических витрин в целевом решении, отключение источника данных от ранее используемых систем.

План миграции был сформирован на основании скоринга всего портфеля источников данных в зависимости от приоритета развития продуктов компании.

— В марте проект стал «антикризисным». Как это повлияло на его реализацию, что изменилось?

Плановые сроки миграции сократились с года до четырех месяцев. При этом мы сфокусировались на задачах экстренного переключения всего собираемого потока данных на собственную платформу и экстренной выгрузки исторических данных из всех коммерческих систем, необходимо было сохранить накопленные данные в полном объеме. Наша цель заключалась в минимизации потенциальных потерь данных от миграции. Задачи по созданию аналитических витрин, визуализации были перенесены на последующие этапы. До высвобождения ресурсов команды развития платформы задачи продуктовой аналитики решались специально сформированной «пожарной» командой, которая работала по индивидуальным запросам продуктовых команд.

Собственные API и средства разработки были максимально адаптированы под уже существующие форматы используемых коммерческих решений. Это было важно для снижения затрат на переключение собираемых данных на собственное решение.

Конечно же, изменились критерии выбора технологий для отдельных компонентов системы. В качестве основного критерия выбора стали ориентироваться на open source. От выбранных ранее технологий, не удовлетворяющих обновленным критериям, отказались.

Изменились требования к интеграции платформы с внутренними системами компании по причине экстренной миграции на новый, «антикризисный» стек технологий для всех используемых в компании решений. В частности, это коснулось коммуникационных сервисов, системы управления задачами, CRM, системы управленческого учета, системы управления НСИ.

— Какие решения были выбраны и почему?

С учетом новых условий появились и антикризисные критерии выбора решений. Помимо принадлежности к open source, требовалась проверка кода решений со стороны нашего ИТ-департамента, и, что немаловажно, наличие опыта работы с решениями у действующих сотрудников компании. Это позволило обеспечить быстрый старт и получить практические результаты для компании в течении первого месяца работы в «антикризисном» режиме.

В итоге сбор данных с источников осуществляется с помощью собственных продуктов Device+Mobile DataSDK и DataAPI. Основными решениями, используемыми для построения платформы данных, стали Kafka – для доставки потоковых данных с источников, Hadoop и S3 – для хранения данных, Spark и Airflow – для обработки данных, Postgres и ClickHouse – для создания витрин данных и отчетности, Metabase, Grafana и Superset – для визуализации, Elastic – для поиска, Jupyterhub – для исследования данных.

— Что является фишками созданного решения? Чем можно гордиться?

В результате получилась полностью открытая платформа. Пользователи могут создавать любые собственные запросы к данным, сохранять их в виде витрин, визуализировать в виде кастомизированных отчетов в BI и т.п., а также подключать собственные источники данных по типовым протоколам. Конечно же, команда развития платформы использует специальные инструменты мониторинга пользовательских запросов и помогает исправлять ситуации перерасхода выделенных квот ресурсов. Она же проверяет источники на предмет соответствия корпоративным политикам сбора данных.

Стоит отметить автоматизированное выявление объектов, требующих оптимизации и исправления (ETL-процедуры, представления, физические таблицы, аналитические витрины, ad-hoc запросы к данными), а также отслеживание отклонений от среднего времени выполнения для регулярных ETL-процедур и времени обновления аналитических витрин. Широко изучаются показатели использования платформы со стороны пользователей, в том числе показатели аудитории самой платформы в разрезе сотрудников отдельных продуктов и подразделений.

— Вы собираете телеметрию, технические и пользовательские события, информацию о рабочих процессах. Приведите несколько примеров важных data-продуктов, основанных на этих данных.

В первую очередь запустили продукты для развития бизнеса: умные таргетированные напоминания для продлений подписок пользователей на сервисы, умные пользовательские сегменты для тартегированной рекламы на устройствах. Кроме того, разработаны продукты для сопровождения и поддержки клиентов: оперативная реакция на инциденты с умными устройствами у пользователей, оперативный поиск полной информации обо всех событиях на устройстве. Важным для нас направлением являются и продукты для поддержки принятия решений – например, планирование рабочих задач развития продуктов: балансировка по типам задач change, run, bug в зависимости от предыдущей динамики по решению задач соответствующих типов и потенциального влиянию на продуктовые показатели.

— Каких результатов удалось достичь за 2022 год? Что можете считать самым важным?

В итоге на созданную платформу мигрировали более 80 продуктов, включающих более 4,5 тыс. продуктовых показателей. Подключено уже более 200 уникальных источников данных – это все источники данных из использовавшихся ранее сторонних решений. Естественно, у нас нулевые лицензионные платежи. Что касается скорости разработки и внедрения новых продуктовых метрик, то она в среднем может составлять один рабочий день.

В результате проекта был сформирован Центр компетенций по данным, сотрудники которого консультируют продуктовые команды по составу собираемых данных, доступным витринам данных и аналитическим показателям, проводят регулярные корпоративные обучающие мероприятия для сотрудников и в целом активно продвигают в компании культуру работы с данными.

Важно, что платформа поддержала планы нашего продуктового развития и развития бизнеса. На 2022 год было запланировано подключение телеметрии устройств и большого количества новых технических событий внутри приложений. Рост количества собираемых событий по сравнению с 2021 годом оказался десятикратным.

— А каких эффектов еще можно ожидать?

Мы ожидаем роста аудиторных показателей продуктов за счет расширения использования данных для персонализации пользовательского опыта, «умных» рекомендаций. Например, таких показателей, как увеличение частоты использования продукта и увеличения времени, проводимого пользователем с продуктом.

Кроме того, ожидаем рост показателей юнит-экономики продуктов за счет использования «умных» рекомендаций типа cross-sale, up-sale, down-sale. Это должно привести к ускорению роста среднего чека и частоты покупок с помощью наших умных устройств.

— Пытаетесь ли вы оценивать финансовые эффекты? Сколько удалось сэкономить и заработать?

На 2022 год в качестве основного финансового эффекта от проекта была определена экономия фактических затрат на целевое решение по сравнению с запланированными ранее затратами на коммерческие продукты. В итоге совокупная стоимость владения созданным решением сократилась втрое.

— Какую роль играет этот проект для компании?

У нас появились принципиально новые для компании инструменты стратегического и операционного управления. Переоценить это трудно. Фактически нами построен «мозг» компании – центр нервной системы, состоящей из множества собирающих информацию датчиков.

Платформа, созданная в результате выполнения проекта, станет новым источником доходов для компании и основой для всех сценариев по применению данных для развития бизнеса. Например, речь идет о таргетировании маркетинговых и рекламных коммуникаций на цифровых поверхностях СберДевайсов и персонализации опыта пользователей.

— Каковы направления развития платформы? И какие возможности она открывает в будущем?

100% продуктов будут использовать аналитику в реальном времени. Каждый пользователь будет иметь предрасчитанный анонимный профиль характеристик, обновляемый в режиме реального времени.

Кроме того, мы планируем подключить новые источники партнерских данных, вдвое сократить затраты на обработку единицы данных по сравнению с использовавшимися ранее решениями. Запустим подсистемы прогнозной аналитики для всех продуктовых показателей.

Все собираемые данные будут соответствовать критериям ML-ready (адаптация массивов данных для использования в моделях машинного обучения). Это позволит нам значительно улучшить результаты работы аналитических моделей и вывести «мозг» нашей компании на новый уровень интеллектуальной поддержки нашего бизнеса.

Оптимизация работы контакт-центра имеет позитивное влияние не только на бизнес его владельцев, но и на лояльность клиентов, получающих более быстрое и качественное обслуживание. В Сбере реализовали проект предиктивной маршрутизации в контакт-центре для юридических лиц, разгрузив операторов и попутно за год сэкономив клиентам 7 лет рабочего времени. Об особенностях этого проекта рассказывает Сергей Рябков, руководитель проектов, владелец продукта «Предиктивная маршрутизация» в Сбере и номинант на премию Data Award.

- В чем заключалась бизнес-проблема?

Наши клиенты – юридические лица, владельцы бизнесов различных размеров и масштабов. Наш опыт показал, что они предпочитают решать возникающие вопросы, общаясь по телефону с живым человеком. Поэтому мы отказались от автоматизированных сценариев в IVR, сделав упор на маршрутизацию входящих вызовов на операторов контакт-центра.

Портфель продуктов и услуг Сбера достаточно велик и разнообразен. Каждый продукт довольно сложен для изучения, поэтому, формируя группы операторов, мы разделяем их по знанию конкретных продуктов банка. Это сильно усложняет задачу маршрутизации: классическое «тональное» (DTMF) меню будет для клиента слишком сложным и объемным, а при общении с голосовым ассистентом клиенты могут неверно сформулировать вопрос, что повлечет за собой некорректное распределение вызова. Также в 10% случаев клиенты напрямую просят подключить оператора либо молчат.

- Почему это важно для вас?

Создавая новые продукты в Сбере, мы исходим из потребностей нашего клиента. Разрабатывая сервис, мы задались вопросом: как сделать идеальную систему маршрутизации?

Наши опросы показали, что для клиентов важна скорость решения вопроса и точность соединения с нужным оператором: никому не нравятся ситуации, когда вызов переводят от одного сотрудника к другому и при каждом новом контакте приходится заново объяснять свою проблему.

Также мы поняли, что лучший IVR – это его отсутствие. Набрав номер поддержки банка, клиент хочет как можно быстрее попасть на нужного сотрудника.

- Какой путь решения выбрали?

У нас есть большое количество систем, сопровождающих все процессы взаимодействия клиента с нашими продуктами. По ним мы можем увидеть цифровые следы клиента и триггеры, влияющие на его обращения в контактный центр. Зная это, мы запустили сервис предиктивной маршрутизации в контакт-центре Сбера для юридических лиц.

Ядром сервиса является рекомендательная система, имеющая интеграции с большим количеством банковских систем, в которых клиенты оставляют цифровые следы. Анализируя эти следы, рекомендательная система сообщает продукт и тему обращения клиента в IVR, который принимает решение о подборе группы операторов и маршрутизации вызова.

- Как была поставлена задача?

Основная цель проекта – улучшение клиентского опыта за счет более быстрой и точной маршрутизации вызовов, приходящих на линию поддержки 0321.

Вторая, но не по значению, цель – это оптимизация затрат на содержание контакт-центра. Более точная маршрутизация позволяет снизить долю переводных звонков, а значит уменьшить нецелевую нагрузку на операторов и оптимизировать их численность.

- На каких технологиях построено решение?

Используется передовой технологический стек в разработке, подразумевающий под собой микс из собственных разработок банка и кастомных сборок open source решений.

Данные для сервиса поставляются в потоковом режиме из Apache Hadoop. Обработка потоковых данных реализована на фреймворке Apache Flink, который преобразует их в триггеры, влияющие на маршрутизацию, и затем сохраняет в NoSQL СУБД Cassandra.

Ансамбль из двух AI-моделей (линейная регрессия и нейросеть) исполняется в банковской среде MEF. Результат классификации затем через брокер сообщений Kafka отправляется в интеграционный тракт с платформой IVR контакт-центра.

- Какой математический аппарат используется?

При создании сервиса большое внимание мы уделили определению цели для маршрутизации звонка, по которой далее будет обучаться AI-модель. Мы разметили пул звонков в контакт-центре за прошедший год, в результате чего появились порядка 60 проблематик, которые легли в основу целевой модели. Для корректного их предсказания нам пришлось интегрировать нашу рекомендательную систему с большим количеством источников данных, среди которых системы дистанционно-банковского обслуживания, сайт Сбера, CRM-системы, данные по транзакциям, уведомлениям, получаемым клиентом, системы service desk, обращения в контакт-центр и пр.

«Под капотом» у рекомендательной системы находится синергия экспертных бизнес-правил и алгоритмов искусственного интеллекта, включающих в себя ансамбль AI-моделей: ряда линейных регрессий и нейросети.

- Каких результатов удалось достичь?

По результатам работы нашей команды сервис успешно масштабирован до 85% от входящего трафика. За два года работы время на маршрутизацию снижено более чем в четыре раза. После того, как клиент набрал номер телефона поддержки, он слышит только приветствие «Сбера для Бизнеса», уведомление о записи разговора, после чего сразу же к линии подключается оператор.

Благодаря анализу больших данных в реальном времени уже в начале звонка клиента мы знаем проблематику обращения, не задавая при этом клиенту никаких вопросов. Также повышена точность маршрутизации: доля вызовов, переведенных оператором после запуска нашего сервиса, в среднем стала на 10% ниже.

- В чем роль проекта для бизнеса компании?

Сервис позволяет существенно экономить на содержании контакт-центра: за счет короткого IVR экономия на телефонном трафике составляет 1,3 млн минут в год.

Кроме того, снижается нагрузка на контакт-центр: за прошлый год за счет более точной маршрутизации мы разгрузили 88 операторов, что в свою очередь позволило снизить стоимость обслуживания клиентов на 6%. А для наших клиентов за 2022 год это вылилось в экономию 7 лет рабочего времени.

- В каком направлении продолжит развиваться платформа?

Мы продолжаем работать над улучшением точности наших алгоритмов. Кроме того, мы хотим дополнительно анализировать поведенческие характеристики клиента в каналах обслуживания, чтобы предлагать действительно персонализированное обслуживание каждому, кто обратится в контакт-центр Сбера для юридических лиц. В том числе, планируем делать сценарии «мягкой» автоматизации, помогая непосредственно в IVR решать вопросы только тем клиентам, кто к этому готов.

Помимо этого, мы планируем сделать сервис омниканальным, перенеся его в текстовые каналы контактного центра и интегрировав с существующими ботами и виртуальными ассистентами.

Важнейшую роль в обеспечении хороших финансовых результатах «Сбера» в 2022 году сыграл проект миграции на импортонезависимую CRM, поддерживающую работу всех В2В-компаний группы. Он позволил не только обеспечить непрерывность процессов, но и существенно повысил их качество. О его реализации и результатах рассказывает Евгений Горбачев, руководитель проектов Центра корпоративных решений «Сбера» и номинант на премию Data Award.

— Что стало причиной реализации проекта?

Наша команда представляет Центр корпоративных решений – контакт-центр «Сбера», поддерживающий юридических лиц по банковским продуктам и продуктам компаний нашей группы. У нас на поддержке более 50 дочерних обществ и партнеров банка, а это более 200 продуктов компаний B2B в различных сферах и отраслях, с разными бизнес-моделями и процессами. Мы предоставляем им и сервис, и платформу для организации поддержки продуктов.

Изменения ощутило на себе большинство российских компаний. «Сбер» также был вынужден резко ускорить скорость разработки собственных ИТ-решений.

Мы начали испытывать сложности с иностранными вендорами: длительные процессы согласования и внедрения, не кастомизированные под наши цели и задачи решения. Появился риск остаться без технологической платформы, которая является неотъемлемой частью нашей повседневной работы. Это ставило под угрозу нормальное функционирование поддержки в крупнейшем банке и всех компаниях В2В группы «Сбер», поэтому мы приступили к реализации антикризисного сценария – переходу от импортного программного обеспечения к отечественным разработкам.

— Какой подход был выбран?

Реагируя на изменившуюся среду, мы осознали необходимость сформировать собственное решение для контакт-центра. В рамках импортозамещения были поставлены несколько целей. Во-первых, требовалось создать технологическое решение, с помощью которого можно будет поддерживать разнородные бизнес-процессы более 200 продуктов. Во-вторых, решение должно иметь брендовую составляющую – оно должно было стать разработкой, конкурирующей с мировыми лидерами индустрии контакт-центров. Наконец, было важно сократить затраты на поддержку продуктов группы и банковских продуктов «Сбера» на сумму более чем 100 млн руб. в год.

— Как были сформулированы задачи проекта?

Важно было не просто не потерять в качестве сервиса, но и стать лучше, причем это касается очень многих показателей. Например, сохранение уровня доступности, а он очень высок: 80% всех обращений принимаются за 30 секунд, потери составляют менее 5% от всех обращений. Сохранение и повышения уровня удовлетворенности клиентов – поставлена цель выше 90%. Более того, рассчитывали на сокращение времени обслуживания за счет интеграции с автоматизированными системами дочерних обществ банка и формирования единой истории взаимоотношений с клиентами по всем каналам коммуникаций.

Нужно было подумать и о сотрудниках (например, сохранить и повысить уровень удовлетворенности операторов рабочим местом, автоматизировать процессы), и о клиентах (иметь бесшовный клиентский путь), и об эффективности (объединить все обращения клиентов в единую базу, иметь единую систему инцидент-менеджмента, формировать единый дашборд по всем обращениям клиентов). И конечно, хотелось сократить время запуска новых проектов, сохранив гибкий, кастомизированный подход к каждому продукту.

— Из каких вариантов выбирали?

В части техники и платформ для разработки перед нами встал сложный выбор из следующих вариантов: разработать решение «с нуля» или использовать open source, а может – готовое решение? Было нужно проработать встраивание в общую архитектуру банка, создание единого профиля клиента, предоставление доступов к CRM вне контура банка, а также многочисленные интеграции с автоматизированными системами.

По итогам анализа приняли решение разрабатывать свой софт, а для ускорения реализации использовать open source решение OTRS. В результате мы получили функционал для гибкой настройки бизнес-процессов обработки обращений в офлайн-режиме, а для онлайн-обращений доработали решение OTRS на базе платформы Platform V «Сбера». Нашу разработку мы назвали «Единая CRM для обращений клиентов компаний B2B группы Сбер».

— Что собой представляет созданное решение?

Итоговое решение стало универсальным для всех компаний, мы смогли создать единый профиль клиента, не привязанный к конкретному продукту или компании. Обрабатывая обращения от клиентов, мы получаем «портрет» пользователя продуктов и на основе аналитики клиентских путей, обращений, предложений и жалоб можем предлагать клиенту новые услуги или продукты.

При работе с клиентами оператору нужно использовать данные из многочисленных систем, поэтому мы реализовали возможность интегрировать в рабочее место оператора данные из автоматизированных систем «Сбера», которые необходимы для обработки обращений. Гибкая ролевая модель CRM позволила настроить решение в соответствии с требованиями безопасности банка, предоставить доступ к необходимым для работы данным и обезопасить клиентскую информацию.

— Что удалось лучше всего?

Преимущество нашего решения в гибкости – запуск новых проектов обходится без участия разработчиков и занимает считанные дни, что является скорее исключением, чем правилом для больших корпораций. Под каждый бизнес-процесс любой компании группы можно реализовать любые правила работы с обращениями – SLA, уведомления, эскалация, автоматическая отчетность. У команды появились планы по выводу решения на внешний рынок, о результатах расскажем на Data Award 2024.

— Какие результаты были достигнуты?

Подводя итоги и анализируя ключевые показатели эффективности, мы с гордостью можем заявить о блестящих результатах от внедрения нашего решения, разработанного в кратчайшие сроки.

Если говорить о влиянии на бизнес и клиентский опыт, то омниканальность решения позволяет гибко управлять ресурсами, формировать единую историю взаимоотношений с клиентами, единый клиентский путь, обеспечивать доступность поддержки продукта. Единый профиль клиента позволяет нам развивать продукты, повышать уровень сервиса. После перехода на новую CRM уровень удовлетворенности в части поддержки продуктов компаний В2В группы «Сбер» вырос с 74,3% до 81,1%. И мы не останавливаемся на достигнутом.

Мы не зависим от вендоров в части скорости доработок и кастомизации решения. В результате запуск поддержки новых продуктов сократился с четырех до двух недель. Собственная разработка позволяет быстро масштабировать решение. В наших планах внедрение и реализация решения на другие направления.

Если говорить об операционной эффективности, то уровень доступности линии поддерживается в целевых показателях, сокращено время обработки обращений в среднем на 30%, увеличен показатель загрузки операторов с 70% до 90% за счет омниканальности. Сокращено время реакции на сбои – имея единую систему отслеживания инцидентов, можем оперативно информировать всех участников процесса. Единый дашборд позволяет мониторить нашу работу по всем компаниям группы.

— А что говорит персонал?

Удобный интерфейс единого рабочего места позволяет минимизировать трудозатраты наших операторов. По проведенным опросам, удовлетворенность рабочим местом по 10-ти бальной шкале выросла и сейчас достигла 8,5-8,6 баллов.

— Какими финансовыми эффектами можете похвастаться?

Благодаря автоматизации и интеграции с внешними системами сокращено время обработки обращений по всем каналам с 6,2 до 4,2 минут. При объеме в 400 тыс. обращений в месяц это дает экономию компаниям группы в 150 млн руб. в год. Кроме того, как и планировали, произошло сокращение затрат на доработки.

— Каково значение проекта для компании?

Уже к началу второго квартала 2022 года более 700 сотрудников из 30 компаний B2B группы «Сбер» подключились к работе в новой CRM. В единой системе сотрудники увидели профиль клиента и его запросы по всем продуктам компаний. На основе аналитики по запросам клиентов можно предугадывать их потребности и превентивно предлагать новые продукты и услуги.

Можно сказать, что мы победили кризис. Разработав и внедрив нашу CRM, мы закрыли все риски, которые видели до внедрения. Сейчас мы работаем на собственном решении. Разработанный нами инструмент повысил нашу эффективность по всем направлениям: экономика, операционное управление и, главное, — удовлетворенность клиентов и персонала.

— В каком направлении будет развиваться платформа?

Первое направление – в сторону клиента: накапливая данные о наших клиентах о его обращениях по продуктам группы «Сбера», мы сможем более точно и превентивно решать проблемы клиента, закрывать его потребности и предлагать актуальные услуги и продукты. Удовлетворенность клиента – наш важнейший приоритет.

Второе направление – в сторону пользователей: в рамках единого окна у операторов контакт-центра должен быть доступ ко всем необходимым данным о клиенте: прошлые обращения, продукты, актуальные предложения для клиента. Оператор в рамках одного окна должен иметь возможность и найти посылку клиента в «СберЛогистике», и оформить договор по «СберЛизингу».

Наконец, в сторону технологий: мы не перестаем развивать CRM, наращиваем функциональность платформы, повышаем надежность системы и защищенность данных клиентов. В 2023 году основной задачей будет интеграция с новой платформой контакт-центра «Сбера» – SberContactPlatform. Комплекс решений CRM и SberContactPlatform должен полностью закрыть потребность в собственном решении и обеспечении технологического суверенитета «Сбера» в сфере контакт-центров.

За последние два-три года сфера искусственного интеллекта прошла огромный путь и сегодня мы видим массовое внедрение решений на базе ИИ в бизнесе, в частной жизни. Благодаря искусственному интеллекту у нас появились умные устройства, голосовые ассистенты, беспилотные автомобили. ИИ применяется, например, в финансовом сегменте, телекоме, медицине, ритейле. Но за каждым таким решением стоит кропотливая и в чем-то рутинная работа, ведь для обучения высококачественных моделей машинного обучения необходимо предоставить их алгоритму точно размеченные данные. Для того, чтобы размечать большой объем данных и делать это быстро, существуют специализированные платформы. В компании «АктивБизнесКонсалт», разрабатывающей ИТ-решения на базе речевых технологий для бизнеса под брендом VS Robotics, создали свою такую платформу – Elementary. Об истории и результатах этого проекта рассказал Дмитрий Теплицкий, генеральный директор АБК и номинант на премию Data Award.

— Как и зачем создавалась платформа Elementary?

Мы являемся одним из основных поставщиков решений, основанных на речевых технологиях. Наиболее известный пример – роботизированный агент, который применяется в различных сферах и направлениях: телемаркетинге, медицинских организациях для записи на прием, проведения опросов общественного мнения, взыскании проблемной задолженности и многих других. В связи с этим возникла необходимость разметки речевых корпусов и других данных, чтобы обучить робота общаться с человеком на равных.

Оценив рыночные решения, мы пришли к выводу, что схема работы внешних поставщиков размеченных данных нас не устраивает и необходимо собственное решение, позволяющее организовать этот процесс. Такое решение и было разработано – это площадка для разметки данных Elementary.

— Расскажите об истории проекта.

Мы разработали платформу Elementary в 2019 году. Этот сервис предполагал возможность разметчикам, привлеченным для работы на площадке, получать дополнительный доход за несложную работу. Уже в первый год платформа Elementary получила высокий отклик. Был получен высокий объем размеченных данных, которые в дальнейшем стали использоваться не только в ИТ-решениях, создаваемых в VS Robotics, но и в голосовых помощниках, и в других продуктах экосистемы «Сбера».

— Что собой представляет платформа, в чем ее суть?

Платформа Elementary позволяет решать большинство задач, связанных с разметкой данных для машинного обучения: текстов, картинок, аудио и видео. Суть проекта в том, чтобы получить большие данные, которые накапливаются в результате работы бизнеса, и обработать их нужным образом для использования в построении технологий. Наша платформа позволяет нам контролировать качество на каждом этапе. Мы автоматизировали весь процесс работы специалиста по разметке на площадке – от регистрации до оформления выплат. Кстати, мы – единственная подобная площадка с официальным оформлением трудовых отношений и автоматизированными выплатами.

— Какие задачи были поставлены перед проектом?

Проект был задуман как для решения прикладных задач подготовки данных машинного обучения, так и для оказания помощи в трудоустройстве для тех людей, кто оказался в сложном финансовом положении и ищет дополнительный источник дохода. 

— Что в ходе проекта было самым сложным?

Самой сложной частью была автоматизация создания заданий и правильный учет распределения больших объемов данных (до нескольких миллионов сущностей за задание) между большим количеством разметчиков на площадке, работающих во всех часовых поясах России.

— На каких технологиях базируется Elementary?

Проект построен на технологическом стеке языка PHP (фреймворк Symfony), фреймворка Vue.js и с частичным использованием языка Python.

— Каких результатов удалось достичь?

Самое главное – это разметка огромного массива данных, которые стали основой для многочисленных умных устройств и ИИ-продуктов в «Сбере». Нам удалось привлечь действительно большое количество разметчиков. Нами разработаны механизмы разметки любых типов задач. В пиковые нагрузки на площадке работали до 20 тыс. активных пользователей.

— Была ли изначально задумана социальная ориентация проекта? Или такое понимание пришло уже в процессе? Какие именно категории граждан составляют основную массу разметчиков?

На специализированных площадках, таких как Elementary, ежедневно размечается сотни тысяч данных, и для людей, занимающихся этой работой, это хорошая возможность для дополнительного заработка. А возможность работать из дома и в свободном графике особенно важна для женщин в декрете и малоподвижных граждан. Создавая Elementary, мы изначально задумывали площадку как отчасти социальный проект и сейчас видим, что наши ожидания оправдались.

За последние два года количество зарегистрированных пользователей выросло почти в 19 раз. Сейчас на площадке зарегистрировано почти 20 тыс. разметчиков – более 1,5 тыс. активных ежедневных пользователей. 10% пользователей – сотрудницы «Сбера», находящихся в декретном отпуске, они занимаются разметкой за дополнительный доход. 5% приходится на малоподвижных граждан и матерей детей с инвалидностью. Для оставшихся 85% обеспечивается занятность в удаленном режиме, это люди, не имеющие постоянного дохода и испытывающие финансовые трудности. Кроме того, мы предоставляем возможность присоединиться к платформе Elementary и людям, не имеющих возможность оплачивать кредит ввиду сложных жизненных обстоятельств.

Таким образом, площадка Elementary выполняет важную социальную роль – для людей это возможность для заработка.

— Какие требования предъявляются к ним?

Никаких, кроме оформления самозанятости и внимательного выполнения заданий. Система автоматизирована и позволяет формировать акты и прочие документы без привлечения исполнителей. Единственное, что нужно сделать самостоятельно, – два раза в месяц запросить вывод заработка, нажав соответствующую кнопку в личном кабинете.

— Какую роль играет проект в получении размеченных данных для построения моделей? Какова его доля в общем объеме?

Ключевую роль, так как позволяет произвести необходимую обработку практически любых данных (аудио, видео, изображения и текст), тем самым подготовив их для использования в построении необходимых моделей, их обучении. На проекте в том числе задействованы команды разработки, чьи данные целиком обрабатываются только внутри нашей площадки.

— В 2021 году на платформе Elementary было размечено более 153 млн данных. О каких единицах измерения идет речь?

Речь идет о любых видах данных, будь то семпл-аудио или изображение. Эти данные накапливаются бизнесом (например, одна аудиодорожка из звонка робота абоненту будет являться одним элементом этих данных) и передаются на площадку, где разбиваются по конкретным заданиям с описанием того, что нужно сделать.