«Цифровые люди» Сбера

Чтобы оперативно принимать решения на основе данных, необходимо вовлечь в работу с ними как можно больше сотрудников. Какие шаги предприняли в Сбере, чтобы быстро и с разумными затратами проверять различные гипотезы, находить эффективные решения и за считанные часы вводить в эксплуатацию модели на базе машинного обучения? Как на платформе «Фабрика данных» появилось «Рабочее место D-people» и что за этим последует, рассказывает номинант CDO Award 2021 Борис Рабинович, CDO Сбербанка, старший управляющий директор, директор департамента управления данными Сбербанка.

- Как зарождался data-driven-подход в Сбере?

После того как мы поняли, что с текущими темпами роста наших объемов данных масштабировать текущую архитектуру будет очень дорого, было принято решение о запуске программы создания «Фабрики данных». В рамках этой программы была разработана новая, современная архитектура, принята политика управления данными, внедрены функция и вертикаль CDO, началась проработка централизованных политик управления корпоративными данными и качеством данных.

- Чем занимается ваш департамент?

Миссия департамента — создание эффективной и доступной для всех подразделений банка среды работы с данными. Он отвечает за разработку, внедрение и сопровождение платформы, а также за управление корпоративными данными.

По смыслу и платформа, и департамент разделены на этапы жизненного цикла данных: загрузка, внутренняя обработка, предоставление данных. Отдельные классы задач — работа с интегрированными данными и сопровождение в режиме 24x7.

Поначалу программа создания «Фабрики данных» воспринималась бизнесом как пассив и факультативная нагрузка, поскольку платформа развивалась в соответствии с приоритетами, поставленными в основном технологическим блоком. Чтобы изменить это отношение, мы поменяли парадигму — пошли от задач бизнеса: определили ключевые проекты бизнес-блоков, связанные с данными, разобрались, что требуется от платформы этим проектам, сделали бэклог задач, привязанный к вехам этих проектов, распределили такие задачи по командам в департаменте и включили в эти команды представителей бизнес-блоков. Кроме того, мы ввели понятие «поколение платформы». Каждая смена «поколений» характеризуется качественным скачком, произошедшим в результате запуска ключевых бизнес-проектов.

В течение двух лет мы организовали подключение к платформе более 250 источников данных, выстроили инструменты для конкретных пользователей. Сейчас каждый третий трайб (группа команд. — Прим. ред. ) имеет на платформе свои решения. Количество решений выросло с 12 на конец 2019 года до 90 на конец 2020-го. Это масштабные аналитические системы, каждая из которых решает множество задач.

- Что собой представляет «Фабрика данных»?

Это платформа, которая на данный момент состоит из более 100 элементов и сервисов, таких как компонент загрузки данных в реальном времени, журналирование действий пользователя, аудит, проверка прав доступа, карта данных как средство навигации, механизм проверки качества данных, механизм распространения данных и т. п. Все эти процессы увязаны и работают так, чтобы в нужное время в нужном месте у наших клиентов были данные и решения. Часть платформы — промышленная область, где процессы выполняются без участия людей (по расписанию и для интеграции с внешними системами). Другая часть связана с процессом разработки, будь то инженерия, создание отчетов, аналитика или задачи data science.

- В чем заключается политика Сбера в работе с данными?

Политика по управлению корпоративными данными — это утвержденный правлением банка нормативный документ, свод правил, вокруг которого выстраиваются организационная вертикаль CDO, набор процессов управления данными, роли, их функции и взаимодействие друг с другом (CDO банка и блоков, владельцы предметных областей, менеджеры данных, дата-стюарды, дата-инженеры, архитекторы по работе с данными и др.).

Это верхнеуровневый документ, в котором структурированы и описаны ключевые вопросы работы с данными в банке и опорные точки, на которые мы ориентируемся: качество данных, описание данных, владение данными, предоставление прав доступа к данным.

Жизнь не стоит на месте, мы понимаем, какие области надо развивать, и сейчас выходит уже третья версия политики. На 2021 год стоит задача внедрить управление жизненным циклом данных — программу ILM (Information Lifecycle Management), чтобы обеспечить сквозное управление данными на всех этапах — «от рождения до смерти».

У нас не было подхода к «смерти» данных, но сейчас ясно: объем такой, что некоторые данные хранить нецелесообразно — мы их никак не используем, а они занимают место и стоят денег. Особое внимание направлено на все, что связано с конфиденциальными и персональными данными. Мы должны очень четко понимать, где они «живут», как мы их используем и обезличиваем для разных целей применения и как удаляем. Кроме того, все операции с данными необходимо выполнять в строгом соответствии с правилами действующего законодательства в части персональных данных, банковской тайны и других чувствительных данных.

Будет и четвертая версия политики, действие которой распространится на работу с данными не только Сбербанка, но и всей экосистемы. Нет предела совершенству.

- «Кладбище» данных еще не организовали?

Устроить «чердак» данных перед уничтожением — это хорошее предложение, я подумаю. Тема важная, потому что объемы данных Сбера колоссальны. В «Фабрике данных» около 12 Пбайт полезных данных, а с учетом репликаций — около 40 Пбайт. А кроме того, есть еще транзакционные системы, их копии — с ними объемы данных ушли уже далеко за сотню петабайт. Стоит их хранение очень прилично. Поэтому нам предстоит разобраться, нужно ли это хранить и можно ли перевести их хранение из «горячего» в «холодное». Фрагментарно это уже делается, но задача CDO — сделать это системно на уровне всего банка.

- Какие задачи превалируют: направленные на оптимизацию процессов или на создание новых продуктов и сервисов?

У меня три приоритета. Первый и основной — дать возможность бизнесу эффективно реализовывать на платформе все его задачи. Цель каждого из 90 решений — заработать денег и минимизировать потери банка. Второй важнейший приоритет — высочайшие стандарты кибербезопасности платформы. Третий — ее надежность и эффективность. При этом я слежу за тем, чтобы банк получал максимальный эффект, тратя минимальные деньги.

- Какую цель перед собой ставили, начиная работу над проектом D-people?

Ставилась цель — существенно повысить эффективность работы сотрудников D-people (дата-инженеры, дата-сайентисты, дата-аналитики) за счет сокращения времени создания и вывода моделей в промышленную эксплуатацию. Для этого и создавали единое рабочее место. Когда была запущена программа AI-трансформации, в банке появились сотни дата-сайентистов и еще больше дата-инженеров, которые готовят фичи (наборы данных, на которых работают модели. — Прим. ред. ). Если для такой армии созданы оптимальные условия работы (инструменты, доступные данные и пр.), то это в конечном итоге отражается на эффективности компании. Ради этого все и затевалось. Созаказчиком тут выступил розничный бизнес, трайб «Массовая персонализация», возглавляемый Игорем Зарубинским, где сосредоточено большинство D-People розницы.

Основные процессы для исследователей данных — это разработка моделей, анализ их работы, вывод в эксплуатацию и проверка результатов. Но фактически на это коллеги тратили лишь 10–15% времени, остальное занимала рутина — получение инфраструктуры, прав доступа, самих данных, разрешения на вывод модели в промышленную эксплуатацию. В любой крупной организации каждый элемент этой цепочки — длительный процесс. В результате на создание прототипов и проверку гипотез тратились не недели, а месяцы.

- Когда началась работа и какие задачи решали в первую очередь?

Ключевой компонент — лаборатория данных — появился в 2019 году. Это инфраструктура, которая доступна пользователям для прототипирования, проверки гипотез и разработки моделей.

Первая проблема заключалась в длительности процесса получения данных — заказа, получения согласований и разрешений для разовой загрузки данных на сервер. Мы обсудили с коллегами наболевшие вопросы и выяснили, что они хотят концентрироваться на своем ключевом навыке — строить модели, а не тратить время на решение «коммунальных» вопросов.

Разложив процесс работы дата-сайентиста на части — от получения выделенной инфраструктуры до вывода модели в промышленную эксплуатацию, — мы увидели, что проверка одной гипотезы занимает три с лишним месяца. Так жить нельзя!

И мы сосредоточились на том, чтобы многократно ускорить получение результата, выстроив новую цепочку процессов и совместив их с инструментарием, компоненты которого интегрированы друг с другом. Сделали супермаркет данных, позволяющий заказать любые доступные в банке данные.

Товары на «полках» нашего супермаркета — это дата-сеты, построенные на основе копий систем — источников информации, с полным описанием атрибутного состава и другой необходимой информации. К выбранным дата-сетам можно заказать доступ: кладешь в корзину, выбираешь к какому времени они нужны, куда их нужно выгрузить и нажимаешь кнопку «Заказать». Формируется подписка. Данные отгружаются c указанной заказчиком периодичностью. Параллельно в этом же интерфейсе происходит предоставление прав доступа.

Также мы запустили магазин инфраструктуры, где можно выбрать виртуальный сервер необходимой конфигурации — с нужным числом ядер, объемом памяти и «начинкой». Заказываешь — и в течение часа разворачивается Hadoop и создается твой персональный сервер. Специально для тебя! Получается новый клиентский опыт: развернув сервер, заказываешь данные в супермаркете, получаешь права доступа — и эти данные автоматически отгружаются на твой сервер.

На следующем шаге дата-сайентисту нужны инструменты. Поэтому рабочее место D-People наполнено всеми современными инструментами обработки данных (spark, hive и пр.), UI (hue, Jupyter Hub) и библиотеками.

Когда сервер развернут со всеми инструментами и современными библиотеками, дата-сайентист начинает делать фичи и моделировать. Следующая задача — вывести витрину фичей и саму модель в промышленную эксплуатацию. Вывод витрины занимает до недели, но это разовая акция, а вот для вывода самой модели, когда витрина уже есть, мы сделали модельный DevOps, оптимизировав этот процесс до 4 часов.

Таким образом, весь цикл организационной работы дата-сайентиста сжат с трех с лишним месяцев до одного дня.

- Какие источники данных использовались?

Сейчас загружено более 250 внешних и внутренних источников данных плюс внешние справочники. Но гипотетически в банке более 300 централизованных систем, есть и децентрализованные. У дочерних обществ Сбера появляются данные, которые тоже нужны в контуре банка. Поэтому количество источников постоянно растет.

- Какие платформы применяются в работе с данными?

Источниками служат главным образом legacy-системы на базе Oracle, основное хранение данных осуществляется в Hadoop в сборке от Cloudera. С помощью OGG (Oracle Golden Gate) и Apache Kafka мы ежедневно поставляем данные как в пакетном режиме, так и в реальном времени. Движок супермаркета данных и инструмент для загрузки данных — наша собственная разработка на Java, фронтенд сделан на JavaScript. Лаборатория данных обладает динамической инфраструктурой под управлением OpenStack/OpenShift и позволяет динамически развернуть необходимые сборки (Hadoop/Spark/РСУБД), содержащие все нужные инструменты для дата-сайентистов. Инструментарий DevOps AI для прототипирования витрин и моделей с последующим выводом в эксплуатацию строится на стандартном наборе Jenkins, BitBucket, Nexus и прочих решений open source — тут мы ничего не изобретаем.

- С какими сложностями пришлось столкнуться в проекте D-people?

Проблем было несколько: технологическая, процессная и человеческая.

Во-первых, надо было сделать так, чтобы созданные инновационные компоненты стабильно работали с нужной функциональностью и нужными объемами данных. Через это надо было пройти, набить шишек и масштабироваться.

Во-вторых, нужно было поменять процессы банка так, чтобы права доступа и согласования стало возможно заказывать и получать автоматизированно и чтобы все эти механизмы были узаконены. Вывод компонентов в эксплуатацию потребовал изменения регламентов по порядку проведения приемо-сдаточных испытаний и по правилам вывода моделей — это был большой труд.

Но наиболее сложной была человеческая история: необходимо было убедить людей в том, что мы делаем действительно нужные, полезные и перспективные вещи. Добиться, чтобы люди начали доверять созданному нами решению, стали амбассадорами нового бренда и начали «переманивать» коллег выходить из привычных им систем, убеждать их в том, что новое решение эффективнее и за ним будущее.

- Что стало главным достижением этого проекта?

Ключевой эффект — сокращение времени дата-сайентиста на построение модели с трех месяцев до дней. Этот проект обеспечил единое окно к океану данных всему сообществу дата-инженеров и дата-сайентистов. Время доступа к данным сократилось с нескольких недель до часа, получение вычислительных мощностей — с нескольких месяцев до часа. Также инструмент позволил быстро выводить разработанное решение в промышленную эксплуатацию.

- Какие результаты своей деятельности вы считаете главными и как оцениваете свою роль в реализуемых проектах банка?

Первый результат — команда, второй — передовая платформа.

Одним из ключевых изменений стало новое представление о «Фабрике данных» в банке. Мы внедрили совместную ответственность за части платформы тех бизнес-блоков, которые наиболее заинтересованы в результате или создании того или иного компонента. Например, за компоненты загрузки и распространения данных совместно с блоком технологий отвечают розничный и корпоративный блоки. Во главу угла были поставлены проекты, приоритетные для бизнес-блоков. Мы разбираемся до «винтиков» в том, что нужно сделать, чтобы этот проект «полетел», и устанавливаем для команд сроки, чтобы обеспечить бизнесу нужную функциональность в нужное время. В итоге и у сотрудников, и у руководства сложилось другое представление о платформе.

Помимо благодарности контрагентов, для меня мерилом успеха является число клиентов и количество решений, которые запускаются на платформе. Если бы клиенты не были удовлетворены, то к нам не приходили бы новые пользователи. А я вижу очень высокий спрос, и это для меня важный результат.

- Как платформа будет развиваться дальше?

Количество требований к платформе возросло за год с 250 до 750. В стратегии до 2023 года обозначены задачи, связанные с надежностью уже запущенных инструментов, которые нам предстоит поддерживать, c ростом количества источников и подписок. Кроме того, для улучшения клиентского опыта мы внедряем еще одно цифровое решение — рабочее место аналитика. Так как практически каждый сотрудник банка работает с отчетностью и данными, мы хотим, чтобы у любого из них был инструмент, с помощью которого он может видеть аналитику своего подразделения и делать отчеты.

Данные генерируются во все больших объемах, и выигрывает тот, кто максимально оперативно реагирует на события. Учитывая быстрый рост экосистемы, мы хотим перейти на работу в реальном времени и иметь возможность реагировать на миллионы транзакций. Мы поставили цель — обеспечить обработку более 10 млн транзакций в секунду (это события, которые генерируют наши клиенты во всех каналах одновременно). Поверх этих данных будет выстраиваться рекомендательная система реагирования на действия клиента во всех каналах.

Следующее направление — оптимизация, уменьшение стоимости инфраструктуры и переход на собственные сборки программных продуктов. Мы сделали свою сборку стека Hadoop, назвали ее Sberbank Data Platform, также будет собственная сборка реляционной БД Greenplum. Такие сборки при наших объемах данных позволят существенно снизить стоимость инфраструктуры.

Еще одна тема, как я уже говорил, — внедрение концепции управления жизненным циклом информации.

- А каким вы видите дальнейшее развитие проекта D-People?

Одна из перспективных задач — вывод всей платформы в SberCloud (SberCloud — это наш облачный провайдер). Мы хотим вывести платформу как набор интегрированных друг с другом дистрибутивов, чтобы дать возможность нашим дочерним компаниям строить на них свои решения. Рабочее место D-People — основной компонент облачной платформы, который позволит любому сотруднику загрузить свои данные и выполнить свою задачу. Эта инфраструктура уже до конца текущего года станет доступна внешнему миру.

Ступени CDO Борис Рабинович более 15 лет проработал в консалтинговых организациях, отвечая за такие области, как внедрение хранилищ данных, отчетность, системы управления справочниками. Позднее, в компании «Сбербанк Технологии», он возглавлял центр компетенции BI, затем — департамент BI и больших данных. При реструктуризации перешел в Сбербанк на должность руководителя управления загрузки данных. Летом 2019 года Борис стал директором департамента управления данными, и сегодня как CDO Сбербанка он отвечает за все централизованные функции по работе с данными банка и за программу создания «Фабрики данных».