Московский кредитный банк заместил иностранную ETL-платформу отечественным аналогом без потери эффективности и без нарушения текущих бизнес-процессов. Более того, за счет миграции удалось улучшить ряд показателей. О реализации проекта рассказывает Виталий Трепыхалин, руководитель дирекции информационных технологий МКБ и номинант на премию Data Award.
— Что привело к реализации проекта? Почему потребовалось замещать ETL?
В наше турбулентное время необходимо быстро принимать эффективные управленческие решения по широкому кругу вопросов. Для этого необходимо обеспечить бизнес актуальными данными. Под давлением вызовов 2022 года банк скорректировал свою ИТ-стратегию. Как результат, в банке возросли требования к качеству и скорости поставки данных и у нас возникла потребность в принципиально новой архитектуре и ETL-инструменте для поддержки потоков данных.
При этом, являясь одним из крупнейших российских банков c качественно выстроенной ИТ-системой, мы пользуемся доверием миллионов клиентов. Для каждого мы формируем персональное предложение, отвечаем на запросы, а также обеспечиваем безопасность операций. Все это возможно только с опорой на огромные объемы данных, которые ежедневно проходят через системы банка. Мы поняли, что для обеспечения всех требований бизнеса нам необходима мощная и надежная ETL-платформа, способная поддерживать тысячи потоков данных, необходимых нашим бизнесам не ежедневной, а иногда и ежечасной основе.
— Какие требования предъявлялись к создаваемому решению?
При выборе решения мы основывались на стратегических целях компании по развитию бизнеса. Чтобы определиться с решением, мы разработали комплексный подход по оценке потенциальных решений на базе многих критериев. Конечно, нас интересовала возможность работы с нашими объемами данных, надежность и масштабируемость решения. Очень важна минимизация рисков, связанных с санкциями, и наличие экспертизы в России – это критично для возможности быстро создать команду и не испытывать проблем при разработке нового функционала. К этому можно добавить наличие стабильной поддержки вендора на территории России. С технической точки зрения необходима возможность работы с реляционными и нереляционными источниками данных, наличие готовых коннекторов к различным базам данных – Oracle, PostgreSQL, MS SQL, Vertica, Greenplum, ClickHouse. Наконец, всем важна стоимость внедрения и эксплуатации, а также соответствие требованиям информационной безопасности.
— Как были сформулированы задачи проекта?
Нам предстояло выбрать и запустить в продуктивную эксплуатацию ETL-платформу и перевести на новую платформу все потоки корпоративной платформы данных без снижения уровня сервиса (SLA). Кроме того, разработанный функционал должен быть устойчив к увеличению объемов поставляемых данных. Решение должно быть отказоустойчиво в рамках нашей политики по Disaster Recovery.
— Какие рассматривали варианты, что выбрали?
В рамках выбора решения мы рассматривали как технологии open source, так и проприетарные отечественные решения. Изначально в списке было около 12 кандидатов, но по результатам тестов в шорт-листе оказались FormIT и комплекс Kafka +Debezium. По совокупности всех критериев мы выбрали отечественное решение FormIT.
— Какими силами реализовывался проект? Сколько времени он занял?
Проект был реализован в сжатые сроки – за полгода – небольшой внутренней командой при поддержке внешних консультантов. Общая численность команды не превышала 10 человек.
— Что собой представляет созданное решение?
В рамках проекта были развернуты тестовый и продуктивный контуры FormIT. В настоящее время ETL-платформа поддерживает более 1,2 тыс. потоков данных, число которых постоянно возрастает.
— Каких результатов удалось достичь? Какие из них являются для банка самыми главными?
Подразделения МКБ стали быстро получать аналитическую отчетность высокой точности, а также управленческие отчеты. Доступность данных уже превышает 98%. То есть в процессе импортозамещения показатели SLA и качества не снизились.
Дополнительно мы увеличили скорость разработки нового функционала в два раза, а также снизили количество инцидентов, связанных с поставкой данных, на 30%. Также были выстроены три линии поддержки с автоматизированным мониторингом всех критичных потоков данных.
— Какие изменения успел почувствовать бизнес?
Первое, где мы получили значимый результат, – это возможность для бизнеса к началу каждого рабочего дня иметь доступ ко всем необходимым аналитическим данным за предыдущий день. Второй, не менее важный момент, – часть критичных для бизнеса данных была переведена на поставку в режиме один раз в час, что существенно увеличило точность принимаемых решений.
— Какое место занимает проект среди других инициатив, какие возможности открывает?
Данный проект являлся для нас стратегическим, так как надежная поставка данных – это один из критичных факторов успеха, от чего, в конечном счете, напрямую зависит эффективность его работы. Высокоточная аналитика, данные для которой обеспечивает проект, составляет основу ключевых бизнес-процессов банка: это развитие клиентского сервиса и формирование лучшего предложения, принятие управленческих решений, оптимизация внутренних процессов и управление рисками.