«Сравни» оптимизировал архитектуру данных | Вестник цифровой трансформации

Финансовый маркетплейс «Сравни» провел аудит платформы данных, развернутой в среде Yandex Cloud. По итогам аудита эксперты компании «ДАР» подготовили рекомендации, которые помогли повысить производительность сервиса в условиях постоянно растущей нагрузки, связанной с увеличением клиентской базы.

Финансовый маркетплейс «Сравни» позволяет подбирать различные финансовые и страховые продукты. На фоне роста числа посетителей сайта маркетплейса компании было важно подтвердить устойчивость и эффективность архитектуры хранилища данных, а также сформировать программу дальнейшего развития платформы.

Проектная команда проанализировала текущее состояние платформы, развернутой в Yandex Cloud, включая ETL-процессы, конфигурации Yandex Managed Service for Greenplum, Yandex Managed Service for ClickHouse, Yandex Data Proc, Argo Workflows и объектного хранилища Yandex Object Storage (S3-совместимого). После аудита эксперты предложили шаги для повышения стабильности платформы и ускорения обработки данных.

В частности, специалисты предложили оптимизировать хранение данных, доработать процессы их загрузки и обработки, перенести часть вычислений в другие сервисы облачной инфраструктуры, а также сделать витрины данных в ClickHouse более эффективными за счет оптимизации структуры хранения и загрузки. Кроме того, команда «ДАР» подготовила альтернативный вариант дальнейшего развития платформы.