Концепция LakeHouse предполагает гибридную модель данных и объединяет достоинства классических хранилищ с гибкостью озер данных. Она дает возможность более оперативно обрабатывать данные по сравнению с другими технологиями, экономя время на дополнительных циклах загрузки, расширяет традиционную аналитику данных. Это позволяет оптимизировать конвейеры захвата и передачи данных, и в рамках единой аналитической платформы обслуживать как запросы к готовым витринам, так и возможность работать напрямую с очищенными качественными данными в озере данных.
На текущий момент в контур аналитической платформы подключено более 120 мастер-систем и источников данных, LakeHouse включает более 10 тыс. объектов с реализацией 300 широких витрин в СУБД ClickHouse.
Как отмечает Ольга Свитнева, директор по данным группы «Самолет», в компании заинтересованы в монетизации данных и применяют концепцию LakeHouse для обеспечения data-driven подхода и внедрения на практике data value chain. Значимым техническим преимуществом этой концепции считается изоляция хранения от вычислений по разным кластерам, что облегчает масштабирование. Немаловажным аспектом для «Самолета» также является возможность обрабатывать многообразие различных типов данных, включая изображения, видео, аудио, JSON-структуры и текст. Архитектура LakeHouse разрешает поддерживать различные рабочие нагрузки: от алгоритмов машинного обучения до SQL-запросов и распределенных вычислений. Они требуют разных технологий реализации, но все полагаются на один единый репозиторий, что позволяет обеспечивать единую версию правды данных.
«Самолет» ежедневно работает с большими массивами данных различных типов. Специфика строительной отрасли изначально предполагает обработку большого потока информации: финансовая отчетность по нескольким десяткам юридических лиц, заказы клиентов с дополнительными функциями, продажи, прогноз и оценка рисков и пр. Использование больших данных предоставляет возможность осуществлять эффективную аналитику данных, применять современные подходы в промышленной эксплуатации, что в свою очередь позволяет строить прогнозы, своевременно менять стратегии продвижения, повышать уровень обслуживания клиентов и качество оказываемых компанией услуг.
