Вестник цифровой трансформации

Luxms: визуализация для больших данных
Luxms: визуализация для больших данных

Дмитрий Дорофеев: «Большие объемы разнородных данных невозможно понять, осмыслить без инструментов предварительной обработки, и что самое важное – визуализации на различных устройствах: на персональных компьютерах, на планшетах, на телефонах»


10:22 09.03.2023  |  Николай Смирнов | 2093 просмотров



Дмитрий Дорофеев, – главный конструктор ГК Luxms, о разработке универсальной переносимой системы BI-аналитики для визуализации больших данных на любых пользовательских устройствах.

Визуализация – основа быстрого принятия решений на основе даже самых сложных данных. В компании Luxms разработали универсальную переносимую систему BI-аналитики для визуализации больших данных на любых пользовательских устройствах. О ее построении рассказывает Дмитрий Дорофеев, главный конструктор ГК Luxms и номинант на премию Data Award.

— Какова история проекта?

Корнями история проекта уходит в университетские исследования ПО с открытым кодом середины 1990-х годов, а сам проект создания аналитической платформы зародился в 2015 году с исследования производительности высоконагруженных систем обработки больших данных.

— Какие задачи призвана решать созданная платформа?

Прежде всего, на основе анализа больших объемов данных из различных источников платформа позволяет в визуальной форме контролировать процессы, анализировать показатели эффективности и принимать обоснованные информированные решения. Она дает возможность самостоятельно настраивать доступ к данным, изучать их, анализировать и находить новые взаимосвязи. И, наконец, она позволяет формировать отчеты сотрудникам, не обладающим навыками программирования

— Почему это важно?

Большие объемы разнородных данных невозможно понять, осмыслить без инструментов предварительной обработки, подготовки, анализа, в том числе, используя механизмы агрегации, детализации, фильтрации, сортировки и поиска, и что самое важное – визуализации на различных устройствах: на персональных компьютерах, на планшетах, на телефонах.

— На каких технологиях основана платформа? Какие принципы пытались соблюсти при ее создании?

В основе решения лежит использование ПО с открытым программным кодом, используются технологии реляционных и колоночных баз данных, потоковой и масс-параллельной обработки данных, современные интернет-протоколы, сервиc-ориентированная архитектура. Мы старались следовать таким принципам: отказ от «изобретения велосипедов», скорость работы системы – превыше всего, а также подбор технологий, исходя из поставленных задач.

— В чем инновационность решения?

Инновационность – в масштабируемой датацентричной архитектуре серверной части платформы, объединяющей систему хранения метаданных с бизнес-логикой сервера приложений, и использовании при необходимости «горячего слоя» данных в качестве внешнего источника данных. Это позволило кратно увеличить производительность при решении аналитических задач на больших объемах данных и в разы сократить время отклика системы на запросы пользователей.

На сегодняшний день Luxms BI – единственная российская датацентричная BI-платформа, которая обеспечивает высочайшее быстродействие, в том числе за счет возможности вертикального и горизонтального масштабирования.

Основные идеи и подход описаны в нашей научной статье в журнале Transactions of the ACM.

— Сколько времени и какими силами создавалась платформа?

Этапы исследований, прототипирования и создания промышленного решения в общей сложности продлились три года. Костяк команды состоял из пяти одержимых идеей инженеров.

— Что вы считаете главным достижением, чем гордитесь?

Главное достижение и гордость в том, что решение помогает людям, компаниям видеть большие данные, помогает ежедневно принимать обоснованные, информированные решения, помогает нам всем делать жизнь лучше.

— Каков портрет типичного заказчика? Кто может быть наиболее заинтересован в использовании решения?

Нашу платформу используют крупные компании нефтегаза, энергетики, здравоохранения, а также телекоммуникационные, логистические, транспортные и финансовые организации. Лучше всего мы работаем в крупных компаниях с большим количеством данных – там, где требуется высокая производительность и предполагается большое количество пользователей и данных.

Наши пользователи – это лица, принимающие решения, топ-менеджеры, линейные руководители. Мы настраиваем максимально простой интерфейс для нетехнических пользователей, передаем данные в удобном для восприятия формате и обеспечиваем управленческий функционал с современной визуализацией.

— Где уже нашло применение решение? Насколько оно востребовано?

Наша платформа позволяет компаниям контролировать процессы, оптимизировать затраты и повысить эффективность бизнеса. Мы уже успешно реализовали проекты в таких компаниях, как ОАО «РЖД», ПАО «Газпромнефть», НМИЦ им. В.А. Алмазова, а также в двух крупных коммерческих банках и в федеральных операторах сотовой и фиксированной связи. Клиентская база продолжает расти: только за прошлый год нами был выигран ряд крупных тендеров и заключены контракты с ведущими компаниями страны. Банк ПАО «ВТБ», АО «Почта России», АО «Открытие Брокер», ПАО «Россети Северо-Запад» приобрели лицензии Luxms BI в 2022 году.

— Каких результатов удалось достичь?

Пожалуй, самый большой результат – это то, что платформа успешно работает, эксплуатируется в крупнейших российских компаниях.

— В чем роль решения для российского рынка?

Российский рынок, и прежде всего крупные компании, получили современное технологичное решение анализа больших данных. Это решение, которое по основным параметрам – надежность, производительность, быстродействие, открытость, доступность – не уступает или превосходит аналогичные решения ведущих мировых производителей.

— В каком направлении будет развиваться платформа?

Главное направление развития – это наращивание функционала для конечных пользователей. Например, можно говорить об аналоге ассоциативной модели QlikView и аналоге языка MDX. Параллельно с этим мы повышаем удобство эксплуатации системы, это включает в себя варианты развертывания в российских облаках, поддержку российских дистрибутивов Linux, поддержку миграции BI-приложений между средами, утилиты администрирования и мониторинга.

Теги: Большие данные BI Data Award

На ту же тему: