Современные инструменты Business Intelligence способны как анализировать структурированные данные, так и решать более сложные задачи, связанные со слабоструктурированными источниками и комплексной визуализацией данных. И если несколько лет назад программные инструменты данного класса применялись только для моделирования данных, то сегодня практически все BI-платформы имеют встроенные средства очистки, консолидации и нормализации структурированных данных. Причем они способны работать с очень большими объемами записей.
Одна из ключевых целей BI – поддержка принятия решений при реализации тех или иных бизнес-процессов. Более десяти лет назад для этого применялись модульные программные приложения, решающие частные задачи. Дефицит консолидированных данных затруднял получение объективной оценки необходимых для анализа факторов. Однако эволюция технологий управления большими данными и возросшая производительность ИТ-инфраструктуры компаний позволили им использовать более прозрачный и универсальный подход к BI, перейти от пакетной обработки данных к потоковой. Это, в свою очередь, определило потребность в инструментах многомерной визуализации данных. При этом прогрессивные статистические методы для корреляционного анализа, прогнозирования, нелинейного анализа – приобретают всё большую значимость. Специалист, принимающий решения с помощью BI, опирается на динамические показатели фактических данных и расчетных показателей в агрегированном виде.
Сценарии применения BI
BI-системы сегодня имеют обширное распространение как в виде полноценных независимых программных решений, так и в виде аналитических модулей различных приложений. По сути, анализировать данные можно везде, где они есть. При этом чем больше компания собирает потоковой информации, тем выше потребность в ее качественном анализе. И, поскольку современные корпоративные системы способны обеспечить упорядоченное хранение информации, обработка агрегированных данных доступна организациям самых разных сфер деятельности.
Так, промышленное оборудование оснащено датчиками, позволяющими получать данные о работе линии, каждого производственного элемента. Как правило, такая информация хранится локально или во внешних базах данных. Благодаря ее анализу руководители могут выстраивать более эффективные процессы: например, оптимизировать расход сырья или предупреждать поломки. В сфере услуг оцифровываются взаимоотношения компаний с потребителем. Кассы, CRM, логистические системы – благодаря всему этому появляются большие группы данных, которые можно рассматривать в различных разрезах.
Современный уровень развития ПО и производительности ИТ-систем позволяет визуализировать данные не только в виде классических диаграмм, но и в виде геокарт, тепловых карт и в других разновидностях. А применение нейронных алгоритмов дает возможность прогнозирования на основе анализа массивов информации. Например, в медицине, анализируя диагностические данные, можно выявлять в них некие закономерности или аномалии – и на этой основе корректировать методики лечения пациентов. Для сельскохозяйственных предприятий можно выстроить систему оперативного мониторинга, управляя разными локациями, учитывая погодные изменения и т. д.
Имея возможность оперативно менять срезы данных, можно максимально быстро принимать решения. Поэтому BI-системы активно применяются в ситуационных центрах. Качество таких решений напрямую зависит от качества созданной для них модели данных.
Развитие BI в России
История BI-систем в России тесно связана с развитием ИТ-рынка в целом. До ухода иностранных компаний местным разработчикам было довольно сложно конкурировать с хорошо зарекомендовавшими себя программными решениями мирового уровня. В случае BI это, прежде всего, Tableau, Power BI и Qlik. Российские вендоры находили точки роста в более узких нишах, в разработке и внедрении специализированных BI-систем. Те из них, кто выдержал конкуренцию, сегодня могут предоставить заказчикам решения с востребованными функциями.
ИТ-командам нужны инвестиции в технологическое развитие и кадровый потенциал. Сейчас ситуация на локальном рынке резко изменилась, для отечественных разработчиков конкурентное поле со стороны зарубежных вендоров опустело. Но никуда не ушли законы рынка: усилилась борьба теперь уже между российскими компаниями. Появились лидеры в отраслевых сегментах, часть игроков сошла с дистанции. Направление BI не стало исключением. Здесь на настоящий момент уже сформировался пул надежных разработчиков с хорошим потенциалом развития программных продуктов. Независимые аналитические агентства, а также некоторые интеграторы публикуют рейтинги и дают развернутые характеристики наиболее зарекомендовавших себя систем.
Критерии выбора BI-платформы
Современные BI-системы различаются по функциональности, масштабируемости, возможности применения no-code/low-code и другим более специфическим критериям. В то же время они могут быть применены во многих отраслях для решения конкретных задач.
Например, если в компании внедрены такие системы, как CRM, ERP, MRP, и не хватает встроенных отчетов, – можно использовать BI для раздельного или консолидированного анализа, создания единой модели данных. Если в компании много лет используется Excel в качестве универсального инструмента для создания и хранения данных, а базы становятся все больше – однозначно следует рассмотреть внедрение BI. При этом сначала можно заняться построением моделей данных из слабоструктурированных источников, а затем уже непосредственно проектированием аналитических отчетов с наглядными графиками и таблицами агрегируемых данных.
Для выбора BI-системы можно рекомендовать оценить следующие функции и критерии продукта:
- импорт данных с сервера БД (SQL и др.),
- импорт данных из файлов (csv, txt, xls),
- объединение источников данных,
- создание модели данных,
- фильтрация данных,
- наличие стандартных визуализаций,
- внедрение дополнительных визуализаций (JavaScript, Python),
- создание интерактивных отчетов,
- создание вычисляемых полей,
- функции агрегации,
- различный экспорт данных,
- управление правами доступа,
- адаптация под другие технические устройства,
- автоматическое обновление отчетов по расписанию,
- обучающая документация и наличие сообществ,
- публикация отчетов в веб-представлении,
- стоимость решения.
По нашей практике, заказчики чаще отдают предпочтение проверенным и известным продуктам. Однако именно в направлении BI процесс внедрения продукта всегда носит проектный характер и нередко требуется кастомизация. С этой точки зрения малоизвестные решения могут оказаться гораздо гибче в кастомизации, что может положительно сказываться на сроках реализации проекта. В то же время у «коробочных» решений есть свои неоспоримые преимущества: возможность удобного обновления по мере выхода новых релизов, наличие всей необходимой документации и более широкое экспертное сообщество.
Внедрение BI: на что обратить внимание
Алгоритм внедрения BI-систем верхнеуровнево не отличается от внедрения других ИТ-платформ. Как правило, проект разбивается на этапы:
- аудит и анализ требований на стороне заказчика,
- составление плана миграции (если у заказчика уже есть другая BI-система),
- разработка моделей данных,
- добавление средств визуализации (дашбордов, таблиц),
- тестирование и обучение,
- запуск в эксплуатацию,
- контроль и расширение аналитических срезов.
Специфика BI-систем подразумевает участие в проекте вендора и системного интегратора. Вендор занимается поддержкой и доработкой платформы. Интегратор обладает многогранными экспертными знаниями, которые необходимы для реализации проекта – ведь заказчику часто приходится решать задачи не только установки BI-платформы, но и ее интеграции с ИТ-окружением.
Самыми затратными по ресурсам и времени (до 80% затрат, по нашим подсчетам) являются этапы аудита и разработки модели данных. Они требуют тщательного изучения исходных источников данных компании и возможностей разработки средств визуализации. Именно поэтому длительность реализации проекта BI иногда бывает сложно определить: указанные этапы могут растянуться во времени из-за обеспечения доступности, бесструктурного хранения, множества видов источников информации, отсутствия формализованного описания имеющихся данных и т.д.
Проектный подход подразумевает создание совместной группы, состоящей из представителей заказчика и исполнителя. Крайне важно, чтобы на стороне заказчика хотя бы один сотрудник был привлечен к поддержке системы: знал корректные источники для модели и регламенты сбора исходных данных, мог управлять политиками доступа.
Автор – Николай Рыков, продукт-менеджер по программным решениям компании Konica Minolta