Новости

На пороге 2017 года во многих организациях все еще задумывались о том, как лучше всего «заставить работать» доступные данные – начать предоставлять полезные сведения, дающие основания для действий бизнес-пользователям, где бы они ни находились.

Стоимость хранения данных продолжает падать, доступность готовых аналитических решений, предоставляемых в виде сервиса, растет, и организовать доставку ценной информации служащим становится все дешевле и проще.

Перечислим тенденции в области Больших Данных и бизнес-анализа, которые, по прогнозу экспертов, получат развитие в 2017 году.

Освоение машинного обучения

Аналитики компании Ovum выражают уверенность в том, что машинное обучение станет крупнейшим фактором влияния на рынок анализа Больших Данных в 2017 году.

«Использование машинного обучения, которому досталась своя доля рыночной шумихи, продолжит расти, но во многих случаях соответствующие технологии будут встраиваться в приложения и сервисы, а не разрабатываться отдельно, так как лишь немногие компании, не входящие в когорту современных цифровых предприятий, смогут позволить себе штатных ученых по данным», – говорится в отчете Ovum.

Сегодня технологии машинного обучения предлагаются в составе готовых решений, которые значительно упрощают для организаций задачу применения новых методов с имеющимися срезами данных, поэтому можно уверенно говорить о том, что предприятия будут все шире пользоваться средствами прогнозной аналитики, профилирования заказчиков, персонализации, выдачи рекомендаций, предотвращения мошенничества и распознавания угроз.

Не только Hadoop

Apache Hadoop, решение с открытым кодом для распределенного хранения данных, – у всех на устах в отрасли BI уже несколько лет, но сегодня появляются жизнеспособные альтернативы, одна из которых – другой проект Apache – Spark.

Этот движок обработки данных в памяти тоже превозносят в отрасли уже достаточно давно, но, как отмечается в докладе Ovum, сегодня его применение растет благодаря возможности размещения Spark в облаке: «В связи с доступностью облачных версий Spark, систем машинного обучения и сервисов для Интернета вещей у предприятий появляются альтернативы, которые можно рассматривать помимо Hadoop».

Spark и Hadoop – близкие «родственники», но это разные проекты, отмечают в Ovum: «О преимуществах того и другого идут жаркие споры, поскольку, если избавиться от накладных расходов, связанных с типовыми функциями обработки данных и движком хранения (а в случае с Hadoop еще и с YARN), Spark будет работать более эффективно. Но минус в том, что в изолированных кластерах Spark не будет механизмов безопасности и руководства данными, имеющихся в Hadoop».

В компании Tableau, разрабатывающей ПО наглядного представления данных, отмечают, что те, кто пробует Hadoop сегодня впервые, имеют возможность воспользоваться инструментами самостоятельной подготовки данных к загрузке в систему. Они также позволяют представить данные в виде моментальных снимков, благодаря чему исследовать их можно проще и быстрее. Системы, позволяющие конечным пользователям готовить информацию к анализу средствами обработки Больших Данных, предлагают такие компании, как Alteryx, Trifacta и Paxata.

Озера данных

В последние несколько лет на предприятиях есть тенденция перехода к единому источнику данных вместо использования многих разрозненных, чтобы было проще делиться информацией внутри компании. Так что создание озер данных – обширных неструктурированных срезов – новостью в этом году не будет, но 2017-й может стать годом, когда озера данных начнут эксплуатировать более систематизированно.

«Многие компании, первыми начавшие пользоваться озерами данных ради снижения стоимости хранения и обработки, потратили немало средств не только на внедрение, но и на всевозможные сервисы, обеспечивающие агрегацию и предоставление пулов Больших Данных для корреляции и анализа, – говорит Рамон Чен, директор по маркетингу компании Reltio, разработчика системы управления данными. – Учитывая то, что в компаниях, уже осуществляющих проекты в сфере Больших Данных, сегодня осознают потребность в надежной информационной платформе, а новые проекты охватываются универсальной стратегией управления данными, в 2017 году потенциал озер данных может наконец реализоваться в полной мере».

Когда озера данных получат широкое применение, во многих организациях начнут отказываться от традиционно используемых электронных таблиц, уверены в Ovum: «Проблемы, с которыми сталкиваются те, кто внедряет озера данных, обычно связаны с инвентаризацией и защитой информации. Первым логичным шагом для организаций, в которых хотели бы сбросить зависимость от электронных таблиц, будет внедрение систем предварительной подготовки данных. Соответствующие функции сейчас стали стандартом в различных решениях, от систем интеграции данных до аналитических пакетов, поэтому мы ожидаем резкого роста их применения в 2017 году».

Предприятиям по-прежнему нужны ученые по данным

С выходом все большего числа выпускников вузов на рынок труда дефицит ученых по данным, возможно, снижается, но в 2017 году спрос на них еще будет высоким. Согласно исследованию Hired, заработная плата специалистов этого профиля за последние полтора года выросла на 29%, а число приглашений инженеров по данным на собеседования увеличилось за тот же период на 234%.

Переход BI на самообслуживание продолжается

Аарон Олд, глава компании Exasol, разрабатывающей средства анализа данных в памяти, уверен, что в этом году по-прежнему будет расти спрос на системы BI с самообслуживанием – предоставляющие бизнес-пользователям прямой доступ к аналитическим функциям: «Такие инструменты набирают популярность как на крупных предприятиях, так и в стартапах. По мере того как аналитика становится стержнем бизнеса, будет происходить активное освоение соответствующих систем, включая базы данных нового типа, инструменты визуализации наподобие Tableau и средства подготовки данных, такие как Alteryx».

Облачная аналитика

В Tableau прогнозируют, что в облака в этом году будут переводить больше основных хранилищ данных и аналитических рабочих процессов. Перенося свои данные в облако, в компаниях понимают, что там лучше будет разместить и аналитические системы. В этом году «сила тяготения», обусловленная тем, что данные, которые нужно коррелировать для анализа, переносят в место нахождения самого обширного среза, будет заставлять предприятия размещать системы аналитики там же, где находится сама информация, уверены в Tableau. Вырастет популярность облачных хранилищ данных вроде Amazon Redshift, вследствие чего облачные аналитические сервисы получат более широкое применение.

Поточная аналитика

Поточная аналитика – это практика непрерывного мониторинга данных, поступающих в организацию, в отличие от традиционных пакетных способов анализа. Поточные методы полезны для контроля состояния ИТ-сред и производственного оборудования – в 2017-м средства поточной аналитики продолжат пользоваться спросом, с учетом роста заинтересованности организаций во внедрении сред Интернета вещей.

В Ovum отмечают, что концепция поточной аналитики существует уже несколько десятилетий, но благодаря активному развитию средств с открытым кодом барьеры, мешающие ее освоению, снизились. И в 2017 году, с распространением соединенных устройств и Интернета вещей на предприятиях, особенно в отраслях производства и здравоохранения, поточная аналитика может получить по-настоящему широкое применение.

Причина усиления рыночной активности – рост спроса, обусловленный первыми внедрениями Интернета вещей; именно в связи с этим традиционные поставщики технологий начали развивать работающие в режиме реального времени системы датчиков, а также средства анализа их показаний и реагирования, сменившие нишевые решения обработки сложных событий.

***

Освоение обработки Больших Данных остается острой проблемой для предприятий, но благодаря облаку решать соответствующие задачи становится дешевле и проще, что позволяет компаниям извлекать больше пользы из своей информации без найма ученых по данным.

Ведущие операторы общедоступных облаков, включая AWS и Microsoft, недавно опубликовали интерфейсы программирования для работы с функциями машинного обучения, а Google выпустила готовую библиотеку таких функций с открытым кодом – TensorFlow. Благодаря этому в 2017-м методы сложной обработки данных, прежде доступные немногим, смогут стать общеупотребительными.

– Scott Carey. Big data and business intelligence trends 2017: machine learning, data lakes and Hadoop vs Spark. Computerworld UK. December 29, 2016

Внедрение системы позволило существенно снизить трудозатраты на обработку документации при заключении договоров. Как правило, она требовала значительных ресурсов на проведение таких ручных операций как сканирование подписанных документов – учитывая специфику отрасли, объемы документации могут исчисляться сотнями страниц.

Одной из отличительных возможностей разработанной системы является реализация жизненного цикла заключения договора, в полном в соответствии с регламентами, установленными в компании. Цикл заключения договоров представляет собой процесс, имеющий несколько фаз согласования и учитывающий такие особенности, как сложный состав ролей для пользователей – участников процесса, соблюдение требований к файлам, включая их формат, и т.д.

Решение интегрировано с корпоративной системой «Роснефти». Конечным результатом проекта является подписанный на электронной площадке договор, который является юридически значимым. При этом использование расширенной электронной подписи позволяет предъявлять договор в электронном виде в налоговых органах и судебных инстанциях.