Новости

На пороге 2017 года во многих организациях все еще задумывались о том, как лучше всего «заставить работать» доступные данные – начать предоставлять полезные сведения, дающие основания для действий бизнес-пользователям, где бы они ни находились.

Стоимость хранения данных продолжает падать, доступность готовых аналитических решений, предоставляемых в виде сервиса, растет, и организовать доставку ценной информации служащим становится все дешевле и проще.

Перечислим тенденции в области Больших Данных и бизнес-анализа, которые, по прогнозу экспертов, получат развитие в 2017 году.

Освоение машинного обучения

Аналитики компании Ovum выражают уверенность в том, что машинное обучение станет крупнейшим фактором влияния на рынок анализа Больших Данных в 2017 году.

«Использование машинного обучения, которому досталась своя доля рыночной шумихи, продолжит расти, но во многих случаях соответствующие технологии будут встраиваться в приложения и сервисы, а не разрабатываться отдельно, так как лишь немногие компании, не входящие в когорту современных цифровых предприятий, смогут позволить себе штатных ученых по данным», – говорится в отчете Ovum.

Сегодня технологии машинного обучения предлагаются в составе готовых решений, которые значительно упрощают для организаций задачу применения новых методов с имеющимися срезами данных, поэтому можно уверенно говорить о том, что предприятия будут все шире пользоваться средствами прогнозной аналитики, профилирования заказчиков, персонализации, выдачи рекомендаций, предотвращения мошенничества и распознавания угроз.

Не только Hadoop

Apache Hadoop, решение с открытым кодом для распределенного хранения данных, – у всех на устах в отрасли BI уже несколько лет, но сегодня появляются жизнеспособные альтернативы, одна из которых – другой проект Apache – Spark.

Этот движок обработки данных в памяти тоже превозносят в отрасли уже достаточно давно, но, как отмечается в докладе Ovum, сегодня его применение растет благодаря возможности размещения Spark в облаке: «В связи с доступностью облачных версий Spark, систем машинного обучения и сервисов для Интернета вещей у предприятий появляются альтернативы, которые можно рассматривать помимо Hadoop».

Spark и Hadoop – близкие «родственники», но это разные проекты, отмечают в Ovum: «О преимуществах того и другого идут жаркие споры, поскольку, если избавиться от накладных расходов, связанных с типовыми функциями обработки данных и движком хранения (а в случае с Hadoop еще и с YARN), Spark будет работать более эффективно. Но минус в том, что в изолированных кластерах Spark не будет механизмов безопасности и руководства данными, имеющихся в Hadoop».

В компании Tableau, разрабатывающей ПО наглядного представления данных, отмечают, что те, кто пробует Hadoop сегодня впервые, имеют возможность воспользоваться инструментами самостоятельной подготовки данных к загрузке в систему. Они также позволяют представить данные в виде моментальных снимков, благодаря чему исследовать их можно проще и быстрее. Системы, позволяющие конечным пользователям готовить информацию к анализу средствами обработки Больших Данных, предлагают такие компании, как Alteryx, Trifacta и Paxata.

Озера данных

В последние несколько лет на предприятиях есть тенденция перехода к единому источнику данных вместо использования многих разрозненных, чтобы было проще делиться информацией внутри компании. Так что создание озер данных – обширных неструктурированных срезов – новостью в этом году не будет, но 2017-й может стать годом, когда озера данных начнут эксплуатировать более систематизированно.

«Многие компании, первыми начавшие пользоваться озерами данных ради снижения стоимости хранения и обработки, потратили немало средств не только на внедрение, но и на всевозможные сервисы, обеспечивающие агрегацию и предоставление пулов Больших Данных для корреляции и анализа, – говорит Рамон Чен, директор по маркетингу компании Reltio, разработчика системы управления данными. – Учитывая то, что в компаниях, уже осуществляющих проекты в сфере Больших Данных, сегодня осознают потребность в надежной информационной платформе, а новые проекты охватываются универсальной стратегией управления данными, в 2017 году потенциал озер данных может наконец реализоваться в полной мере».

Когда озера данных получат широкое применение, во многих организациях начнут отказываться от традиционно используемых электронных таблиц, уверены в Ovum: «Проблемы, с которыми сталкиваются те, кто внедряет озера данных, обычно связаны с инвентаризацией и защитой информации. Первым логичным шагом для организаций, в которых хотели бы сбросить зависимость от электронных таблиц, будет внедрение систем предварительной подготовки данных. Соответствующие функции сейчас стали стандартом в различных решениях, от систем интеграции данных до аналитических пакетов, поэтому мы ожидаем резкого роста их применения в 2017 году».

Предприятиям по-прежнему нужны ученые по данным

С выходом все большего числа выпускников вузов на рынок труда дефицит ученых по данным, возможно, снижается, но в 2017 году спрос на них еще будет высоким. Согласно исследованию Hired, заработная плата специалистов этого профиля за последние полтора года выросла на 29%, а число приглашений инженеров по данным на собеседования увеличилось за тот же период на 234%.

Переход BI на самообслуживание продолжается

Аарон Олд, глава компании Exasol, разрабатывающей средства анализа данных в памяти, уверен, что в этом году по-прежнему будет расти спрос на системы BI с самообслуживанием – предоставляющие бизнес-пользователям прямой доступ к аналитическим функциям: «Такие инструменты набирают популярность как на крупных предприятиях, так и в стартапах. По мере того как аналитика становится стержнем бизнеса, будет происходить активное освоение соответствующих систем, включая базы данных нового типа, инструменты визуализации наподобие Tableau и средства подготовки данных, такие как Alteryx».

Облачная аналитика

В Tableau прогнозируют, что в облака в этом году будут переводить больше основных хранилищ данных и аналитических рабочих процессов. Перенося свои данные в облако, в компаниях понимают, что там лучше будет разместить и аналитические системы. В этом году «сила тяготения», обусловленная тем, что данные, которые нужно коррелировать для анализа, переносят в место нахождения самого обширного среза, будет заставлять предприятия размещать системы аналитики там же, где находится сама информация, уверены в Tableau. Вырастет популярность облачных хранилищ данных вроде Amazon Redshift, вследствие чего облачные аналитические сервисы получат более широкое применение.

Поточная аналитика

Поточная аналитика – это практика непрерывного мониторинга данных, поступающих в организацию, в отличие от традиционных пакетных способов анализа. Поточные методы полезны для контроля состояния ИТ-сред и производственного оборудования – в 2017-м средства поточной аналитики продолжат пользоваться спросом, с учетом роста заинтересованности организаций во внедрении сред Интернета вещей.

В Ovum отмечают, что концепция поточной аналитики существует уже несколько десятилетий, но благодаря активному развитию средств с открытым кодом барьеры, мешающие ее освоению, снизились. И в 2017 году, с распространением соединенных устройств и Интернета вещей на предприятиях, особенно в отраслях производства и здравоохранения, поточная аналитика может получить по-настоящему широкое применение.

Причина усиления рыночной активности – рост спроса, обусловленный первыми внедрениями Интернета вещей; именно в связи с этим традиционные поставщики технологий начали развивать работающие в режиме реального времени системы датчиков, а также средства анализа их показаний и реагирования, сменившие нишевые решения обработки сложных событий.

***

Освоение обработки Больших Данных остается острой проблемой для предприятий, но благодаря облаку решать соответствующие задачи становится дешевле и проще, что позволяет компаниям извлекать больше пользы из своей информации без найма ученых по данным.

Ведущие операторы общедоступных облаков, включая AWS и Microsoft, недавно опубликовали интерфейсы программирования для работы с функциями машинного обучения, а Google выпустила готовую библиотеку таких функций с открытым кодом – TensorFlow. Благодаря этому в 2017-м методы сложной обработки данных, прежде доступные немногим, смогут стать общеупотребительными.

– Scott Carey. Big data and business intelligence trends 2017: machine learning, data lakes and Hadoop vs Spark. Computerworld UK. December 29, 2016

Внедрение системы позволило существенно снизить трудозатраты на обработку документации при заключении договоров. Как правило, она требовала значительных ресурсов на проведение таких ручных операций как сканирование подписанных документов – учитывая специфику отрасли, объемы документации могут исчисляться сотнями страниц.

Одной из отличительных возможностей разработанной системы является реализация жизненного цикла заключения договора, в полном в соответствии с регламентами, установленными в компании. Цикл заключения договоров представляет собой процесс, имеющий несколько фаз согласования и учитывающий такие особенности, как сложный состав ролей для пользователей – участников процесса, соблюдение требований к файлам, включая их формат, и т.д.

Решение интегрировано с корпоративной системой «Роснефти». Конечным результатом проекта является подписанный на электронной площадке договор, который является юридически значимым. При этом использование расширенной электронной подписи позволяет предъявлять договор в электронном виде в налоговых органах и судебных инстанциях.

Компании была необходима система, предназначенная для информационно-аналитического обеспечения всех бюджетных бизнес-процессов: формирования бюджетов, регистрации плановых данных, разработки маршрутов согласования, консолидации бюджетов; план-фактного анализа полученных данных и т.п. Решение, разработанное специалистами CorpSoft24, имеет возможность модификации и обладает адаптивными свойствами к изменению структуры организации. При его разработке была учтена возможность тиражирования в подразделения и организации холдинга, а также возможность увеличения количества пользователей.

В результате внедрения системы сотрудники финансовых служб холдинга получили автоматизированную систему бюджетного управления, которая позволила объединить финансовые показатели производственных предприятий в мастер-бюджеты. Автоматический подъем данных из учетных систем позволил оперативно принимать решения по финансовому управлению производственными предприятиями холдинга.

Планы по созданию такого совместного решения, анонсированные летом 2016 года, вызвали бурные дискуссии в ИТ-сообществе. При этом утверждалось, что продукт, права на который будут принадлежать НЦИ, может быть создан уже в 2016 году. Однако работы затянулись.

По словам Солодухина, в ходе переговоров с SAP все же удалось выработать взаимовыгодные условия. Специалисты центра приступили к созданию решения, в котором будут использованы как модули SAP, так и собственные технологические разработки. В число собственных блоков, разработанных НЦИ, на первом этапе войдут бюджетирование, казначейство и управление имуществом. Позднее число модулей расширится. Отдельным этапом станет внедрение «лучшей практики систем бизнес-аналитики».

Итогом должна стать автоматизированная система управления государственными корпорациями (АСУ ГК). Важнейшей фазой работы над системой является создание сквозных модулей безопасности для обеспечения доверенной среды и сертификация продукта для работы с секретной информацией.

В состав решения также войдет операционная система, разработанная НЦИ. Кроме того, планируется разработать интерфейсы совместимости, чтобы по желанию заказчика можно было использовать еще и СУБД, созданную в НЦИ.

Отвечая на упреки в использовании зарубежного решения, высказанные многими экспертами, Солодухин подчеркнул, что импортозамещение на производственных предприятиях должно быть обдуманным и не тормозить их развитие, отметив отсутствие отечественных аналогов системам управления межзаводской кооперацией или сквозного межцехового планирования. Российские решения пока не устраивают как по реализации требований современного производства, так и по отказоустойчивости и работе при высокой нагрузке.

Наконец, для многих клиентов важны мировые стандарты. В рамках партнерства НЦИ рассчитывает перенять существующие методологии.

С течением времени распространение машинного обучения коснется не только смартфонов. Данные функции будут применяться в беспилотных летательных аппаратах, планшетах, автомобилях, устройствах виртуальной или дополненной реальности, в медицинском оборудовании.

Машинное обучение вызывает глубокий интерес во всех областях, поскольку способно коренным образом изменить способы выполнения не только простых задач, таких как перевод контента, но и, например, существенно повысить общественную безопасность и улучшить систему здравоохранения. Например, машинное обучение мобильных устройств позволяет существенно повысить оперативность реагирования и качество помощи при стихийных бедствиях, спасать жизни путем применения автономных автомобилей и даже предотвращать нарастающие волны кибератак.

Привычный нам образ жизни и работы в недалеком будущем полностью изменится не только благодаря разработке новых технологий, но и способу их закупок. По оценке международной «Делойт», к концу 2018 года расходы на модель «ИТ как услуга» увеличатся почти до 550 млрд долл. И хотя облачные бизнес-модели, основанные на потреблении, еще не получат повсеместного распространения, ожидается, что на них придется 35% всех ИТ-расходов. Данные сдвиги приведут к началу трансформации методов, применяемых в ИТ-отрасли для маркетинга, продажи и приобретения технологий различными компаниями.

Можно выделить несколько других прогнозов, представленных аналитиками.

• Кибератаки вступают в «эру терабита». В 2017 году DDoS-атаки участятся, станут еще более масштабными и их станет сложнее нейтрализовать. Ожидается, что их средняя мощность составит 1,25–1,5 Гбит/сек. Рост угрозы DDoS-атак связан с увеличением количества устройств, подключенных к Интернету вещей, а также доступности вирусных технологий, с помощью которых сравнительно неопытные хакеры могут использовать незащищенные устройства для осуществления атак и увеличения их мощности.
• Счет устройствам, оборудованным биометрическими средствами защиты, идет на миллиарды. В начале 2017 года число устройств с функцией биометрического считывания отпечатков пальцев впервые может превысить один миллиард при использовании сенсора в среднем до 30 раз за день. При быстром росте доступности и распространении этой технологии задача состоит в том, чтобы определить, в каких еще приложениях могут быть использованы технологии для считывания отпечатков пальцев и прочих биометрических параметров, чтобы обеспечить оперативную и надежную идентификацию.
• Новой областью использования цифровой навигации становятся закрытые помещения. В 2022 году как минимум четверть от совокупного применения высокоточной цифровой навигации будет приходиться на помещения (сейчас она составляет менее 5% ). Способность устанавливать местоположение людей и предметов внутри помещений окажет революционное влияние на действительность и благоприятно отразится на отраслях, повлияв в равной степени на работу госорганов, бизнес и поведение потребителей.