«Управление данными — 2019»: платформа IIoT в «Северстали»

Многообразие типов данных, большие объемы, скорость поступления телеметрии и необходимость ее обработки в реальном времени — все это делает особо актуальной задачу управления данными для платформы Промышленного интернета (IIoT). «Северсталь» в 2018 году создала такую платформу, начав на ее базе реализовывать интеллектуальные сервисы, приносящие быстрые и очевидные эффекты. Донат Фетисов, начальник отдела архитектуры и разработки Severstal Digital и один из докладчиков форума «Управление данными — 2019», рассказывает о подходах, выбранных для построения платформы, проблемах, с которыми приходится сталкиваться, и своих взглядах на вопросы управления данными.

- Что представляет собой платформа Интернета вещей применительно к потребностям крупного промышленного холдинга? Каковы ее роль и задачи?

Стоит начать с причин создания этой платформы и связанных с ней ожиданий. Около трех лет назад, после появления термина «Индустрия 4.0», у руководства компании возник вопрос, можно ли вести бизнес более технологично и что можно сделать, используя современные технологии. К этому времени уже прошла волна хайпа вокруг Big Data, начинался всплеск интереса к Data Science. У нас очень много оборудования и различных сенсоров, поэтому есть возможность стать обладателями большого количества данных, порождаемых ими. Но этого не происходило — такие данные просто не хранили. Запрос бизнеса заключался в том, чтобы реализовать платформу для сбора и хранения данных и на ее базе создавать продукты, дающие возможность пересмотреть бизнес-процессы и извлекать дополнительную выгоду. Получение дополнительного финансового эффекта и стало основным KPI нашего департамента от внедрения машинного обучения в производстве.

Поскольку начинали с задачи сбора данных, потребовалось создать хранилище, которое позволит подстраиваться под любые требования и будет достаточно недорогим. Изначально не было известно точно, с какими данными придется столкнуться: предполагались временные ряды, но думали и про видео, и про обработку изображений. Опираясь на собственный опыт, я выбрал Apache Hadoop как самое простое решение. В каких-то случаях эта платформа может быть неоптимальной, но в целом позволяет защищенно и недорого хранить большие объемы данных.

Следующим этапом стал выбор, традиционный для многих, — уходить в облако или создавать собственную инфраструктуру. Проведя оценку на горизонте нескольких лет, мы выяснили, что облако при постоянно возрастающей нагрузке обойдется дороже. Основное достоинство облака — возможность справляться с пиковыми нагрузками, а у нас при накоплении данных ожидается экспоненциальный рост. Поэтому было решено инвестировать в собственные мощности. На проектирование и закупку оборудования ушел год. В 2018 году у нас появилось хранилище, где мы можем собирать любые данные.

Далее потребовалось обеспечить работу созданных моделей на данных, возникающих в реальном времени. Все производственные процессы имеют жесткие ограничения по времени, и нельзя, как в других отраслях, проводить расчеты раз в сутки. Все должно происходить «здесь и сейчас». Поэтому в рамках второго этапа используемые технологии были дополнены еще одним компонентом — защищенной очередью на базе Apache Kafka, позволяющей хранить события и иметь их «горячий» набор.

На этих двух компонентах — Hadoop и Kafka — и были получены первые эффекты, подтвердившие верность выбранного подхода.

- Ранее вы работали в компаниях из других отраслей. Каковы особенности процесса управления данными в промышленности?

Основное отличие в том, что наши данные имеют плоскую структуру. Если говорить про пирамиду производственных систем, где внизу находятся датчики и SCADA, а наверху — ERP и аналитические платформы, то мы собираем данные с самого нижнего уровня. Там нет никакой структуры, все данные приходят в сыром виде. Это позволяет избирательно с ними работать, исследуя их и выявляя взаимосвязи между показаниями датчиков, что хорошо. Но минус заключается в том, что в этих параметрах требуется разобраться, понять, что они означают, изучить их влияние на целевые показатели. Нашим исследователям данных приходится тесно работать с производственниками, регулярно выезжая на предприятия. Ни одно внедрение не происходит без участия владельца продукта, который контролирует процесс разработки функционала и его принятие со стороны производства.

Таким образом, у нас нет структуры данных, но зато наблюдаются большое разнообразие и гигантские объемы. При этом изначально невозможно предсказать, какие из данных окажутся полезными.

- Есть два радикальных подхода: одни собирают и хранят все данные подряд, а другие действуют более избирательно и накапливают только те данные, в которых изначально видят ценность…

Мы являемся убежденными сторонниками первого подхода. Во-первых, мы не всегда понимаем физику процессов и у нас нет опыта в металлургии — вся команда собрана с нуля из разных отраслей. Во-вторых, один и тот же агрегат может быть полем для реализации многих проектов: например, можно начать с предсказания его отказов и закончить оптимизацией подачи сырья. Если мы не будем собирать все параметры сразу, то что-то точно потеряем.

Когда позволяет «железо», лучше собирать всё. А мы его проектировали так, чтобы оба наших инструмента — и Kafka, и Hadoop — горизонтально масштабировались, причем максимально дешево. И пока еще не было ни одного прецедента, чтобы мы выбросили какие-то данные, потому что убедились в их бесполезности. Как показывает практика, только недостаточная масштабируемость используемых платформ заставляет людей экономить и ограничивать себя.

Да, хранение обходится в определенную сумму, это капитальные расходы. Но могу сказать, что закупленное оборудование себя уже окупило, так как для построения платформы используются самые бюджетные решения.

- Какие подходы при создании платформы были выбраны? Речь идет о принципиальном использовании решений из разряда Open Source?

Плюсы и минусы открытых платформ хорошо известны. Мы были изначально нацелены на финансовый результат, для этого нам требовалось как можно больше данных при минимально возможных издержках. Поэтому мы выбрали максимально производительные и дешевые решения.

Open Source позволяет на первых этапах ничего не вкладывать, а если что-то пойдет не так, подход можно изменить без особых потерь. У меня как у архитектора был карт-бланш на выбор стека используемых технологий. «Северсталь» никак не участвовала в его согласовании, и нам удалось получить то, что мы считали необходимым. Это помогло быстрее стартовать, и я до сих пор доволен сделанным выбором. Потребовалось лишь добавить некоторые специфические инструменты там, где это необходимо. Например, когда появились требования по отказоустойчивости модели, мы развернули кластер Kubernetes, который позволяет иметь модель в постоянно рабочем состоянии.

Самое сложное для нас — приобретение и накопление экспертизы. На рынке сложилась категория «технологических» компаний, имеющих определенный имидж инноваторов, и при прочих равных условиях они имеют преимущество в борьбе за таланты. Мы двинулись в этом направлении всего несколько лет назад. Поэтому мы взяли курс на взращивание собственной экспертизы: «Северсталь» довольно специфична и с точки зрения используемых систем, и с точки зрения производственных процессов. Мы делаем все, чтобы наши люди были заинтересованы в собственном развитии. Кроме того, мы собираемся строить целую экосистему сервисов, которые будут давать экономический эффект, и совсем не хотелось бы при этом зависеть от внешних компаний.

- С какими ключевыми проблемами управления данными вы сталкиваетесь?

Данные возникают «на местах» — в цехах на различных производствах. Нам приходится иметь дело с «функциональными колодцами»: каждое подразделение замкнуто, и, занимаясь данными, люди думают только о своих задачах. С каждым из них приходится договариваться — например, о том, что какие-то из данных не надо удалять, о том, что настройки сенсоров нельзя изменять без согласования. Люди учатся воспринимать данные как один из активов компании. Иначе необдуманное обращение с ними может повлиять на многие процессы в компании.

Кроме того, далеко не все источники готовы к интеграции, многие агрегаты являются довольно старыми и попросту не предполагают этого. Постепенно эта проблема решается как обновлением оборудования, так и добавлением новых модулей.

Можно сказать, что обе эти проблемы характерны для любого российского металлургического предприятия. Они преодолимы, но для этого нужно время.

- За любой актив кто-то должен отвечать. Кто владеет данными у вас?

У нас этот вопрос окончательно не решен. Собрав большой объем данных, мы пока не договорились об их владельцах, потому что концентрировались на бизнес-результатах. Сейчас многие контрагенты на предприятиях, поставляющие нам данные, де-юре владельцами не являются, хотя многие организационные и процедурные вопросы с ними удалось решить. Это один из шагов, который нам предстоит сделать в ближайшее время. Как только люди станут владельцами и у них появится новый функционал, они смогут обеспечить его ресурсами и задумаются, в каком виде данные могут быть полезными и кому.

Разумеется, владельцами данных должны быть люди из бизнеса. Например, Chief Data Officer — не владелец данных. Это человек, отвечающий за то, чтобы данные приносили пользу бизнесу. У нас такой должности пока не существует, можно сказать, что в какой-то степени эта роль лежит на мне. А на местах должна идти речь о «стюардах данных» (data steward) — экспертах, которые понимают, где расположены данные, и готовы их предоставить.

- Каким вы видите будущее создаваемой в «Северстали» платформы данных?

Я склонен считать, что централизованное озеро данных в том виде, который все хотят иметь, — не конечная точка развития. Если проводить аналогию с архитектурой приложений, то уже сейчас используется микросервисная архитектура, а следующим обсуждаемым шагом является «бессерверная» архитектура. Примерно так же можно поступать и с данными: необязательно их собирать физически в одном месте — достаточно иметь транспортную инфраструктуру, позволяющую получать данные в режиме времени, близком к реальному. Это позволит при необходимости обращаться к данным на местах, работать с ними и без задержек запускать новые проекты. Собирать все данные в едином центре следует только тогда, когда это действительно нужно и удобно.

Мне было бы интересно создать архитектуру, существующую в виде федерации, а не единого озера данных. Озеро данных может быть логическим и распределенным по разным организациям, объединенным стандартами работы с данными и протоколами обмена.

- Чему, на ваш взгляд, уделяется недостаточно внимания при обсуждении тематики Интернета вещей и больших данных?

Мы неоднократно встречались с партнерами и конкурентами по рынку, поэтому могу точно сказать, что проблемы у всех примерно одинаковы: трудность подключения к источникам данных, качество и многообразие данных. Но когда мы занимались «традиционной» автоматизацией процессов, проблемы были такими же.

Многое по-прежнему решает человеческий фактор: если сотрудники хотят сложившийся процесс дополнить интеллектуальной функцией, это получится сделать; если у людей нет мотивации, сами собой изменения не наступят. Возможно, такую культурную трансформацию и следует обсуждать подробнее: как сделать, чтобы люди, всю жизнь проработавшие на производстве с «аналоговыми» данными, приняли факт того, что их огромный опыт может быть дополнен извне. Возможности машинного обучения не противопоставляются знаниям в предметной области, а дополняют их.

- О чем вы планируете рассказать на форуме и что хотели бы услышать от других?

Это мое первое участие в подобном мероприятии, и для нас важно представить «Северсталь» как компанию, способную использовать современные технологии для повышения эффективности. Я готов рассказать о своем опыте и используемых решениях — возможно, это даст пищу для размышления тем, кто только начинает подобный путь, и позволит проделать его с меньшими потерями.

От других жду рассказов о подходах, применяемых во владении данными: каким образом выстроена политика по управлению данными на производстве, как обсуждаются стандарты по генерации данных и их очистке. К сожалению, данные по-прежнему воспринимаются многими как побочный продукт производства. Возможно, когда эффекты от внедрения искусственного интеллекта и машинного обучения будут сопоставимы с результатами основной деятельности, объяснить ошибочность таких взглядов будет проще.