Прогноз климата по данным цифрового архива

Данные о состоянии окружающей среды, собранные на территории нашей страны, накапливаются гидрометеорологической службой России многие десятилетия. На их основе строятся прогнозы климата, проектируются инженерные сооружения, формируются долгосрочные планы развития территорий, разрабатываются экономические программы. Сейчас эта важная информация аккумулируется в архивах ФГБУ «Всероссийский научно-исследовательский институт гидрометеорологической информации – Мировой центр данных», точнее, в одном из его подразделений – в Центре гидрометеорологических данных, расположенном в Обнинске Калужской области. Исторически сложилось так, что почти все данные центр хранил на магнитных лентах.

От перфокарт – к лентам

В 1964 году правительство СССР постановило создать в Обнинске отделение хранения и статистической обработки гидрометеорологических данных Мирового метеорологического центра. С тех пор именно здесь сконцентрированы работы по сбору, учету и хранению материалов наблюдений и исследований в области метеорологии, аэрологии, агрометеорологии и морской гидрометеорологии. На базе этого подразделения приказом Госкомгидромета в январе 1979 года собственно и был организован Центр гидрометеорологических данных. «До 1970-х годов долговременное хранение и машинная обработка гидрометеорологических данных осуществлялись на перфокартах, но работать с ними при накоплении больших объемов данных было сложно, неудобно, требовались большие площади для хранения, и уже тогда было ясно, что их нельзя рассматривать как долговременный носитель информации», – рассказывает начальник Центра гидрометеорологических данных ВНИИГМИ-МЦД Владислав Шаймарданов.

В те годы ученые института разрабатывали новые, более надежные носители информации для создания электронных архивов. В частности, рассматривались варианты записи данных с помощью лазера и с использованием виниловых пластинок. Также в институте были разработаны экспериментальные образцы устройств записи-чтения информации на бинарные микрофильмы (данные записывались на фотоносители в бинарных кодах). Однако победу в соревновании технологий хранения на этом этапе одержали магнитные ленты, и вскоре на бобины было перезаписано более 150 млн перфокарт с гидрометеорологическими данными.

Почти до 1997 года все поступающие в центр данные записывались на бобины с магнитными лентами. Затем архив был перенесен на более компактные носители с высокой плотностью записи – магнитоленточные картриджи. Но эти системы долговременного хранения еще не были роботизированными.

Архитектура для библиотек

В 2010 году в институте был в целом завершен многолетний проект модернизации ИТ-инфраструктуры и переноса гидрометеорологических данных на современные носители информации.

Как пояснил Шаймарданов, сейчас главным звеном в архитектуре системы хранения центра является пара роботизированных ленточных библиотек максимальной емкостью 4 Пбайт каждая. Это два ряда устройств хранения, в одном из которых 17 библиотечных шкафов, а в другом – 14. Управляет работой библиотек мэйнфрейм с операционной системой Linux. Он сопряжен с дисковым массивом общей емкостью порядка 100 Тбайт. Массив используется по сути как «внешний диск» для мэйнфрейма. Запись данных на картриджи с целью резервного копирования осуществляется специализированным ПО.

«Лента – наиболее подходящий инструмент долговременного хранения. Удельная стоимость хранения данных на ней оптимальна. Использовать для создания архива жесткие диски – дорого и не очень ненадежно. Мы также присматривались к оптическим библиотекам, но возникли опасения, что через некоторое время DVD могут выйти из строя и данные на них будут потеряны. К тому же у нас просто нет необходимости скоростной потоковой записи и чтения данных. Мы записываем их постепенно и последовательно, скорость для нас – не главное», – сообщил Шаймарданов.

Нюансы хранения и доступа

В принципе ленточные библиотеки не предназначены для решения задач, связанных с оперативным использованием данных. А такие задачи институту приходится решать постоянно. Здесь на помощь приходит сопряженный с библиотеками дисковый массив. Физически он разделен на две части. Первая используется в оперативном режиме при обслуживании пользователей и, по сути, представляет собой фронт-энд системы хранения. Вторая же часть – не что иное, как бэк-энд этой же системы.

Во фронт-энд через ведомственную сеть связи в режиме реального времени поступают данные с сетей наблюдения Росгидромета и его партнеров. В основном это структурированные данные – например, метеоданные, поступающие с 5 тыс. измерительных точек, расположенных на суше, в море и в космосе. Специалисты ВНИИГМИ-МЦД проводят их анализ и систематизацию в ГИС-системе, внедренной компанией «Крок» еще в 2010 году. Связка с географическими координатами позволяет рассчитывать климат точнее. После чего структурированная и визуализированная информация предоставляется заказчикам ВНИИГМИ-МЦД, таким как предприятия авиационной отрасли – для планирования рейсов. На финальном этапе полученные данные отправляются в архив.

Часть поступающей из внешних источников информации сразу становится доступной заинтересованным пользователям через Веб либо через иные технологические интерфейсы, использование которых разрешено центром.

По регламенту данные из гидрометеорологического фонда не могут быть доступны напрямую любому потребителю. Поэтому, если необходимо предоставить к ним доступ, часть архивов выгружается либо в СУБД, либо в другие средства для работы с файлами на жестких дисках. Затем пользователь формирует запрос, получает одобрение и доступ к нужным данным.

«Копии данных, хранящихся на лентах, используются в оперативном режиме некоторыми подразделениями института, но библиотека архива – это действительно физически отдельная система, и к ней имеет доступ ограниченное число людей», – подчеркивает руководитель центра.

С другой стороны, и библиотека не целиком используется для архивных нужд. Часть ее отрезана логически и представляет собой отдельную подсистему, которая тоже нужна для оперативной работы, прежде всего для создания цифровых копий документов уже из бумажного архива. Он, к слову, насчитывает более 352 тыс. единиц хранения в самом институте, а в целом российской службой по гидрометеорологии накоплено более 2 млн единиц хранения, рассредоточенных в подразделениях по всей России. Поэтому вопрос оцифровки бумажных источников данных является актуальным для Росгидромета.

***

По словам Шаймарданова, в настоящий момент возможности, заложенные в архитектуре системы, достаточно широки, поэтому в ближайшие десять лет она должна полностью обеспечить все нужды Росгидромета в надежном хранении данных. При этом по-прежнему актуальна задача развития структурных элементов системы: отдельные узлы нуждаются в обновлении, необходимо постоянно повышать скорость доступа к сохраненным материалам и инструментам для обработки метеоданных. Развивать систему в центре планируют эволюционным путем. Устаревшие диски или элементы библиотек будут меняться на более совершенные версии по мере их появления на рынке. А вот от мэйнфрейма в центре, скорее всего, откажутся и перейдут на альтернативную платформу управления библиотеками. Задачи, которые он решает, уже могут быть перенесены на устройства стандартной архитектуры x86. В этой связи центр ведет активные программные разработки под системы Linux и Unix.

«Нам хотелось бы иметь более универсальную систему управления и не так сильно зависеть от поставщиков ключевых технологических решений», – заключил Шаймарданов.