Статьи

За покупкой облака любой компанией всегда стоит бизнес-модель, и часто она связана со снижением расходов. Однако прежде всего облако дает не экономию, а возможность гибкого управления ресурсами, в том числе финансовыми, и быстрой адаптации к изменениям. Кроме того, бизнес получает в облаке доступ к новым компетенциям, в частности, связанным с информационной безопасностью. Для того, чтобы получить эти преимущества, переход в облако надо совершить грамотно.

Основные причины перехода в облака

В традиционном понимании ИT- и ИБ-специалистов облаком нельзя назвать просто среду виртуализации с оркестратором. Облако обязательно должно обладать следующими двумя ключевыми качествами: эластичность управления ресурсами облачной инфраструктуры и биллинг (гранулярное управление расходами). На практике к облачной инфраструктуре обращаются компании с определенной зрелостью ИT и бизнеса, с процессной моделью управления, зачастую – с хозрасчетом между подразделениями, что позволяет при запуске внутреннего продукта заранее закладывать бюджет на инфраструктуру и обеспечение ее безопасности.

В то же время в холдинговых структурах подразделения без помощи материнской компании не способны быстро запускать новые продукты или проекты по проверке бизнес-гипотез. Случается, руководство компании понимает, что внутренние ИТ по каким-либо причинам не справятся с поставленными задачами, и тогда можно попробовать найти решение в гибридном или публичном облаке.

Другой тип пользователей облаков – когда бизнес еще нельзя назвать зрелым, но компания готова двигаться в этом направлении и расти. Таким компаниям также подойдут модели публичных и гибридных облаков, где можно гибко использовать ресурсы.

Для организаций, которые попали под санкции, переход в отечественное облако становится возможностью импортозаместиться в нужные сроки, используя готовые рецепты. Здесь важен опыт: у партнера, который помогает внедрять облачный подход, должна быть наработана методология. Со своей стороны, бизнес должен принять, что сделать в российском облаке все точно так, как было в западном, не получится. Надо сосредоточиться на решении своих задач и быть готовым к компромиссам.

Внимание на риски

При построении облака нужно обратить внимание на несколько рисков.

Первым из них являются требования регуляторов, чтобы не попасть на репутационные и финансовые, а тем более уголовные риски. Бизнес должен понимать, в зоне ответственности каких региональных, отраслевых и прочих регуляторных органов он находится, и соответствовать их требованиям. Особенно часто регуляторные риски связаны с данными. Так, если компания, выходя в облако, не учитывает риски, связанные с КИИ, конфиденциальными и персональными данными или чувствительной финансовой информацией, она рискует получить штрафы от регулятора.

Второй вид рисков связан с репутацией компании в случае компрометации данных, потери коммерческого преимущества в случае утечки значимых данных о клиентах и сделках, ключевых бизнес-процессах. Наконец, бывают угрозы самому существованию компании – они возникают, если злонамеренные действия в облаке (внешние и внутренние) могут потенциально привести к невозможности выполнения необходимых бизнес-операций.

Первое, что должна сделать компания для минимизации рисков при переходе в облако, – это получить от облачного провайдера четкий ответ, за какие критические участки отвечает каждая из сторон. Служба безопасности компании должна быть проинформирована, какие услуги предоставляет облачный провайдер с точки зрения обеспечения безопасности, какие инструменты у него для этого есть. Например, у облачного провайдера могут быть расширенные возможности по мониторингу, доступ к журналам и так далее.

Некоторые облачные операторы предоставляют комбинированные услуги по работе приложений и их защите – включающие компенсацию недостатка людей с нужными компетенциями по выстраиванию процессов: менеджеров SOC или vCISO, продвинутые услуги резервного копирования. Про это нужно своевременно узнать и пользоваться такими опциями.

Если облако обладает набором аттестаций и соответствует требованиям регулятора, препятствий для работы в нем, как правило, нет. В нашей стране наработан опыт размещения в облаках даже государственных информационных систем.

Некоторые российские интеграторы и провайдеры облегчают клиентам задачу перехода в облако, предлагая решения «под ключ» и избавляя заказчиков от необходимости собирать облачную инфраструктуру из доступных на рынке составляющих.

Как спланировать максимально безопасный переход в облако

Компания должна понимать расходную часть работы в облаке не только в моменте, но и на достаточно длинной дистанции. В том числе, с точки зрения кадрового вопроса, возможностей управления инфраструктурой, а также рисков, о которых мы говорили выше.

Стратегию перехода в облако следует просчитать заранее. Если опыта таких расчетов у бизнеса нет, он может обратиться к консалтинговой компании или за консультацией к системному интегратору, компетентному в построении облаков. Созданная специально для конкретной компании концепция перехода в облако представляет собой бизнес-план, какие действия по переходу в облако и в какой последовательности надо совершить, чтобы получить запланированный результат.

Выбрать партнера по консалтингу можно, опираясь на референсы. Кроме того, следует помнить, что на рынке есть консалтинговые компании, которые берут на себя финансовую ответственность за работоспособность предложенной концепции. Их немного и их услуги стоят дорого, но в случае партнерства с ними число рисков для клиента уменьшается.

От чего зависит бюджет на облачную инфраструктуру

Можно рассматривать переход в облако как инвест-проект или сделать его частью текущей трансформации бизнеса. В любом случае, бюджеты на инфраструктуру должны всегда находиться в прямой зависимости от бизнес-задач. Надо быть глубоко погруженным в текущий бизнес компании, понимать направление ее движения, знать потребности топ-менеджмента и продуктовых подразделений, чтобы как можно точнее рассчитать, какие инфраструктурные потребности у компании возникнут.

Сложение потребностей по разным бизнес-продуктам дает прогноз по объемам бюджета на инфраструктуру на краткосрочную и среднесрочную перспективу. Иногда при планировании бюджета закладываются возможности «на вырост», и тут важно понять, какого роста ждать суммарно, и не запланировать излишков.

Облака дают множество опций по оптимизации затрат. В частности, подписная модель позволяет оплачивать услуги облачного провайдера исходя из цикла доходов и расходов компании-клиента с наиболее удобной периодичностью. С этой точки зрения облачная модель более гибкая, предсказуемая, выгодная. При этом довольно часто оказывается, что провайдер не готов компенсировать убытки больше чем в размере оплаченных ему средств. К соответствующим пунктам в договорах бизнесу надо относиться предельно внимательно и учитывать это в стратегии.

Для акционерной компании, которая стремится к повышению уровня капитализации, покупка собственной инфраструктуры работает на увеличение акционерного капитала. Компании, ориентированные на OPEX-модель, чаще пробуют гипотезы на арендованной инфраструктуре. Для компаний, которые придерживаются CAPEX-модели, облако позволяет проверять гипотезы с минимальными затратами, не вкладывая больших денег, если компания в данный момент к этому не готова.

Переход в облака работает на имидж

Облака отлично ложатся в бизнес-концепцию развивающихся компаний, которые готовы к переменам и росту. Но и для крупных отраслевых монополистов, позиции которых на рынке устойчивы, перевод инфраструктуры в облако может стать интересным экспериментом. Самим компаниям облака откроют новые возможности, в том числе в сфере информационной безопасности. С точки зрения владельцев продуктов облака дают понятные бизнес-преимущества – сокращение времени запуска продукта, возможность быстро проверять гипотезы с минимальными расходами, быстрое покрытие рынка при экспансии, эластичность в случае повышения спроса. Обращаясь к облакам, которые задействуют сами регуляторы, бизнес получает среду, соответствующую регуляторным требованиям, а также персонал с необходимыми компетенциями для управления облаком. В итоге это не только безопасно, но и экономит средства клиента. Топ-менеджменту проекты перехода в облака позволяют достигать локальных целей и роста персональных показателей, работают на повышение личной репутации.

Автор – Руслан Иванов, CTO компании ITKey

Опрос Gartner, в котором принимал участие 451 представитель высшего технического руководства компаний, показал, что 57% ИТ-директоров считают разработку и реализацию стратегии внедрения ИИ на предприятии своей прямой задачей. Но есть четыре фактора, которые мешают им успешно ее решать.

1. Преимущества для бизнеса от использования ИИ не всегда материализуются

Чтобы добиваться хороших результатов, люди должны постоянно использовать в своем рабочем процессе инструменты генеративного искусственного интеллекта. Согласно опросу 5 тыс. пользователей цифровых технологий, проведенному Gartner во втором квартале 2024 года в США, Великобритании, Индии, Австралии и Китае, используя генеративный ИИ, люди экономят в среднем 3,6 часа в неделю. Однако не все сотрудники получают от него одинаковую выгоду. Результат зависит не только от личной заинтересованности и глубины внедрения, но и от сложности работы и приобретенного опыта. Организации, использующие искусственный интеллект, стремятся автоматизировать с его помощью ключевые бизнес-процессы, перепрофилировать роли для работы с чат-ботами, и добиться улучшений, которые меняют правила игры – создавать новые источники доходов и менять предлагаемые предприятием ценности. В такой ситуации управление рисками и преимуществами ИИ следует осуществлять с учетом особенностей имеющегося ресурсного портфеля.

2. Затраты на ИИ могут быстро выйти из-под контроля

В опросе Gartner в июне-июле 2024 года, в котором принимали участие более 300 ИТ-директоров, более 90% респондентов заявили, что управление затратами ограничивает их возможности по извлечению выгод из ИИ для предприятия. Аналитики Gartner полагают, что затраты несут в себе не меньший риск, чем вопросы безопасности и галлюцинации. Если ИТ-директора не понимают, как масштабируются их затраты на генеративный ИИ, при расчетах ошибки могут достигать 500% и даже 1000%. Нужно четко представлять себе компоненты затрат и варианты моделей ценообразования, понимать, каким образом эти затраты можно снизить, и уметь договариваться с поставщиками. ИТ-директора должны продемонстрировать, как масштабируются затраты, не ограничиваясь одними лишь технологическими вопросами.

3. Повсеместное использование данных и ИИ порождает новые проблемы и риски

В условиях повсеместного распространения на предприятии искусственный интеллект и данные больше не являются централизованными активами, которые напрямую контролируются ИТ-службой. Опрос Gartner показал, что при реализации проектов, связанных с искусственным интеллектом, в среднем в организациях используется только 35% его возможностей. Это означает, что нужны новые подходы к управлению доступом к данным и их защите, управлению входящими и исходящими потоками, а также обеспечению необходимой безопасности. Именно здесь возникает концепция «технологического сэндвича». В нижней его части находятся все данные и ИИ-компоненты, поступающие из ИТ-службы, как правило, централизованные. В верхней части – данные и компоненты, поступающие отовсюду, как правило, децентрализованные. А в середине – технологии управления доверием, рисками и безопасностью (TRiSM). Задача ИТ-директора заключается в том, чтобы сформировать «технологический сэндвич», который поможет справиться с неразберихой в ИИ, но сохранит открытость для новых возможностей.

4. На производительности и благополучии сотрудников применение ИИ может сказываться как положительно, так и отрицательно

Некоторые сотрудники могут испытывать сильную привязанность к ИИ. Другие – ощущать угрозу или обиду. Все это может привести к непредвиденным последствиям, обусловленным завистью к тем, кто использует искусственный интеллект, или чрезмерной зависимостью от инструментов ИИ. Но мало кто задумывается об этом. Согласно опросу Gartner, только 20% ИТ-директоров озабочены смягчением потенциального негативного воздействия генеративного ИИ на благополучие сотрудников. А между тем управление поведенческими результатами имеет не менее важное значение, чем управление технологиями и бизнес-результатами, и подходить к этому вопросу необходимо с той же тщательностью.

Инструменты оптического распознавания текста или символов (OCR, Optical Character Recognition) сегодня прочно ассоциируются с технологиями искусственного интеллекта и машинного обучения. При этом их история началась почти сто лет назад. Какие задачи эти инструменты решают сегодня? Скоро ли наступит время, когда по нажатию одной «кнопки» система сможет провести полный анализ текста с любой картинки без участия человека?

Начинать разговор об инструментах OCR и роли технологий искусственного интеллекта и машинного обучения сегодня стоит с уточнения понятий. Широкая аудитория неоднозначно воспринимает эти термины, хоть и слышит их постоянно. Ведь, например, тот же калькулятор, самостоятельно выполняющий определенные операции, уже допустимо назвать искусственным интеллектом. Как и любую базу данных с поисковой системой, которую можно спросить о чем-либо и получить ответ.

ИИ в OCR

Дело в том, что под общим определением ИИ скрывается очень разнообразный стек технологий, которые на верхнем уровне подразделяются на слабый (Narrow AI), сильный (General AI) и продвинутый (Super AI) ИИ. Первый — это достаточно простой алгоритм, запрограммированный на выполнение одной узкой задачи. Второй на основе заложенных в него данных может имитировать человеческое мышление, рассчитывать последовательность задач и принимать решения, в том числе, с применением нейросетей. Третий способен самостоятельно развиваться, мыслить, искать информацию, превосходя человека в любых задачах. Правда, пока он существует только в виде гипотез, так как требует достаточно высоких вычислительных мощностей не только для своего существования, но и для своего рождения. Впрочем, над созданием необходимых дата-центров и прорывных процессоров уже работают лидеры отрасли. При этом новый GPT-5 пока что не будет кардинально отличаться от предшествующей версии. Да, у него больший объем данных и глубже понимание контекста, но в случае с OCR реставрация документов, точное выделение разнонаправленного текста из сильно зашумленных, искаженных документов, распознавание рукописного текста при замусоренности изображений — это по-прежнему отдельное направление для работы. Поэтому сегодня, развивая систему OCR, добавляя в нее новые функции, мы не рассчитываем на ИИ в финальной концепции, а имеем в виду симбиоз «достаточных» технологий, которые позволяют программе взаимодействовать с окружающим миром: получать информацию из разных источников и выдавать ответ.

Само понятие оптического распознавания символов также нуждается в пояснении. Первые аппаратные средства, которые можно охарактеризовать как OCR-системы, появились почти сто лет назад: знаменитая, запатентованная в 1929 году «читающая машина» Густава Таушека на основе готовых шаблонов могла переводить текст на изображениях в печатный вид. По сути, читая любые материалы, каждый из нас занимается оптическим распознаванием: вычленяет в книге или на экране буквы и слова в определенном порядке, сравнивает с имеющейся в голове «базой данных» (например, системой естественного языка), анализирует и сопоставляет со знакомыми символами. Задача разработчиков инструментов OCR фактически заключается в том, чтобы машина могла качественно повторить этот процесс. Искусственный интеллект, разумеется, способствует достижению подобной цели.

Что умеет OCR уже сегодня

Рассматривая типовую функциональность инструмента OCR, мы пройдем по всему бизнес-процессу распознавания — от получения документа до аналитики.

На первом этапе системе необходимо просто понять, что на каком-либо изображении содержится текст — на отсканированном документе, фотографии, на ценнике или этикетке товара в магазине, в видеофайле или где-то еще. Отличить один объект от другого, вычленить потенциальный текст — это простая функция для технологии компьютерного зрения, но она одна из ключевых. Человек также читает не все подряд, а лишь то, на чем акцентирует свое внимание.

Более сложная задача — качественно передать содержание текста в систему, когда на изображении большое количество помех и шумов. Мешать могут дополнительные объекты в кадре, помарки в рукописном тексте, блики или размытия на фотографии, искажения текста, мусорные элементы, дефекты (например, слабо проявленный, смятый и потертый европротокол с множественными помарками нервничающего водителя) и т.д.

Поэтому перед началом анализа к объекту распознавания применяются технологии очистки и предобработки, которые позволяют сделать этот текст более качественным: развернуть, кадрировать, увеличить резкость, убрать шумы и прочие посторонние элементы. Существенную помощь на этих этапах оказывают легкие узконаправленные алгоритмы, которые построены на простых архитектурах и могут, например, детектировать вывеску, затем найти на ней шумы и символы, нормализовать текст и привести его в читаемый вид, пригодный для распознавания. Для этого необязательно перегружать систему сложными нейросетями.

Нормализованное изображение может быть подано на обработку специализированной сети, осуществляющей более точное детектирование текста. При этом важно понимать, что перегружать одну сеть, используя ее для решения всех задач по детекции, — слишком затратно. Поэтому вначале используются классификаторы на определенные виды оставшейся дефектовки и структуры текста, затем применяются сети по определению компоновки документа, далее уже легкие узконаправленные сети решают свои задачи: одна — распознавания очищенного фрагмента с текстом, другая — определения шрифта, языка и т.д.

Ключевой шаг после распознавания — понимание контекста. Система должна определить в документе те атрибуты, которые будут в дальнейшем использоваться в определенных бизнес-процессах: бухгалтерии, логистике, юридической службе и т.д. То есть на изображении начинается поиск определенных ключевых слов: сумм, дат, номеров контейнеров, заказов, договоров. Если документ структурированный (например, паспорт), систему можно настроить на проверку определенных областей. Если неструктурированный — она будет искать нужные сведения по всему тексту, изучая каждое слово.

В дальнейшем распознанные атрибуты возможно анализировать дополнительно, формируя комплекты документов, актуализируя и сверяя данные с информационными ресурсами, а также полностью или частично переносить их в другие системы. Для этого также справедливо использовать как алгоритмику и правила, так и языковые модели. Задав нейросети грамотный промпт, есть шанс получить качественный ответ.

Таким образом, уже сейчас технологии OCR могут полностью или частично автоматизировать рутинные процессы, связанные с обработкой информации в документах самых разных категорий: деловые бумаги и нормативные акты, этикетки, строительные чертежи, судебная документация и многое другое. Наибольшую пользу они приносят в связке со смежными системами — например, с CRM и электронным документооборотом.

Перспективы инструментов распознавания

Все движется к тому, что с расширением возможностей технологий искусственного интеллекта OCR-системы полностью трансформируются или сольются с целевым понятием ИИ, наделенным первоклассным зрением, аналитическим умом и тонким слухом. Главный сдерживающий фактор на пути — недостаток вычислительных мощностей, к тому же существующие дата-центры потребляют колоссальное количество энергии и крайне дороги в обслуживании.

Проблема решается несколькими способами. Производители микроэлектроники вроде Intel, AMD, NVIDIA выпускают процессоры, адаптированные под задачи ИИ, но на данный момент стоимость их очень высока, а мощность по-прежнему недостаточная, несмотря на то, что некоторые показатели новинок впечатляют. Разработчики нейросетей пытаются оптимизировать свои системы, делая их доступными для более слабого «железа». Это «приземляет» текущие сети, но не приближает их к целевому понятию ИИ. Крупный бизнес занимается оснащением мощных дата-центров, а рядовые пользователи и небольшие компании (например, дизайнерская студия или контент-менеджер) могут рассчитывать на облачные сервисы для доступа к нейросетям по модели подписки.

Однако полноценный прорыв в массовом использовании технологий на основе искусственного интеллекта, в том числе выход на новый уровень систем OCR, будет возможен только с развитием квантовых и биокомпьютеров. Соответствующие наработки уже мелькают в новостных сводках и обзорах. В момент, когда квантовые технологии станут массово доступными, мы, скорее всего, и обретем ту самую «волшебную кнопку», позволяющую пользователю дать системе какую угодно интеллектуальную задачу и получить качественный результат. Хотя, конечно, это перспектива дальняя.

Автор — Виктор Горюнов, директор продукта SOICA компании SL Soft

Место ИТ-службы в организационной структуре и зоны ее ответственности в вузах сильно разнятся: ИТ может быть самостоятельным подразделением или связанным с финансово-экономическим блоком, далеко не всегда очевидно, кому оно подчиняется и отвечает ли за информационную безопасность. А вот проблемы у всех вузов по большому счету одинаковы и сводятся к ограниченности ресурсов: финансирования и кадров. Участники стрима «Образование», организованного сообществом цифровых управленцев «я-ИТ-ы», обозначили ряд болевых точек для ИТ-руководителей учебных заведений.

Бессмертный «зоопарк»

«Зоопарк» слабо интегрированных или вообще не связанных между собой программных продуктов, с которым бизнес активно боролся много лет назад, сегодня, похоже, наиболее характерен именно для вузов. Разносортный софт, которым пользуются деканаты и бухгалтерия, личные кабинеты студента и работодателя, расписание, рабочие приложения ректора, система управления учебным процессом (LMS) — все это надо увязывать. И нельзя сказать, что в этом направлении ничего не делается.

Как рассказал начальник управления информационных технологий, связи и информационной безопасности Омского государственного университета Сергей Барановский, цифровизация ОМГУ начиналась с самописных систем. «Но в 2020 году нас постигла катастрофа масштаба: замена каждого следующего сервиса требовала все большей трансформации существующей инфраструктуры, — поделился он. — С той поры мы начали радикально все менять, упорядочили самописные системы и положили в основу понятные платформы».

На проблему «зоопарка» обратили внимание и регуляторы, наметив движение в сторону типовых облачных ресурсов. Так, был запущен проект по типовым облачным ресурсам для вузов Донбасса, включающий операционную систему, офисный пакет, LMS и прочее. Кроме того, в этом году ожидается перезапуск проекта по созданию типового рабочего места под эгидой Минцифры и Минобрнауки, так что в небольших вузах остроту проблемы, возможно, удастся снизить.

А вот тема совместной разработки или обмена уже созданным ПО как средства борьбы с «зоопарком» на рабочем месте буксует, и понятно почему. Во-первых, вузы конкурируют за бюджеты, за абитуриентов «высокобалльников» и «олимпиадников» по всей стране. Поэтому помогать разрабатывать решения конкурентам готовы далеко не все. Во-вторых, внутреннее решение развивается под требования внутреннего заказчика, а у следующего заказчика будут иные идеи. Вырвать любую инхаус-разработку из существующей инфраструктуры конкретной организации и куда-либо перенести — сложнейшая задача. В-третьих, даже передав свои наработки безвозмездно, поддерживать их в другой организации бесплатно никто не будет. Тиражирование внутреннего решения требует серьезного уровня партнерства, командной работы. Отнюдь не каждой организации под силу повторить опыт создания «ЛОГОСа», разработанного в контуре Росатома для внутренних нужд, но превращенного в рыночный продукт.

Дорогая безопасность

Затронули участники обсуждения и весьма деликатный вопрос о жизни на два компьютера, один из которых «нормальный», а другой — аттестуемый для обработки персональных данных (ИСПДн). Общее мнение — лучше даже не задавать лишних вопросов о том, как вообще это устроено.

Еще один тонкий момент: вуз не имеет права хранить персональные данные студентов после окончания обучения — эти данные нужно перенести в архив, либо обезличить, либо уничтожить. Об это правило спотыкается организация эффективного взаимодействия с работодателями. Например, в МАИ создали цифровую кадровую платформу, чтобы пристраивать своих выпускников. Но, во-первых, на эти цели персональные данные не собирали, и, во-вторых, самые интересные работодателю студенты — выпускники, данные которых как раз и требуется убирать. МАИ должен готовить кадры, прежде всего, для авиационной промышленности и авиационно-ракетной отрасли. Однако ОАК, Ростех, Роскосмос и ОДК не могут конкурировать по стартовому уровню зарплаты для новичков с тем же «Яндексом». Поэтому кадровая платформа, где можно размещать вакансии, которые видят студенты, для них очень актуальна, подчеркнул Федор Васильев, заведующий кафедрой «Цифровые технологии и информационные системы» Московского авиационного института. Что касается вопроса, зачем государству готовить специалистов, которые потом уходят на свободный рынок, по его мнению, ответ прост: человек, который работает в условном «Яндексе», приносит государству налогов в разы больше, чем человек, работающий на авиационном заводе.

Федор Васильев: «Учить «буржуйскому» софту, который пока еще везде есть, или уже российскому, которого пока еще нигде нет?»

Обеспечить себя ИТ-специалистами высокого уровня для вузов тоже серьезная проблема. «Как затащить топ-айтишников в любую компанию, если это не «Сбер» и не «Яндекс», это большой вопрос», — обозначил проблематику Васильев. Возможность вырастить собственные кадры из студентов не спасает «кузницу кадров» от катастрофического кадрового голода. Сегодня вузам нужны любые ИТ-специалисты, которые способны самостоятельно и качественно решать различный спектр задач.

Помимо требований к защите персональных данных, еще один огромный ИБ-айсберг норовит потопить вузовские ИТ: по умолчанию вузы являются объектами критической информационной инфраструктуры с соответствующим уровнем требований к защите. Нелегальный доступ или модификация информации в объекте критической инфраструктуры является уголовным преступлением. Поэтому с «закручиванием гаек» и выходом новых нормативных актов, связанных с удаленным подключением, ИТ-службы вынуждены закрывать возможности удаленного доступа к системам учреждения, резко ухудшая таким образом качество сервиса. Если раньше сотрудники финансово-экономического управления и бухгалтеры могли работать удаленно, а преподаватели могли из дома делать рабочие программы по своим дисциплинам, учебные планы, смотреть результаты работы студентов, то теперь это можно делать исключительно с аттестованного компьютера на отечественной операционной системе. Ключевым сотрудникам стараются сохранить возможности для удаленной работы, но решение этой проблемы требует затрат, отметил Барановский. Для удаленного доступа на рабочем месте должны быть типовое программное обеспечение и средства защиты информации. Однако для рядового сотрудника нельзя купить за бюджетные деньги ноутбук с характеристиками лучше установленных, и потратить на него выше установленной суммы — тоже нельзя. Между тем купить ноутбук со всеми средствами защиты за установленную нормативом сумму просто невозможно, отметили участники дискуссии.

«Буржуйское», но сейчас, или свое, но потом?

Государственные вузы сегодня должны заменять иностранное ПО, в том числе операционные системы и офисные приложения, на российское. Но, помимо этого, есть еще один серьезный вопрос, связанный с импортозамещением: чему учить студентов? Учить «буржуйскому» софту, который пока еще везде есть, или уже российскому, которого пока еще нигде нет? И какие операционные системы, средства проектирования и прочие решения тогда устанавливать в компьютерных классах?

«Нам уже сейчас нужно готовить студента, который через 4-6 лет выйдет на предприятие и будет работать на том программном обеспечении, которое там будет использоваться», — говорит Сергей Попов, проректор по цифровизации МАИ. Только как обучить продукту, которого еще нет?

Сергей Попов: «Для понимания того, как сейчас учить студентов, нужна более плотная коммуникация с отраслью»

Разумеется, в крупных холдингах есть представление о том, на каком софте они будут работать через несколько лет, существуют дорожные карты по разработке ПО, в том числе в рамках индустриальных центров компетенции. Но сами продукты еще не готовы. «Для понимания того, как сейчас учить студентов, нужна более плотная коммуникация с отраслью в части разработки стратегии импортозамещения на предприятиях», — считает Попов.

Пока же остается в запасе классический тезис, что вузы не учат конкретным инструментам. «Все-таки конкретные инструменты — это ремесло, а мы — про образование», — заметил Васильев. Поэтому студенты знакомятся с разными программными инструментами, но основное что дает вуз — базовая теория. Правда, работодателей возврат к такой установке вряд ли обрадует.

Для Президентской Академии РАНХиГС импортозамещение сейчас не самая критичная задача, тем не менее, ее решением занимаются. И Р7, и «Мой офис» уже давно включены в программы обучения, на которых учат всех чиновников. «Что касается внутренних систем, то в апреле, когда Microsoft заявила, что уходит из России в соответствии с пакетом новых европейских санкций, для нас это был хороший повод, — рассказал Павел Клепинин, проректор по информационным технологиям и цифровой трансформации Президентской Академии РАНХиГС. — И мы через пять дней перевели наших пользователей на сервисы «Яндекса» — почту, календарь, диск и мессенджер». Все встречи и рабочие совещания теперь проводятся в сервисе «Яндекс.Телемост», а дистанционный процесс обучения и в гибридном формате — через «МТС Линк». Смена любой системы — всегда стресс и нужно с ним работать. В управлении изменениями есть множество инструментов, как этот стресс снять и сделать людей сторонником изменений. При переходе большое внимание было уделено именно этому компоненту. Нужно обязательно транслировать опыт воздействия на сотрудников.

«ИТ-ночь на Ивана Купала» — традиционная встреча цифровых управленцев, с которой начинается отсчет очередного года сообщества «я-ИТ-ы», прошла насыщенно и плодотворно. Съехавшиеся со всех концов страны ИТ-руководители обсуждали интересные исследования и кейсы, делились полезным опытом, разбирали свои ошибки и тренировались в управленческих поединках. «я-ИТ-ы» активно растет и развивается: каждый день в сообщество добавляется один новый ИТ-управленец, сообщил один из учредителей сообщества «я-ИТ-ы» Павел Клепинин.

В числе обсуждаемых ИТ-директорами тем снова актуализировались вопросы эволюции роли ИТ-подразделений и необходимости ИТ-бизнес-партнеров. Согласно исследованию «Монитор технологий» компании РДТЕХ, в 28% компаний, опрошенных в прошлом году, ИТ-подразделение – это основной драйвер цифровой трансформации. При этом 48% ресурсов ИТ-подразделений направлено на разработку цифровых продуктов и сервисов.

Павел Клепинин: «Каждый день в сообщество добавляется один новый ИТ-управленец»

Некогда модный тренд на превращение ИТ-руководителей в ИТ-бизнес-партнеров так и не стал доминирующим, но и не растворился совсем. Как рассказала Людмила Трофимова, директор по цифровому развитию Президентской Академии РАНХиГС, опрос резидентов сообщества «я-ИТ-ы» подтвердил предположение, что массового появления ИТ-бизнес-партнеров не наблюдается, поскольку результаты запуска этой активности не стабильны и больше зависят от личных особенностей конкретного исполнителя, чем от системно выстроенной работы ИТ-бизнес-партнеров. Тем не менее, у 40% опрошенных в компании есть либо выделенная должность, либо роль ИТ-бизнес-партнера. Причем лидируют роли, связанные с глобальным развитием ИТ-функции и формированием отношений с заказчиком. ИТ бизнес-партнер – это специалист, который умеет вести диалог на уровне первых лиц компании/функции, обладает стратегическим видением и понимает взаимосвязь бизнес-задач с ИТ-решениями. По аналогии с семейным доктором он знает историю «болезни» своего бизнеса, персональные особенности, владеет полным «анамнезом», и его цель — упреждающе работать на сохранение «здоровья». Ключевые компетенции ИТ-бизнес-партнера явно связаны с цифровизацией бизнес-процессов: он должен знать бизнес-процессы функции и имеющиеся на рынке ИТ-решения, которые позволяют их автоматизировать, а также уметь инициировать и реализовывать необходимые проекты цифровизации. По мнению участников дискуссии на ИТ-Купале, наличие ИТ-бизнес-партнера ускоряет принятие управленческих решений, так как коммуникации входят в число его основных задач.

Людмила Трофимова: «Новые роли появляются тогда, когда влияние ИТ на эффективность бизнеса становится очень высоким»

Стать хорошим ИТ-бизнес-партнером способен далеко не каждый айтишник. Хорошо справятся с этой ролью бывшие ИТ-директора, бизнес-аналитики и бизнес-архитекторы, главные по развитию ИТ, проектные менеджеры. И совсем не подходят на эту роль ответственные за инфраструктуру, пресейлы, ИТ-архитекторы и аналитики данных. Подавляющее большинство респондентов считает, что ИТ бизнес-партнеры не нужны абсолютно всем компаниям и на появление этих позиций в оргструктуре в большей мере влияет масштаб холдингов.

В целом решающее влияние на появление новых ролей в ИТ оказывают не масштаб компании, ее зрелость, корпоративная культура или численность ИТ, а степень влияния цифровизации на эффективность бизнеса. Чем больше эффективность бизнеса зависит от ИТ-инструментов, тем сильнее это вынуждает ИТ-функцию эволюционировать, выстраивая новые эффективные модели работы.

Директора по информационной безопасности, которые реагирование на угрозы и восстановление работоспособности приравнивают по важности к профилактическим мерам, приносят больше пользы, чем те, кто придерживается устаревших подходов с абсолютной нетерпимостью к сбоям. Каждое очередное нарушение кибербезопасности показывает, что управление в службах информационной безопасности осуществляется скорее за счет адреналина, а не реализации конкретных замыслов. Но такая тактика не обеспечивает достаточной устойчивости. Отрасль добилась невероятных успехов в части профилактики. Что же касается реагирования и восстановления, они оставляют желать лучшего, поскольку никто не хочет примерять на себя менталитет неудачника. А между тем, в условиях, когда успешных кибератак все больше, а их последствия ощутимее, организациям необходимо повышать эффективность реагирования и восстановления, не ограничиваясь одними лишь инвестициями в профилактические меры.

На пути к обеспечению дополненной кибербезопасности (так в Gartner решили назвать повышение уровня реагирования и восстановления до уровня профилактики) приоритетное внимание следует уделять трем направлениям: обеспечению отказоустойчивости системы кибербезопасности бизнеса, минимизации набора инструментов при сохранении его эффективности и повышению уровня устойчивости специалистов по кибербезопасности.

Обеспечение отказоустойчивости системы кибербезопасности

Gartner рекомендует сосредоточить основное внимание на двух областях, где превентивные меры неэффективны: генеративном искусственном интеллекте и использовании технологий независимых организаций. Генеративный ИИ развивается очень быстро, и предотвратить все атаки одновременно невозможно. Решающее значение здесь приобретает способность адаптироваться к неизбежным сбоям, своевременно реагировать на них и быстро восстанавливать работоспособность. Профилактические рекомендации необходимо дополнять пособиями по эффективному реагированию и восстановлению.

Что касается управления рисками кибербезопасности, связанными с независимыми организациями, работа с теми, кто является источником риска, будет продолжаться. Но при этом необходимо убедиться, что планы обеспечения непрерывности функционирования бизнеса, разработанные независимыми организациями, хорошо задокументированы и протестированы.

Минимизация набора инструментов с сохранением его эффективности

Руководители служб информационной безопасности продолжают хранить старое оборудование, срок годности которого истек, и в то же время спешат добавить новые инструменты, не понимая до конца, какие дополнительные затраты и сложности для управления это влечет за собой. Необходимо разорвать порочный круг «синдрома приобретения оборудования», препятствующий успешному развитию, и по возможности минимизировать количество различных инструментов для наблюдения, защиты и реагирования на попытки использования уязвимостей организации.

Чтобы достичь этой цели, руководители служб информационной безопасности должны:

• Выявлять избыточности и бреши в защите, сопоставляя имеющийся набор инструментов со своей системой управления.
• Добиваться технического обоснования выбранной концепции с учетом рисков развертывания, а не только функциональности компонентов.
• Активно внедрять в существующие инструменты генеративный искусственный интеллект.

Повышение уровня устойчивости специалистов по кибербезопасности

Руководители служб информационной безопасности и их команды зачастую склонны к проявлению героизма. Они считают, что должны избегать плохих результатов любой ценой, даже в ущерб своему здоровью. Однако такой подход во многих случаях приводит к обратному эффекту. Чтобы добиться результатов, к устойчивости персонала нужно относиться так же, как и к другим компетенциям:

• Упростите сотрудникам получение необходимой им поддержки. Сюда относятся консультации и тренировки на стрессоустойчивость во время активных инцидентов.
• Передавайте свой опыт. Руководители должны подавать пример и делиться ситуациями, когда поставленных целей достичь не удалось, а также сделанными из этого выводами.
• Добивайтесь снижения эмоционального выгорания. Ищите причины возникновения трудностей, устраняйте узкие места и используйте средства автоматизации для освобождения творческой энергии людей.

Переизбыток доступных данных способствовал сегодняшнему всплеску внедрения искусственного интеллекта и его генеративных возможностей в большей степени, чем какой-либо другой фактор. Сбор, очистка, систематизация и защита данных фактически превратились для искусственного интеллекта и машинного обучения в самостоятельный проект – процесс управления, в котором важную роль играют сами инструменты ИИ. Результатом всего этого может стать значительное улучшение управления данными, которое принесет пользу всему предприятию.

База данных остается основным хранилищем данных, но экосистема инструментов управления данными на основе искусственного интеллекта (включая продукты стартапов, которым может пока не хватать стойкости и полноценного понимания всех нюансов функционирования баз данных) уже получает повсеместное распространение. Со временем с предлагаемым программным обеспечением для баз данных и облачными сервисами, очевидно, будет интегрироваться все больше функций управления.

Применение ИИ для автоматизации управления данными способно приносить немедленную отдачу. Чем лучше предприятие управляет своими данными, тем лучше сотрудники, занимающиеся машинным обучением, могут использовать эти данные для создания приложений на базе искусственного интеллекта. В более широком смысле добавление искусственного интеллекта к управлению данными оказывает положительное влияние на их аналитику, соблюдение нормативных требований и повышение качества данных в любой отдельно взятой организации.

Рассмотрим подробнее, каким образом ИИ модернизирует процессы, связанные с управлением, и как инструменты, улучшенные с его помощью, способствуют успеху как приложений искусственного интеллекта и машинного обучения, так и процесса обработки данных в целом.

Каталогизация данных

Знаете ли вы, где находятся ваши данные? Для эффективного управления организациям необходима полная инвентаризация всех основных хранилищ данных и понимание того, что в них содержится. Задача идентификации корпоративных данных, доступа к ним и их классификации становится все более сложной в том числе и из-за бесконтрольного распространения облачных хранилищ данных, не говоря уже о наличии полуструктурированных журналов, используемых для выявления операционных тенденций и аномалий. Программное обеспечение для каталогизации данных позволяет составить подробную схему этих хранилищ.

Искусственный интеллект может помочь на всех этапах каталогизации данных организации, начиная с автоматического обнаружения хранилищ данных, имеющих отношение к предприятию. Спектр инструментов каталогизации варьируется в широких пределах. Некоторые используют ИИ в том числе и для определения политик контроля доступа и организации поиска на естественном языке. Каталогизация на основе искусственного интеллекта значительно сокращает объем ручного труда, связанного с классификацией информационных ресурсов, и выявляет происхождение данных, показывая, откуда они берутся и как менялись.

Управление метаданными

Эффективное управление метаданными, то есть информацией, описывающей данные компании, имеет основополагающее значение для успешного управления. Инструменты каталогизации на основе искусственного интеллекта позволяют идентифицировать метаданные для правильной классификации информационных ресурсов. Кроме того, управление метаданными имеет жизненно важное значение для надежной работы с данными. Широкий спектр существующих предложений – от программного обеспечения для интеграции данных до платформ наблюдения за ними – открывает новые возможности и для управления метаданными.

Инструменты управления метаданными, основанные на искусственном интеллекте, облегчают процесс ручной классификации данных и помогают устранять различия в описаниях метаданных. В прошлом предприятия оперировали относительно статичными метаданными, но сегодня инструменты ИИ непрерывно отслеживают и собирают динамическую информацию о хранении, использовании и перемещении потоков данных. Помимо других преимуществ, метаданные, подробно описывающие ресурсы данных, могут использоваться для выдачи на основе ИИ рекомендаций по оптимизации платформ хранения и даже для определения потенциальных путей интеграции данных.

Качество данных

Наибольшее влияние ИИ оказал на качество данных, которое характеризуется шестью основными аспектами: точностью, полнотой, согласованностью, уникальностью, своевременностью и достоверностью. Очевидно, что при отсутствии у данных этих свойств риск катастрофических последствий в результате операционной деятельности заметно возрастает. А специалистам, занимающимся наукой о данных, и аналитикам приходится прилагать титанические усилия к очистке данных, прежде чем их можно будет использовать.

Инструменты искусственного интеллекта и машинного обучения позволяют автоматически находить пропущенные значения, осуществлять нормализацию форматов данных, выявлять аномалии в них и выполнять многие другие функции. Конечно, решения (например, идет ли в случае одинаковых имен речь об одном и том же или о разных клиентах) людям по-прежнему приходится принимать самостоятельно, но общая экономия времени оказывается огромной. По мере того, как инструменты искусственного интеллекта находят все больше закономерностей в обширных объемах данных, выдаваемые ими рекомендации, обнаруживаемые корреляции и вносимые коррективы постоянно улучшаются. Соответствующие критерии используются при организации мониторинга качества данных в режиме реального времени.

Моделирование данных

Структурирование базы данных – или всей архитектуры данных – начинается со сбора и анализа требований к данным, а также с разработки логических и физических моделей, обеспечивающих соответствие этим требованиям. В ряде продуктов искусственный интеллект позволяет архитекторам данных и инженерам легко создавать визуальные представления моделей данных.

Сегодня на многих предприятиях моделирование данных направлено на обслуживание приложений искусственного интеллекта и машинного обучения. Некоторые инструменты обработки данных с использованием ИИ предлагают автоматизированное конструирование признаков (feature engineering), при котором ключевые характеристики извлекаются из наборов данных, предназначенных для подготовки к обучению ИИ. В сочетании с автоматическим машинным обучением это позволяет подбирать модели разных типов, определяя наиболее подходящие для конкретных приложений и прогнозной аналитики. Если данных для эффективного обучения модели оказывается слишком мало, инструменты моделирования на основе искусственного интеллекта могут использовать существующие хранилища и генерировать синтетические данные, которые очень похожи на реальные.

Политика данных и управление их жизненным циклом

Политику обработки своих данных организациям необходимо определять на основе федеральных, государственных, отраслевых и международных нормативных актов, а также внутренних бизнес-правил. На крупных предприятиях создаются комитеты по управлению данными, которые устанавливают соответствующие правила и разъясняют порядок их выполнения. Описывается все это в специальном документе, который дополняется по мере изменения правил и процедур. Поддержка естественного языка генеративным искусственным интеллектом позволяет автоматизировать создание черновых вариантов такой документации и значительно облегчает внесение в нее последующих изменений.

Анализируя шаблоны использования данных, нормативные требования и внутренние рабочие процессы, ИИ помогает организациям определять и внедрять политику хранения, а также автоматически идентифицировать данные, срок службы которых истек. Искусственный интеллект способен инициировать даже процедуры архивации и удаления. Наряду со снижением рисков и обеспечением выполнения нормативных требований автоматизация архивирования данных создает условия для освобождения места и сокращения затрат на хранение.

Готовность данных

Системы аварийного восстановления на базе искусственного интеллекта помогают организациям разрабатывать эффективные стратегии восстановления, прогнозируя возможные сценарии сбоев и принимая превентивные меры для минимизации простоев и исключения потери данных. Системы резервного копирования, основанные на искусственном интеллекте, гарантируют целостность резервных копий и автоматически инициируют процедуры восстановления потерянных или поврежденных данных в случае сбоя.

Системы управления хранением на базе ИИ реплицируют и распределяют данные по нескольким хранилищам, обеспечивая высокий уровень их готовности и низкую задержку. Средства прогнозной аналитики на основе искусственного интеллекта собирают данные с датчиков, из журналов оборудования и архивных записей систем технического обслуживания в целях минимизации потенциальных сбоев или простоев. Для предотвращения снижения уровня готовности данных профилактические меры важны, как ничто иное.

Человек по-прежнему необходим

С управлением данными искусственный интеллект по большей части справляется достаточно легко. Многие задачи (от обнаружения данных и их очистки до управления политиками), связанные с управлением и выполняемые сегодня во многом вручную, не представляют для ИИ особых сложностей и решаются им с более высокой точностью по сравнению с людьми. И это уже большая победа, особенно если учесть, что для операций машинного обучения нужны очищенные и упорядоченные хранилища данных, на основе которых можно создавать и обучать приложения искусственного интеллекта.

Следует, однако, помнить, что искусственный интеллект не обладает в полной мере разумом в том смысле, который мы вкладываем в это слово. Для устранения даже незначительных расхождений в данных может понадобиться анализ контекста и опыт, который способны приобрести только люди. Очевидно, никто не станет сегодня поручать машине создание корпоративной архитектуры данных. Да, искусственный интеллект уже сейчас способен исключить значительную часть ручного труда при управлении данными. Но он не сможет решать за вас все.

На рынке отечественных ЦОДов происходит настоящий бум. Из года в год игроки демонстрируют стабильный рост минимум на 20%, это очень хороший показатель. Уход международных вендоров положительно отразился на развитии компетенций как отечественных производителей решений для дата-центров, так и самих заказчиков. Рассмотрим текущие тенденции и события на рынке ЦОД в 2024 году.

Развиваются высокотехнологичные решения

Все помнят, что в первый год санкций российские вендоры сконцентрировались на выпуске наиболее востребованных простых продуктов. Это привело к возникновению дефицита предложения в нише высокотехнологичного оборудования для ЦОДов. Сейчас ситуация изменилась. Еще в прошлом году отечественные производители начали разработки технологически сложных решений под индивидуальный запрос заказчиков. Это достаточно долгий и затратный процесс. Однако российские вендоры, готовые предложить аналоги зарубежных серверов и систем хранения данных, справляются с поставленными перед ними задачами и демонстрируют положительную динамику.

Усложняются пожелания заказчиков и к производителям инженерных систем. Если еще год назад заказчикам требовались преимущественно фреоновые кондиционеры, то сейчас у них появился интерес к инновационным технологиям охлаждения. Запущено несколько проектов с применением «холодных стен» – в частности, в новом ЦОДе Tier IV одного из крупнейших телекоммуникационных холдингов.

Проекты становятся сложнее

Еще вчера ситуация на рынке требовала от бизнеса сфокусироваться на поддержании работоспособности ЦОДов, а не их модернизации. Теперь заказчики не откладывают технологически сложные проекты на завтра. Некоторые из таких проектов начинались еще в 2021-2022 году. В период кризиса клиентам пришлось самим искать новых вендоров и оборудование, обеспечивать его совместимость с существующими системами. К настоящему моменту эти проекты, хоть и с задержкой, реализованы. Рынок семимильными шагами наверстывает то, что было упущено, и делает это успешно.

Растет число локализованных продуктов

До 2022 года большинство инфраструктурных проектов на 80% и более состояло из оборудования западных брендов. Спустя год к этой цифре уже приблизились решения, преимущественно локализованные в России. На данный момент долю оборудования для ЦОДов, произведенную отечественными компаниями, можно осторожно оценить в 30-50% — в зависимости от того, какие продукты считать российскими.

Приходится отметить: то, что производится в России, зачастую состоит из азиатских компонентов, а то, что привозится в Россию — целиком является азиатским продуктом. В зависимости от формы контракта между компаниями это может быть как полностью локализованное на азиатском рынке изделие, так и заказное решение под брендом и дизайном российского производителя.

На все 100% российской компоновки нет даже, например, у блоков распределения питания на базе процессора «Байкал», которые фактически полностью разработаны и производятся в России. Все основные компоненты у них российские или имеют статус российских. Но мелкие SDM-компоненты в этих блоках все же импортного производства — в России аналогов нет.

Забота о совместимости оборудования стала общей

Изначально задача по обеспечению совместимости оборудования для ЦОДов была прерогативой международных вендоров. Российский бизнес брал оборудование известного производителя, переплачивал за бренд и рассчитывал, что имя вендора будет гарантом качества, в том числе в части совместимости. В большинстве случаев такой подход оправдывал себя. Исключения, само собой, случались, но это происходило не так часто, чтобы придавать большое значение.

Сейчас совместимость оборудования достигается общими усилиями производителя, партнера-инсталлятора и самого клиента. Естественно, переход к такой модели вызвал рост компетенций как у интеграторов, так и у заказчиков. Бизнесу пришлось самому научиться собирать системы из имеющегося на рынке оборудования, проверять их на отсутствие конфликтов и устойчивую работоспособность. От вендоров по-прежнему ждут информационную и техническую поддержку, но времена, когда производителю во всем верили на слово, остались в прошлом.

Комплексных решений становится больше

Поскольку любому клиенту нужна уверенность в сбалансированности решения, российские производители активно конкурируют на рынке комплексных решений для центров обработки данных. В связи с этим трендом хотелось бы отметить три важных момента.

Во-первых, наличие в линейке комплексных решений является ощутимым преимуществом вендора только в том случае, если он действительно гарантирует взаимодействие всех подсистем. Например, у C3 Solutions есть реализованный проект для «СПБ Биржи», в котором было необходимо модернизировать серверную площадку компании. Специалисты всего за полгода оборудовали помещение российской биржи «под ключ», снабдив заказчика полным комплексом инженерных решений.

Во-вторых, требования к комплексности оборудования для разных участков ЦОДа отличаются. Особенно комплексность важна для серверных систем и систем хранения, поскольку не каждая такая система, собранная из разных компонентов, в принципе будет работать. С инженерными решениями проще – скажем, у кондиционеров нет большой зависимости от систем бесперебойного питания.

Наконец, следует помнить, что комплексность дает лучшие результаты там, где у заказчика есть единая точка ответственности за совместимость оборудования. Когда подбором систем занимаются разные команды, каждая из которых преследует свои цели, решить вопросы совместимости продуктов становится сложнее.

Стоимость сопоставимых решений уравнивается

Сопоставимые по функционалу и качеству отечественные и импортируемые из дружественных стран продукты сравнялись по стоимости. Конечно, если клиент закупает оборудование напрямую в Юго-Восточной Азии, оно будет априори дешевле. Но в его итоговую стоимость войдет логистика, прохождение таможенных процедур, обеспечение пусконаладочных работ, сервисной поддержки, гарантийного и постгарантийного обслуживания.

Сейчас на российском рынке в основном представлено два типа производителей. Первые являются отечественными компаниями, которые локализуются в России. Вторые — зарубежные поставщики, которые стремятся зайти на наш рынок, открывают здесь представительства и предоставляют сервис. Но цена продуктов этих вендоров в процессе локализации растет и уравнивается по рынку.

Искусственный интеллект требует роста мощностей

В связи с большими потребностями в искусственном интеллекте очевиден еще один тренд. Нагрузка на ЦОДы от использования ИИ резко возрастает. Если раньше стандартом считался дата-центр со стойками на 5 кВт, то сейчас и 10 кВт на стойку – не предел. Для реализации проектов с применением ИИ уже сейчас нужны стойки и инженерная инфраструктура на 30-50 кВт, и вопрос о том, каким именно способом эту потребность закрыть, актуален.

Оптимальное технологическое решение должно быть гибким и конвергентным, оно должно позволять реализовывать в той или иной комбинации как маломощные продукты на 5 кВт, так и высоконагруженные стойки. К тому же наличие в ЦОДе таких стоек требует решить непростую задачу с их охлаждением.

Уже в ближайшем будущем рост применения технологий ИИ в ЦОДах приведет к необходимости увеличивать их энергоснабжение, и надо будет найти способ сделать это экологично.

Влияние новых санкций невелико

В конце февраля Минфин США ввел блокирующие санкции против крупных российских дата-центров. До сих пор нет полного понимания, по каким критериям одни ЦОДы подверглись санкциям, а другие нет, даже если они работают с государством. Зато за эти два месяца стало очевидно, что какого-либо серьезного влияния очередные санкции на российские дата-центры оказать не смогли.

Одна из причин — российский рынок коммерческих центров обработки данных сейчас сосредоточен на клиентах из России и ближнего зарубежья, для которых эти санкции не являются ограничительным фактором. Даже если кто-то из крупных азиатских игроков, выходя на российский рынок, не рискнет разместить мощности в ЦОДах из санкционного списка, эти случаи будут единичны и не приведут к отрицательной динамике.

Несмотря на санкции и другие сложности, о которых сказано выше, можно прогнозировать, что темпы роста рынка отечественных центров обработки данных в 2024 году сохранятся.

Автор — Леонид Юль, директор по развитию компетенций ЦОД C3 Solutions

В 2023 году команда Онлайн-университета «Ростелекома» разработала и провела образовательную программу повышения квалификации «Дата-инженер» для сотрудников компании на базе собственной отечественной «Платформы управления данными». За счет обучения внутренними ресурсами удалось подготовить необходимых специалистов, смягчив кадровый дефицит. О реализации программы рассказывает Екатерина Барабанова, директор по развитию персонала «Ростелеком» и номинант на премию Data Award.

- В каких направлениях «Ростелеком» видит особый дефицит кадров? В какие цифры вы его оцениваете?

Цифровая трансформация бизнеса — одна из национальных целей развития страны на ближайшее будущее. Это направление активно поддерживает и развивает «Ростелеком». Сейчас компании нужны специалисты, знакомые с корпоративными системами и обладающие знаниями для их развития. То есть требуются дата-инженеры, специалисты по машинному обучению, системные аналитики, разработчики баз данных, системные администраторы, DevOps-специалисты.

- В чем именно заключаются основные проблемы?

Сегодня в стране наблюдается острый дефицит ИТ-специалистов, который не закончится в ближайшее время. Рынок с точки зрения количества людей физически сократился. При этом число вакансий в сфере ИТ выросло на 40%.

Страна нуждается в отечественных и независимых от импорта программных решениях. Поэтому «Ростелеком» разрабатывает собственные решения по направлениям кибербезопасности, телекоммуникаций, облачных технологий, виртуализации, биометрии, видеонаблюдения, управления данными, искусственного интеллекта, цифровой медицины, государственных цифровых услуг и др. Одним из таких решений стала наша платформа управления данными — универсальный набор отечественных программных продуктов для построения хранилища данных и аналитики.

Компании нужны специалисты, обладающие достаточной квалификацией для разработки и развития наших решений. На рынке найти таких специалистов крайне сложно. Также компания стремится к повышению эффективности процессов и их автоматизации на всех уровнях.

- Какими способами пытаетесь решать эти проблемы?

Мы действуем сразу в нескольких направлениях для преодоления кризиса дефицита кадров. Во-первых, используем технологии для повышения эффективности: обучаем сотрудников языкам программирования и работе с искусственным интеллектом, чтобы они могли автоматизировать свою работу. Расширяем осведомленность о доступных инструментах внутри компании.

Во-вторых, растим кадры внутри. Запускаем собственные программы переквалификации, где на практике обучаем актуальным знаниям и инструментам. Развиваем собственную инфраструктуру для обучения и работаем с лучшими преподавателями.

Программа повышения квалификации «Дата-инженер» комбинирует в себе два подхода. На ней обучаются сотрудники, которые хотели научиться работать с новыми инструментами для автоматизации процессов на текущем месте работы, и те, кто хотел сменить карьерную траекторию и перейти в область дата-инженерии.

- Кто занимался разработкой программы?

В разработке и проведении программы участвовала школа программирования «Ростелекома», которая обучила уже более 3,5 тыс. сотрудников за пять лет работы, а также дата-офис. Дата-офис – это наш драйвер data-driven культуры, один из лидеров отрасли управления данными в России, команда-разработчик платформы управления данными. Экспертом и преподавателем был приглашен Азат Якупов – сертифицированный архитектор данных, инженер в сфере высоконагруженных и высокодоступных систем хранения, специалист в области аудита отечественной операционной системы «Аврора».

- Что включает программа?

Программа разрабатывалась с «чистого листа». Мы ориентировались на сотрудников, которые уже знакомы с SQL, Python и активно работают с большим количеством данных. Это позволило сосредоточиться на продвинутых инструментах. Программа получилась насыщенной, в нее вошли семь образовательных блоков, для практики был развернут учебный стенд. В рамках обучения сотрудники выполнили 10 практических заданий, разработали и защитили итоговый проект.

- Что было сделано в рамках проекта?

В рамках реализации проекта за 6,5 месяцев удалось провести большую работу. Была разработана система отбора на программу обучения и получено более 100 заявок от сотрудников различных подразделений.

С методической стороны разработана программа для обучения сотрудников от теоретических материалов до практических занятий (более 450 страниц). С технической стороны — подготовлен учебный стенд полностью на отечественном программном обеспечении, организован постоянный доступ участников обучения к стенду и круглосуточная поддержка стенда на время обучения. На протяжении всего курса было проведено более 30 занятий и консультаций в формате онлайн.

В рамках программы студенты изучили и на практике отработали вопросы работы с данными: хранение, трансформация и использование.

- Какие инструменты работы с данными изучались?

Изученные инструменты охватывают управление инфраструктурой ресурсов, работу с большими данными на платформе Hadoop, работу со структурированными данными на платформе GreenPlum, работу с потоковыми данными на платформе Kafka, аналитику данных на платформе ClickHouse.

- Каковы результаты обучения?

Проведен пилотный поток программы на 50 сотрудников различных подразделений в дистанционном формате. Стоит отметить, что они высоко оценили качество программы. По результатам опроса выпускников NPS программы превысил 90, содержание программы оценено на 4,82 из 5, а практическая применимость – на 4,68 из 5.

По результатам обучения сотрудники защитили 20 командных проектов, причем некоторые из них нацелены на решение реальных задач компании. Девять выпускников планируют переход в ИТ-подразделение компании, а остальные видят возможности в применении знаний на текущем рабочем месте.

Программа позволяет решить вопрос оттока кадров, рекрутинга кадров в дата-офис, а также повысить эффективность бизнес-аналитики в компании.

- В чем роль проекта для компании?

Пилотный проект обучения был ориентирован на сотрудников компании, которые уже работают с данными. На программе студенты смогли систематизировать и дополнить свои знания по работе с данными: от подготовки до визуализации и принятия решений, познакомиться на практике с продвинутыми инструментами работы с большими данными, узнать больше о направлениях работы с данными внутри компании.

За счет обучения студентов из разных подразделений компании мы ожидаем повышение качества и своевременности аналитики, сокращение издержек за счет оптимизации процессов обработки данных, а также рост удовлетворенности клиентов за счет способности более быстро и точно реагировать на их потребности и требования рынка.

- Каковы дальнейшие планы по развитию программы?

В 2024 году мы планируем адаптировать программу «Дата-инженер» для внешних слушателей и сделать ее доступной на одной из популярных платформ дистанционного образования.

Сеть ресторанов быстрого питания Rostic’s провела масштабную реорганизацию платформы данных, внедрив более современные и эффективные инструменты и обеспечив их работу в Yandex Cloud. О влиянии этого проекта на бизнес и открывающихся возможностях рассказывают Егор Попов, ведущий разработчик хранилищ данных, и Никита Целищев, инженер по данным сети ресторанов Rostic’s. Проект компании номинирован на премию Data Award.

- Что представляла собой аналитическая платформа Rostic’s до сих пор?

Егор Попов: Аналитическая платформа сети Rostic’s состоит из двух элементов: data-платформа и BI-отчетность. Изначально загрузка данных в платформу строилась на классическом ETL-подходе с использованием самописного Python-фреймворка на основе PySpark и SQL UDF для загрузки слоев внутри хранилища данных. Интеграция с основными и самыми крупными источниками данных была выстроена на прямых подключениях к базам данных и инкрементальной загрузке данных путем фильтрации SQL-запросов по бизнес-дате.

Такой подход имеет много узких мест: например, нагрузка на систему-источник – «спам» тяжелыми SQL-запросами, а также потери данных, если в источнике что-то изменилось и при этом нет аудитных полей, указывающих на эти изменения. Да и сама реализация ETL имела ряд недостатков: каждый пайплайн нужно было разрабатывать вручную, писать пользовательскую функцию (user-defined function, UDF) под каждую загрузку, расставлять зависимости.

- В чем заключались бизнес-проблемы, приведшие к необходимости построения новой платформы данных? Почему это важно для компании?

Е.П.: Наша компания – один из лидеров на рынке ресторанов быстрого обслуживания. В сети более 1,1 тыс. ресторанов, работающих под брендом Rostic’s, расположенных в 74 регионах РФ. Рестораны генерируют большой объем данных, которые необходимо быстро обрабатывать. Правами на бренд в России владеет «Юнирест», эта компания в том числе выполняет ряд бизнес-функций, включая финансовое планирование, маркетинг, HR, управление поставками. Эффективность этих процессов напрямую зависит от качества данных.

Кроме того, бизнес Rostic’s строится по модели франчайзинга. Партнерам также необходимо предоставлять актуальную информацию о работе их ресторанов, отдавать им данные и служить для них «единым источником правды» о работе всего бизнеса. Мы предоставляем для ресторанов доступ к информации о бизнес-показателях в его точках присутствия. Такая аналитика помогает партнерам быстрее принимать решения по управлению ресторанами.

Потребителями данных является BI-отчетность, аналитики данных. Еще одна важная функция платформы – построение озера данных, то есть единого хранилища данных для всей компании. Источником данных является большое количество систем: чаще всего это реляционные базы данных, есть FTP и API, а также файлы, которые поступают на почту и в хранилище. Чтобы ускорить обработку данных и упростить работу аналитиков, потребовалось пересмотреть архитектуру хранилища и перевести его на более современный стек технологий.

- Какие требования предъявлялись к создаваемому хранилищу данных?

Никита Целищев: Во-первых, хранилище данных (DWH) должно иметь архитектуру «звезда» и обладать полным слепком всех данных со всех источников. При этом загрузка должна осуществляться ежедневно, актуальность данных – не ранее T-1, а данные должны обновляться в хранилище до 9:00 по московскому времени. Платформа данных должна включать в себя озеро данных для холодного хранения, DWH для детальных данных, витрины данных для быстрого доступа к подготовленным или очищенным данным.

Важно было изменить ETL-подход на ELT, и были необходимы инструменты управления качеством данных и обеспечения наблюдаемости данных (Data Observability).

- Как это отразилось на выбранном стеке технологий?

Н.Ц.: Обновленная платформа данных архитектурно строится на Greenplum, а инструмент dbt отвечает за трансформацию данных. Airflow оркестрирует dbt, а dbt загружает сами данные. Данные загружаются из S3, куда они попадают с помощью Airbyte.

Входная точка работ – это забрать данные из всех источников и отправить их на платформу. Хранилище организовано на базе S3. Здесь находится озеро данных и исторические данные. Из S3 удобно считывать с помощью формата PXF данные Greenplum без дополнительных фреймворков. Использование S3 также позволяет оптимизировать затраты на обслуживание Greenplum. Все исторические данные, которые не нужны оперативно, попадают в S3, где происходит их охлаждение. Данные, которые поступают из источников, поступают уже в охлажденном виде.

Мы также перешли с концепции пакетной загрузки на Change Data Capture (CDC, «захват изменения данных»). Это механизм загрузки данных, при котором учитываются только измененные данные и нет необходимости отправлять прямые SQL-запросы в базы данных. Это в том числе позволяет снизить нагрузку на систему-источник. Это позволило заметно вырасти в производительности, сократить время разработки и сохранить всю историю в первозданном виде, имея полный слепок данных с источников.

После того, данные из S3 поступили в «сырой» слой, необходимо построить детальный слой витрин. Классический подход при построении этой трансформации – самописный ETL-фреймворк, написанный на Python, который оперирует YML-файлами, обрабатывает их и загружает в хранилище. Для прогрузки слоев DWH необходимо было многое делать вручную. Дата-аналитик с отсутствием опыта работы с Airflow не мог этого сделать. Внедрение инструмента dbt дало возможность оперировать знакомым каждому языком SQL, а зависимости и загрузка данных были реализованы автоматически.

Переход на dbt с самописного ETL-фреймворка себя оправдал: аналитики сами стали создавать объекты, в два раза сократили трудозатраты на постановку объекта на регламент, исключили разработчиков из построения детального слоя витрин. Аналитики создают модели быстрее, чем это делал бы разработчик, вдвое.

Greenplum и Clickhouse часто противопоставляют, но мы используем их в связке. Оба сервиса управляются с помощью Yandex Cloud. Поддерживать два кластера самостоятельно – трудозатратно, а Yandex Cloud это автоматизировано. Greenplum мы используем для построения быстрых слоев хранилища. Clickhouse, в свою очередь, используется как система источников для BI, подготовки данных для отчетности и др. В связке мы добились крайне быстрой, оптимальной работы.

- Почему были выбраны сервисы Yandex Cloud?

Е.П.: Мы выбрали Yandex Cloud, потому что у компании есть большое количество управляемых сервисов, что помогает снизить нагрузку на команду – все рутинные задачи выполняет облачный провайдер. В частности, в Managed Service for Greenplum и ClickHouse за управление кластерами и мониторинг работоспособности сервисов отвечают специалисты Yandex Cloud. Кластерами можно удобно управлять через интерфейс, используя большое количество метрик, логов, уведомлений, дашбордов. Это помогает оперативно отслеживать, что и в какой момент происходит в хранилище. Кроме того, мы используем возможности резервного копирования – есть возможность восстановить кластер Greenplum из резервной копии за заданный период времени.

- Что в итоге представляет собой созданная платформа?

Н.Ц.: В хранилище аккумулируются и обрабатываются данные из 12 источников, в том числе из программы для предприятий общественного питания R_Keeper, учетной системы «1С», банковских приложений, сервисов заказа быстрой доставки, таких как «Яндекс Еда», сервиса для треккинга и аналитики мобильных приложений AppMetrica, платформы для автоматизации маркетинга Mindbox и других.

В качестве технологий используются ClickHouse и Greenplum для организации хранилища данных, российская BI-система «Форсайт» и Python Airflow DBT как оркестратор пополнения данных. Все инструменты развернуты на платформе Yandex Cloud в Kubernetes. Классическая «тяжелая» ETL-загрузка происходит раз в сутки, ночью. Днем перегружаются небольшие объекты, для которых необходима оперативная аналитика. Managed Kubernetes как ETL-платформа в Yandex Cloud позволяет нам разграничивать ресурсы и автоматически масштабировать кластер ночью, а днем не платить за него. Удобные мониторинги, удобная настройка.

- В чем «фишка» созданного решения, что на ваш взгляд, удалось особенно удачно?

Н.Ц.: Можно выделить несколько деталей. В первую очередь, это автоматизация трансформации данных в слоях хранилища с помощью инструмента dbt и автоматически генерируемая документация объектов хранилища. Кроме того, появился Data Lineage, реализовано CDC как полноценная замена ETL-процесса. Производится автоматическое тестирование данных на их качество в процессе загрузки. Благодаря использованию dbt разработку всех объектов хранилища теперь можно доверить аналитикам, что существенно снижает трудозатраты и время работ.

- Каких значимых результатов удалось достичь на данный момент?

Е.П.: Cущественно повысилась прозрачность в работе с данными. Каждое утро в телеграм-бот приходит отчетность о том, как прошла ночная загрузка. Высвечиваются идентификаторы записей, которые не прошли проверки – например, что-то задублировалось, по каким идентификаторам прошли дубли и сколько их было. Это помогает оперативно исправлять ошибки и следить за качеством данных.

Благодаря реализации проекта компания уже ускорила разработку новых технологий в три раза и в два раза быстрее готовит аналитические отчеты – например, по продажам позиций из меню.

- А что ожидается в дальнейшем?

Е.П.: Платформа работает с 2022 года, и за это время уже стала неотъемлемой частью бизнеса компании. У нас большие планы по развитию. Например, развитие self-service BI – концепции, при которой бизнес может сам строить аналитику по параметрам, которые ему необходимы. Мы хотим использовать данные для разработки технологий искусственного интеллекта, в частности – внедрить прогнозирование спроса и предложения, развивать персонализированные сервисы для гостей.

- Какую роль играет реализация проекта для бизнеса компании? Какие принципиально новые возможности появляются?

Е.П.: Дата-платформа помогает оперативно реагировать на изменение ключевых показателей, видеть отклонения и аномалии данных, которые происходят в результате процессов, принимать на их основании решения и более гибко управлять бизнесом, реагируя на изменения рынка.

Большинство отчетов для бизнеса формируются уже на основании существующих данных, загруженных в систему. Самообслуживание (Self-service) – важный инструмент аналитики, который помогает бизнесу самостоятельно проверять различные гипотезы и создавать новые срезы данных. В результате процесс разработки происходит гораздо быстрее и дешевле, без привлечения дорогостоящих ресурсов разработчиков.

- В каком направлении будет развиваться платформа данных Rostic’s?

Е.П.: Будет происходить уход от пакетной (Batch) загрузки в сторону потоковой загрузки (Streaming), что даст дальнейшую экономию времени. Проведем внедрение полноценного каталога данных. Ожидается развитие data-driven культуры и процессов data governance, а также в целом направления Data Science.