Непрерывность бизнеса

Несмотря на непростые условия, компании продолжают инвестировать в обеспечение непрерывности своего бизнеса. Эта категория проектов составляет основную часть новостей, приходящих с ИТ-рынка.

Технологии настолько плотно вросли в нашу жизнь, став неотъемлемой частью даже самых рутинных процессов, что их надежность фактически определяет надежность самих бизнес-процессов. Если даже выход из строя Skype способен сильно сказаться на работе в буквальном смысле всей России, то что уж говорить о более серьезных элементах инфраструктуры компаний. Именно поэтому компании все-таки продолжают выделять бюджеты на повышение надежности ИТ-сервисов.

Дмитрий Медведев, вице-президент по технологиям «Финпромбанка»: «Когда речь идет о надежности, подход не зависит от размера бизнеса и количества используемых ИТ-систем, дело в зрелости подходов и в качественном обращении с информацией»

«Когда речь идет о надежности, подход не зависит от размера бизнеса и количества используемых ИТ-систем, дело в зрелости подходов и в качественном обращении с информацией, – уверен Дмитрий Медведев, вице-президент по технологиям “Финпромбанка”. – Сейчас это дорогого стоит: информация – “наше всё”, надежность вышла на первое место и является гарантом репутации».

Банк «ФПБ» входит в сотню наиболее надежных банков России, и это накладывает очень серьезные требования на ИТ-ландшафт. Банк относительно невелик, но вынужден использовать решения ничуть не хуже, чем у грандов.

С точки зрения архитектуры приложений ИТ-ландшафт банка представляет собой достаточно простое решение: присутствует небольшое количество бизнес-критичных систем – АБС, интернет-банк, почтовый сервис, интеграционная шина. За время работы банка задачи по развитию и поддержке ИТ-инфраструктуры возникали многократно и решались оптимальным на тот момент образом. В результате этого естественного роста сложилось так, что различные бизнес-системы поддерживались несколькими разрозненными решениями для резервного копирования. Это осложняло поддержку и развитие систем, попутно снижалась надежность ИТ-инфраструктуры в целом.

«Решение по резервному копированию было во всех смыслах устаревшим и не отвечало требованиям по совместимости с новым ПО, функционалу и масштабируемости; многие задания проходили с ошибками, – отмечает Медведев. – Кроме того, не было охвата системой всей инфраструктуры, во многом именно из-за проблем совместимости».

Банку требовалось обеспечить повышенную надежность хранения информации во всех информационных системах, независимо от конкретного филиала. Логичным решением в данном случае видится создание новой системы резервного копирования – единой для всех систем.

Централизация резервирования

Главная задача заключалась в охвате всей инфраструктуры системой резервного копирования, которая смогла бы обеспечить надежность хранения и восстановления данных, близкую к 100%. Для соответствия требованиям продукт должен был иметь ряд специфических возможностей – универсальность для физической и виртуальной инфраструктуры, поддержку всех баз данных и восстановление на любой из серверов, а также использование технологии глобальной дедупликации.

В качестве кандидатов тестировались решения различных производителей, в чем активно помогала компания IBS. В итоге был выбран продукт Commvault Simpana, полностью удовлетворяющий требованиям как ИТ, так и бизнеса. Для ИТ были важны удобный интерфейс, полный ежедневный контроль процессов (например, в виде утренних отчетов на почту), а также наличие крупных проектов в России, подтверждающее надежность системы. Бизнес же привлекали относительно невысокая стоимость владения (по сравнению с аналогичными продуктами) и малое время простоев в случае потерь данных.

За счет централизации функции резервного копирования более чем вдвое повысилась эффективность использования дискового пространства

«Выбирая решение, мы в числе прочего ориентировались и на квадрант Gartner по системам резервного копирования, в котором решение Commvault уже несколько лет занимает лидирующую позицию. На практике это означает, что продукт не только обладает широким функционалом, но и действительно работает», – отмечает Медведев. Тем не менее, чтобы окончательно убедиться в правильности решения, был выполнен пилотный проект, давший возможность протестировать систему в реальных условиях. На этапе интеграции решения с существующей инфраструктурой, как обычно, возникали сложности – на некоторых серверах приходилось разбираться с возникающими при прохождении заданий ошибками, но благодаря оперативной помощи со стороны производителя их быстро удалось устранить.

Как выяснилось, выбранное решение обладает рядом эксклюзивных функций. Например, система архивирования в нем уже встроена, что сэкономило деньги как на покупке лицензий, так и на внедрении – у других вендоров пришлось бы приобретать две системы. Встроенная дедупликация позволила использовать для хранения резервных копий дешевые дисковые полки без привязки к производителям.

Результаты оказались весьма заметными: после настройки системы и ее оптимизации удалось впятеро сократить время резервного копирования. За счет централизации функции резервного копирования более чем вдвое повысилась эффективность использования дискового пространства.

Помимо самого внедрения системы, был создан полный комплект документации, по которому новые системные администраторы без труда могут разобраться в продукте и начать его обслуживание.

Аргументы для бизнеса

В результате создания единой системы резервного копирования для всех ИТ-систем бизнес получил гарантированное время восстановления «боевых» сред. Оно сократилось до получаса, причем большую часть времени занимает развертывание системного ПО.

«Раньше у нас были сложные переговоры с бизнесом относительно SLA. Мы не могли представить целостной картины и дать четкие параметры своей работы, приходилось обсуждать с разными владельцами бизнес-процессов части соглашений, чтобы свести их в единые требования», – говорит Медведев. Теперь же обсуждения вышли на совсем другой уровень. ИТ-департамент имеет четкую, прозрачную картину по каждому процессу и может внятно обсуждать вопросы непрерывности по всем параметрам. А главное – сам четко понимает, насколько предложенный SLA выполним и насколько заключенные соглашения выполняются на деле.

Помимо реанимации бизнес-приложений после катастроф, у системы резервного копирования и восстановления есть и еще одно назначение. Когда внутри организации ведется активная разработка, необходимо уметь очень быстро развертывать то или иное приложение для проведения тестирования. Если на это требуется довольно длительное время, то задерживается процесс тестирования, а значит – и запуск проекта в эксплуатацию.

«Любые новации – это деньги. И любой бизнес-руководитель оперирует в первую очередь понятиями эффективности, перспективы и оптимизации стоимости владения», – резюмирует Медведев. Когда к руководству приходят с абстрактной мыслью «сделать мир лучше», обычно это выливается лишь в занимательную дискуссию, если только пришедший не обладает исключительной харизмой и умением зажигать сердца. Однако при грамотной подготовке данных о затратах на обслуживание нынешних решений, стоимости потерь времени и данных при сбоях, статистике сбоев и времени устранения разговор примет другой оборот. Если же подкрепить аргументы информацией о необходимых инвестициях, стоимости владения новой системой и прогнозом сокращения числа инцидентов, бизнес будет вынужден прислушаться. Факты – упрямая вещь, они способны убедить в правильности предлагаемого решения.

Непрерывность бизнеса реализуется на разных уровнях – от кластеризации, виртуализации и построения резервных ЦОД до резервного копирования и организационных методов. При этом, как и в случае человеческого здоровья, профилактика важнее аварийных мер.

В условиях кризиса, вопреки расхожему мнению, требования к непрерывности бизнеса не снижаются, а растут: возрастает ценность каждого клиента, а значит, и каждой операции в системе, которая помогает его обслуживать. От корпоративных систем и, следовательно, и от «железа», их поддерживающего, требуются большая надежность, отказоустойчивость, скорость.

«Единственным способом обеспечить надежную, стабильную работу всех сервисов являются облака и полный аутсорсинг ИТ-функций. Так достигается защита бизнеса от себя самого во время кризиса», – считает Иван Бирюков, директор департамента ИТ компании «Рольф». Подписанные контракты нельзя легко разорвать и быстро сократить, в отличие от собственных ресурсов. Было много примеров, когда в погоне за экономией сокращались команды, поддерживающие критичную инфраструктуру.

Автодилер «Рольф» известен как один из пионеров использования облачных сервисов в России. Выбрав стратегию полного аутсорсинга наиболее критичных элементов инфраструктуры, включая само оборудование и его обслуживание, в 2010 году компания перенесла все бизнес-системы в облако HP в Германии.

Забота о поставщике

С точки зрения непрерывности бизнеса у аутсорсинга есть и плюсы, и минусы, но плюсов все же больше и они более весомы. Все риски, связанные с отказом оборудования или недоступностью ресурсов, берет на себя поставщик. Расчеты показывают, что затраты на содержание команды приемлемого качества сопоставимы со ставками внешних подрядчиков, ведь кроме заработной платы нужно учитывать обучение, мотивацию и пр. С другой стороны, возрастает зависимость от выбранного интегратора, поэтому при аутсорсинге основная работа – это управление взаимоотношениями с поставщиком.

Подписание официального договора об уровне обслуживания (Service Level Agreement, SLA) с нужными бизнесу показателями обойдется очень дорого. Ни один интегратор за разумные деньги не подпишет его. Поэтому приходится идти на смягчение формальных условий, фактически речь идет о джентльменском соглашении – провайдер из-за хороших отношений поддерживает качество на уровне выше оговоренного. Очевидно, что в такой ситуации нужно очень внимательно отслеживать лояльность поставщика услуг – его состояние и настроение, заботиться о его ресурсах, не допускать «перегибов» по цене, чтобы не сделать проект убыточным и не спровоцировать негативного эффекта.

Иван Бирюков, директор департамента ИТ компании «Рольф»: «Нужно не только снижать число аварий, но и учиться быстро восстанавливать сервисы после них. Чтобы оптимально решить проблему, не обязательно сразу же кидаться устранять поломку. Переход на резервный сервис зачастую гораздо быстрее»

«Может быть, нам повезло с поставщиком, но я склонен думать, что это результат многолетнего кропотливого труда, – говорит Бирюков. – Моя работа заключается, в частности, в том, чтобы наш контракт был для поставщика прибыльным, иначе немедленно пострадают качество работ и отношения между компаниями. В НР относятся к нам как к партнеру, мы для них не менее важны, чем они для нас».

В 2015 году был проведен масштабный проект миграции бизнес-приложений в облако HP на российской площадке.

Сейчас это уже совсем другие облака, по сравнению с теми, что использовались пять лет назад. Были арендованы более мощные процессоры, что привело к ускорению работы систем на 20-40%, упростилась поддержка, время восстановления большинства систем в случае отказа удалось сократить до 7-9 минут. Еще одним плюсом смены площадки стало ускорение работы благодаря отказу от международного канала данных. Что касается экономии, то в рублевом эквиваленте она была почти двукратной.

Сервисы с резервом

Для обеспечения непрерывности процессов мало просто иметь надежный ЦОД и множество резервных серверов – нужно построить структуру, умеющую воплощать резервные схемы в жизнь. При этом применяется весь спектр технических и организационных решений, кроме резервного ЦОД, наличие которого в «Рольфе» не считают экономически эффективным при нынешней безопасности ЦОД уровня Tier III.

«Подход у нас простой: абсолютно все, что делают ИТ, осуществляется в рамках оказания бизнесу какой-либо услуги», – говорит Бирюков. Под «услугой» понимается работа какого-либо модуля ERP-системы, корпоративной почты, выход в Интернет, обслуживание пользовательской техники или доступ к сетевым дискам – все связанные с ИТ сервисы, используемые на местах. У каждой услуги в ИТ-департаменте есть владелец, отвечающий за ее оказание в полном объеме и отсутствие проблем с ней.

Недавно в компании был проведен глубокий технический аудит всех ИТ-систем, выявлены точки отказа и узкие места. По каждой проблеме либо были проведены работы по резервированию, либо проработан и оттестирован план скорейшего восстановления услуги (Disaster Recovery Plan, DRP).

В идеале у каждой услуги должен быть свой план восстановления в случае отказа. Одним из KPI владельцев услуг являются наличие и работоспособность такого плана, обкатанного хотя бы раз в тестовой среде. Пока он есть не везде, а лишь в местах наиболее частых отказов.

Основным критерием работы систем является абсолютно формальный KPI – частота аварий. Авария – это недоступность одного или нескольких процессов в рамках услуги на протяжении более 10 минут. Если таких процессов много, время сокращается до одной минуты или даже подразумевается мгновенная реакция. Важно вести учет всех аварий и следить, чтобы из каждой извлекались уроки.

Две основные причины аварий – это выпуск релизов бизнес-приложений и проблемы с каналами связи. Третья причина, которой не удается избежать, – человеческий фактор, причем в первую очередь в области инфраструктуры.

Нужно не только снижать число аварий, но и учиться быстро восстанавливать сервисы после них. Чтобы оптимально решить проблему, не обязательно сразу же кидаться устранять поломку; переход на резервный сервис зачастую гораздо быстрее

«Нужно не только снижать число аварий, но и учиться быстро восстанавливать сервисы после них. Чтобы оптимально решить проблему, не обязательно сразу же кидаться устранять поломку; переход на резервный сервис зачастую гораздо быстрее», – подчеркивает Бирюков. В компании есть четкий критерий: если спустя 15 минут после аварии неизвестен срок исправления неполадок, обязательно надо переходить на резервный сервис. По крайней мере, это дает предсказуемое время восстановления.

«Конечно, профилактика важнее аварийных мер по восстановлению услуги. К ней можно отнести и мониторинг всех важных параметров услуги, и регулярную “тонкую” настройку», – продолжает Бирюков. Проводя аналогию с автомобилем, можно сформулировать так: чтобы не доводить до вызова эвакуатора и долгого дорогостоящего ремонта, правильнее делать регулярное стандартное техобслуживание, не забывая иногда проверять и другие показатели. ИТ-отдел должен действовать так же – не допускать аварий, заниматься профилактикой. Система мониторинга ежедневно рассылает множество уведомлений о потенциальных проблемах – например, что заканчивается место на диске.

В качестве «последнего рубежа» обеспечения работоспособности систем используется решение для резервного копирования и восстановления данных HP Data Protector. Однако до его применения на практике уже много лет дело не доходит.

«Да, все данные с глубиной около месяца резервируются и сохраняются, а более старые на лентах отправляются в удаленный архив. Но ни разу за последние пять лет мы ничего не восстанавливали из бэкапа, такой вариант даже не рассматривался», – отмечает Бирюков. Причина проста: утраченные за последние сутки данные для бизнеса гораздо важнее, чем все остальные, вместе взятые. Это связано с тем, что большинство текущей работы по незакрытым сделкам находится в текущем дне, поэтому ни разу руководство не согласилось потерять самые свежие данные. Восстановление может потребоваться только в случае, если ошибка в системе привела к повреждению самих данных, неправильному их сохранению и нарушению внутренней целостности. Теоретически такое возможно, и потому от резервного копирования полностью отказываться не следует.

Выше договоров

«В настоящее время формальный SLA с руководством бизнеса существует, но он не отражает наших реальных обязательств перед пользователями, а поэтому мы его не придерживаемся, – признает Бирюков. – Фактически ожидания бизнеса от ИТ всегда выше, чем любой SLA. И даже выше, чем ИТ в принципе могут обеспечить». Приходится отталкиваться не столько от формальных показателей, сколько от обратной связи пользователей. Если по совокупности своих оценок ИТ-департамент видит необходимость инициировать проект, чтобы решить проблему, то идет с предложением к руководству.

«Никакого секрета нет: надо измерять эффект от каждого нововведения, повышающего отказоустойчивость или сокращающего время восстановления какой-либо услуги», – говорит Бирюков. Предполагаемые эффекты измеряются в сравнении со статистикой по трем основным показателям: количество отказов в год, время восстановления услуги в случае аварии и влияние отказа на пользователей. Третий показатель имеет коэффициенты для критичных бизнес-процессов.

На другой чаше весов лежат затраты. Окончательное решение о целесообразности инвестиции принимается совместно с заказчиком, на базе полноценного бизнес-кейса с описанием рисков, влияния и стоимости.

Во многих компаниях диалог с бизнесом строится на запугивании, иначе руководство не желает вкладывать хоть какие-то средства ни в безопасность, ни в непрерывность. «Единственный способ уйти от такого запугивания – это продумывать и продавать каждый проект не только как обязательную страховку на случай беды, но и как нововведение, несущее дополнительные плюсы для бизнеса», – предлагает Бирюков.

В каждом решении должны быть созданы, продуманы и просчитаны те преимущества, которые получит бизнес. Например, при закупке резервного сервера или канала данных надо сделать так, чтобы они использовались в штатной работе, приводили к ускорению работы пользователей. В нештатной же ситуации – в случае отказа основного сервера – новый поможет предотвратить инцидент.

Не быть якорем

Большие надежды с точки зрения как непрерывности бизнеса, так и его общей гибкости возлагаются на технологию виртуальных рабочих мест (Virtual Desktop Infrastructure, VDI), которая будет применяться во всех новых дилерских центрах, а затем и в масштабах всей компании. Сейчас такое решение прорабатывается совместно с IBS Platformix.

«Непозволительно много ресурсов тратится на поддержку парка компьютеров с уникальными конфигурациями. После внедрения VDI все пользователи перейдут на работу с тонкими клиентами, то есть со стандартным оборудованием», – делится Бирюков. Это обеспечит мобильность сотрудников в пределах дилерского центра, а в случае поломки оборудования позволит сократить время восстановления рабочего места до минимума – достаточно будет просто получить у администратора новый тонкий клиент. Не менее важно обеспечить сохранность пользовательских данных, а также выявлять утечки конфиденциальной и коммерческой информации.

Наконец, люди все меньше привязаны к своему рабочему месту. В идеале все сотрудники должны работать на планшетах, обеспечивая опрятность демонстрационных залов, чему уделяют все большее внимание автопроизводители. VDI – прямой путь к полной корпоративной мобильности.

Компания планирует экспансию, и ИТ-департамент хочет к моменту появления официальных планов по развитию уже иметь на столе согласованное решение по VDI, которое радикально ускорит развертывание ИТ в новых офисах. Бизнес очень динамичен: мелкие дилеры быстро выставляются на торги и очень быстро покупаются. Чем быстрее удастся развернуть у них свою инфраструктуру и начать получать прибыль, тем лучше. И ни в коем случае ИТ не должны в этом процессе быть сдерживающим фактором.