Open Source

Официально озвученной политике импортозамещения исполнилось три года, но радикальных изменений в сфере ИТ-закупок до сих пор не наблюдается. Госструктуры продолжают закупать иностранное ПО и тратить огромные деньги на его поддержку. Они жалуются на отсутствие полноценных российских аналогов для многих ключевых систем и на дефицит специалистов по ним. Да и сама миграция зачастую становится не только рискованным, но и дорогостоящим проектом. Тем не менее, как показали выступления на круглом столе по импортозамещению, организованном в рамках конференции PgConf.Russia 2017, ряд проблем невозможно решить без государственного участия, а действия правительства в этом направлении нельзя признать идеальными.

Нужна экосистема

Руководитель блока ИТ «Интер РАО» Дмитрий Алтухов: «Большинство компаний, решившихся уйти от решений Microsoft, хотели бы видеть продукт, столь же быстрый в развертывании, а не группу разработчиков, которые несколько месяцев будут что-то “допиливать”. За это многие из заказчиков готовы платить деньги, сравнимые с бюджетом на развертывание и поддержку западных продуктов»

«Сокращать присутствие проприетарных американских технологий мы начали, когда понятия “импортозамещение” вообще не было. События последних лет лишь ускорили наше движение», – рассказывает Дмитрий Алтухов, руководитель блока ИТ «Интер РАО». Еще в 2015 году система Service Desk BMC Remedy была заменена отечественным решением Naumen на базе ОС Linux и СУБД Postgres Pro. В дальнейшем переход на Postgres Pro стал одним из приоритетных направлений работы. Так, в крупный проект вылилась замена СУБД в корпоративной системе документооборота.

Сейчас, по словам Алтухова, идет модернизация производственных систем в энергосбытовых компаниях. В «Мосэнергосбыте» технологической платформой биллинговой системы до сих пор остается Oracle, однако активно продолжается разработка следующей версии, в которой полностью отсутствуют проприетарные компоненты.

«Безусловно, есть некоторое технологическое отставание открытых решений, особенно СУБД, от двух мировых лидеров – Microsoft и Oracle, однако для большинства традиционных задач, связанных с использованием реляционных СУБД, Postgres является достаточно зрелым продуктом», – констатирует Алтухов. Однако гораздо больше вопросов вызывает развитие партнерской экосистемы. Одна из главных проблем российского сообщества Open Source – отсутствие сильных лидеров в корпоративном сегменте.

Основной риск, с которым сталкивается компания, затевающая проект открытого ПО, – исчезновение поставщика платформы. Этот риск пропадает только тогда, когда появляется развитая экосистема партнеров. По мнению Алтухова, могут быть полезны специализированные ответвления (форки), потому что не все возможности в стандартных платформах востребованы, а всякий дополнительный функционал утяжеляет продукт. Нужна гарантия доступности исходного кода каждого форка – как минимум это даст возможность даже в случае ухода разработчика с рынка поддерживать систему совместно с кем-либо из партнеров.

Декларации без политики

«У нас есть государственная декларация об импортозамещении, а соответствующей государственной политики фактически нет», – сетует Алтухов. Так называемый реестр российского ПО не структурирован и является лишь списком, а большая часть промышленных продуктов, включенных в него по формальным признакам, базируется на платформе Windows и использует СУБД Microsoft SQL Server или Oracle. Еще одна проблема, связанная с реестром, – неоправданная конкуренция между продуктами.

«Незачем иметь в реестре 23 разных “Линукса”, все они низкого качества, ни один не является коробочным продуктом, ни один не имеет функционала, аналогичного Active Directory и Exchange – ключевым элементам корпоративной инфраструктуры», – считает Алтухов. Практически все разработчики Linux только и делают, что конкурируют между собой, вместо того чтобы озаботиться созданием продукта, хотя бы приближающегося к мировому классу. Ясно, что наличие множества версий одной и той же платформы неудобно не только заказчикам, но и всем остальным разработчикам ПО, вынужденным поддерживать множество операционных систем. Поэтому как начальный список реестр, возможно, имеет смысл, но принципиально важны дальнейшая селекция и выделение «национальных чемпионов», которые, будучи поддержаны государством и крупным бизнесом, создадут вокруг себя экосистему.

Импортозамещение фактически является вытеснением с рынка продукции двух монополистов. Однако в рамках свободной конкуренции этого сделать не получится. Единственный способ – выстраивание национального инфраструктурного ландшафта по классификации: операционные системы (серверная, клиентская, мобильная), СУБД (реляционная, постреляционная), система корпоративного каталога и управления доступом, системы мониторинга и резервного копирования и т. д. По всему этому стеку требуется определить нескольких кандидатов в национальные чемпионы, причем делать это должны не только поставщики решений, но и ИТ-директора крупнейших заказчиков, а также профессиональное сообщество разработчиков. Именно при таком подходе могут появиться продукты, напоминающие коробочные решения, с помощью которых заказчик резко сокращает свои риски.

«Большинство компаний, решившихся уйти от решений Microsoft, хотели бы видеть продукт, столь же быстрый в развертывании, а не группу разработчиков, которые несколько месяцев будут что-то “допиливать”. За это многие из заказчиков готовы платить деньги, сравнимые с бюджетом на развертывание и поддержку западных продуктов», – уверен Алтухов.

Без выбора национальных чемпионов, без создания монополий и дуополий ситуация не выправится. Следующим шагом правительства должна стать вторая версия реестра, в которую попадут реально независимые от западных платформ продукты.

ИТ-директор как PR-агент

Холдинг «Вертолеты России» начал активные действия по импортозамещению и сокращению затрат на содержание ИТ полтора года назад. Первыми шагами стали замена операционной системы и постепенный переход на Astra Linux – именно эта версия хорошо зарекомендовала себя в военных организациях. Пошли по пути создания альтернативного контура, который, как предполагалось, шаг за шагом будет вытеснять все наработки, сделанные с 1990 годов.

ИТ-директор холдинга «Вертолеты России» Михаил Носов: «Я сам работаю как PR-агент. В моем кабинете обустроено рабочее место на базе открытого ПО, я могу любому желающему показать работу решений. Это у многих людей, в том числе из бизнеса, вызывает интерес»

«Начали именно с операционной системы, потому что понимали: это потянет за собой изменение подходов к приобретению и установке различных решений, в том числе бизнес-приложений. Год с лишним мы идем по этому пути, уже набили много шишек», – говорит Михаил Носов, ИТ-директор «Вертолетов России».

В управляющей организации холдинга год назад стартовал крупный проект по развертыванию системы оперативного управления производством и мониторинга. В результате удалось построить полностью импортонезависимое решение на базе Astra Linux, Postgres Pro и «1С:ERP». Пока еще не полностью проведено нагрузочное тестирование и остаются вопросы, но система живет в промышленной эксплуатации. При тиражировании системы на заводах такая же конфигурация будет реализована и там.

«Мы демонстрируем руководству, какие сэкономлены средства, речь идет о сотнях миллионов рублей, эти деньги пошли бы на поддержку западных систем. Это здорово, но огорчает то, какие именно решения приобретаются взамен», – делится Носов. В стране есть несколько компаний, которые делают на базе Linux свои собственные разработки и выдают их за российские операционные системы. И, по словам Носова, конкуренция между ними похожа на соревнование паралимпийцев. До сих пор компании, развивающие альтернативные решения, так и не консолидировались. Убедить в эффективности российских аналогов пользователей, привыкших за 20 лет к удобству решений Microsoft, непросто.

«Я сам работаю как PR-агент. В моем кабинете обустроено рабочее место на базе открытого ПО, я могу любому желающему показать работу решений. Это у многих людей, в том числе из бизнеса, вызывает интерес», – говорит Носов. Многие понимают, что в случае форс-мажора именно эти альтернативные решения позволят бизнесу работать, пусть и в весьма аскетичном формате. Но, выйдя на заводские площадки, слышишь вполне закономерный аргумент местных коллег: «Мы не занимаемся изыскательством, мы работаем. Нельзя, чтобы SLA по поддержке производства был нарушен».

Самое печальное, что многие действительно критичные для предприятий функции (например, кластеризация) в доступных дистрибутивах Linux почему-то не реализованы. Российские заказчики так и не смогли дожать своих энтузиастов, создающих клоны Linux с полутора-двухгодичным отставанием от мирового сообщества.

«Когда мы объявили о реализации проекта, к нам пришел один из разработчиков Linux и предложил систему виртуализации на базе переписанной KVM, стоящую серьезных денег. Это сильно рушит экономику проекта: мы от одного коммерческого продукта уходим к другому – неисследованному, с проблемами по качеству и надежности», – сетует Носов.

Самая большая часть ИТ-затрат любого промышленного предприятия приходится на все, что связано с системами CAD/CAM/CAE на базе Dassault Systemes или Siemens, альтернатив которым нет. Попытки предложить российскому офису Siemens какие-то варианты сотрудничества, чтобы добиться безболезненного функционирования хотя бы баз данных, не находят поддержки, поскольку отношения с Oracle слишком сильны.

«Выглядит странно: с одной стороны, подняли флаг импортозамещения, с другой – вновь подписываем контракт с Siemens и продолжаем платить им серьезные деньги», – признает Носов. Более того, если стоимость контракта сравнить с результатами экономии по программам импортозамещения за прошлый год, то сразу видно, что это величины разного порядка.

С 1 января 2017 года «Вертолеты России» перешли на незаслуженно забытый российский стандарт хранения и обмена документами ODF. Заводы отчитались о внедрении и «положили его на полку», продолжая обмен файлами в формате Microsoft Office. Совершенно ясно, что проблема глубже: получая приглашения на мероприятия по импортозамещению с участием Минобороны и Минкомсвязи, до сих пор приходится иметь дело с требованием прислать материалы в форматах .docx и .pptx.

Заняться СУБД-строением

«Хорошо, что государственные органы все больше ориентируются на открытые технологии, и вдвойне хорошо, что такое происходит не только в России», – уверен Илья Космодемьянский, генеральный директор PostgreSQL-Consulting. Развитие Linux привело к тому, что рынок операционных систем перестал быть прежним: дорогие системы ушли в небытие, а оставшиеся коммерческие системы существенно подешевели, в чем-то стали лучше. Но самое главное, производители уже не могут «подсаживать» государство на свои продукты, у них другие цели и задачи.

Генеральный директор Postgres Professional Олег Бартунов: «Нам нужно воссоздать отрасль СУБД-строения. Произошло следующее: студентов учат лишь использованию платформ, из вузов выходят обычные системные администраторы, и их уровень крайне низок» Фото: YouTube

Работая с PostgreSQL и ее производными, компании ведут рынок СУБД к той же самой ситуации. Конкуренция со стороны открытых решений заставляет руководство Oracle задуматься о ценовой политике, а Microsoft и вовсе сделала ответвление своей СУБД, поддерживающее Linux.

«Поддерживая открытое ПО, государство вкладывается в свою базу. Талантливые люди у нас есть, надо дать им работу – эти инвестиции в будущее сложно переоценить», – уверен Космодемьянский.

«Нам нужно воссоздать отрасль СУБД-строения, – подчеркивает Олег Бартунов, генеральный директор Postgres Professional. – Изучив около сотни программ наших учебных заведений, готовящих специалистов по базам данных, могу сказать: студентов учат лишь использованию платформ, из вуза выходят обычные системные администраторы, и их уровень крайне низок».

Конечно, речь главным образом идет о решених Oracle и Microsoft, которые десятилетиями насаждали свои продукты в университетах. Эти вендоры инвестировали в свое продвижение много средств: бесплатно раздавали лицензии, создавали учебные центры, поддерживали преподавателей.

Всеми этими способами сейчас должны, не стесняясь, пользоваться и российские компании, на волне спроса создавать свои курсы и учебные материалы. Тогда лет через пять в России начнут появляться первые специалисты по отечественным и открытым платформам.

Тема рисков, связанных с возможностью так называемого форкинга (forking) – возникновения ответвлений в открытых программных продуктах (см. «Так ли уж страшно ответвление в ПО с открытым кодом», «Директор информационной службы», №10, 2016), нашла довольно большой отклик в российском сообществе Open Source, причем многие эксперты уверены: ответвление вовсе не зло, да и рисков в нем отнюдь не больше, чем в проприетарных системах.

Ответвление – не трагедия

Илья Вислоцкий, директор центра архитектуры клиентских решений Stack Group: «Вероятность резких поворотов в судьбе проекта является одним из главных вопросов, которые задают себе ИТ-директора, когда продумывают возможность использования открытого ПО. Оценивая риски и совокупную стоимость владения, они все-таки перестраховываются и чаще выбирают коммерческие решения»

«Вероятность резких поворотов в судьбе проекта является одним из главных вопросов, которые задают себе ИТ-директора, когда продумывают возможность использования открытого ПО в бизнес-процессах компании. Безусловно, вопрос этот требует внимания», – признает Илья Вислоцкий, директор центра архитектуры клиентских решений Stack Group. При использовании открытых решений, помимо вопросов их надежности, существуют и риски их некачественной поддержки. Поэтому многие компании возлагают поддержку таких систем на свой ИТ-отдел, и если специалисты окажутся не готовы к неожиданным ответвлениям, то организация рискует остаться с устаревающей версией последнего релиза и без дальнейшей поддержки и развития. В конечном итоге это приведет к сложному и дорогому процессу миграции. Как полагает Вислоцкий, именно поэтому, оценивая риски и совокупную стоимость владения открытым ПО, ИТ-директора все-таки страхуются и чаще выбирают проприетарное ПО.

«Информацию о возможном ветвлении открытых продуктов нужно иметь в виду, когда принимается решение об их использовании в своих будущих проектах. Ситуация может измениться как в благоприятную, так и в неблагоприятную сторону – например, команда ответвления начнет работать более эффективно», – отмечает Дмитрий Метлин, ИТ-директор Mango Telecom, ориентирующейся на открытые продукты. Если платформа была выбрана изначально правильно (наиболее стабильная версия, широкое сообщество и т. п.), то бояться точно не стоит.

Павел Рыцев, ИТ-директор ALP Group: «Разумнее всего относиться к ветвлению не как к трагедии, а как к отличной возможности выбрать наиболее здоровую ветвь продукта, которая поможет компании развиваться максимально динамично»

«Считается, что сама природа открытого ПО делает его нестабильным и не очень надежным. Но в разработке ядра систем, основных библиотек, а также в создании веб-серверов и серверов баз данных на их основе участвуют десятки, сотни и даже тысячи разных компаний. Это автоматически делает проекты крайне живучими! И возможность “форкнуть” их стоит воспринимать как большое преимущество, а не как недостаток», – уверен Павел Рыцев, ИТ-директор ALP Group. По его словам, нужно предвидеть такой сценарий и преодолеть негативное отношение к нему.

Допустим, проект расслоился на несколько частей и появилось сразу несколько ветвей. Разумнее всего воспринимать такое положение вещей не как трагедию, а как отличную возможность выбрать наиболее здоровую ветвь продукта, которая поможет компании развиваться максимально динамично. Ведь практически безболезненно переключиться с одного варианта продукта на другой удается как раз при разделении его на ответвления.

То, что «форков» может быть несколько и развитием даже самого узкоспециализированного из них кто-нибудь непременно занимается (три человека или сто тысяч), дает возможность легко оценить правильность выбранной версии. Если ее развитие не совпало с ожиданиями, компания просто переходит на другой «форк», который намного лучше отвечает целям и планам. Это особенно важно, когда продукт находится на начальном этапе развития. В такой момент различия в версиях невелики и возможность гладкой и безболезненной миграции очень вероятна.

«Это отличает работу с Open Source от привычной практики применения проприетарных разработок. Устаревшие практики надо менять, а не пытаться под них подстроиться», – подчеркивает Рыцев.

«Ответвления в открытом ПО – это обычный процесс, они возникают весьма регулярно и несут положительный эффект, так как открывается возможность посмотреть на проблему с другой стороны, обкатать новые идеи», – говорит Павел Романченко, начальник отдела разработки компании «Инфосистемы Джет». Если бизнес зависит от какого-то конкретного ПО, то нужно опасаться не ответвлений, а снижения активности в разработке. Соседний проект можно не принимать во внимание до тех пор, пока устраивают и темп развития, и перспективы.

Сама же возможность возникновения ответвлений является большим плюсом при выборе открытого ПО, поскольку позволяет сохранить инвестиции. При угасании проекта можно либо самостоятельно развивать продукт, либо переключиться на один из «форков», которые возникают как ответ сообщества на низкую активность в проекте.

Семь раз отмерь

Неопределенность дальнейшей судьбы проекта, на который сделала ставку компания, – это в любом случае повод нервничать. Как ИТ-директору следует воспринимать эту ситуацию?

Дмитрий Метлин, ИТ-директор Mango Telecom: «Если есть моменты, которые заставляют нервничать, значит, ставка на данную платформу была изначально плохо продумана»

«Если есть моменты, которые заставляют нервничать, то это значит, что ставка на данную платформу была изначально плохо продумана. Нужно делать выводы на будущее, обращать внимание на проверенные, стабильные проекты с широким сообществом. Впрочем, вышесказанное в равной степени относится и к выбору проприетарного решения», – считает Метлин. Он рекомендует консервативный подход: не использовать самые последние версии систем на важных участках инфраструктуры или процессов, использовать продукты с понятным вектором развития и политикой изменений. Хорошо, если нововведения в платформе с каждой новой версией направлены на цели бизнеса (доступность сервиса, производительность, простота использования).

«Если с ситуацией, вызвавшей проблемы, ИТ-директор столкнулся “внезапно”, следует пересмотреть критерии выбора открытого ПО. К подобному развитию событий нужно быть готовым еще на этапе выбора открытого проекта и определить возможности “отступления”», – рекомендует Вислоцкий.

Как отмечает Романченко, ответвления обычно возникают как реакция на нетехнические разногласия. Например, после того как компания Oracle купила Sun Microsystems, несколько открытых проектов отделились под новыми названиями: MariaDB, LibreOffice, Jenkins. В этом случае «форк», то есть новый проект, сохраняет свою открытость и у пользователей появляется возможность выбора: сообщество или корпорация.

Есть и примеры, когда новый проект развивался гораздо быстрее, чем его предшественник (например, LibreOffice), и случаи, когда оба проекта развиваются одинаково успешно (например, MySQL и MariaDB). Так или иначе, с выбором всегда можно подождать, поскольку обычно оба проекта сохраняют совместимость друг с другом достаточно долгое время. Главное – определить для себя, что важнее: технические детали (развивается ли проект в нужном направлении), поддержка сообщества или корпорации, тонкости лицензирования и т. д.

Правильная сторона

Необходимые действия по минимизации рисков просты: две-три хорошо протестированные альтернативы основному продукту. Если продуктов несколько, по две-три альтернативы должны быть у каждого. Однако при появлении ответвлений можно постараться остаться на «правильной стороне баррикад».

Поможет в этом тщательная оценка сообщества разработчиков или компании, занятой развитием продукта. По словам Рыцева, «маячки», помогающие оценить сообщество, – это общее количество участников, отсутствие непреодолимых конфликтов и расколов внутри, количество спонсоров, заинтересованных в развитии данного продукта. Богатую пищу для размышления дает просмотр описания ИТ-инфраструктур больших компаний (например, Google, Yahoo) – того, какое ПО и как именно используют эти лидеры.

«Конечно, не следует ставить знак равенства между ИТ-инфраструктурами этих гигантов и “обычных” компаний, даже весьма крупных. Но важно оценивать заинтересованность солидных организаций в выбранной платформе, такой тест повысит безопасность работы с ней», – рекомендует Рыцев.

Оценка производительности и функционала продуктов также обязательна, потому что постоянно появляются новые претенденты на лидерство. По своим возможностям они могут существенно отличаться от лидеров – в любую сторону. И здесь крайне важно видеть всю картину.

«Все мои рекомендации – не умозрительные. Это выжимка из почти семилетнего опыта использования СПО как первостепенной технической основы, на которую опирается растущий бизнес нашей компании», – подчеркивает Рыцев. Ответвления – это всегда преимущество и серьезная возможность для развития своего продукта, если у команды есть сильные компетенции.

Если подойти к подготовке правильно, можно не просто «минимизировать вред», но и получить очень большие преимущества. Сказанное в полной мере относится к «форкам». Ведь модульный подход, типичный для СПО, стимулирует создание информационных систем со слабосвязанной архитектурой. Значит, в будущем компания получит простое обновление, больший, чем у проприетарных решений, жизненный цикл информационной системы, потому что ее можно легко менять и модернизировать по частям, по мере роста бизнеса. Это позволяет оперативно вносить необходимые изменения. Быстрые изменения в проприетарном продукте – дело намного более тяжелое, а в случае крупных разработчиков – совершенно нереальное. И сегодня таким системам нужна глобальная революция.

Поговорите с любым проповедником идей Open Source, и он наверняка скажет вам, что никакого другого пути просто не существует. Достоинств у программного обеспечения с открытым кодом много, они весьма разнообразны и на сегодняшний день хорошо известны. Использовать такие программные продукты можно бесплатно. Есть возможность самостоятельно адаптировать их к своим нуждам. Поскольку за исходным кодом следит множество людей, прорехи в системе безопасности ликвидируются очень быстро. Устранить ошибку может любой желающий, и в этом смысле от поставщика пользователи не зависят. Закрытые стандарты не ограничивают вашу свободу. И наконец, вы не останетесь без поддержки, если производитель свернет свой бизнес или просто решит, что продукт не приносит ему больше желаемой прибыли.

Однако апологеты программных средств с открытым кодом, скорее всего, не скажут вам, что, несмотря на несомненные и реальные их преимущества, есть ситуации, когда проприетарное программное обеспечение с закрытым кодом окажется для бизнеса более эффективным вариантом.

В каких же случаях имеет смысл отдать предпочтение проприетарным средствам?

Когда неискушенным пользователям справиться с ними легче

Операционная система Linux оказала огромное влияние на рынок серверов, а вот про настольные ПК этого сказать нельзя. И на то есть свои причины. Несмотря на заметный прогресс, достигнутый за последние несколько лет, взаимодействовать с Linux непосвященным по-прежнему сложно, а пользовательский интерфейс различных дистрибутивов в сравнении с интерфейсом Windows или Mac OS X явно проигрывает.

Несмотря на то что в техническом плане Linux, возможно, и превосходит проприетарные операционные системы, большинство пользователей считают эту ОС слишком сложной и не проявляют к ней особого интереса. А снижение производительности труда обойдется предприятию значительно дороже, чем покупка проприетарной операционной системы, с которой персонал хорошо знаком.

Когда они становятся стандартом де-факто

Большинство специалистов, работающих с компьютерами, хорошо знакомы с приложениями Microsoft Word и Excel и активно используют их в своей деятельности. Да, у этих программ есть прекрасные альтернативы (например, LibreOffice и Open Office), но альтернативные варианты отличаются от продуктов Microsoft с точки зрения функционала, пользовательского интерфейса, производительности, плагинов и API, что затрудняет их интеграцию с приложениями независимых разработчиков. В 90% случаев все выглядит абсолютно одинаково, но есть риск того, что существующие различия приведут к каким-либо нестыковкам, особенно при обмене документами с поставщиками или клиентами.

Проприетарные программные средства имеет смысл использовать также при подготовке специалистов. Их поставщики давно пришли в вузы, и теперь студенты обучаются на примере их программного обеспечения. «Их продукты не обязательно являются лучшими, но они были выбраны учебными заведениями еще до того, как вокруг программного обеспечения с открытым кодом сформировалось достаточно большое сообщество, – пояснил участник Apache Software Foundation и старший научный сотрудник Лаборатории реактивного движения НАСА Крис Мэттмен. – В процессе обучения студенты лучше узнают программное обеспечение, предлагаемое такими поставщиками, что позволяет им эффективнее работать с ним. И когда они попадают в бизнес-среду, то вполне естественно стремятся продолжать использовать программные средства, к которым уже привыкли».

Когда проприетарное программное обеспечение лучше поддерживается

Поддержка бизнес-класса иногда распространяется и на программное обеспечение с открытым кодом. Она может исходить от компании, возглавляющей проект, или от независимой организации. Однако встречается не так часто, как хотелось бы.

«Некоторые клиенты предпочитают обращаться за поддержкой к внешнему поставщику услуг и готовы платить за оперативное удовлетворение своих запросов, – указал профессор Университета Карнеги – Меллона Тони Вассерман. – Зачастую представители сообщества очень быстро отвечают на вопросы, опубликованные на форумах, посвященных популярным проектам с открытым кодом, но не надо путать это с гарантированной поддержкой поставщика по телефонному звонку на бесплатную линию».

Когда программное обеспечение предоставляется как сервис

Облачное программное обеспечение несколько отличается от обычного. Как правило, вы не имеете доступа к исходному коду, даже если компоненты, размещенные в облаке, полностью построены на основе платформы с открытым кодом. При этом, строго говоря, программное обеспечение не является проприетарным, но вы не получаете и всех преимуществ открытого исходного кода. Тем не менее достоинства сервисной модели, предполагающей оплату лишь фактически используемых ресурсов, могут перевешивать недостатки, связанные с отсутствием доступа к исходному коду.

Когда проприетарный продукт лучше работает на вашем оборудовании

Многие виды проприетарного оборудования требуют специальных драйверов, которые чаще всего поставляются с закрытым кодом и работают только на аппаратных средствах производителя. Даже если драйвер с открытым кодом существует, он может оказаться не лучшим вариантом. «Разработчики программного обеспечения с открытым кодом могут не знать всех нюансов оборудования, поэтому проприетарный драйвер зачастую работает лучше», – пояснил Мэттмен.

Когда важны гарантии и ответственность поставщика

Некоторые компании, выпускающие программные продукты с открытым кодом (например, Red Hat), работают так же, как и поставщики проприетарного программного обеспечения. Они предлагают на свои продукты ту же ограниченную гарантию, что и производители проприетарных программных средств. «Эти компании действуют точно так же, как и поставщики проприетарных средств, ну разве что реже приглашают вас поиграть в гольф», – заметил Вассерман.

Между тем в мире существует гораздо больше проектов с открытым кодом, которые не поддерживаются коммерческими организациями. Стало быть, вы не получаете и гарантий. И если это не соответствует политике закупок программного обеспечения, которой придерживается ваша организация, вам придется поискать проприетарного поставщика.

Когда нужен надежный поставщик, который в обозримой перспективе вас наверняка не бросит

Да, производитель коммерческого программного обеспечения вряд ли будет продолжать развивать и поддерживать свой продукт, если спрос упадет и продукт перестанет быть прибыльным. Компания может даже полностью свернуть бизнес. Но небольшой проект с открытым кодом тем более подвержен опасности того, что стоящие за ним люди утратят к нему интерес. И если такое произойдет, то найти другого разработчика программного обеспечения с открытым кодом, который возьмет на себя эту миссию, будет непросто. (Это скорее аргумент против небольших проектов с открытым кодом, чем в защиту проприетарного программного обеспечения, но вы по крайней мере можете следить за финансовыми показателями крупных производителей программных средств и, анализируя их, принимать обоснованные решения.)

- Paul Rubens. 7 Reasons Not to Use Open Source Software. CIO Magazine.

В последнее время получает распространение идея «свертывания» ИТ-архитектур, то есть максимального упрощения, когда все бизнес-системы работают на единой базе данных. В банке «Тинькофф Кредитные Системы» первый шаг на этом пути сделали — «озеро данных» Hadoop стало единой базой для аналитических систем.

«К озеру данных мы шли довольно долго, в самом начале даже не зная, чем именно и для каких целей мы его наполняем», — рассказывает Сергей Сотниченко, руководитель управления хранилищ данных и отчетности банка «Тинькофф Кредитные Системы».

В 2008 году, когда ТКС еще только начал свою работу, перед ИТ-департаментом была поставлена классическая задача формирования аналитики. Требовалось поместить все существующие в бизнес-системах данные в единое хранилище, построить на его базе управленческую отчетность, а также витрины данных для биллинговых и скоринговых систем. Эти данные планировалось использовать для построения рисковых и маркетинговых моделей. Для решения подобных задач стандартным в большинстве банков является традиционное хранилище данных.

«С первоначальной задачей мы справились — созданное хранилище успешно используется. С его помощью мы получили возможность смотреть на клиента, на его поведение внутри нашего бизнеса: какие счета открывает, как ведет себя при просрочках и т. п. Это замечательно, но дает видение клиента лишь с одной стороны — не более чем на 180 градусов», — говорит Сотниченко. Как только клиент покидает виртуальные границы банка, про него ничего не известно. Банк не способен понять его мотивацию, предсказывать его действия.

Таким образом, вполне логично пойти дальше — подключить к аналитической системе внешние данные. Их сейчас очень много, и главными являются социальные сети. Что, если добавить в число источников неструктурированные данные, существующие внутри банка, — например, поведение клиента на сайте или логи приложений? Дав возможность анализировать все это, компания приходит к концепции «озера данных».

В этом случае к традиционному взгляду на клиента добавится то, что о нем удается узнать помимо бизнес-аспектов. Становится ясно, что он делает «снаружи»: какие сайты посещает и как ведет себя на них, какие у него есть друзья, в том числе среди клиентов банка, какие предложения его больше интересуют, какие действия он совершает в мобильном приложении.

«При использовании внешних источников данных охват клиента становится близким к полному. Ему можно делать более адекватные маркетинговые предложения, эффективнее удерживать», — уверен Сотниченко.

Стоимость имеет значение

Что такое «озеро данных» и почему оно позволяет решить поставленные аналитические задачи?

«Идея очень простая: мы все данные грузим в кластер на платформе Hadoop, и все приложения используют эти данные, — объясняет Сотниченко. — Можно использовать и другие платформы, но Hadoop, на наш взгляд, имеет много плюсов, в том числе экономических».

Список преимуществ этой платформы действительно обширен. Во-первых, она поддерживает любые данные: и реляционные, и неструктурированные, и полуструктурированные. Причем в любых форматах — от текста до XML. Во-вторых, это мощный интеграционный инструмент. В-третьих, это открытое решение, что тоже важно: оно обходится на порядок дешевле коммерческих баз данных. Используя его, компания тратится только на приобретение оборудования и наем администраторов поддержки.

Что еще немаловажно, Hadoop реально, а не на словах поддерживается сообществом разработчиков — любую возникшую проблему можно довольно оперативно решить.

«Как ни странно, в проприетарных системах это может стать непростой задачей — у нас есть опыт, когда бизнес-критичная проблема в коммерческом аналитическом решении “живет” уже три года, и мы ничего не можем с ней сделать, несмотря на обращение к руководству вендора. Надеемся, что open source позволит избежать таких ситуаций», — говорит Сотниченко.

Наконец, Hadoop — это не база данных или файловая система, а полноценная аналитическая платформа с несколькими языками программирования и огромными библиотеками к ним. На ее базе возможно реализовать любую задачу. Например, внутри Hadoop можно написать приложение, которое будет, не извлекая данные наружу, проводить расчеты. Эта возможность крайне привлекательна, потому что, когда речь идет об объемах в терабайты и петабайты, выгружать данные нерационально, их проще обрабатывать внутри. Компания, умеющая это делать, получает огромное преимущество.

Не превратить озеро в болото

«Мы не просто храним сырые, необработанные данные, но и строим на их основе модели данных, позволяющие трактовать их как информацию — сведения, содержащие не только данные, но и связи между ними. Приложения используют данные через специально созданные витрины, и это очень важно для обеспечения реальной востребованности данных в бизнес-аналитике», — подчеркивает Сотниченко. Если данные просто загрузить в Hadoop, они будут бесполезны. Надо, чтобы люди внутри компании, отвечающие за конкретные бизнес-направления, пользовались ими.

«Мы храним не просто сырые, необработанные данные, но и строим на их основе модели, позволяющие трактовать их как информацию. Это очень важно для обеспечения реальной востребованности данных в бизнес-аналитике», Сергей Сотниченко, руководитель управления хранилищ данных и отчетности банка «Тинькофф Кредитные Системы»

«Без модели данных любое озеро мгновенно превращается в болото, мы это прошли на практике», — признается Сотниченко. В хранилище длительное время копилось много данных, которыми никто не пользовался исключительно из-за того, что бизнес-пользователи не понимали, что там лежит. Смысл собираемых данных понимали единицы — те, кто непосредственно занимался их загрузкой, то есть ИТ-специалисты, не имеющие отношения к бизнес-подразделениям. Пользы для бизнеса от этого нет никакой. Нужно, чтобы бизнес-специалисты сами знали ценность этих данных, понимали, где именно их можно применять — например, в целях маркетинга или при создании рисковых моделей.

«Сейчас мы пытаемся активно строить модели, вычленяя из данных полезную для бизнеса составляющую», — говорит Сотниченко. Понятно, что эти модели будут отражать пользу данных не полностью, а содержать лишь часть информации — но это уже что-то, такой подход позволит аналитикам увидеть внешние данные и включить их в свои бизнес-процессы. В данных очень много информации, и выделить ее всю поначалу не получается; все остальное будет добавлено с течением времени, в рамках развития моделей. Разумеется, это накладывает на модели данных определенные требования — как минимум они должны быть гибкими.

Однако сырые данные хранить тоже важно: иногда нужен спонтанный анализ, заключающийся в поиске новых взаимосвязей. Тем не менее надо понимать, что каждый раз при анализе таких данных требуется предварительная работа по их подготовке и очистке. В целом в классических хранилищах используется точно такой же подход.

Хранилища еще пригодятся

Естественным становится вопрос о том, каково место в построенной архитектуре реализованных ранее традиционных хранилищ, базирующихся на дорогостоящих высокопроизводительных системах. «Надо ли выбросить Greenplum и оставить Hadoop? Нет, так делать не стоит. Каким бы хорошим ни был Hadoop, он имеет преимущество лишь при работе с неструктурированными данными. Классические задачи аналитики — например, построение отчетности — эффективнее решаются на четкой реляционной модели», — уверен Сотниченко. Так что поставщики хранилищ данных могут не беспокоиться — их продукты еще долго останутся востребованными.

В структуре спроектированного решения можно выделить три основные зоны: сырые данные, промежуточный слой предобработанных данных и бизнес-модель, представляющая собой объединение неструктурированных данных с банковской моделью.

«Для нас Большие Данные — это в первую очередь логи, большой поток событий как извне, так и из бизнес-приложений. Из традиционного хранилища данные также попадают в кластер Hadoop для объединения с моделью внешних данных», — делится подробностями Сотниченко.

Потоки данных внутри Hadoop напоминают потоки в классическом хранилище. Вопрос их реализации является одним из ключевых. Изначально в ТКС эту задачу пытались решать на платформе Java, однако попытки были не очень удачными — получился хаос. «Наводить порядок» пришлось с помощью решений Informatica — вся обработка и трансформация данных внутри Hadoop теперь доверены им.

«Мы верим в выбранный инструментарий — получилась очень эффективная по функционалу и стоимости платформа», — доволен Сотниченко. В подавляющем большинстве случаев расчет данных будет вестись в рамках созданной системы. Более того, на платформу Hadoop будет переводиться и часть традиционных процессов разработки.

Аналитика в той или иной степени нужна для всех банковских бизнес-приложений. Например, когда клиент обращается в контакт-центр, оператору крайне полезно знать не только его платежную дисциплину, прибыльность и т. п., но и прочую информацию о нем — чтобы выбрать подходящий стиль общения. Примерно такие же сценарии встраивания аналитических задач в бизнес-процессы можно привести и для других направлений. Задача ИТ — обеспечить бизнес необходимыми для эффективной работы данными.