18:44 07.07.2022 |
2156 просмотров
Оператор связи Tele2 завершил расширение существующего кластера хранения и обработки больших данных за счет решения RT.DataLake. Это позволило на 40% нарастить полезную емкость платформы big data Tele2 и увеличить производительность для расчетов задач машинного обучения. Благодаря этому компания сократила зависимость от иностранного ПО, получила возможность увеличивать вычислительные мощности и масштабировать текущее решение без ограничений.
Tele2 использует кластер Hadoop для хранения и аналитики данных с 2018 года. За это время в кластер интегрировано более 100 источников данных, а ежедневный объем интегрируемых данных достигает 100 Тбайт. Платформой big data ежедневно пользуются десятки бизнес- и технических команд, при этом основным внутренним клиентом является команда аналитики и монетизации данных. Нагрузка на кластер непрерывно росла, а свободное место уменьшалось. Сложные процессы интеграции данных затрудняли работу команды дата-сайентистов. В связи с этим компания решила разделить архитектуру платформы big data на сегмент обработки данных и сегмент data science.
Для расширения платформы big data Tele2 выбрала продукт RT.DataLake от «Ростелекома» на базе технологии Hadoop. Данное решение показало лучшие показатели по экономии бюджета и совокупной стоимости владения: расчет в рублях за лицензии исключает валютные и санкционные риски, а суммарная экономия за 5 лет составит более 3 млн долл.
Сборка RT.DataLake является одним из самых современных коммерческих дистрибутивов Hadoop в мире – она состоит из самых «свежих» стабильных версий фреймворков и компонент. Это позволяет решить потребности инженеров данных и дата-сайентистов Tele2, которые крайне требовательно относятся к регулярному обновлению версий компонент в кластере. Кроме того, «Ростелеком» показал готовность выполнить кастомизацию дистрибутива под нужды Tele2. Это дало возможность обеспечить необходимый набор используемых версий компонента Hadoop, реализовать добавление функционала в исходный код проекта и предоставить набор средств автоматизации развертывания и управления на базе технологии Ansible.
В решении реализовано разграничение доступа на базе технологии Ranger, внедрен протокол аутентификации Kerberos и выполнена интеграция с корпоративной службой Active Directory. Команда «Ростелекома» регулярно выпускает патчи обновления компонент и устранения угроз информационной безопасности.
Как отмечает Антон Мерзляков, директор по аналитике больших данных Tele2, после расширения платформа big data Tele2 позволяет хранить 6,6 Пбайт данных, состоит из 126 вычислительных узлов суммарной мощностью 9 тыс. ядер и 86 Тбайт оперативной памяти. Мощность расширенного кластера позволяет комфортно работать команде дата-сайентистов и решать самые высоконагруженные задачи.
Теги: Большие данные
Hadoop
Ростелеком
t2
На ту же тему:
«Айкумен ИБС»: инвестиции в стиле data-driven
Тимур Меджидов, руководитель департамента управления проектами «Айкумен ИБС», – об основанном на данных подходе к выявлению новых рынков и перспективных технологий с помощью платформы TeqViser.
Tele2/Altel: развитие сетей связи с помощью больших данных
Станислав Стрельцов, CDO Tele2/Altel, – о проекте оптимизации размещения базовых станций 5G с помощью машинного обучения и многокритериального анализа принятия решений. Проект призван снизить капитальные затраты и улучшить качество услуг, при этом помогая достижению целей устойчивого развития (SDG).
«Сбер»: персональные предложения на импортонезависимой платформе
Игорь Зарубинский, директор дивизиона развития платформы рекомендательного бизнеса и коммуникаций от потребности клиента «Сбера», и Алексей Смирнов, управляющий директор этого дивизиона, - о миграции платформы персонализации, давшей новые технологические возможности.
ВТБ и Ростелеком провели первый пилот безопасного метчинга данных
Разработчик решений на основе больших данных Platforma и ИТ-компания HFLabs протестировали технологию безопасного метчинга данных двух разных игроков – ВТБ и Ростелекома. Стороны разработали алгоритм преобразования и совмещения баз данных, который учитывает существующие требования законодательства и позволяет находить пересечения без использования персональных данных. Такая технология помогает компаниям выявлять общих клиентов и предлагать им совместные программы лояльности, новые продукты и сервисы, а также улучшать коммуникацию с пользователями.
Tele2 подвела итоги работы направления big data за 2020 год
Эффект от реализации Tele2 внешних и внутренних проектов по аналитике вырос в 1,5 раза и составил 1,5 млрд руб. При этом доход от внешней монетизации увеличился вдвое. Драйверами роста выручки стали продукты геоаналитики и проекты для финансовых организаций.
