MTS AI перенесла обучение моделей в облако

MTS AI разрабатывает продукты и решения на базе генеративного ИИ, технологии обработки естественного языка и компьютерного зрения. Среди сервисов компании – ИИ-сервис речевой аналитики WordPluse, платформа синтеза и распознавания речи на базе нейронных сетей и методов машинного обучения Audiogram, сервис генерации и автодополнения кода для оптимизации процесса разработки Kodify, а также голосовые и текстовые ассистенты для автоматизации коммуникации бизнеса с клиентами.

В основе всех сервисов компании лежат ML-модели, которые обучаются на тысячах терабайтов данных. Для ускорения процесса обучения моделей компания использует GPU. Самостоятельная закупка оборудования требует серьезных инвестиций в инфраструктуру, поэтому MTS AI приняла решение перенести процесс обучения в облако. На виртуальной инфраструктуре MWS разворачивается ML-платформа, в которой обучаются все ключевые модели компании. После завершения обучения модели продолжают инференс в облаке, что позволяет не только вывести сервис на рынок, но и поддерживать его работу.

Для решения более сложных задач MTS AI предлагает своим клиентам сервисы, в основе которых развёрнуты большие языковые модели. Среди них LLM для работы с текстами, а также поиска и анализа информации – Cotype и ее облегченная версия Cotype Nano, также on-premise сервис генерации и автодополнения кода для оптимизации процесса разработки – Kodify. Обучение LLM – более трудоемкая задача, чем работа с обычными ML-моделями. На обучение и дообучение LLM на потребительских GPU может уйти значительное время. Чтобы ускорить этот процесс, MTS AI использует мощности суперкомпьютера MWS – МТС GROM. Он позволяет компании дообучать собственные LLM в десятки раз быстрее.

Работа MTS AI с моделями в облаке делится на три этапа. На первом происходит деплой и предобучение моделей. Это позволяет подготовить модели к интенсивному обучению и сократить затраты на него. Для этого в основном используется виртуальная инфраструктура с GPU ускорителями. На втором этапе модели проходят глубокое обучение. Оно происходит на суперкомпьютере, некоторые нейросети компания дообучает на VI c GPU. После глубокого обучения модели готовы к работе в продуктах и сервисах компании. На третьем этапе модели переходят на инференс, который также происходит в облаке MWS.

Как отмечает директор по LLM-продуктам MTS AI Сергей Пономаренко, для работы с моделями ИИ требуется большое количество различного оборудования. Для более простых моделей нужны более слабые карты, для более мощных — более производительные, для обучения LLM — суперкомпьютер, для инференса может применяться ещё один вид GPU. При работе с моделями on-prem все эти мощности пришлось бы закупать самостоятельно либо работать со всеми моделями на одном виде GPU, что привело бы к значительному увеличению инвестиционных затрат и нерациональному использованию инфраструктуры. Переезд в облако позволил использовать ровно тот объем вычислительных ресурсов, который необходим и не тратить огромные суммы на закупку серверов. Лишь для того, чтобы закупить оборудование для обучения LLM, компании пришлось бы проинвестировать в инфраструктуру более 1 млрд руб. Благодаря использованию мощностей MWS удалось перераспределить инвестиции на новые проекты.