Большие языковые модели

До 2028 года «Авито» планирует вложить в технологии генеративного ИИ порядка 12 млрд руб. и получить более 21 млрд руб. выручки от их использования. Первые запуски продуктов с применением GenAI в 2024 году уже обеспечили 670 млн руб. выручки в год. На 2025 год запланировано внедрение еще 20 новых сценариев использования генеративных моделей с потенциалом более 1 млрд руб.

Как отмечает Андрей Рыбинцев, старший директор по данным и аналитике «Авито», в стратегию внедрения генеративного ИИ изначально заложен подход с положительным ROI: инвестиции должны принести прибыль. Кейс «Авито» показывает рынку, что на GenAI действительно можно зарабатывать. Вернуть вложения планировали за пять лет, но уже в первом году получилось получить выручку.

Прибыльность инвестиций обеспечивает использование больших нейросетей в области рекомендаций и монетизации. Помимо этого, создаются экспериментальные LLM-продукты, которые упростят опыт пользователей и улучшат их жизнь.

В рамках стратегии развития GenAI «Авито» представил новое семейство генеративных моделей — текстовую A-Vibe и мультимодальную А-Vision. Модели обучены на базе нейросети Qwen2.5 с 7 млрд параметров и специализированы для задач, связанных с покупкой и продажей. Глубокое обучение проходило с использованием датасета объемом более 10 Тбайт, включающего как открытые источники, так и собственные обезличенные данные «Авито».

Ключевым технологическим новшеством обеих моделей стал созданный командой «Авито» русскоязычный токенизатор, благодаря которому модель умеет понимать и обрабатывать входящий текст. В моделях с открытым кодом токенизатор настроен на англоязычный текст, он медленнее работает с русским языком. Русскоязычный токенизатор увеличил скорость генерации текста для ответа пользователю до двух раз по сравнению с другими рыночными решениями.

Нейросеть A-Vibe работает только с текстом. A-Vision, мультимодальная нейросеть, работает с изображениями и текстом, анализирует визуальные характеристики товаров, распознает текст на изображениях, определяет качество фотографий и модерирует визуальный контент.

На базе A-Vibe планируются такие полезные функции, как нейро-описания объявлений, нейро-подсказки в мессенджере, нейро-ассистент и нейро-отзывы. Поиск объявлений упростит автоматическая расстановка нейро-тегов, помогая пользователям быстрее находить и продавать нужные товары и услуги.

Для реализации всей инициативы нужны сотрудники с высокой квалификацией, поэтому компания начала системно делиться накопленными прикладными знаниями в области ИИ. В 2024 году «Авито» запустил магистратуру по Data Science в МФТИ. В сентябре 2025 года Авито запустит еще три новые программы в ВШЭ и ИТМО. В 2025 году на всех программах будут учиться 140 студентов. Из них компания полностью оплатит обучение 118 студентам.

Компания также планирует получить образовательную лицензию для запуска полноценного центра дополнительного образования, что позволит расширить масштаб подготовки кадров, и открыть курсы по направлению продуктового менеджмента и Data Science. Базой для сервиса станет уже действующая в компании Академия аналитиков, которая с 2020 года уже подготовила 153 высококвалифицированных специалиста.

За год доля проектов контакт-центра, в которых внедрен искусственный интеллект, достигла 46%, обработано 38 млрд минут речи. Скорость получения ответов клиентами контакт-центра выросла в семь раз, а рост производительности труда операторов вырос на 21%.

Решения с применением LLM внедрены с января 2024 года. Большая языковая модель и платформа ассистентов 3i GPT-A Factory дополнили ранее установленную в контакт-центре систему речевой аналитики 3i TouchPoint Analytics, что позволило анализировать естественную речь человека.

Система речевой аналитики и LLM не только помогают операторам контакт-центра эффективно обрабатывать обращения клиентов, повышая качество взаимодействия, но и отслеживают работу самих операторов. Система анализирует диалоги операторов с клиентами, изучает реакцию и удовлетворенность клиентов, а также результативность общения. Таким образом, она выявляет лучшие коммуникативные практики наиболее успешных сотрудников, чтобы затем использовать их в качестве эталона для обучения и развития всего персонала контакт-центра.

Как отмечает генеральный директор «Ростелеком Контакт-центра» Сергей Шишмарев, обслуживание клиентов вышло на новый уровень – это видно по таким показателям, как удовлетворенность клиентов, частота обращений, время обработки обращения. Повысилась точность обработки обращений, не потеряв такой важный аспект, как человечность разговора.

Одним из самых популярных направлений использования ИИ является создание и редактирование текстов. 48% генерят рабочие объявления, поздравления и стандартные рассылки. 33% опрошенных применяют ИИ для написания статей, подготовки отчетов и проверки грамматики. 27% отвечают с помощью искусственного интеллекта на письма по работе, а 21% — используют для адаптации резюме.

Еще одно направление – анализ данных. 29% участников исследования сгружают этот функционал в ChatGPT и отмечают, что тратят считанные минуты на то, что делали часами. Причем из них 17% перешли на долгосрочное планирование по итогам такого анализа.

23% используют ИИ для генерации изображений и видео, а также монтажа. Популярными стали фотосессии с помощью ИИ и создание мини-клипов – их делают 22% опрошенных. 7% опрошенных применяют алгоритмы, заданные ИИ, для решения экономических задач и консультирования клиентов.

Курсы по обучению работе с ИИ прошли 37% опрошенных. 42% собираются сделать это в ближайшее время.

Респонденты отмечают, что технология позволяет решать до 100% рутинных задач. Более 50% участников исследования отметили, что передали ИИ 40-60% функционала, который не требует излишнего человеческого контроля или эмоциональной оценки. При этом 20% опрошенных утверждают, что смогли «делегировать» выполнение только до четверти рутинных процессов, так как боятся ошибок со стороны ИИ.

Высоким качество работы с искусственным интеллектом считают 48% россиян. В числе плюсов отмечают ускорение процессов, возможность высвободить время на креатив, экспериментировать с новыми форматами и не перегружать себя.

Видят опрошенные и риски. 22% убеждены, что повальное использование ИИ приведет к сокращению количества рабочих мест, а 19% опасаются потери качества работы из-за несовершенства оценки данных. 16% уверены, что без эмоциональной составляющей большинство рабочих процессов просто неосуществимы. А 15% считают, что ИИ – путь к деградации трудовых и интеллектуальных функций человека.

При этом 46% отмечают важность использования ИИ в профессиональной деятельности именно потому, чтобы сократить рутинные процессы и остановить выгорание.

Специалисты в области LLM Security – одни из самых редких и высокооплачиваемых на рынке ИТ. В hh.ru подсчитали, что в 2024 году число вакансий разработчиков, связанных с кибербезопасностью в области ИИ, достигло 878, тогда как в 2023 их было всего 154. Спрос на функционал, связанный с работой в сфере LLM Security за год вырос почти в 5,5 раз. Примерно та же картина с вакансиями аналитиков в области безопасности ИИ: по данным hh.ru, их стало больше в 5 раз (555 в 2024 году против 107 в 2023-м). При этом, что касается разработчиков в области ИИ в целом, их востребованность даже немного снизилась: в 2024 году было открыто 483 вакансии, на 14% меньше, чем в 2023. А вот тестировщики с функционалом в области ИИ на рынке по-прежнему очень нужны: количество вакансий для них выросло почти в трое. В 2024 году самая высокая предлагаемая зарплата в вакансиях, связанных с ИИ, была на уровне 10 тыс. долл.

В Swordfish Security уверены, что потребность в продвинутых data-аналитиках с функциями LLM Security в ближайшие годы будет расти. Если говорить про сверхмассовое использование ИИ для бизнеса, очень востребованными будут разработчики, которые понимают, как поставить большую языковую модель себе на службу, при этом минимизируя потенциальные риски. Компании-новаторы в том или ином формате уже активно применяют большие языковые модели в работе, но массово вопрос кибербезопасности ИИ остро встанет чуть позже. Пока же это нечто неизведанное, интересная новая «игрушка». Но безопасность всегда следует рука об руку с разработкой, поэтому в ближайшие 2-3 года можно ожидать рост запросов на создание центров компетенций по LLM Security для коммерческих компаний.

Некоторые потенциальные риски уже очевидны. К примеру, массовое применение чат-ботов на рынке В2С зачастую приводит к репутационным потерям, ведь встроенной этики у бота нет. В числе потенциальных угроз в больших языковых моделях – инъекции вредоносного кода в промпт, уязвимости в цепочках поставок, выдача ошибочной информации за истину на этапе обучения модели и даже кража модели злоумышленниками. Для бизнеса, который не учел эти риски, отсутствие экспертизы в LLM Security может привести к серьезным потерям.

По оценкам Swordfish Security, не менее 40% крупных компаний в России так или иначе внедряют ИИ в бизнес-процессы. Большие языковые модели используют для анализа данных, предиктивной аналитики, поиска, оценки ресурса механических узлов промышленных агрегатов, написания кода для ПО. А значит, потребность в специалистах, которые сумеют обеспечить безопасность использования ИИ, будет расти.

Диалоговая система с интеллектуальным помощником и доступом к базе знаний, реализованная в «РСХБ-Лизинг», построена на решении CraftTalk при поддержке экспертов R-Style Softlab. Цифровой консультант помогает клиентам оперативно получать информацию об услугах, а компании эффективно анализировать запросы и потребности бизнеса.

Чат-бот создан на базе последних достижений в области машинного обучения, способен анализировать вопросы, обучаться, синтезировать новые ответы на основании известных ему данных. При этом программа не владеет чувствительной информацией, не дает персонифицированных ответов, но помогает построить оптимальный маршрут по решению бизнес-задач. По имеющемуся опыту, чат-боты, реализованные на платформе CraftTalk, могут ответить на 80% поступающих рутинных вопросов.

Как отмечает Роман Букреев, начальник отдела ИТ «РСХБ Лизинг», компания оптимизирует бизнес-процессы с помощью внедрения современных диалоговых интерфейсов, чат-ботов и искусственного интеллекта. Сервисы, основанные на больших данных, искусственном интеллекте и машинном обучении, позволяют эффективнее решать задачи, стоящие перед бизнесом. Диалоговые системы, позволяющие получать ответы на вопросы, заданные в свободной текстовой форме, помогают выстроить оперативную связь и продуктивную коммуникацию с клиентами.

В рамках работы с жителями на базе МФЦ области действует единый центр обслуживания заявителей. Пообщаться с сотрудниками контакт-центра по любому вопросу по оказанию государственных и муниципальных услуг граждане могут по нескольким каналам — телефону горячей линии, веб-чату на портале МФЦ, на официальной странице ВКонтакте и ТГ-канале МФЦ и по электронной почте. Для удобства граждан во всех цифровых каналах МФЦ был запущен виртуальный ассистент, который помогает операторам учреждения оперативно отвечать на наиболее часто встречающиеся вопросы жителей.

Виртуальный помощник создан на базе платформы CraftTalk, интегрирован в сервисы МФЦ и обучен на базе знаний и диалогах, которые ведутся операторами – специалистами контакт-центра. Информация по запросам населения предоставляется с ссылками на сайт госуслуг и ведомств, предоставляющих интересующий сервис. Технологии искусственного интеллекта, встроенные в рабочее место оператора, анализируют запрос по внутренней базе знаний МФЦ и формируют для операторов варианты ответов на вопрос. Такой механизм работы позволяет специалистам контакт-центра быстрее отвечать на обращения.

Согласно статистике МФЦ Нижегородской области, более 30% обращений от жителей региона поступает по цифровым каналам, и этот тренд постоянно растет. Более 60% из этих запросов касаются общей информации: графика работы, уточнения по документам, необходимых для получение той или иной услуги, и пр. Все эти запросы уже успешно обрабатывает ИИ-ассистент.

Группа машинного обучения Почты и Антиспама Mail.ru разработала и внедрила ML-модель, которая поможет пользователям быстрее и точнее найти необходимое в справочном центре, а также снизить нагрузку на службу поддержки. На этапе тестирования ИИ поток обращений в службу технической поддержки в этом канале снизился на 10% — пользователи смогли быстрее и проще найти решение своего вопроса без обращения напрямую к специалистам.

Новый поиск в разделе «Помощь» учитывает семантическую близость запросов пользователя и страниц раздела, ранее он задавался по точному совпадению ключевых слов с некоторыми весами. Внедренная языковая ML-модель поможет быстрее обработать пользовательский запрос на 9% и точнее найти подходящие статьи, которые попадут в самый верх поисковой выдачи.

Новый метод поиска основан на языковой ML-модели, которая разработана специально для службы поддержки Mail.ru, и помимо поиска используется в категоризации заявок и помогает оператору быстрее дать ответ пользователю.

Министерство финансов РФ совместно со Сбером разработало ИИ-агента в госуправлении для оптимизации бюджетного процесса. Он создан на базе большой языковой модели GigaChat. Пилотное внедрение решения запланировано уже в ближайшем бюджетном цикле.

AI-агент будет интегрирован в систему «Электронный бюджет». Искусственный интеллект поможет сформулировать качественные запросы, сверить семантику с заявленным направлением и государственной программой. ИИ-агент моментально предоставит решение и снизит количество некачественных заявок и отказов, а также позволит уменьшить нагрузку на специалистов до 70%.

Используя ИИ-агента, эксперты Минфина будут самостоятельно адаптировать решение на основе искусственного интеллекта и применять навыки работы с большими языковыми моделями при изменении структуры и статей бюджета госпрограмм. Внедрение решения позволит сократить сроки обработки запросов, особенно в пиковые периоды (в июне и сентябре), что критически важно для выполнения федеральных задач.

В рамках реализации стратегии устойчивого развития «Ингосстрах» развивает подход клиентоцентричности, внедряя омниканальность и автоматизированные коммуникации для удобства взаимодействия со своими клиентами. Важнейшим принципом в построении коммуникаций является то, что ни одно сообщение не должно остаться без ответа.

Сейчас «Ингосстрах» для ответов клиентам использует платформу «CraftTalk: All-in-one», которая позволяет комплексно решать вопрос обработки обращений в разных каналах коммуникации и управлять знаниями компании из единого источника – базы знаний. Не важно, откуда поступает сообщение от застрахованного: из чата на сайте компании, через электронную почту, в мобильном приложении, на агентском портале или в мессенджерах в соцсетях — компания в течение нескольких минут обработает запрос, предоставит ответ или свяжет со специалистом, который поможет решить возникший вопрос. При этом специалисты нескольких департаментов пользуются единой актуальной базой знаний, что упрощает процесс получения необходимой информации и улучшает коммуникации как с клиентами, так и между отделами.

«Мы постоянно находимся в поиске новых возможностей для повышения эффективности работы контакт-центра. Как только у нашего партнера CraftTalk появился функционал GPT, мы решили проанализировать возможности технологии для наших задач», — отмечает Алина Логвинова, директор по дистанционному клиентскому обслуживанию «Ингосстраха». В рамках проекта рабочая группа выделила несколько сценариев возможной работы GPT – непосредственная коммуникация по рутинным запросам с клиентом или активная помощь операторам контакт-центра. Исходя из результатов тестов, эксперты пришли к выводу, что на первом этапе оптимальным будет использование GPT как умного ассистента оператора. Это позволяет дообучить модель и исключить возможность ошибки в ответе при работе искусственного интеллекта.

Тесты проводились на базе знаний «Ингосстраха» при работе с «Личным кабинетом» (регистрация и восстановление доступа). В рамках тестов CraftTalk GPT ищет в нужных статьях базы знаний блоки, максимально коррелирующие с запросом клиента, и формулирует для оператора наиболее точный ответ. Затем оператор просматривает подготовленный проект ответа, при необходимости уточняет его и отправляет клиенту.