Распознавание речи

HiFi-стриминг Звук решил задачу по автоматическому извлечению и анализу текстов песен. Это важно как с точки зрения фильтрации контента, так и для выдачи рекомендаций пользователям. В чем уникальность проекта, как идет его реализация и каковы первые достигнутые результаты, – рассказывает Дмитрий Берестнев, Chief Data Scientist HiFi-стриминга «Звук» и номинант на премию Data Award.

– Что побудило вас к разработке решения для автоматического извлечения и анализа текстов песен?

Многие пользователи «Звука» любят подпевать любимым трекам, а кто-то даже учит с их помощью иностранные языки, поэтому тексты песен важны. Как и необходимы тексты самому музыкальному стримингу для качественной работы с аудиоконтентом.

С помощью текстов автоматизируются процессы классификации музыки по тематикам и смыслу, происходит фильтрация детского контента и поиск «взрослого» контента. Кроме того, данные, получаемые из текстов, активно используются в рекомендациях. Однако у большей части музыкальных треков нет текстов песен – по статистике, это 60-70%. Причина проста: лейблы и музыканты просто не загружают лирику в стриминги. Поэтому команда «Звука» решила разработать собственное ML-решение для автоматизации извлечения и анализа текстов.

– В чем его уникальность?

На текущий момент на рынке нет готовых открытых решений категории speech2text для распознавания текста из песен. Все, что есть, относительно неплохо работает только с обычной речью. В рамках нашего ML-пайплайна были адаптированы и модернизированы существующие open source решения для работы с музыкой.

– В чем проблемы? Каковы сложности?

Прежде всего, для полноценного ML-обучения недостаточно просто текстов песен (лирики). Требуются точные таймкоды слов – то есть нужна качественная разметка данных. Чаще всего с этим возникает проблема. Кроме того, мы столкнулись с тем, что в открытом доступе нет больших качественных наборов данных (датасетов), на основании которых можно было бы обучить ML-модель. Наконец, нет готовых ML-моделей для распознавания вокала. Причина банальна – нет запроса на такую задачу и, как следствие, низка заинтересованность сообщества, занимающегося вопросами распознавания речи.

– Какой подход вы выбрали для решения задачи?

Мы ориентировались на open source решения OpenAl (разные версии Whisper, построенные на базе архитектуры нейросетей типа Transformer) и Nvidia (NeMo на основе архитектуры Conformer). Они тестировались в рамках серии экспериментов, в которых подбирались гиперпараметры для достижения наилучшего качества транскрибации, измеренного с помощью прокси-метрики WER (Word Error Rate – процент неправильно распознанных слов) на размеченном датасете. В итоге, мы выбрали Whisper V3 c установленным набором гиперпараметров. Также дополнительно исследовалось использование предварительной обработки исходных аудиоданных через детекторы активности голоса (Voice Activity Detectors, VAD) и модели выделения голоса (DEMUGS). Это было необходимо для того, чтобы адаптированный очищенный аудиофайл подавался на вход модели транскрибации для улучшения ее качества работы. После получения результатов в виде распознанного текста тестировалось применение «опечаточников» на основании моделей (типа Т5) и регулярных выражений.

– Какие требования предъявлялись к создаваемому решению?

Нам требовался пайплайн последовательной обработки большого числа аудиофайлов (пакетный режим) с последующим сохранением во внутренние хранилища данных. При этом решение должно хорошо работать и с русским, и с английским языком.

Что касается точности модели, то целевой метрикой являлась экспертная оценка MOS (Mean Opinion Score). Качества получаемой разметки должно быть достаточно для понимания смысла песни.

Кроме того, для оценки качества работы системы мы использовали метрику WER, которая не должна была превышать 30%. Идеальным показателем в распознавании речи на русском языке считается 7,1, но это сильно зависит от датасета. В последнем соревновании по автоматическому распознаванию текста лучшие результаты WER на английском языке составляли от 11,5 до 24,3 для различных датасетов. Исходя из этого, нами был выбран порог успеха в 30%.

Целевая скорость работы модели должна составлять не более 8 секунд на трек.

– Какие данные и платформы были использованы?

Инструментами разработки выступили Python/Pytorch, Airflow, CUDA, ML-flow и Triton Inference Server.

В базе Звука более 70 млн музыкальных треков, из них около половины с вокалом. Порядка 30% уже размечены, однако каждую неделю в базу добавляются еще примерно 150 тыс. треков. Таким образом, обработке подлежат не менее 22 млн треков.

– Что собой представляет созданное решение?

Готовый пайплайн — это полноценный ML-сервис, развернутый в нашем внутреннем кластере Kubernetes. Он в режиме batch-обработки поданного на вход музыкального файла извлекает из него текст и выгружает во внутреннее хранилище данных.

– Какие результаты достигнуты и ожидаются?

На основе экспериментов с 5 тыс. песен в разных жанрах (это 2 тыс. часов песен), мы уже знаем, что лучше всего распознаются слова песен в жанрах Folk, World, Country, Non-music и Jazz. Сложнее – в Metal и Classical.

При этом достигнуты важные показатели: точность распознавания характеризуется метриками WER = 24,5, MOS = 3,665, а скорость работы составляет 3,8 секунды на трек.

– Реально ли оценить финансовый эффект от реализации проекта – например, влияние более качественных рекомендаций?

В ближайшей перспективе мы сможем проверить порядка 22 млн треков на наличие explicit-контента, что повысит разнообразие наших рекомендаций для разных категорий пользователей. Мы рассчитываем на то, что более разнообразный контент положительно скажется на росте клиентской базы и общего времени использования нашего музыкального сервиса (zvuk.com).

– Какую роль играет созданное решение для бизнеса компании?

Проект позволит решить проблему отсутствия текстов песен и их качественной разметки для последующей модерации и фильтрации контента, а это важно для рекомендаций. Кроме того, понимая текст, можно уберечь детей от «взрослого» аудиоконтента.

– В каких направлениях будет развиваться проект?

Мы планируем оптимизировать процесс в части увеличения скорости работы, а также повысить качество распознавания лирики для наиболее сложных категорий музыкального контента – например, музыки в категории Metal. Кроме того, благодаря дополнительно собранным текстам мы будем уточнять и перестраивать наши рекомендательные алгоритмы для повышения их качества. В «Звуке» более 20 различных музыкальных сервисов персональных рекомендаций. Это рекомендации плейлистов дня, новинок, артистов, бесконечные последовательные рекомендации в режиме реального времени, реагирующие на пользовательскую активность и обратную связь для выбора наиболее релевантного музыкального трека («Сила Звука»), бесконечные проигрывания по треку и артисту и многие другие. Дополнительно извлеченная лирика поможет вывести перечисленные сервисы на новый уровень.

Платформа речевой аналитики является важным инструментом контроля качества коммуникаций с клиентами. Компании ЭНКО – крупнейшему девелоперу Тюменской области – за счет внедрения платформы Voice AI в процессы взаимодействия с клиентами удалось достичь лучшего понимания их потребностей и повысить эффективность продаж. О реализации этого проекта рассказывает Максим Иванов, директор по искусственному интеллекту OOO «Сбер Бизнес Софт» и номинант на премию Data Award.

— Как компания ЭНКО пришла к необходимости реализации этого проекта?

ЭНКО не только возводит новостройки, но и занимается их дальнейшим обслуживанием. Сотрудники восьми отделов общаются по телефону с клиентами – потенциальными покупателями недвижимости и с теми, кто уже приобрел свое жилье. Они помогают выбрать квартиру, обеспечивают выполнение гарантийных обязательств, контролируют качество услуг управляющей компании и решают другие вопросы.

Чтобы понять, насколько эти коммуникации эффективны, девелопер долгое время проводил оценку звонков вручную. Однако специалисты по контролю качества успевали обработать не более 12% всех диалогов. При этом проверки обходились компании довольно дорого, а их результаты часто были субъективными.

— Какие задачи требовалось решить?

С помощью платформы речевой аналитики в ЭНКО рассчитывали решить сразу несколько бизнес-задач. Во-первых, требовалось улучшить качество коммуникаций с клиентами и жителями. Кроме того, хотели оценивать все звонки без исключения, а не 12%, при этом снизив расходы на их обработку. Наконец, было важно повысить эффективность продаж недвижимости и дополнительных сервисов.

В целом, застройщик хотел достичь главной цели – лучше понимать потребности и ожидания клиентов в настоящий момент, получая эту информацию автоматически, без дополнительных усилий.

— Какое решение было выбрано?

Один из продуктов «Сбер Бизнес Софт» – платформа речевой аналитики Voice AI. Это решение аккумулирует, обрабатывает и глубоко анализирует устные и письменные диалоги, поступившие из любых каналов, – будь то чаты, звонки или аудиобейджи. Благодаря использованию решения бизнес может качественно контролировать уровень коммуникации с клиентами. Платформа давно используется внутри «Сбера» и доказала свою способность стабильно работать под высокой нагрузкой и обрабатывать сотни тысяч коммуникаций ежедневно.

При разработке решения приоритет был отдан тщательной работе с данными: критически важно, чтобы они не терялись и не дублировались, а также чтобы система умела повторно обрабатывать ошибочные загрузки. Платформа сводит большой объем данных в различных форматах из разных источников в единое место и проводит к общему виду. Чтобы бизнес не нес лишних затрат на хранение данных, в решении реализован функционал настройки времени хранения аудиофайлов и текстов.

— Что собой представляет решение?

Voice AI использует технологию обработки естественного языка (Natural Language Processing, NLP) и понимает речь так же, как и люди. Чтобы научить платформу находить нужные сообщения, были созданы специальные словари – в частности, словарь выражений, которые оператор контакт-центра использует для выявления потребностей клиента.

Чтобы позволить девелоперу точечно оценивать влияние тех или иных изменений на бизнес-показатели, для Voice AI разработали собственный конструктор отчетов, позволяющий агрегировать данные по интересующим метрикам. Статистика отображается внутри платформы речевой аналитики в виде таблиц и в формате интерактивных отчетов.

Обучение искусственного интеллекта – непрерывный процесс, поэтому Voice AI продолжает дорабатываться и получать новые данные. Ключевые сотрудники отдела продаж и контакт-центра ЭНКО вносят обратную связь о работе платформы, чтобы улучшить результаты ее работы.

— В чем заключались главные проблемы, как их решали?

Внедрение системы осуществлялось поэтапно, и в ходе проекта ЭНКО перешла на новую систему телефонии, при том, что уже была выполнена интеграция с предыдущей. Это повлекло за собой необходимость срочно настраивать интеграцию платформы с другим источником данных. Также в ходе детальных обсуждений проекта с ИТ-отделом компании выяснилось, что взаимодействие с облачной версией нейросети для распознавания голоса для части решения не подходит. Чтобы реализовать проект, потребовалась установка отдельного сервиса автоматического распознавания речи (Automatic Speech Recognition, ASR) в контур компании, что повлекло дополнительные работы с точки зрения инфраструктуры.

— Как новое решение было воспринято сотрудниками (в том числе теми, чьи разговоры контролируются) и руководством компании?

Руководством компании были созданы все условия, чтобы сотрудники позитивно восприняли нововведения. Очевидно, что полученная в результате обработки всех диалогов обратная связь может помочь выявить точки роста. Это, в свою очередь, ведет к повышению уровня профессионализма операторов и сказывается на эффективности их работы. Руководство же получило современную и удобную платформу речевой аналитики, благодаря которой можно контролировать процесс всех коммуникаций с клиентами, лучше понимать их ожидания и повышать качество клиентского сервиса.

— Какие результаты достигнуты в результате проекта?

Использование системы речевой аналитики помогло ЭНКО довести показатель оценки звонков до 100%. При этом удалось сократить расходы на контроль качества коммуникаций и получить полезные данные, которые компания применяет для увеличения лояльности клиентов, а также для повышения эффективности бизнеса.

Так, например, по результатам аналитики компания приняла решение о коррекции цен на вторую очередь одного из строящихся жилых комплексов: до официального старта продаж компания получила почти 900 звонков, в которых потенциальные клиенты интересовались условиями. Voice AI не только собрала вместе все эти диалоги, но и позволила команде выделить из них ценовые ожидания потенциальных покупателей.

— В чем роль проекта для компании?

Более глубокое понимание потребностей клиента позволяет компании предоставлять персонализированные предложения и повышать лояльность покупателей и жителей уже построенных домов, корректировать бизнес-процессы и увеличивать их эффективность. Также использование платформы для оценки коммуникаций помогает не привлекать большое количество сотрудников для выполнения рутинных операций, тем самым сокращая расходы компании при масштабировании бизнеса.

— Каковы перспективы развития проекта речевой аналитики в ЭНКО?

В ЭНКО планируют расширить использование речевой аналитики и внедрить ее в офисах продаж. Voice AI будет получать записи с аудиобейджей – небольших диктофонов, которые сотрудники носят в течение рабочего дня, переводить разговоры в текст, проверять их на соответствие правилам, анализировать и находить закономерности.

Голос человека может рассказать многое о своем владельце. Его изменение может служить симптомом некоторых заболеваний, в том числе связанных с дегенерацией нейронов головного мозга, к которым относится болезнь Паркинсона. Сервис BRAINPHONE призван выявлять людей даже на ранней стадии болезни на основе анализа их голоса, являясь массовым и доступным инструментом диагностики. О создании решения рассказывает Ильдар Хасанов, исполнительный директор BRAINPHONE и номинант на премию Data Award.

- В чем суть решаемой BRAINPHONE проблемы? Почему это важно?

По данным ВОЗ болезнь Паркинсона занимает первое место в мире по темпам инвалидизации среди всех неврологических заболеваний. На сегодняшний день в России и мире лишь треть пациентов с болезнью Паркинсона имеют корректный диагноз. При этом большинству из них он выставляется поздно – на продвинутых стадиях, когда гибнет до двух третей черной субстанции мозга, гибель нейронов которой ассоциирована с развитием болезни. Такая ситуация имеет место в первую очередь за счет отсутствия скрининговых инструментов для выявления признаков болезни Паркинсона.

- Какими методами обычно решается задача выявления болезни Паркинсона?

Сейчас ситуация такова, что диагностика болезни Паркинсона осуществляется только с непосредственным участием врача на основе, в первую очередь, неврологического осмотра пациента. Рутинные методы визуализации (МРТ, КТ и др.) и лабораторные методы используются лишь в качестве вспомогательных – в первую очередь, исключающих – при постановке диагноза. На сегодняшний день и в России, и в мире нет внедренных в рутинную клиническую практику скрининговых инструментов для выявления болезни Паркинсона.

- В чем заключается предлагаемый вами подход? Почему он лучше?

Наш сервис предназначен для скрининговой диагностики людей с факторами риска развития нейродегенераций. Ведущим из них, конечно же, является возраст. Так, люди старше 55 лет даже в отсутствие других факторов риска имеют повышенную вероятность развития болезни Паркинсона. Наш сервис позволяет большому количеству людей быстро, эффективно и недорого пройти скрининговое исследование на наличие признаков заболевания. Это, в свою очередь, позволяет людям раньше попасть к профильному врачу и начать соответствующее лечение.

- Как пришла идея создания решения, выявляющего болезнь Паркинсона по голосу?

Мы давно занимаемся этой проблемой и имеем большой опыт в поиске и изучении биомаркеров заболеваний мозга, в том числе болезни Паркинсона. Наше решение – это веяние нового времени в виде использования инновационных технологий для решения запросов, уже давно выдвигаемых международным медицинским сообществом. И подобные продукты меняют подход системы здравоохранения к диагностике и лечению пациентов. Так, Международным обществом по изучению болезни Паркинсона и других расстройств движений (International Parkinson and Movement Disorders Society) в прошлом году даже была создана отдельная рабочая группа Technology Study Group по изучению инновационных стратегий и способов применения диджитал-продуктов.

- Что «под капотом»? Какие технологии и методы ИИ применялись?

В основе нашей технологии лежит оптимизированная нейронная сеть, обученная на мел-спектрограммах голосов пациентов с болезнью Паркинсона и группы контроля.

- Какие данные использованы?

Для обучения нейросети используется уникальный собственный датасет аудиозаписей голосов пациентов с болезнью Паркинсона и группы контроля. Датасет сформирован из нескольких тысяч аудиозаписей голосов, записанных при выполнении различных заданий (методики заданий разработаны учеными, неврологами и логопедами). Датасет релевантный, размечается при участии опытных врачей-паркинсонологов, постоянно пополняется. Для сбора и хранения датасета разработаны собственный чат-бот и платформа.

- Что собой представляет созданное решение?

Сервис BRAINPHONE призван использоваться в качестве скринингового инструмента, который легко и недорого может охватить большое количество людей с факторами риска. Он реализуется в виде нейросетевой модели, интегрированной в «оболочку» – контакт-центр, чат-бот, приложение и др. – в зависимости от бизнес-потребности. Это массовый, доступный и легко осуществимый, без привязки пациента к местонахождению врача и специализированного оборудования, инструмент для диагностики и мониторинга болезни Паркинсона на любых, в том числе ранних, стадиях.

- Какие были сложности при реализации проекта, как их решали?

Трудной, но в то же время интересной задачей, как и в любом MedTech-проекте, было получение релевантного датасета для обучения искусственного интеллекта. При этом хорошо, когда есть возможность объективизировать диагноз – например, с помощью методов нейровизуализации, как это происходит при диагностике опухолей, инсультов и др. В случае с болезнью Паркинсона, к сожалению, такой возможности нет.

Так, когда дело касается анализа медицинских изображений, это изображение могут посмотреть 2-3 и более врачей для оценки и разметки. Этим можно повысить уверенность в используемой выборке. Когда речь идет о клиническом диагнозе, как при болезни Паркинсона, оценить правильность выставленного диагноза можно только при непосредственном контакте врача с пациентом. Поэтому большим вызовом был изначально правильный, даже академичный, подход к сбору данных, чего мы и смогли добиться благодаря нашим многолетним наработкам.

- Какие результаты достигнуты и ожидаются?

Сервис успешно прошел первый этап клинических испытаний и готовится к регистрации в качестве медицинского изделия. Чувствительность сервиса 80%, а специфичность – 92%. В сравнении с общепризнанными клиническими способами диагностики чувствительность сервиса сопоставима с ними, а специфичность даже превосходит их.

На сегодняшний день готовятся пилоты в нескольких регионах России. Кроме того, по результатам бизнес-миссии под эгидой Агентства стратегических инициатив в королевстве Марокко была достигнута предварительная договоренность с президентом Совета Национального объединения врачей о пилоте в одной из крупнейших клиник Касабланки.

- Речь идет только о работе с пациентами медицинских учреждений, или решение может встраиваться в любые крупные контакт-центры для выявления людей, даже не подозревающих о своей болезни?

Да, все верно. Решение может использоваться как в медицинских учреждениях, так и быть интегрированным в другие сервисы. Например, сейчас обсуждается внедрение продукта в колл-центр, объединяющий все медицинские учреждения региона.

- В чем роль и социальная значимость проекта?

Внедрение в рутинную клиническую практику сервиса BRAINPHONE приведет к нескольким важным эффектам. Первый из них – своевременное выявление болезни Паркинсона у пациентов вне зависимости от места жительства и удаленности от медицинских центров – например, центров экстрапирамидной патологии, или специализированного оборудования. То есть станет доступен массовый скрининг. Второй эффект – массовый мониторинг, то есть возможность осуществления адекватного мониторинга состояния пациентов с болезнью Паркинсона, в том числе оценка эффективности лечения. Своевременная постановка диагноза и качественный мониторинг позволят улучшить качество жизни пациентов и отсрочить их инвалидизацию, сохранить их работоспособность. По экспертным оценкам, ранняя установка диагноза позволит снизить прямые и непрямые расходы на пациентов со стороны семьи и государства более чем в 10 раз при лучшем качестве жизни.

Наконец, повышение выявляемости болезни Паркинсона потенциально увеличит объем рынка противопаркинсонических препаратов до трех раз и сместит фокус фармацевтических компаний в сторону поиска наиболее эффективных решений для ранних стадий.

- В каком направлении будет развиваться проект?

Мы не останавливаемся на достигнутом – работа кипит, проект растет, развивается. Мы нацелены как на повышение точности диагностики, так и на расширение списка диагностируемых заболеваний.