Распознавание речи в караоке учится отличать пение от говора
Разработчики системы распознавания для караоке столкнулись с нестандартной задачей: модель должна одновременно определять фонемы в пении и игнорировать включённый микрофон, который часто ловит голос поющего и фоновые голоса. Стандартные ASR-системы на этом падают, путая ноты и интонации с отдельными слогами.
Решение построили на двухканальной архитектуре: первая ветвь анализирует спектрограмму на предмет наличия вокальной модуляции, вторая работает с низкочастотной огибающей для обнаружения разговорной речи. Ансамбль двух подсетей выдаёт вероятность того, что в фрагменте звука исполняется мелодия или говорится текст.
Использование в приложениях
Первые интеграции уже появились в популярных караоке-сервисах. Система не просто отличает пение от речи, но и оценивает качество попадания в ноты, игнорируя фоновый разговор в комнате.
Побочный эффект точности — приложение начало отслеживать ошибки пользователя тоньше. Это вызвало волну жалоб от людей, которые привыкли к более «мягкой» оценке, однако разработчики оставили новый алгоритм по умолчанию, предусмотрев в настройках режим «расслабленной» оценки.
Инженеры планируют расширить модель на распознавание инструментальных звуков, что позволит система сама определять, когда на мелодию наложена гитара или синтезатор.