Синтез речи воспроизводит запинки и повторы из оригинала
При обучении на большом корпусе аудиоматериалов модели начали воспроизводить не только чистые звуки, но и характерные речевые особенности дикторов: запинки, повторы слогов, паузы раздумья. Это происходит автоматически, без явного указания системе на необходимость такого поведения.
Исследователи обнаружили, что эти «недостатки» на самом деле повышают восприятие естественности. Слушатели относят робота с идеально чистой речью к категории неживых, а голос с лёгкими запинками воспринимается более органично.
Контроль качества и применение
Разработчики добавили параметр, который позволяет управлять уровнем естественных речевых помех: от кристально чистого синтеза до полнотекстового воспроизведения всех особенностей оригинального диктора. Это даёт большую гибкость при выборе целевой аудитории.
Для профессиональных приложений (озвучка документов, генерация субтитров) предпочитают отключать эффект для чистоты и точности. В развлекательных приложениях и персональных ассистентах естественность часто выбирается как главный критерий.
Изучение процесса показало, что модели улавливают запинки даже из текстовых черновиков, где видны переделки, поэтому качество подготовки данных для обучения становится критично важным.