Синтез речи теперь передаёт паузы и дыхание человека
Исследовательские группы из нескольких лабораторий одновременно представили модели синтеза речи, которые воспроизводят естественные артефакты человеческой речи: паузы для дыхания, звуки вдоха-выдоха, щелчки при проглатывании слюны. Раньше синтезаторы их подавляли как шум, теперь выбирают их как часть стиля речи.
Паузы и дыхание кодируются как отдельные токены в моделях трансформеров, которые обучаются на больших корпусах естественной речи. Система учит длину пауз, их позиции в предложениях, характер дыхания в зависимости от темпа и эмоционального состояния говорящего.
Влияние на качество
Слушатели в слепых тестах оценивают такую речь как более естественную и менее утомляющую. Без артефактов синтезированная речь звучит неприятно напряжённо, как речь робота или человека с речевым расстройством.
Однако добавление пауз и дыхания увеличивает объём генерируемого аудио примерно на 15 процентов, что усложняет хранение и трансляцию больших объёмов озвученного контента. Разработчики ищут баланс между естественностью и эффективностью кодирования.
Технология уже внедрена в несколько коммерческих сервисов синтеза речи и доступна как дополнительная опция. На данный момент это один из заметных шагов к неотличимости синтезированной речи от живой.