Google Gemini улучшила синтез эмоций в озвучке документов
Google интегрировала в Gemini расширенный синтез речи, который не просто озвучивает текст монотонно, а подбирает тон голоса в зависимости от смысла предложений. Система анализирует эмоциональный контекст — сочувствие, восторг, сомнение — и передаёт его через модуляцию голоса синтеза.
Технически это реализовано через трёхступенчатый конвейер: языковая модель размечает документ по эмоциональным меткам, система выбирает параметры синтеза, а затем нейросеть синтезирует речь с заданной окраской. Результат звучит намного живее, чем стандартная озвучка.
Области применения
Функция полезна для аудиокниг, подкастов, обучающих материалов и документов, где сухое чтение снижает включённость слушателя. По тестам Google, слушатели лучше запоминают информацию, когда её озвучка соответствует эмоциональному смыслу текста.
Сейчас функция доступна только для английского языка, русский язык в очереди на поддержку. Google обещает добавить его в течение квартала, начиная с нейтрального тона и расширяя на другие эмоции позже.
Компания открыла возможность настройки эмоциональной окраски для разработчиков, чтобы они могли управлять силой эффекта в своих приложениях и адаптировать её под целевую аудиторию.