Звуковое наполнение генерируется синхронно с видеорядом у OpenAI
Синхронная генерация звука и видео решает проблему асинхронности, которая была характерна для ранних видеомоделей. Раньше звук добавлялся постфактум, что приводило к несовпадению движений губ с речью и рассинхронизации шумов с действиями на экране.
В новой архитектуре звуковой кодер работает параллельно с видеокодером, обмениваясь информацией о том, что происходит в каждый момент времени. Если персонаж говорит, видеомодель генерирует артикуляцию в соответствии с выходом звукового модуля, и наоборот.
Единая нейросетевая архитектура для мультимодальной генерации
Система использует объединённое представление видеоинформации и звуковой информации в общем латентном пространстве. Это позволяет модели одновременно учитывать визуальный контекст и звуковые событиям при генерации каждого нового кадра и фрейма аудио.
Практически это означает, что музыка в видео будет соответствовать темпу и интенсивности действия на экране, звуки объектов совпадут с моментами их появления или взаимодействия, а диалоги будут синхронизированы с движением губ.
Улучшенная синхронизация значительно повышает восприятие видео зрителем и расширяет возможности для создания более профессионального видеоконтента без постпроизводства.