Предметы интерьера не смещаются между сценами благодаря пространственной памяти
Когда камера движется по интерьеру, нейросеть должна сохранять неизменным положение дивана, картины на стене, лампы и прочих предметов. Раньше предметы смещались или исчезали из кадра при смене угла съёмки, что нарушало иммерсию.
Новая функция пространственной памяти позволяет модели отслеживать 3D-координаты объектов в сцене на протяжении всего видео. При движении камеры предметы интерьера остаются на месте и правильно пересекаются с новым ракурсом.
Согласованность трёхмерного пространства
Система анализирует текстовое описание комнаты, извлекает координаты каждого объекта и поддерживает их консистентность во всех кадрах. Это особенно важно для видео с долгим путешествием камеры или множеством углов обзора.
Результат существенно улучшил качество видео с навигацией по интерьеру — архитектурные рендеры, виртуальные туры по квартирам и видеопрезентации недвижимости теперь выглядят убедительнее. Ошибки в расположении предметов практически исчезли.
Пространственная память работает в реальном времени и значительно снизила объём ручной коррекции при монтаже видео с движущейся камерой.