Большинство генераторов видео создают плоские ролики, однако для просмотра в очках виртуальной и смешанной реальности требуется не только охватить пространство вокруг зрителя, но и передать глубину сцены. Для этого левый и правый глаз должны получать немного отличающиеся изображения. Ошибки в расчёте положения объектов между такими ракурсами могут приводить к заметным искажениям и дискомфорту.

Как устроена EPIC

Система построена на открытой нейросети Wan2.1-1.3B и её адаптации PanoWan для генерации панорамного видео. Сначала модель создаёт последовательность кадров для левого глаза. Затем алгоритм оценивает расстояния до объектов и рассчитывает ракурс для правого глаза. Открывающиеся при изменении точки наблюдения участки сцены нейросеть дополнительно восстанавливает.

Ключевым компонентом стал показатель Panoramic Epipolar Geometry Score (PEGS) — оценка панорамной эпиполярной геометрии. Она измеряет, насколько согласованно одни и те же объекты изображаются из разных точек наблюдения с учётом сферической геометрии панорамного видео.

Авторы также применили прямую оптимизацию предпочтений (Direct Preference Optimization, DPO). Алгоритм сравнивает несколько сгенерированных роликов, выбирает варианты с меньшими геометрическими ошибками и использует их для дополнительного обучения модели. Такой подход не требует большой библиотеки настоящих панорамных стереозаписей.

На заключительном этапе система корректирует изображения для просмотра в любом направлении и повышает их разрешение до 4K с помощью суперразрешения. Поэтому исходная нейросеть не создаёт видео непосредственно в 4K: высокое разрешение достигается отдельной стадией обработки.

Результаты испытаний

Технологию проверили на двух выборках по 500 видеороликов. После дополнительного обучения показатель геометрической ошибки PEGS для стереопар снизился с 3,121 до 2,640 миллирадиана.

В отдельном сравнении с методом DissolveStereo исследователи изучили 50 роликов. Доля соответствий между изображениями, в которых геометрическая ошибка превышала установленный порог, уменьшилась с 8,2 до 2,6%. EPIC показала лучший результат в 46 случаях из 50.

При этом система пока не обеспечивает полной согласованности изображения во времени. Авторам не удалось улучшить показатель, который одновременно учитывал бы стереоскопию и изменения сцены между кадрами. Кроме того, независимо движущиеся объекты исключаются из оценки геометрических ошибок.

Экспериментальный статус

EPIC может использоваться как основа для виртуальных путешествий, образовательных симуляций и иммерсивного видео, создаваемого по запросу. Однако исследователи представили экспериментальный метод, а не готовый коммерческий продукт.

В работе также нет результатов пользовательских испытаний, которые оценивали бы комфорт просмотра в очках виртуальной реальности. Поэтому численные показатели описывают качество геометрического согласования, но не доказывают удобство технологии для зрителей.