WorldLens VR получила новую AI-функцию для Meta Quest, которая добавляет объём и глубину к изображениям Google Street View.

Приложение уже доступно на Quest, а версия для SteamVR сейчас находится в разработке.

Как работает AI-3D в WorldLens VR

При первом запуске новой функции может показаться, что она вообще не работает.

Сначала пользователь видит обычную плоскую панораму Street View, развёрнутую вокруг себя. Но спустя несколько секунд AI достраивает глубину сцены:

• здания начинают отделяться от неба;
• объекты переднего плана получают объём;
• изображение перестаёт выглядеть как обычная 360°-текстура.

Разработчик Stoian Eduard Andrei постепенно выпускает обновления, исправляющие:

• размытие;
• искажения краёв;
• ошибки глубины объектов.

При этом автор специально сделал эффект сдержанным.

Главной целью дизайна был реализм. Я хотел, чтобы окружение Street View ощущалось естественным и правдоподобным в 3D, максимально соответствуя реальной сцене.

По словам разработчика, задача заключалась не в создании «выпрыгивающего» 3D-эффекта, а в аккуратной глубине за счёт параллакса.

Эффект особенно заметен в больших городах

Наиболее впечатляюще технология работает в плотной городской застройке.

Например, на Times Square:

• рекламные экраны визуально отделяются от небоскрёбов;
• деревья и кусты получают объём;
• сцены начинают ощущаться физически реальными.

Хорошо технология показывает себя и внутри помещений.

В качестве примера автор приводит музей Porsche в Штутгарте, где AI успешно разделяет:

• автомобили;
• многоуровневые переходы;
• архитектуру помещения.

В результате обычная плоская панорама превращается в убедительное трёхмерное пространство.

Google не даёт данные глубины

Главная сложность проекта заключается в том, что Google не предоставляет сторонним разработчикам:

• LiDAR-данные;
• depth maps;
• пространственную геометрию сцен.

Из-за этого WorldLens VR приходится:

• анализировать обычную 2D-панораму;
• генерировать глубину в реальном времени;
• строить пространственную сцену «на лету».

Для standalone-шлема это очень тяжёлая задача.

На Quest всё ещё бывают проблемы с производительностью

Во время тестирования приложение иногда сталкивалось с нехваткой памяти.

При быстром переключении между:

• крупными городами;
• горными дорогами;
• сложными сценами

система могла выдавать ошибку:

RAM usage high

После чего приложение иногда вылетало обратно в меню Quest.

Однако разработчик утверждает, что по внутренней статистике crash rate приложения остаётся ниже 1%.

Встроенный AI-upscaler для текстур

Для борьбы с размытыми текстурами Street View разработчик также встроил собственный AI-upscaler 4×.

Функция:

• повышает детализацию;
• улучшает качество земли и объектов вблизи;
• не дорисовывает вымышленные детали.

Это важно, поскольку многие AI-апскейлеры создают «фейковую» геометрию, ухудшая реализм сцены.

PCVR-версия уже в разработке

Версия для PCVR сейчас находится в разработке, однако точных сроков релиза пока нет.

По словам автора, переход на PCVR позволит:

• увеличить качество графики;
• ускорить генерацию 3D;
• повысить объём кэша;
• сократить pop-in объектов.

VR-путешествия остаются нишей, но очень особенной

Несмотря на то, что виртуальные путешествия остаются нишевым направлением VR, WorldLens VR хорошо показывает, почему подобные приложения продолжают привлекать пользователей.

Автор материала отмечает:

Между просмотром плоской карты и ощущением, будто ты действительно стоишь на улице на другом конце мира, существует огромная психологическая разница.

Именно поэтому в подобных приложениях легко потерять несколько часов, просто путешествуя по случайным уголкам планеты.

Для проекта, созданного фактически одним разработчиком, WorldLens VR выглядит очень амбициозным экспериментом в сфере immersive spatial media.