Meta открыла разработчикам экспериментальный инструмент XR Operator. Он позволяет ИИ-агенту взаимодействовать с приложением, которое запущено на реальной гарнитуре Quest, а не только анализировать код или эмулятор.

XR Operator работает как MCP-сервер внутри тестируемого приложения. Через него агент может получать снимки экрана, читать сведения о пространстве, нажимать кнопки Touch-контроллеров и выполнять заранее заданные сценарии. Для соединения используется ADB и перенаправление порта между компьютером и шлемом.

Для чего он нужен

Практическая задача инструмента — автоматизировать повторяющиеся проверки. Например, агент может запустить сборку, пройти несколько экранов, убедиться, что нужный объект появился в сцене, и сохранить снимок при ошибке. Это особенно полезно для тестов, которые приходится повторять после каждого изменения приложения.

При этом XR Operator не оценивает то, что остаётся субъективным: удобство управления, читаемость интерфейса в движении, усталость и укачивание. Meta также прямо помечает инструмент как экспериментальный, поэтому его возможности и способ подключения ещё могут измениться.

Сейчас XR Operator предназначен для разработки и тестирования приложений, а не для управления обычным пользовательским интерфейсом Quest.

Источник: документация Meta Horizon OS Developers.