VRChat получила нативную поддержку настройки отслеживания лица для аватаров в открытом бета-клиенте и бета-версии Avatars SDK. Ранее игра технически принимала данные отслеживания глаз и лица через OSC (Open Sound Control) и приложение VRCFaceTracking, созданное сообществом, однако полноценная мимика требовала дополнительных компонентов. Без них аватары использовали отслеживание глаз лишь для базового направления взгляда и движения век.

Поддержка появилась в последней открытой бета-версии VRChat в Steam и в Avatars SDK версии 3.10.6-beta.1 и новее. Изначально функцию описывали как High Fidelity Face Tracking. Она добавляет в компонент Avatar Descriptor отдельный раздел, где создатели настраивают выражения лица аватара.

Как работает настройка мимики

Система сопоставляет выражения лица с blendshape-морфами и параметрами аниматора, поддерживает стандарт Unified Expressions от VRCFaceTracking и взаимодействует с аудиозависимыми viseme, направлением взгляда и движением век в VRChat. Blended Shapes и Simplified Parameters пока не поддерживаются.

Отслеживание лица можно синхронизировать по сети без расходования бюджета синхронизируемых параметров аватара. По замыслу разработчиков, это должно уменьшить нагрузку на такие параметры, сделать выражения лица более одинаковыми для других пользователей и улучшить производительность, однако в статье эти эффекты представлены как ожидаемый результат, а не как независимые измерения.

Нативная система также совместима с OSC-методами VRCFaceTracking, включая последнюю бета-версию приложения в Steam, и функцией Selfie Expression. Последняя позволяет передавать выражения лица аватару на настольном ПК и Android с веб-камеры или фронтальной камеры устройства.

Поддержка устройств и аватары

По словам VRChat, функция некоторое время проходила закрытое тестирование. Компания собирала отзывы у заметных участников сообщества и создателей, включая Hash и команду VRCFaceTracking.

Создатель и разработчик Hash обновил несколько популярных наборов аватаров в магазине Booth, добавив бета-варианты с поддержкой новой SDK-функции. Владельцы этих наборов могут перейти на соответствующие варианты.

Сейчас сравнительно немного гарнитур одновременно имеют необходимую аппаратную поддержку и сторонние API для отслеживания глаз и лица с помощью камер. В статье упомянуты Pico 4 Pro и Enterprise, Meta Quest Pro и Samsung Galaxy XR. Для Meta Quest 3 и 3S существуют открытые и созданные сообществом решения. VRCFaceTracking также умеет передавать данные с гарнитур и дополнений, которые поддерживают только отслеживание глаз, включая Bigscreen Beyond 2e.

Предстоящие очки Meta VR Glasses, как сообщается, получат оборудование для отслеживания глаз и лица с помощью камер. Для глаз предусмотрены отдельные датчики, а лицевые сигналы будут захватываться теми же направленными вниз камерами, которые используются для отслеживания рук.

Ограничения API Meta VR Glasses

При этом, по данным статьи со ссылкой на обнаружение программиста и исследователя данных Nori, Meta не планирует предоставить сторонним разработчикам доступ к исходным визуальным данным отслеживания лица на старте. В отличие от Meta Quest Pro, где приложения Steam Link и Virtual Desktop уже могут передавать абстрагированные данные отслеживания в OSC-приложения вроде VRCFaceTracking, разработчикам Meta VR Glasses будет доступно только отслеживание глаз. Для лица им придётся использовать аудиозависимый источник Audio to Expressions.

Камерное отслеживание лица при таком подходе останется функцией собственных решений Meta, включая новые реалистичные аватары Hologram. Ограничение вызвало недовольство разработчиков. Представитель Meta по работе с разработчиками Dilmer Valecillos заявил, что обратную связь передадут ответственным командам.

Запрос API для камерного отслеживания лица на сайте Meta VR Developer занимает четвёртое место среди наиболее популярных предложений, требующих расследования. Его статус отмечен как «Backlogged — у команды эта задача находится в списке на будущее».

Meta признана экстремистской организацией в России