После более чем семи лет экспериментов с реалистичными виртуальными персонажами Meta определилась со сроками запуска Hologram — собственной системы, напоминающей Personas в Apple Vision Pro. До сих пор коммерческие VR-продукты компании использовали мультяшные аватары, тогда как исследовательские Codec Avatars оставались экспериментом.

Изменения начнутся с выхода Meta VR Glasses весной 2027 года. Однако первая версия Hologram не будет объёмной копией Codec Avatars. Сначала технология появится на HUD-очках Meta Ray-Ban Display, а затем — в полнотелом формате на Meta VR Glasses. Обе версии удалось опробовать на Connect 2026.

Плечевой аватар для Meta Ray-Ban Display

В США Hologram для Meta Ray-Ban Display планируется запустить этой осенью в режиме Early Access. Плечевая версия предназначена для видеозвонков WhatsApp: собеседник будет видеть не обычное изображение с камеры, а синтетическую копию пользователя.

Настройка выполняется через смартфон с открытым приложением Meta AI. Пользователю предлагают повернуть голову вверх, вниз и в стороны, улыбнуться, а затем ответить на открытые вопросы развёрнутыми эмоциональными фразами. Во время разговора система анализирует мимику, одежду и фон. Поэтому внешний вид одежды и окружение придётся заранее выбирать с расчётом на будущие звонки. Серверная обработка занимает несколько минут.

Технически Hologram представляет собой генеративную диффузионную модель, работающую в реальном времени на серверах Meta. Она получает аудиопоток с микрофонов очков и создаёт двумерное видео, которое передаётся собеседнику. Мимика аватара формируется исключительно по голосу.

Во время демонстрации результат оказался неожиданно правдоподобным. Сначала изображение сотрудника Meta можно было принять за обычную трансляцию с фронтальной камеры смартфона. При самостоятельном тестировании стали заметны небольшие несоответствия внешности, однако в целом плечевой Hologram выполняет заявленную задачу.

Практическая ценность такого режима пока вызывает вопросы: собеседник на экране телефона видит реалистичную синтетическую версию человека, но не получает преимуществ пространственного присутствия.

В будущем Meta хочет задействовать IMU очков, чтобы повороты головы аватара зависели от гироскопа. Также рассматриваются динамический фон на основе камеры, имитация перемещения пользователя по окружению с помощью акселерометра и смена одежды текстовой командой без повторной настройки Hologram.

Полнотелый Hologram для VR Glasses

На Meta VR Glasses, а позднее и на Quest 3, аватар будет отображаться в полный рост и почти в натуральную величину. В отличие от версии для Ray-Ban Display, он будет использовать не только звук, но и отслеживание движений гарнитуры.

При звонке между двумя пользователями Meta VR Glasses собеседники сначала появляются в трёхмерном окне. Нажатие кнопки сбоку окна переводит разговор в полнотелый режим: аватар собеседника возникает перед пользователем в масштабе, близком к реальному.

Запусковая версия не является объёмным объектом, Gaussian splat, полноценным томом данных или Codec Avatar. Это стереоскопический трёхмерный видеопоток с полностью сгенерированным персонажем, отделённым от остального изображения маской. По сути, используется тот же подход с диффузионной моделью, что и в Ray-Ban Display, но вместо двумерного плечевого видео создаётся стереоскопический полнотелый поток.

На демонстрации аватар сотрудника выглядел немного меньше человека в реальности. Вероятнее всего, это был программный сбой: технических препятствий для увеличения масштаба примерно на 10% нет. Более заметной проблемой стали блочные глаза и потеря мелких деталей, похожая на артефакты видеозвонка с низкой пропускной способностью. На качество, по словам инженеров, мог повлиять перегруженный Wi‑Fi из-за тысяч посетителей Connect.

В неподвижном положении или сидя система работала достаточно убедительно. Почти натуральный трёхмерный собеседник реагировал на речь кивками и отводил взгляд во время размышлений, создавая ощущение присутствия человека в комнате, даже если тот находится на другом конце планеты.

Иллюзия быстро разрушалась, если пользователь наклонялся слишком далеко в сторону или приближался к аватару. Hologram поворачивался вслед за зрителем и всегда оставался обращённым к нему — подобно плоскому спрайту из старой видеоигры. Поэтому полнотелый режим пока работает лучше всего, когда зритель сидит или почти не перемещается.

Планы на настоящую объёмную модель

Meta планирует позднее сделать Hologram на VR Glasses действительно объёмным, но конкретные сроки не объявлены. Такая версия должна приблизить систему к идее Codec Avatars, обеспечить настоящее совместное присутствие и поддержать групповые разговоры.

После этого технологию обещают открыть разработчикам для интеграции в VR-приложения. В перспективе она должна заменить мультяшный Meta Avatars SDK, разработка которого прекращена.

Промежуточным решением мог бы стать сидячий полнотелый режим: Meta VR Glasses прежде всего рассчитаны на использование сидя. Однако пока неясно, существует ли такая версия Hologram и умеет ли аватар автоматически принимать сидячую позу.