Разработка приложений VR и XR

Виртуальная реальность (VR) — это иммерсивная среда, которая позволяет вам почувствовать себя внутри виртуального или воспроизведенного в цифровом виде реального трёхмерного мира.

UNIGINE offers built-in functionality for development of Virtual Reality and Mixed Reality applications. It enables you to implement logic for various VR devices through a single API interface without using additional plugins.UNIGINE предлагает встроенный функционал для разработки приложений виртуальной реальности. Он позволяет вам реализовывать логику для различных устройств виртуальной реальности через единый API-интерфейс без использования дополнительных плагинов.

Внимание

Плагины виртуальной реальности (OpenVR, Varjo, Oculus), реализующие подобный функционал, считаются устаревшими и будут удалены в следующем релизе SDK.

See Also

Смотрите также#

Встроенная система виртуальной реальности обеспечивает интеграцию OpenVR и Varjo.

OpenVR Integration

Интеграция с OpenVR#

Varjo Integration and Supported Features

Интеграция с Varjo#

Изображение предоставлено Varjo.

Varjo's industrial-grade headsets with eye-tracking and mixed reality capabilities allow you to create VR and MR applications. With Mixed Reality, you can combine the real-world view from front-facing cameras mounted on the headset with the VR image.Гарнитуры промышленного класса Varjo с функцией слежения за движением глаз и возможностями смешанной реальности позволяют создавать приложения VR и XR (eXtended Reality). С помощью Mixed Reality можно комбинировать изображение реального мира с фронтальных камер, установленных на гарнитуре, с изображением виртуальной реальности.

Moreover, there is hand-tracking in VR available for Varjo VR and XR headsets through the Ultraleap integration plugin. It provides finger fidelity, two-hand performance, higher tracking robustness, and a lot of other improvements.Более того, для гарнитур Varjo VR и XR доступно отслеживание рук в виртуальной реальности с помощью плагина интеграции Ultraleap. Это обеспечивает точность работы пальцами, работу двумя руками, более высокую надежность отслеживания и множество других улучшений.

The following table lists Varjo native features that are supported by UNIGINE VR system:В следующей таблице перечислены встроенные функции Varjo, которые поддерживаются системой UNIGINE VR:

Функции Varjo	Система VR
Поддерживаемые графические API	DX11, DX12, Vulkan
Разрешение человеческого глаза
Отслеживание движения глаз
Параметры отслеживания взгляда
Поток данных камеры отслеживания взгляда
Смешанная реальность (MR)
Отражения среды в MR
Шейдеры для постобработки MR
Поток данных MR
Хромакейинг
Маркеры Varjo
Представление буфера глубины
Представление буфера скорости
Поддержка нескольких приложений
Поддержка нескольких слоев
Маска окклюзии
Инстанцированный рендеринг
Фовеальный рендеринг
Совместимость с SLI

UNIGINE позволяет разрабатывать VR-приложения для различных платформ виртуальной реальности.

Oculus VR#

SteamVR#

интеграция с OpenVR позволяет разрабатывать проекты для платформы SteamVR. Она не привязана к определенному оборудованию: такие проекты можно использовать с любыми устройствами виртуальной реальности, поддерживающими SteamVR.

При разработке для SteamVR сначала вам следует загрузить и установить Steam, а затем запустить SteamVR.

Примечание

Если вы установите один из HTC Vive HMD, SteamVR будет установлен автоматически при установке HMD.

For performance profiling, you can use the SteamVR Frame Timing tool.Для профилирования производительности вы можете использовать инструмент SteamVR Frame Timing.

VR Template provides the models of the following SteamVR-compatible controllers: HTC Vive, HTC Vive Pro, and HTC Vive Cosmos.VR Template предоставляет модели следующих контроллеров, совместимых со SteamVR: HTC Vive, HTC Vive Pro и HTC Vive Cosmos.

Mixed Reality Development

Разработка приложений смешанной реальности#

Thanks to Varjo integration, you can implement Mixed Reality applications to be run with Varjo HMDs.Благодаря интеграции Varjo вы можете реализовать приложения Mixed Reality для запуска с помощью Varjo HMDs.

To develop an application, you need to install Varjo Base and SteamVR.Чтобы разработать приложение, вам необходимо установить Varjo Base и SteamVR.

Mixed Reality management is performed via the VRMixedReality and VRMarkerObject classes of UNIGINE API.Управление смешанной реальностью осуществляется с помощью класса VRMixedReality UNIGINE API.

The following VR device models are supported:Поддерживаются следующие модели устройств виртуальной реальности:

• Oculus Rift / Rift S / Quest / Quest 2 (с кабельным Oculus Link / беспроводным Oculus Link)
• HTC Vive / Vive Pr / Focus / Cosmos
• Varjo VR-1 / VR-2 / VR-3 / XR-3 (с расширенной поддержкой смешанной реальности)
• Совместимые с Windows Mixed Reality (WMR)
• Совместимые с OpenVR

The following graphics APIs are supported out of the box:Следующие графические API поддерживаются "из коробки":

• DirectX 11
• DirectX 12
• Vulkan

Примечание

Для поддержки OpenGL API вам придется использовать устаревшие плагины VR.

By default, VR is not initialized. To run the engine with VR, you need to specify the -vr_app command-line option on the application start-up.По умолчанию VR не инициализирован. Чтобы запустить движок с помощью VR, вам необходимо указать параметр командной строки -vr_app при запуске приложения.

• Для OpenVR:
  Shell-команды

  -vr_app openvr

• Для Varjo:
  Shell-команды

  -vr_app varjo

Примечание

Вы не можете запустить плагины VR (OpenVR, Varjo, Oculus) при инициализации встроенного VR, поскольку это переопределяет функциональность плагина. Если вы попытаетесь добавить плагин VR после инициализации VR, вы получите сообщение об ошибке.

UNIGINE VR input system provides access to a wide range of VR devices: you can manage input from VR controllers, head-mounted displays (HMDs), base stations, and trackers.Система ввода UNIGINE VR обеспечивает доступ к широкому спектру устройств виртуальной реальности: вы можете управлять вводом с контроллеров виртуальной реальности, дисплеев на головах (HMD), базовых станций и трекеров.

For more details on types of VR devices and their examples, check the article on VR Input System.Для получения более подробной информации о типах устройств виртуальной реальности и их примерах ознакомьтесь со статьей на VR Input System.

UNIGINE provides a VR Template that is used to facilitate the creation of a custom application for VR. It contains a set of 3D models of popular VR controllers and the implementation of basic mechanics such as grabbing and throwing objects, pressing buttons, opening/closing drawers, and a lot more.UNIGINE предоставляет шаблон VR Template, который упрощает создание пользовательского приложения виртуальной реальности. Он содержит набор 3D-моделей популярных контроллеров виртуальной реальности и реализацию базовых механик, таких как захват и бросание предметов, нажатие кнопок, открывание/закрывание ящиков и многое другое.

The template is created using the Component System, so you can easily extend its functionality.Шаблон создан с использованием Компонентной системы, поэтому вы можете легко расширить его функциональность.

Refer to the Getting Started with VR section to learn how to use the template for C++/C# VR project development.Обратитесь к статье Начало работы с VR, чтобы узнать, как использовать шаблон для разработки проекта C++/C# VR.

Unlike other 3D applications, developing a VR application is more complex: you should set up a VR environment, add interactive elements, process user input from various VR devices, and so on.В отличие от других 3D-приложений, разработка приложения VR более сложна: вы должны настроить среду виртуальной реальности, добавить интерактивные элементы, обработать пользовательский ввод с различных устройств виртуальной реальности и так далее.

The general workflow of the VR application development in UNIGINE is the following:Общий рабочий процесс разработки VR-приложений в UNIGINE выглядит следующим образом:

1. Set up your UNIGINE project for VR development:Создайте свой проект UNIGINE для разработки виртуальной реальности:

   1. Set up a VR device (check the instructions provided by the vendor, if necessary).Настройте устройство виртуальной реальности (при необходимости ознакомьтесь с инструкциями, предоставленными поставщиком).
   2. Configure the project to use the appropriate VR mode. You can perform it via SDK Browser for C++/C# projects or in UnigineEditor for C# projects, depending on your preferred method of running your application.Настройте проект на использование соответствующего режима виртуальной реальности. Вы можете выполнить это через SDK Browser для проектов C++/C#или в UnigineEditor для редактирования C#, в зависимости от предлагаемого вами метода загрузки вашего приложения.
   3. Initialize VR. Инициализируйте VR.

2. Create the VR environment:Создайте виртуальную среду:

   • Create a 3D environment for your VR project by using 3rd-party 3D modeling and level design tools and UnigineEditor.Создайте 3D-среду для своего VR-проекта, используя сторонние инструменты 3D-моделирования и проектирования уровней, а также UnigineEditor.
   • Extend the VR environment with animations, sounds, videos, and other interactive elements.Расширьте виртуальную среду с помощью анимации, звуков, видео и других интерактивных элементов.

3. Make the VR environment more interactive:Сделайте виртуальную среду более интерактивной:

   • Implement components to extend the functionality of objects in the environment and process user input.Реализуйте компоненты для расширения функциональности объектов в среде и обработки пользовательского ввода.
   • Use UNIGINE's VR Template (available for C++ and C# APIs) that offers a basic set of VR components and allows users to move around and interact with objects in the environment.Используйте Шаблон виртуальной реальности UNIGINE (доступен для C++ и C# API), который предлагает базовый набор компонентов виртуальной реальности и позволяет пользователям перемещаться и взаимодействовать с объектами в окружающей среде.
4. Debug and profile your VR application. Use the VR platform-specific and UNIGINE built-in profiling tools to improve performance.Отладьте и профилируйте свое VR-приложение. Используйте специальные инструменты профилирования для платформы VR и UNIGINE, встроенные в UNIGINE, для повышения производительности.
5. Build and deploy your VR application.Создайте и разверните свое приложение виртуальной реальности.