Отслеживание рук и пальцев с помощью плагина LeapMotion

В системе Leap Motion используется правосторонняя декартова система координат. Источник центрируется в верхней части контроллера Leap Motion. Оси X и Z лежат в горизонтальной плоскости, причем ось X проходит параллельно длинной кромке устройства. Ось Y вертикальна, с положительными значениями, увеличивающимися вверх (в отличие от ориентации вниз большинства систем координат компьютерной графики). По оси Z положительные значения увеличиваются по направлению к пользователю.

Leap Motion правая система координат

Модель кисти предоставляет информацию об идентичности, положении и других характеристиках обнаруженной руки, а также списках пальцев, связанных с этой рукой.

Руки представлены классом Hand.

Векторы нормали и направления кисти определяют ориентацию кисти

Примечание

В списке кисти для кадра может отображаться более двух , если в поле зрения находятся кисти рук более одного человека или другие похожие объекты. Однако, для оптимального качества отслеживания движения, рекомендуется держать не более двух кистей рук в поле зрения контроллера Leap Motion.

Рука - это похожий на кость объект, который определяет ориентацию, длину, ширину и конечные точки руки. Когда локоть не виден, контроллер Leap Motion оценивает его положение на основе прошлых наблюдений, а также типичных человеческих пропорций.

Руки представлены классом Arm.

Контроллер Leap Motion предоставляет информацию о каждом пальце руки. Если весь палец или его часть не видны, характеристики пальца оцениваются на основе недавних наблюдений и анатомической модели руки. Пальцы идентифицируются по имени типа, например thumb, index, middle, ring, pinky.

Пальцы представлены классом Finger.

Положение и направление кончика пальца обеспечивают положение кончика пальца и общее направление, в котором указывает палец.

Каждый палец имеет набор костей, описывающих положение и ориентацию соответствующих анатомических костей пальцев. Все пальцы содержат четыре кости, расположенные от основания до кончика.

Кости представлены классом Bone.

Ладонь и все ее пальцы

Кости идентифицируются как:

• Metacarpal - кость внутри кисти, соединяющая палец с запястьем (кроме большого пальца).
• Proximal Phalanx - кость у основания пальца, соединенная с ладонью.
• Intermediate Phalanx - средняя кость пальца между кончиком и основанием.
• Distal Phalanx - терминальная кость на конце пальца.

Примечание

Такая модель для большого пальца не совсем соответствует стандартной анатомической системе именования. У настоящего большого пальца на одну кость меньше, чем у других пальцев. Однако для простоты программирования модель большого пальца Leap Motion включает пястную кость нулевой длины, так что большой палец имеет такое же количество костей с теми же указателями, что и другие пальцы. В результате анатомическая пястная кость большого пальца обозначена как проксимальная фаланга, а анатомическая проксимальная фаланга обозначена как промежуточная фаланга в модели кости пальца Leap Motion.

Наряду с вычисленными данными отслеживания вы можете получить необработанные изображения датчиков с камер Leap Motion.

Необработанное изображение датчика с наложенными точками калибровки

Данные изображения содержат измеренные значения ИК-яркости и данные калибровки, необходимые для коррекции сложного искажения объектива. Вы можете использовать изображения сенсора для приложений дополненной реальности, особенно когда оборудование Leap Motion подключено к гарнитуре VR.

• Пример C ++, иллюстрирующий основные аспекты работы с плагином: source/samples/3rdparty/LeapMotionVisualizer

LeapMotion API:

• Подробнее об управлении LeapMotion через API см. В статье об интерфейсе LeapMotion.
• Статья класса LeapMotion Arm для более подробной информации об управлении оружием через API.
• Статья класса LeapMotion Bone для более подробной информации об управлении костями пальцев через API.
• Подробнее об управлении пальцами через API в статье класса LeapMotion Finger.
• Подробнее об управлении руками через API в статье класса LeapMotion Hand.