Использование unity с mediapipe в разработке мобильных AR/VR приложений

Бесплатный доступ

Данная работа посвящена XR-технологиям, а именно области дополненной реальности (AR). В ней была разработана библиотека для Unity, обеспечивающая кроссплатформенный трекинг рук поверх стандартного фреймворка ARFoundation. Библиотека интегрируется в существующие AR-проекты, позволяя разработчикам добавить отслеживание 21 ключевой точки руки, с помощью ML-алгоритмов, запущенных с помощью фреймворка Mediapipe. Работа будет полезна желающим добавить распознавание жестов, манипуляции виртуальными объектами или иммерсивное взаимодействие с помощью рук в свои проекты на Unity ARFoundation для платформ Android и iOS.

Unity \ Mediapipe \ AR \ смартфоны

Короткий адрес: https://sciup.org/14139469

IDS: 14139469   |   УДК: 004.4'2

Use of unity with mediapipe in mobile AR/VR development

This paper is devoted to XR technologies, particularly AR technologies. A Unity library was developed to enable hand-tracking functionality in AR Foundation projects. The library can be integrated into existing AR projects, allowing developers to track 21 hand landmarks using ML algorithms powered by MediaPipe. This document will be useful for developers who want to add gesture recognition, virtual object manipulation, or immersive hand-based interaction to their Unity projects for Android and iOS.