Использование unity с mediapipe в разработке мобильных AR/VR приложений
Боковая панель статьи
Основное содержимое статьи
Аннотация
Данная работа посвящена XR-технологиям, а именно области дополненной реальности (AR). В ней была разработана библиотека для Unity, обеспечивающая кроссплатформенный трекинг рук поверх стандартного фреймворка ARFoundation. Библиотека интегрируется в существующие AR-проекты, позволяя разработчикам добавить отслеживание 21 ключевой точки руки, с помощью ML-алгоритмов, запущенных с помощью фреймворка Mediapipe. Работа будет полезна желающим добавить распознавание жестов, манипуляции виртуальными объектами или иммерсивное взаимодействие с помощью рук в свои проекты на Unity ARFoundation для платформ Android и iOS.
Скачивания
Информация о статье
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Библиографические ссылки
In-Depth Review of Augmented Reality: Tracking Technologies, Development Tools, AR Displays, Collaborative AR, and Security Concerns / T. A. Syed, M. S. Siddiqui, H. B. Abdullah [et al.] // Sensors. – 2022. – Vol.23, Iss.1. – https://doi.org/10.3390/s23010146.
Augmented Reality and Virtual Reality Market. – Marketsandmarkets Research Private Ltd., 2025. – URL: https://www.marketsandmarkets.com/Market-Reports/augmented-reality-virtual-reality-market-1185.html (дата обращения 18.10.2025).
Mediapipe hands: On-device real-time hand tracking / F. Zhang, V. Bazarevsky, A. Vakunov [et al.] // arXiv : [электронный архив]. - arXiv:2006.10214.– https://arxiv.org/abs/2006.10214.
MediaPipe Hand Gesture Classification model card. – URL: https://storage.googleapis.com/mediapipe-assets/gesture_recognizer/model_card_hand_gesture_classification_with_faireness_2022.pdf (дата обращения 17.04.2026). – Based on Model Cards for Model Repoing, In Proceedings of FAT* Conference (FAT*2019). ACM, New York, NY, USA
Hand gesture recognition model customization guide // Google Developers. – URL: https://ai.google.dev/edge/mediapipe/solutions/customization/gesture_recognizer (дата обращения 28.04.2026)
Значения метрик кода // Microsoft Learn: важная информация всегда под рукой. – Microsoft, 2026. – URL: https://learn.microsoft.com/ru-ru/visualstudio/code-quality/code-metrics-values (дата обращения 28.05.2026).