Sistema inteligente usando video cámaras y motion capture para monitoreo de la rehabilitación de la mano derecha
No Thumbnail Available
Files
Date
2023-09
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad Técnica de Ambato. Facultad de Ingeniería en Sistemas, Electrónica e Industrial. Carrera de Tecnologías de la Información
Abstract
Rehabilitation monitoring has become a prominent advancement in the technological
field, thanks to the convergence of different technologies. The integration of these
technologies allows for more accurate and detailed monitoring of hand rehabilitation
gest ures. Through data capture and analysis real time information about the
rehabilitation progress is provided, enabling healthcare professionals and users to
assess their performance during the process. Moreover, the system not only offers
visual tracking of daily progress but also motivates users to continue their treatment,
contributing to the success of their rehabilitation.
In this research project, various technologies are implemented to facilitate the
monitoring and analysis of hand rehabilitation data . Firstly, the Leap Motion
Controller is used to capture hand position and direction data during the performed
gestures. These data are processed using a custom acquisition system developed in
Matlab, enabling their analysis, and generating a dataset. The dataset is preprocessed
and relevant features are extracted for the classification of each gesture. For this,
different models are implemented, such as Artificial Neural Networks (ANN) and K
Nearest Neighbors (KNN) to obtain a high accuracy in the classifi cation. After
training, ANN with 93% accuracy was selected. Once the model is trained, it is
integrated into Unity, where an interactive interface is created to provide visual
feedback to the user, allowing them to perform the gestures effectively and moni tor
their progress during rehabilitation.
Description
El monitoreo de la rehabilitación se ha convertido en un avance destacado en el ámbito tecnológico, gracias a la convergencia de diferentes tecnologías. La integración de estas tecnologías permite un monitoreo más preciso y detallado de los gestos realizados durante la rehabilitación de la mano. Mediante la captura y análisis de datos se proporciona información en tiempo real sobre el progreso de la rehabilitación. Esto permite a los profesionales de la salud y a los usuarios evaluar su desempeño durante el proceso. Además, el sistema no solo brinda un seguimiento visual del avance diario. También motiva a los usuarios a continuar su tratamiento, lo que contribuye al éxito de su rehabilitación.
En este proyecto de investigación se implementan diversas tecnologías para facilitar el monitoreo y análisis de los datos de rehabilitación de la mano. En primer lugar, se utiliza el Leap Motion Controller para capturar los datos de posición y dirección de la mano durante los gestos realizados. Estos datos son procesados mediante un sistema de adquisición desarrollado en Matlab, permitiendo su análisis y generación de un dataset. El dataset es preprocesado y se extraen las características necesarias para la clasificación de cada gesto. Para ello se implementaron diferentes modelos de machine learning, como Redes Neuronales Artificiales (RNA) y K-Nearest Neighbors (KNN), para lograr una alta precisión en la clasificación. Tras el entrenamiento, se seleccionó una RNA con una exactitud del 93%. Una vez entrenado el modelo, se integra en Unity, donde se crea una interfaz interactiva que proporciona retroalimentación visual al usuario, permitiéndole realizar los gestos de forma efectiva y monitorear su progreso durante la rehabilitación
Keywords
RECONOCIMIENTO DE GESTOS, LEAP MOTION CONTROLLES, REHABILITACIÓN, MACHINE LEARNING, SISTEMA INTELIGENTE