Por favor, use este identificador para citar o enlazar este ítem: https://repositorio.uta.edu.ec/jspui/handle/123456789/34822
Título : Hand gesture recognition using leap motion controller, infrared information, and deep learning framework
Autor : Nogales, Rubén
Toalumbo Rodríguez, Bryan David
Palabras clave : HAND GESTURE RECOGNITION
CONVOLUTIONAL NEURAL NETWORK
LEAP MOTION CONTROLLER
Fecha de publicación : mar-2022
Editorial : Universidad Técnica de Ambato. Facultad de Ingeniería en Sistemas, Electrónica e Industrial. Carrera de Ingeniería en Sistemas Computacionales e Informáticos
Resumen : Hand gesture recognition (HGR) systems are the current topic, attracting interest in many fields. This broad interest is because people use hand movements to communicate and interact with the physical world. HGR systems are overgrowing, and the reason is that they have applications for different fields of study. Fields can be human-computer interaction (HIC), augmented and virtual reality, robotics, medicine, and video games. Recognizing the frames to correspond to the hand gesture from a frames sequence is essential to developing HIC systems. Thus, this paper presents algorithms to detect the images corresponding to a hand gesture from a frame sequence acquired by the Leap Motion Controller. The frames sequence contains non-gestures images because the movement follows a video pattern in which the initial and final images correspond to the transition of the gesture. Therefore, this paper develops an automatic (AID) and manual (MID) images discriminator. Every algorithm returns a dataset with images corresponding to the hand gesture. To validate the algorithms, we present an HGR model with every algorithm. The models take as input the new dataset and feed an architecture based on convolutional neural networks (CNN). Our models recognize five static gestures: open hand, fist, wave in, wave out and pinch. The results show a classification accuracy of 92.31% with MID and 94.70% with AID.
Descripción : Los sistemas de reconocimiento de gestos de la mano (HGR) son un tema de actualidad, que ha despertado interés en numerosos campos. Este amplio interés, es porque el movimiento de las manos es muy utilizado en la comunicación humana y en la interacción con el mundo físico. Los sistemas HGR están creciendo rápidamente y la razón es porque se tiene diversas aplicaciones para diferentes campos de estudio. Los campos de estudio que se puede mencionar son la interacción humano-computador (HIC), la realidad aumentada y virtual, la robótica, la medicina, videojuegos etc. Reconocer los frames que corresponden al gesto de la mano de una secuencia de frames es esencial para el desarrollo de sistemas HIC. Así, este trabajo presenta algoritmos para detectar las imágenes que corresponden al gesto de la mano de una secuencia de frames adquiridas por el Leap Motion Controller. En la secuencia de frames se encuentran imágenes que no corresponden al gesto de la mano, debido a que el movimiento sigue un patrón de video en el que las imágenes iniciales y finales corresponden a la transición del gesto. Por esta razón, este trabajo desarrolla un discriminador de imágenes automático (AID) y manual (MID). Cada algoritmo retorna un conjunto de datos con imágenes que corresponden al gesto de la mano. Para validar los algoritmos, se presenta un modelo HGR con cada algoritmo. Los modelos toman como entrada el nuevo conjunto de datos y alimentan una arquitectura basada en redes neuronales convolucionales (CNN). El modelo reconoce cinco gestos estáticos: open hand, fist, wave in, wave out and pinch. Los resultados muestran una exactitud de clasificación de 92.31% con MID y 94.70% con AID.
URI : https://repositorio.uta.edu.ec/jspui/handle/123456789/34822
Aparece en las colecciones: Tesis Ingeniería en Sistemas Informáticos y Computacionales

Ficheros en este ítem:
Fichero Descripción Tamaño Formato  
t1961si.pdfTexto Completo5,24 MBAdobe PDFVisualizar/Abrir


Los ítems de DSpace están protegidos por copyright, con todos los derechos reservados, a menos que se indique lo contrario.