Por favor, use este identificador para citar o enlazar este ítem:
http://cicese.repositorioinstitucional.mx/jspui/handle/1007/2648| Diseño e implementación de un sistema de comunicación oral y gráfica para personas con discapacidad auditiva y del habla, utilizando redes neuronales y autómatas programables. Design and implementation of an oral and graphical communication system for persons with speech and hearing disabilities, utilizing neural networks and programmable automatons | |
| Rafael Villa Angulo | |
| Hugo Homero Hidalgo Silva | |
| Acceso Abierto | |
| Atribución | |
| Redes neuronales | |
| En este documento se presenta el trabajo realizado en el Departamento de Ciencias de la Computación, relacionado con el diseño e implementación de una herramienta de comunicación para personas discapacitadas del habla y del oído. Esta herramienta es conceptualizada como una interfaz humano-computadora capaz de capturar y reconocer ademanes del lenguaje español signado de México. para realizar la captura de las expresiones manuales, el sistema utiliza un guante de datos basados en sensores de flexión, capaz de medir la posición de quince articulaciones de una de las manos de un usuario, y un sistema basado en sensores de ultrasonido para detectar la posición y movimientos de la mano con respecto al cuerpo del usuario, un par de autómatas programables para realizar el tratamiento de la información proveniente del guante de daos y del rastreador de movimientos y una computadora personal para realizar el trabajo de reconocimiento e interpretación de los ademanes. Para realizar el procesamiento de la información se utilizan técnicas de redes neuronales artificiales con las cuales se realizan mapeos del espacio de información generado por los instrumentos a un espacio de soluciones donde se encuentran los significados de los ademanes representados por el usuario. El sistema ha sido adaptado para reconocer los veintisiete ademanes que representan el alfabeto signado en español. Una vez capturado e interpretado un ademán, éste es presentado en forma escrita a través de una pantalla montada en la ropa del usuario, y en forma sonora a través de una bocina la cual pronuncia la letra que ha sido representada. La captura e interpretación son ejecutadas en tiempo real de tal forma que un ademán es capturado y representado en fracciones de segundo, y aun cuando sólo se ha adaptado a las veintisiete letras del alfabeto, éste es capaz de expandir su vocabulario a más de 970 ademanes distintos. El sistema ha sido probado utilizando redes neuronales tipo perceptrón multicapas con diferentes topologías para realizar el trabajo de clasificación de los ademanes, la versión que mejores resultados presentó utiliza una red neuronal de topología 10:20:25 y reconocer los ademanes con una precisión total de clasificación de 97.39%. Una virtud importante del sistema desarrollado es que los recursos que demanda tanto en espacio en memoria para almacenamiento del programa principal, como en tiempo de ejecución y energía requerida son muy bajos por lo que el sistema es fácilmente portable y puede ser utilizado como herramienta móvil de comunicación por personas discapacitadas del habla y/o del oído. This document describes a work related to the design and implementation of a tool of communication for persons with speech and hearing disabilities. This tool implements a Human-Computer interface capable of capture and recognize gestures belonging to the Mexican Spanish sign language. To carry out the capture of the manual expressions, the system utilizes a Dataglove based on flex sensor capable of measuring the position of fifteen articulations of one of the hands of a user, and a system based on ultrasonic sensors to detect the position and movements of the hand with respect to the body of the user. A pair of programmable automatons to take care of the processing of the signals from the Datalove and the movements tracker. A personal computer performs the recognition and interpretation of the gestures. Artificial Neural Networks technics are utilized to model the mapping of a space of information generated by the instruments to the space of solutions where the meanings of the gestures are found. The system has been adapted to recognize the twenty-seven gestures that represent the Spanish sign alphabet. Once a gesture is captured and interpreted is presented in written form through a screen mounted in the clothes of the user, and in sonorous form through a horn which pronounces the letter that has been represented. The capture and interpretation are executed in real time (fractions of second), and even when the systems has only been adapted to the twenty-seven gestures of the alphabet, exist the capability of expanding its vocabulary at than 970 distinct gestures. The system has been tested utilizing neural networks of the multilayer perceptrons kind with different topologies to carry out the job of classification of the gestures. The version that better results presented utilizes a neural network with a 10:20:25 topology and recognizes the gestures with a total precision of 97.39%. An important virtue of the system developed is that the resources that demands in space and memory for storage of the main program, as in time of execution and energy required are very low. Then the system is easily portable and can be utilized as a mobile tool of communication for persons with speech and hearing disabilities. | |
| CICESE | |
| 2001 | |
| Tesis de maestría | |
| Español | |
| Villa Angulo, R.2001.Diseño e implementación de un sistema de comunicación oral y gráfica para personas con discapacidad auditiva y del habla, utilizando redes neuronales y autómatas programables..Tesis de Maestría en Ciencias. Centro de Investigación Científica y de Educación Superior de Ensenada, Baja California.158 pp. | |
| TECNOLOGÍA DE LOS ORDENADORES | |
| Aparece en las colecciones: | Tesis - Ciencias de la Computación |
Cargar archivos:
| Fichero | Tamaño | Formato | |
|---|---|---|---|
| 142941.pdf | 37.23 MB | Adobe PDF | Visualizar/Abrir |