Prototipo traductor de lenguaje de señas para mejorar la comunicación de personas con discapacidad auditiva y de lenguaje a través del análisis del movimiento y flexión de la mano.

Abstract

Este proyecto de investigación presenta el diseño, construcción y validación de un prototipo tecnológico portátil diseñado para la traducción de la Lengua de Señas Ecuatoriana (LSEC) a texto y voz. Con el objetivo de mitigar las barreras de comunicación de la comunidad con discapacidad auditiva y de lenguaje en el Ecuador. El hardware implementado integra sensores de flexión y unidades de medición inercial (BNO08X), los cuales son gestionados por microcontrolador ESP32-S3. Los datos movimiento y de orientación espacial se transmiten en tiempo real vía Wi-Fi a una aplicación móvil Android para el guardado y reconocimiento de gestos. Dicha plataforma ejecuta localmente una red neuronal recurrente de Memoria a Largo Corto Plazo (LSTM) optimizada en TensorFlow Lite para realizar la inferencia sin dependencia de servidores externos. En las pruebas de validación técnica, el prototipo alcanzó una precisión del 83,33%, al reconocer correctamente 10 de las 12 frases entrenadas. En la evaluación de campo, el uso del prototipo incrementó el porcentaje de efectividad desde un 11% con el método tradicional hasta un 97% de éxito global; cabe destacar que este último valor se calculó únicamente sobre las diez frases que superaron la validación técnica. El desglose de este resultado demostró que el 88,6% del éxito global es atribuible directamente a la intervención del prototipo, pues 86 de los 97 aciertos comunicativos se lograron mediante su uso. Esto representó, además, una eficacia correctiva del 96,6%, al resolver exitosamente 86 de las 89 interacciones que inicialmente no habían sido comprendidas. Este último indicador refleja la capacidad del sistema para recuperar interacciones fallidas y no debe confundirse con la precisión global del prototipo.