Aplicación multiplataforma con IA para traducción bidireccional de señas, texto y voz en tiempo real, facilitando inclusión comunicacional.

Abstract

El presente trabajo tuvo como objetivo desarrollar una aplicación multiplataforma capaz de traducir el lenguaje de señas ecuatoriano a texto y voz en tiempo real mediante el uso de modelos basados en Transformers. Para ello, se adoptó una metodología de tipo cuasiexperimental con un enfoque aplicado, complementada con un desarrollo ágil basado en el marco de Extreme Programming. El sistema fue desarrollado mediante el uso de Flutter, una API implementada en Flask, una base de datos PostgreSQL y técnicas de visión por computadora orientadas al reconocimiento de gestos. La evaluación se llevó a cabo con la participación de 15 usuarios voluntarios, quienes interactuaron con la aplicación, permitiendo medir su desempeño a través de métricas como accuracy, precision, recall y F1-score. Los resultados obtenidos evidenciaron un funcionamiento satisfactorio del sistema, alcanzando valores globales de 87% en accuracy, 90% en precision, 87% en recall y 88% en F1-score. Asimismo, se determinó que factores como las condiciones de iluminación y la adecuada ejecución de las señas inciden directamente en el rendimiento del modelo. Por otro lado, las encuestas aplicadas reflejaron niveles de aceptación superiores al 80% en términos de usabilidad y satisfacción del usuario. En conclusión, el sistema desarrollado demostró ser una alternativa viable para la traducción automática del lenguaje de señas en tiempo real, cumpliendo de manera efectiva con los objetivos propuestos. Asimismo, se evidenció su potencial como herramienta tecnológica orientada a mejorar la comunicación entre personas sordas y oyentes, contribuyendo a la inclusión social.