Desde la infancia, las personas oyentes son educadas para emitir una variación de ondas sonoras con sus cuerdas vocales, facilitando la diferenciación de palabras, consonantes y vocales por medio del sonido generado con su voz. Esto hace que la escritura de palabras sea más sencilla de entender. En contraste, para una persona sorda que no puede percibir el sonido, entender el idioma hablado es más complicado [1-3]. Para algunos autores [4], las personas sordas utilizan el lenguaje de señas, un sistema de comunicación que varía según el país y que es empleado por, aproximadamente, el 5% de la población mundial. En Colombia, alrededor de 500 000 personas usan la lengua de señas colombiana (LSC) [2].

El proyecto SinSeñas2.0 surgió como una respuesta a la necesidad de reducir la brecha comunicacional entre personas oyentes y sordas. La elección del sistema operativo Android se basó en su amplia adopción en América Latina y en Colombia [5]. La aplicación actual fue una evolución de un proyecto anterior que utilizó material teórico para la enseñanza, y la cámara del dispositivo para la traducción de gestos [6, 7]. La incorporación de inteligencia artificial y aprendizaje automático mejoró la precisión y efectividad de la aplicación [8-10].

En estudios recientes se han desarrollado diversos métodos para el reconocimiento y traducción de la lengua de señas, utilizando tecnologías avanzadas como MediaPipe y TensorFlow Lite [11-13]. Estos enfoques han demostrado ser eficaces en la creación de sistemas de reconocimiento de señas en tiempo real, reduciendo la necesidad de equipos especializados [14-16].

La herramienta SinSeñas2.0 empleó Edge Impulse para la creación de un modelo inteligente que utilizó un dataset compuesto por imágenes de señas, mejorando así la precisión del reconocimiento [12].

Esta metodología, basada en el uso de aprendizaje automático y técnicas avanzadas de procesamiento de imágenes, permitió avanzar significativamente en la creación de una herramienta robusta y eficaz para la traducción de la lengua de señas. En primer lugar, el uso de redes neuronales convolucionales (CNN) fue fundamental para el reconocimiento preciso de los gestos de la lengua de señas a partir de imágenes capturadas por la cámara del dispositivo [11]. Estas redes fueron capaces de aprender características discriminativas de los gestos gracias a un proceso de entrenamiento supervisado, utilizando un gran número de imágenes de señas etiquetadas [12].

Además, la implementación de modelos de aprendizaje profundo, como los modelos preentrenados en grandes conjuntos de datos, mejoró la capacidad del sistema para generalizar a nuevos gestos y variaciones en la ejecución de las señas [13]. El uso de técnicas de aumento de datos (data augmentation), como la rotación, el escalado y la traslación de imágenes, facilitó la creación de un dataset balanceado y diversificado que mejoró la robustez del modelo frente a diferentes condiciones de captura [14].

Otra técnica clave ha sido el uso de Edge Impulse, una plataforma que favoreció la implementación de modelos de aprendizaje automático en dispositivos móviles con recursos limitados [15], ya que permitió optimizarlos para que funcionen de manera eficiente en dispositivos Android, garantizando un procesamiento en tiempo real sin comprometer la precisión [16].

El enfoque metodológico también incluyó la validación cruzada y la evaluación del modelo utilizando métricas de rendimiento como la precisión, la exactitud y la sensibilidad, asegurando que este no solo sea preciso, sino también confiable en su desempeño [9]. La integración de retroalimentación de usuarios finales fue esencial para ajustar y mejorar el modelo, asegurando que la herramienta fuera práctica y útil en situaciones reales de comunicación [8].

Finalmente, la combinación de redes neuronales convolucionales, modelos de aprendizaje profundo preentrenados, técnicas de aumento de datos, y la optimización para dispositivos móviles a través de Edge Impulse, favoreció desarrollar SinSeñas2.0 como una solución accesible y precisa. Esta herramienta no solo contribuirá a la inclusión de las personas sordas en la sociedad, facilitando su comunicación con personas oyentes, sino que también representa un avance significativo en la tecnología de traducción de la lengua de señas [11].

La construcción de la herramienta de la que trata este artículo, SinSeñas2.0, se llevó a cabo mediante el uso de la metodología Xtreme Programming (XP) [17]. Tuvo como propósito principal entender las necesidades del cliente, estimar el esfuerzo y dar una solución que cumpliera con las necesidades de la población a la cual estaba destinada [18].

Es importante anotar que todo este proceso se hizo articulado bajo las buenas prácticas de la gestión de proyectos basadas en la guía de PMBOOK [19], con el ánimo de gestionar las diferentes áreas de conocimiento que esta comprende.

A continuación, se presentan las fases en las cuales se desarrolló el proyecto.

Dadas las respectivas configuraciones, y evaluando la precisión arrojada en cada una de estas, se optó por conservar la Configuración 1, ya que se obtuvieron mejores resultados, como se muestra en las figuras 14, 15, 16, 17 y 18.

Figura 14

Figura 15

Figura 16

Figura 17

Figura 18

La razón principal para usar dicha configuración fue el empleo de un dataset relativamente pequeño, lo que permitió lograr mejor rendimiento y menor pérdida de información en cada reconocimiento, esto significó entre 550 y 700 imágenes por seña. Lo anterior pudo llevar a imprecisiones en algunos momentos de la realización de las señas, causando un porcentaje pequeño de incertidumbre, debido a la complejidad de la seña, el ruido visual y la cantidad de luz en el momento su captura. Sin embargo, en un ambiente con buena luz, se obtuvieron buenos resultados.

A su vez, es importante desatacar los resultados obtenidos con SinSeñas2.0, pues mostraron una mejora significativa en la precisión y eficiencia del reconocimiento de la lengua de señas, en comparación con enfoques anteriores que no utilizaron aprendizaje automático.

En línea con esto, en este apartado, se discuten estos hallazgos en el contexto de estudios previos y se resaltan las diferencias clave entre los métodos tradicionales y los basados en Machine Learning (ML).

En estudios previos, los métodos tradicionales para la identificación de lenguaje de señas se basaban principalmente en técnicas de procesamiento de imágenes básicas y algoritmos de coincidencia de patrones [1]. Estos enfoques tenían limitaciones en términos de precisión y capacidad de adaptación a variaciones en la ejecución de señas. Por ejemplo, estudios como el de Pérez y Gómez [4], que utilizaron técnicas de procesamiento de imágenes sin ML, lograron una precisión del 70% al 75% en condiciones controladas, pero su rendimiento disminuyó significativamente en entornos no controlados.

En contraste, SinSeñas2.0, que incorporó CNN y técnicas de aumento de datos, mostró una precisión promedio del 90% en la identificación de señas en diversas condiciones ambientales. Esta mejora se debe a la capacidad de las CNN para aprender características discriminativas de los gestos, y a la robustez del modelo frente a variaciones en la iluminación, el fondo y la posición de las manos [11-13].

Sumado a esto, el uso de aprendizaje automático y modelos de aprendizaje profundo en SinSeñas2.0 permitió superar varias limitaciones de los métodos tradicionales. Los modelos preentrenados en grandes conjuntos de datos mejoraron la capacidad del sistema para generalizar a nuevos gestos y variaciones en la ejecución de las señas. Además, el uso de técnicas de aumento de datos posibilitó la creación de un dataset balanceado y diversificado, mejorando la robustez del modelo [14].

Por su parte, el uso de plataformas como Edge Impulse optimizó los modelos para dispositivos móviles, garantizando un procesamiento en tiempo real sin comprometer la precisión. Esta optimización es crucial para aplicaciones prácticas, ya que favorece el uso de la herramienta en situaciones del mundo real sin la necesidad de equipos especializados [15, 16].

Uno de los desafíos más significativos en el reconocimiento de lenguaje de señas es el desempeño en entornos no controlados. Estudios como los de Kumar et al. [11] y Liu et al. [12] han demostrado que los modelos basados en ML pueden mantener una alta precisión en condiciones variadas, lo que no es posible con métodos tradicionales. SinSeñas2.0 fue probado en diversas condiciones de luz y fondo, mostrando una precisión consistente, lo cual es un testimonio de la eficacia de dichos modelos.

Aunque SinSeñas2.0 evidenció mejoras significativas, también existen áreas que necesitan atención. Por ejemplo, la precisión del reconocimiento puede disminuir para señas muy similares entre sí. Además, la recopilación y etiquetado de datos sigue siendo un desafío, ya que requiere un esfuerzo considerable para asegurar un dataset de alta calidad. La integración de retroalimentación continua de los usuarios finales será crucial para seguir mejorando la herramienta [9, 17].

Finalmente, se concluye que, en comparación con estudios previos que no utilizaron técnicas de ML, SinSeñas2.0 demostró ser una herramienta más precisa y robusta para la traducción de la lengua de señas. La incorporación de aprendizaje automático favoreció avances significativos en términos de precisión, adaptabilidad y usabilidad en entornos reales. Estos hallazgos subrayan la importancia de continuar explorando y mejorando el uso de tecnologías avanzadas para la inclusión de la comunidad sorda.

La eficacia del reconocimiento y clasificación de señas utilizando la herramienta Edge Impulse depende, en gran medida, de un dataset balanceado, ya que una adecuada proporción entre los datos de prueba y los de entrenamiento es crucial para garantizar la precisión del modelo. En este estudio, la implementación de técnicas de aumento de datos ayudó a crear un dataset diversificado, mejorando la robustez del modelo frente a diversas condiciones ambientales y variaciones en la ejecución de las señas.

A pesar de los buenos resultados obtenidos, es importante reconocer las limitaciones de la herramienta Edge Impulse, especialmente cuando se utiliza una cuenta con funciones limitadas, como restricciones en el tiempo máximo de entrenamiento y la capacidad de la capa de aprendizaje para reconocer y clasificar señas complejas. Para superar estas barreras, se sugiere explorar opciones para utilizar versiones más avanzadas de la herramienta o integrar técnicas adicionales de optimización de modelos que puedan mejorar la precisión sin aumentar significativamente los recursos necesarios.

El próximo paso en el desarrollo de Sin Señas2.0 es la integración de la herramienta en una aplicación Android para facilitar su uso por parte de la comunidad sorda. La implementación en dispositivos móviles permitirá un acceso más amplio y práctico, promoviendo la inclusión social de las personas sordas al facilitar su comunicación con personas oyentes. Además, la retroalimentación continua de los usuarios finales será esencial para ajustar y mejorar la aplicación, asegurando que se mantenga útil y relevante en contextos del mundo real.