Diseño de un dispositivo weareable para la traducción del lenguaje de señas mexicano
Design of a Weareble Device to Translate Mexican Sign Language
Luis Manuel Valverde-Cedillo luis_vc@tesch.edu.mx
Geny Itzamar Ochoa-Rodriguez geny_or@tesch.edu.mx
Cristian Vicente Salazar-Hernandez cristian_sh@tesch.edu.mx
Diseño de un dispositivo weareable para la traducción del lenguaje de señas mexicano
Científica, vol. 25, núm. 2, pp. 1-15, 2021
Instituto Politécnico Nacional
Recepción: 14/05/2021
Aprobación: 30/08/2021
Resumen:
El trabajo presentado muestra el desarrollo de un prototipo que permite captar e interpretar el lenguaje de señas mexicano (LSM) a través de un dispositivo weareable, en este caso un guante diseñado para personas que se comunican a través de este lenguaje de señas por presentar alguna dificultad del lenguaje y el habla así pueda comunicarse de manera efectiva con personas que no conocen este lenguaje. El guante interpreta sus movimientos por que cuenta con 5 sensores flexibles, que están colocados en cada uno de los dedos: pulgar, índice, medio, anular, meñique. Con los cuales se censa la variación de resistencia (ohmios) y se compara la variación al flexionarse. Los resultados son analizados en una interfaz de arduino, interpretados y posteriormente mostrados a través de una pantalla LCD. El dispositivo tiene de objetivo apoyar a una comunicación asertiva entre personas que usan el lenguaje de señas mexicano y aquellas que lo desconocen. El avance de nuestro proyecto promete disminuir las barreras de comunicación entre los sectores con discapacidad auditiva o verbal mejorando su calidad de vida y su interacción con la sociedad beneficiando en áreas académicas, laborales, sociales entre otras.
Palabras clave: discapacidad, tecnología, inclusión, innovación, lenguaje.
Abstract:
This paper presents the development of a prototype consist in a wearable device able to translate Mexican sign language (LSM) to phonetic, playing the sound and showing the phrases in a mobile phone. Using a glove, the disabled person can communicate naturally with people who do not know sign language. The device consists of a glove, which is capable of interpreting movements due to 5 flexible sensors that possess, these sensors are placed on each finger of the hand: thumb, index, middle, ring and little finger. Those register the variation of resistance (ohms) and the variation when flexing is compared. The results are analyzed in an arduino interface, interpreted, and later displayed through an LCD screen. The device is intended to support assertive communication between people who use Mexican sign language and those who do not know it. The progress of our project promises to reduce communication barriers between sectors with hearing or verbal disabilities, improving their quality of life and their interaction with society, benefiting academic, work, social areas, among others.
Keywords: disability, technology, inclusion, innovation, language.
I. Introducción
El prototipo que se presenta consiste en ser un traductor del lenguaje de señas mexicano (LSM) a través de un dispositivo weareable (guante) que permite traducir los mensajes de una persona con discapacidad de habla o lenguaje y así pueda comunicarse con personas oyentes.
El guante cuenta con 5 sensores flexibles que varían sus valores al ser doblados siendo colocados en cada uno de los dedos: pulgar, índice, medio, anular, meñique.
Cuyos resultados son recabados en nuestra base de datos que al tener una interfaz con arduino se puede visualizar en la LCD el mensaje que se quiere trasmitir. La presente investigación tiene como foco de atención a la población mexicana que presenta, alguna discapacidad del habla o lenguaje y se comunica a través de lenguaje de señas mexicano. En México existen 6 179 890 personas con discapacidad donde 2,234,303 son personas que no pueden hablar o comunicarse, y otras 5,104,664 personas que no pueden escuchar. De acuerdo con el Censo General de Población y Vivienda 2020, “una persona con discapacidad es aquella que presenta una limitación física o mental de manera permanente o por más de seis meses que le impide desarrollar sus actividades en forma que se considera normal para un ser humano" [1].
Las discapacidades pueden limitar el llevar una vida cotidiana normal, se puede mermar su desempeño escolar o laboral, se tiende a segregar a estos sectores de la población y ellos no sienten pertenecer a la sociedad, en el caso de una discapacidad del habla pueden sentir frustración ante la necesidad de comunicación debido a que gran parte de la población que no padece ninguna discapacidad desconoce el lenguaje de señas mexicano.
II. Antecedentes
Aprender un lenguaje es acceder de un modo distinto al mundo que todas y todos conformamos, forma parte de la diversidad, los ideales, los conceptos mediante los cuales nos reconocemos, nos relacionamos y en último de los casos nos reinventamos. Recordemos que el ser humano es un ser social. La comunicación ha sido esencial para lograr el desarrollo de las civilizaciones a lo que conocemos hoy en día.
Los medios de comunicación han evolucionado junto con el hombre; la escritura y la lengua han sido los más destacables e importantes para lograr el desarrollo de las civilizaciones, de estas, la lengua es la única que obtenemos en el núcleo social, nos permite interactuar con nuestros semejantes y se desarrolla desde temprana edad.
El lenguaje tiene la virtud de permitirnos transformar las concepciones que tenemos de nosotros mismos y de las y los demás. Las personas nos conocemos fundamentalmente por medio de procesos comunicativos; por ello, entre más amplios sean éstos más posibilidades tenemos de diversificar nuestro mundo y nuestros entornos sociales, con el consecuente enriquecimiento de nuestras vidas [2].
Juan Pablo de Bonet dedicó parte de su vida en escribir un libro dedicado a personas sordas que contenía el alfabeto manual, publicado en 1620 por la iglesia cristiana [3]. Años después en Francia, París, Abbe Charles de L´Epée fundo la primera escuela pública dirigida a personas sordas [4].
La historia ha visto avances en pro de las personas sordas desde el siglo XVI, sin embargo, México vio por primera vez esta inclusión a mediados del siglo XIX en el momento en que Benito Juárez fue Presidente Interino Constitucional de los Estado Unidos Mexicanos (1861) cuando decreta en la Ley de instrucción [5], artículo tercero, la creación de escuelas a nivel primaria para personas sordomudas.
A. Discapacidad en México
De acuerdo con los datos presentados por el INEGI en 2020, en los grupos de edad de 30 a 84 años se incrementa el porcentaje de personas con discapacidad. Por el contrario, los puntos más bajos se presentan en los grupos de edad de 0 a 4 años, de 15 a 29 años, así como en el grupo de 85 años y más.
Los porcentajes para las personas con discapacidades para hablar o comunicarse asciende al 15.3 % y con discapacidades para escuchar es del 21.9 % del total de la población con algún tipo de discapacidad (véase Fig.1) [6]
Fig. 1.
Porcentaje de discapacidad de escuchar y de hablar o comunicarse de acuerdo con el censo de población realizado por el INEGI 2020.
Tras la consulta de los resultados publicados por la Encuesta Nacional de la Dinámica Demográfica (ENANID) en 2018, del número de personas mayores de 5 años que habitan en el país, 6.7% tienen algún tipo de discapacidad, es decir, de una serie de actividades que se les planteo, tienen un grado alto de dificultad para realizarlo [7].
B. Desempeño académico y laboral
A nivel nacional e internacional, existen organizaciones que trabajan en favor de que las personas con discapacidad tengan igualdad de oportunidades; por ello, se han obtenido grandes avances, como el acceso a la educación, que hace algunos años no era posible.
De acuerdo con los resultados del XII Censo General de Población y Vivienda 2010 mientras 91% del total de la población entre 6 y 14 años asiste a la escuela, entre las personas con discapacidad el número baja de forma considerable hasta 63 %.
De los jóvenes con discapacidad que tienen entre 15 y 29años, sólo 15.5% asiste a la escuela. Casi 10 % de la población total del país mayor de 15 años no sabe leer ni escribir; en la población con discapacidad este dato representa el 32.9%. Como se aprecia en la Fig. 2.
De cada 100 personas de 15 años y más con discapacidad:
¾ 36 personas no cursan ningún grado escolar.
¾ 46 personas tienen educación básica incompleta.
¾ 7 personas tienen educación básica completa.
¾ 5 personas han cursado algún grado de educación media superior y cuentan con educación de nivel superior.
Fig. 2.
Porcentaje de educación en personas con discapacidad.
Para el ámbito laboral, el sector que concentra a la mayor proporción de personas contratadas con discapacidad son: los servicios y el comercio con un 48.5% de empleados, seguido por la industria con 24.5% de empleados y la explotación forestal, agricultura, ganadería, pesca, extracción de minerales, etcétera cuenta con el 23.8% de empleados que padecen alguna discapacidad (véase Fig. 3).
De cada 100 personas con discapacidad:
¾ 27 dedican menos de 34 horas a la semana a su empleo.
¾ 39 trabajan entre 35 y 48 horas.
¾ 30 laboran más de 48 horas.
Fig. 3.
Porcentaje de personas con discapacidad, que laboran en diferentes sectores.
III. Metodología
Se estableció una metodología de diseño basada en el modelo de la caja transparente, en la cual se establecen ciertos procesos que el diseñador, en este caso un equipo de trabajo debe llevar a cabo para establecer el diseño que mejor cumpliera los requisitos con los que debería contar el prototipo [8].
El proceso de diseño es interactivo por lo cual está en constante evaluación y retroalimentación, para lograr encontrar la solución óptima a un problema (véase Fig. 4).
Fig. 4.
Metodología del diseño.
Donde la planeación consiste en fijar el curso concreto de acción estableciendo los principios, la secuencia de operaciones y la determinación de tiempo y números necesarios para su realización.
La investigación previa nos permitió detectar el problema e identificar formas para confrontarlo. La población usante del lenguaje de señas mexicanas es de la más desentendida en el país debido a ser una problemática normalizada.
El objetivo es diseñar y fabricar un dispositivo weareable, capaz de traducir del lenguaje de señas mexicano a lenguaje oral y escrito de una manera eficiente.
La visión del dispositivo (guante) traductor de señas mexicano es que sea el instrumento líder que facilite la comunicación entre las personas usantes del lenguaje de señas mexicanas y personas que lo desconocen, que, además sea cómodo y fácil de operar; disminuyendo la barrera comunicativa que se forma a partir de la dificultad del habla y el desconocimiento de las personas oyentes por el lenguaje de señas mexicano.
Para lograr lo antes dicho la misión es diseñar un guante capaz de analizar los gestos manuales de una persona e interpretarlos con mínimos porcentajes de error al traducirlos.
A. Estado del arte
Durante los últimos años se han desarrollado diferentes aportaciones sobre la innovación e implementación tecnológica de dispositivos u aplicaciones para ayudar a la interpretación de la lengua de señas sin embargo la mayoría de los prototipos no se han culminado de una manera exitosa porque los dispositivos solo se han enfocado en la traducción del alfabeto dejando a un lado las palabras y oraciones del lenguaje de señas mexicano (LSM). Como se observa en la Tabla 2, Prototipos para la traducción del lenguaje de señas, existen diferentes dispositivos que son de uso comercial de costo elevado la mayoría de ellos no se ha desarrollado al 100 %.
B. Diseño del guante traductor del lenguaje de señas
El diseño de un dispositivo weareable para la traducción del lenguaje de señas mexicano elaborado en el Tecnológico de Estudios Superiores de Chalco, consta de varias etapas como primera fase se desarrolló el prototipo en el software de Solidworks donde se pueden visualizar los componentes (sensor flexible, resistencia, Arduino) que lleva el dispositivo (véase Fig. 5).
Fig. 5.
Prototipo en el software de solidword.
El modelo de diseño se estableció luego de la realización de diversos prototipos, en principio se optó por la elaboración de prototipos sencillos y con material casero, pensando en la economía y establecer el desempeño y en función de eso implementar mejoras.
En primera instancia se elaboró un dispositivo (Prototipo 0)como se observa en la Fig.6, que contaba con sensores realizados con grafito de 1 g por sensor y laminillas de aluminio de 10 cm de largo por 0.8 cm de ancho con un espesor de 0.0014 mm tomando en cuenta que el papel aluminio comercial es de 0.0007 mm de espesor, la desventaja era que censaban valores de resistencia de entre 50 y 800 Ohm por lo cual era difícil realizar la comparativa entre las diferentes letras sobre todo las que son muy parecidas en su gesticulación [5]. Los movimientos de la mano también fueron un reto a vencer ya que el movimiento hacia inestables las mediciones. Todo ello se montó en un guante de látex, el cual era muy incómodo para realizar la forma de los gestos.
Fig. 6.
Prototipo 0: Consiste en un guante de látex con sensores flexible elaborados de grafito de manera casera.
El Prototipo 1 La creación del segundo prototipo se implementó en un guante textil de tela de algodón para lograr mayor confort en el usuario donde su uso era más cómodo y en lugar de colocar los sensores caseros se optó por laminillas de cobre de 10 cm por 0.5 cm de ancho y de 0.01 mm de espesor. Al final el guante no permitía la suficiente flexibilidad. Sin embargo, resultó ser más estético. Se puede apreciar en la Fig. 7.
Fig. 7.
Prototipo 1: guante textil de algodón con laminillas de cobre.
Para el siguiente prototipo se consideraron distintos tipos de telas textiles se optó por diseñar y elaborar el guante con licra que es un material ligero, transpirable y que permite realizar la gesticulación de manera cómoda. Se implementaron los sensores flexibles comerciales ya que la medición arrojada por ellos es mucho más estable al dar los valores entre x, y, z, dando un resultado más confiable: el Prototipo 2 (véase Fig. 8).
Fig. 8.
Prototipo 2: guante de licra, con sensores flexibles comerciales.
C. Electrónica y programación, simulación
La programación se realizó en Arduino IDE, este programa ocupa un lenguaje C++, adaptado para cargarse en las placas propias de este desarrollador, dado que se ocupó una placa Arduino UNO [9]. Debido a que el código es abierto permite la utilización de diversos componentes y librerías. Siendo la versatilidad, la principal razón de apoyo en la programación.
Se utilizan sensores flexibles que se acoplan fácilmente a la forma anatómica de cada uno de los 5 dedos de la mano, arrojando valores analógicos estables que se capturan y analizan en Arduino uno, donde la conexión se simula en el programa de computación PROTEUS, destinado al diseño y simulación de circuitos electrónicos, como se observa en la Fig. 9.
Fig. 9.
Simulación en Proteus de los sensores flexibles conectados al Arduino UNO.
Una vez simulado el circuito deben analizarse los datos mostrados en la LCD para determinar si las conexiones son correctas y el resultado es el esperado
La redacción del código se inició con cada uno de los 5 dedos (pulgar, anular, índice, medio, meñique), el sensor flexible correspondiente debe ser declarado como entrada, la función de los sensores será leer la resistencia generadas al doblar los dedos, que tienen un rango de valores que oscila entre de 0 y 1000 Ohm, esto se puede observar en la pantalla del puerto de comunicación serial (véase Fig. 10). Este procedimiento se realizó para cada uno de los 5 dedos de la mano. Donde las combinaciones son distintas en el momento que se introducen las letras del abecedario la señal del serial plotter se modifica.
Fig. 10.
Impresión de pantalla del puerto serial de 0 a 1000 Ohm.
Donde las combinaciones son distintas en el momento que se introducen las letras del abecedario la señal del serial plotter se modifica. En la Fig. 11, se muestra una parte del código donde se programa, la sintaxis para leer los valores e imprimir en pantalla la letra “a” o “b”.
Fig. 11.
Parte de la programación en arduino para que muestre la letra "a" y "b”.
Se determinó mediante simulaciones que el programa trabaja de manera adecuada, donde los valores de los sensores flexibles analógicos se convertirán en señal digital para visualizarlo en la LCD. En el diagrama de flujo que se observa (véase Fig. 12), cómo interactúa cuando se introducen más de una letra en el código.
Fig. 12.
Diagrama de flujo de la interacción del código al introducir más de una letra del alfabeto.
IV. Resultados
A diferencia del modelo presentado por Álvarez Torres [10], el diseño propuesto en este trabajo aún no cuenta con un módulo bluetooth, esto lo hace robusto por el uso de cables de comunicación, pero a la vez lo mantiene en un rango de costos económico, la implementación de esta tecnología en un futuro haría posible la lectura de datos con acelerómetro y así tener una mayor posibilidad de lectura de gestos, además de ello se podrían generar una base general de datos y de esta manera prepararlo para el uso de distintas leguas de señas adaptada a cada región.
El siguiente diagrama facilita la comprensión acerca del funcionamiento y estructura del “Diseño de un dispositivo weareable para la traducción del lenguaje de señas mexicano” el cual contiene los diferentes subsistemas que conforman el prototipo (véase Fig.13).
Fig. 13.
Diagrama de bloques del funcionamiento del dispositivo weareable para la traducción de lenguaje de señas mexicano.
El funcionamiento de un dispositivo weareable para la traducción del lenguaje de señas mexicano:
- El proceso inicia en la traducción del lenguaje de señas mexicano con el ingreso de estos datos.
- Se realiza la adquisición de las señales de los sensores flexibles.
- Cuando entra a la etapa de procesamiento recibe los datos de los sensores y este a su vez realiza la programación que se da cuando se traduce el lenguaje de señas mexicano a caracteres.
- Los caracteres son enviados mediante el módulo bluetooth a un dispositivo móvil y paralelamente desde la aplicación desarrollada se pueden enviar mensajes que son visualizados y reproducidos en el móvil.
Teniendo el dispositivo weareable (guante) se realizan una serie de pruebas equivalentes a 4050 en la introducción del alfabeto y las palabras que garantizan una traducción del 99.6% de exactitud de esta manera el usuario logra tener una comunicación más fluida con las personas oyentes. Se muestra a continuación los resultados de las pruebas de manera aleatoria.
A continuación, se muestra cómo se elabora la seña de la letra “a” en la Fig. 14a de manera simulada en solidworks y de manera física. Donde de 150 pruebas realizadas al interpretar la letra “a” la exactitud de cada uno de los movimientos efectuados por los dedos: pulgar, índice, medio, anular y meñique (véase Fig. 14b) que equivale a un 99.4% efectividad en la traducción del lenguaje de señas mexicana.
Fig. 14a.
Simulación en solidworks y de manera física de cómo se realiza la letra “a”, en el lenguaje de señas mexicano.
Fig. 14b.
Pruebas realizadas de la letra “a” de las 150 veces que se interpretó.
En la siguiente prueba se elabora la seña de la letra “e” en la Fig. 15a donde se simuló en solidworks y de manera física. Demostrando una efectividad del 99.4% de traducción del lenguaje de señas mexicana de 150 pruebas realizadas al interpretar la letra “e” de cada uno de los movimientos efectuados por los dedos: pulgar, índice, medio, anular y meñique (véase Fig. 15b).
Fig. 15a.
Simulación en solidworks y de manera física de cómo se realiza la letra “e”, en el lenguaje de señas mexicano.
Fig. 15b.
Pruebas realizadas de la letra “e” de las 150 veces que se interpretó.
Enseguida la prueba de la seña de la letra “i” en la Fig.16a donde se simuló en solidworks y de manera física. Demostrando la traducción del lenguaje de señas mexicana de un 99.6% de efectividad de las 150 pruebas realizadas al interpretar la letra “i” donde cada uno los dedos: pulgar, índice, medio, anular y meñique (véase Fig. 16b) realizan una serie de movimientos para efectuar la letra.
Fig. 16a.
Simulación en solidworks y de manera física de cómo se realiza la letra “i”, en el lenguaje de señas mexicano.
Fig. 16b.
Pruebas realizadas de la letra “i” de las 150 veces que se interpretó.
A continuacion se muestra cómo se elabora la seña de la letra “o” en la Fig. 17a de manera simulada en solidworks y de manera física. Donde de 150 pruebas realizadas al interpretar la letra “o” la exactitud de cada uno de los movimientos efectuados por los dedos: pulgar, índice, medio, anular y meñique (véase Fig. 17b) equivale a un 99.4% efectividad en la traducción del lenguaje de señas mexicana.
Fig. 17a.
Simulación en solidworks y de manera física de cómo se realiza la letra “o”, en el lenguaje de señas mexicano.
Fig. 17b.
Pruebas realizadas de la letra “o” de las 150 veces que se interpretó.
V. Conclusión
En la actualidad está comprobado que hay un gran sector de la población que tiene alguna discapacidad, lo que puede generar una disminución en su calidad de vida. La creación de un dispositivo, portátil y de bajo costo, que les permita comunicarse puede ayudarles a contrarrestar la segregación sufrida por este padecimiento. Lo anterior debido a que es más fácil que las personas que sepan utilizar el lenguaje de señas mexicano puedan comunicarse con las personas oyentes que no tienen conocimiento de este.
Este primer acercamiento al desarrollo de un dispositivo que pudiera realizar la traducción entre lenguaje de señas y lenguaje escrito, logro su cometido, aunque es importante planear a la implementación de un altavoz que pueda arrojar la fonética del gesto que se está interpretando.
La creación de una app, que hoy en día es un implemento de fácil acceso, contribuiría a que las personas con discapacidad de lenguaje puedan tener una mayor calidad de vida e integración a la sociedad.
Reconocimiento
Se agradece al Instituto Tecnológico de Estudios Superiores de Chalco, a los docentes de esta casa de estudios y a las autoridades correspondientes las facilidades obtenidas y apoyo para la generación de este proyecto.
Referencias
[1] INEGI, Instituto Nacional de Estadística y Geografía, [En línea]. Available: https://www.inegi.org.mx/contenidos/programas/ccpv/2020/doc/Censo2020_Principales_resultados_EUM.pdf
[2] G. Pérez, Manos con voz. Diccionario de lengua de señas mexicana, Distrito Federal: Libre Acceso AC, 2011.
[3] M. I. C. Giner, Biblioteca Virtual Miguel de Cervantes, 2008. [En línea]. Available: http://www.cervantesvirtual.com/obra-visor/la-enseanza-de-los-sordomudos-en-espaa-en-los-siglos-xvii-y-xviii-anlisis-comparativo-de-las-obras-de-j-p-bonet-y-l-hervs-y-panduro-0/html/01be6600-82b2-11df-acc7-002185ce6064_5.html
[4] A. Oviedo, Cultura sorda, 2007. [En línea]. Available: https://cultura-sorda.org/abad-de-lepee/
[5] P. Hernández, discapacidad.com, Benito Juárez, el presidente que luchó por los sordos, 21 marzo 2014. [En línea]. Available: http://www.cucsh.udg.mx/noticia/benito-juarez-el-presidente-lucho-por-los-sordos
[6] INEGI, Encuesta Nacional de Población y Geografia, [En línea]. Available: https://www.inegi.org.mx/contenidos/productos/prod_serv/contenidos/espanol/bvinegi/productos/censos/poblacion/2010/perfil_socio/uem/702825047610_1.pdf
[7] ENADID, Instituto Nacional de Estadística y Geografía (INEGI), 2018. [En línea]. Available: https://www.inegi.org.mx/contenidos/programas/enadid/2018/doc/resultados_enadid18.pdf
[8] J. C. Jones, Métodos de diseño, Barcelona: Gustavo Gili, 1976.
[9] Arduino, Foro y librerías, [En línea]. Available: https://www.arduino.cc/EN/TUTORIAL/LIBRARYEXAMPLE
[10] V. A. Álvarez-Torres, “Guante multisensorial para dactilología con respuesta mejorada mediante el empleo de bluetooth y regresión lineal,” Revista de Prototipos Tecnologicos, vol. 4, nº 13, pp. 23-31, 2018.