HTML

ePub

PDF

I. INTRODUCCIÓN

Este documento presenta una revisión sobre las interfaces naturales de usuario INU y los dispositivos más comunes del mercado que permiten desarrollarlas para diversas aplicaciones. Se destaca el uso de las INU en la industria para manipular robots a distancia y ayudarlos a ejecutar tareas complejas. Posteriormente se presentan ejemplos del uso de las INU y sus dispositivos en la medicina donde pueden ser utilizadas como asistentes en quirófanos, ayudantes en casa o apoyo en la rehabilitación.

II. Dispositivos de Interfaces naturales de usuario

nterfaz natural es el nombre que se utiliza para referirse a las Interfaces Naturales de Usuario o INU (NUI: Natural User Interface en inglés) que se caracterizan por permitir la interacción con máquinas o sistemas utilizando los movimientos particulares del cuerpo humano, como movimientos de las articulaciones, la cara, las pupilas o incluso la voz [1]. El tipo de interacción es lo que diferencia a las INU de las Interfaces Gráficas de Usuario, pues estas últimas permiten la interacción del usuario con la maquina a través de dispositivos físicos como un mouse, joystick o teclado.

Las INU son utilizadas en diversas aplicaciones como el entretenimiento a través de los videojuegos, videoconferencias en 3D, asistencia clínica en el diagnóstico de enfermedades mentales en niños, despliegue de imágenes médicas en una sala de cirugía evitando la contaminación de las manos [2], rehabilitación física de pacientes con problemas de movilidad [3], entre otros.

Esto se logra gracias a la facilidad con que el usuario entiende el funcionamiento de las INU, pues permiten una interacción que se percibe real o como su nombre lo indica natural. El uso de la palabra natural se refiere sobre todo a cómo el usuario se siente cuando interactúa o utiliza el dispositivo. El dispositivo debe funcionar como si fuera un espejo para el usuario, el cual no necesitará de mucho entrenamiento para usarlo como si fuera algo cotidiano [4]. Lo anterior se refleja en la facilidad con que el usuario mejora su experiencia, se adapta al dispositivo y a su funcionamiento, facilita la realización de tareas mentales y acelera el aprendizaje a través de las sensaciones y movimientos del cuerpo [5].

Algunos de los dispositivos más conocidos, utilizados y de fácil acceso en el mercado son el Leap Motion y el Kinect de Microsoft.

El Leap Motion (Figura 1) es un dispositivo que se conecta por USB a un computador y permite captar los movimientos de las manos con una alta precisión. Utiliza sensores infrarrojos y su cámara puede captar 200 frames por segundo, que luego son analizados por su software. Su última actualización permite crear aplicaciones de realidad virtual. Funciona para Windows y Android y tiene integración con Unity y Unreal [6][7].

El Kinect de Microsoft (Figura 2) es probablemente el dispositivo que permite la interacción con una máquina a través de una INU más conocido del mercado. Fue lanzado inicialmente con la consola de videojuegos Xbox 360. Se conecta por USB y puede captar los movimientos del cuerpo entero, el rostro o incluso de objetos sin que el usuario tenga que usar algún otro dispositivo o ropa especial. Puede captar los movimientos del usuario incluso en salas llenas de otra gente o totalmente oscuras. Puede ser manipulado con movimientos o con voz. Funciona en diversos sistemas operativos como Windows MAC y Linux. Su desarrollo es en C++ y C# y tiene integración con Unity Pro [2][8] [9].

Otros dispositivos como el sensor del Nintendo Wii no son necesariamente considerados como INU, pues requieren de algún dispositivo de entrada como en las interfaces gráficas, en este caso el WiiMote, que es inalámbrico y permite detectar movimientos y rotación. La consola Wii (Figura 3) ha podido ser programada en Java y las características del sensor de movimiento han sido probadas en Linux gracias a la ingeniería inversa [10]. La Nintendo Wii junto con sus controles inalámbricos fue descontinuada y reemplazada por la consola Wii U. Su sensor de movimiento se conectaba a la consola a través de un cable convencional y los sensores infrarrojos de este eran los que leían los movimientos en tres dimensiones del WiiMote, que contaba con acelerómetro y un sensor óptico [11].

La empresa Asus sacó al mercado en el 2012 el Asus Xtion Pro Live (Figura 4), un dispositivo para “competir” con el Kinect [2]. El Asus, aunque aún tiene soporte, no es sencillo conseguirlo en el mercado. Fue diseñado para uso exclusivo de desarrolladores y cuenta con detección de gestos tanto de las manos como del cuerpo entero, tiene una cámara que capta imágenes a color y puede ser controlado por voz. Se conecta al computador a través del puerto USB [12].

Una tecnología reciente que combina varias de las ventajas de los dispositivos anteriormente mencionados es la Intel RealSense, que consiste en una cámara creada por Intel que funciona con un SDK (software development kit) especial que se obtiene desde la página oficial de Intel [13]. Existen diferentes tipos de cámaras, cada una permite hacer diferentes trabajos como rastrear personas, reconocer objetos, escaneo 3D, trabajar con realidad aumentada o en el caso específico de la Camera Intel RealSense SR300-Series (Figura 5), permitir la interacción natural [14]. Tiene también kits de desarrollo de robótica y ya ha sido utilizada para crear un simulador que permite el reconocimiento de gestos para manipular un robot industrial, obteniendo buenos resultados en cuanto a detección de gestos que aseguran una respuesta rápida del sistema [15].

Los dispositivos que permiten la interacción mediante INU tienen muchas ventajas y pueden ser utilizados en diversas aplicaciones, sin embargo, pueden presentar errores al captar los movimientos lo que genera inconvenientes a la hora de hacer experimentos. También pueden ser incómodos de utilizar como el caso del Leap Motion, que después de un tiempo puede producir cansancio en los brazos de los usuarios.

III. INU en la manipulación de máquinas

Entre las aplicaciones de las INU, se destacan el “entrenar” o manipular a distancia distintos tipos de sistemas robóticos.

Las INU son utilizadas para que el programador de robots le diga al robot qué debe hacer y cómo hacerlo. Esto se logra haciendo que la máquina capte, a través de un dispositivo para INU, los movimientos de una persona y los “imite”. Investigadores de Gran Bretaña y Japón han desarrollado un sistema para aprender movimientos de manipulación al imitarlos de un humano (Figura 6). El sistema está basado en modelos estadísticos y provee una interfaz que capta los movimientos del usuario y le permite instruir o modificar movimientos del robot [16].

Los robots, especialmente en la industria, son entrenados a través de interfaces gráficas de usuario o incluso tocando directamente el robot para grabar los movimientos que se le den. En China, han creado un framework basado en detección de movimientos que permite la manipulación de robots industriales a través de los gestos de las manos (Figura 7). Se ha demostrado el funcionamiento de este Framework con el Kinect y el Leap Motion pues su principal interés es detectar las acciones de manos y muñecas, cuya forma y movimiento es similar al de los efectores finales de los brazos robóticos. Este framework permite, además, que los usuarios no necesariamente sean técnicos especializados en manipulación de robots, pues al utilizar INU todo el sistema es fácil de entender y manipular [17].

Otra forma de utilizar las INU en la manipulación de robots es operándolos a distancia. Muchas veces el operario no puede estar cerca del robot y al querer manipularlo a distancia con un dispositivo físico, puede perder sensaciones de profundidad o no tener claro exactamente qué debe hacer el robot pues las cámaras le transmiten imágenes de baja calidad o en 2D. Ante esto, en Corea se ha creado un sistema de teleoperación de realidad mixta que permite al operario tener una imagen del robot en 3D y ver cómo este se mueve e interactúa con los objetos alrededor gracias a la obtención de gestos de la mano a través de un Kinect [18]. El sistema aprovecha las dos manos del usuario para manipular y navegar por la interfaz creada, además que ayuda a mejorar la forma en que se maneja un robot industrial y no requiere mucho tiempo de aprendizaje, por lo cual puede ser utilizado por usuarios novatos (Figura 8).

Operar robots industriales a distancia ha probado ser una solución al inconveniente de ayudar al robot a realizar tareas que normalmente no podría ejercer adecuadamente. La probabilidad de completar estas tareas satisfactoriamente aumenta al usar en la teleoperación dispositivos como el Leap Motion, que junto a un trabajo matemático aumenta la robustez del sistema, permite mejor ergonomía, precisión y tiempo de ejecución [16].

Otros usos de las INU se encuentran en la manipulación de robots móviles. Este tipo de robots pueden ser utilizados en diversas aplicaciones y funcionan con los principios de la teleoperación de robots industriales vistos anteriormente. Estudios han demostrado a través de pruebas con varios usuarios novatos, que manipular un robot móvil puede ser más fácil e incluso más motivante si se hace con un dispositivo para INU como el Kinect, que si se hace con un joystick [20].

IV. INU en la medicina

Una de las principales aplicaciones de las INU se ha dado en el campo médico, ya sea en el entrenamiento de cirujanos, la rehabilitación o incluso la manipulación de robots quirúrgicos.

Los robots quirúrgicos fueron creados para mejorar cirugías como LESS (laparoendoscopia por puerto único por sus siglas en inglés) o NOTES (cirugía endoscópica transluminal por orificios naturales, por sus siglas en inglés) o incluso cirugías cardiacas o neuronales. Además, se ha desarrollado en los últimos años de tal forma que van más allá de grandes sistemas como el DaVinci para pasar a robots asistentes cada vez más pequeños que sirven para realizar diagnósticos o eventualmente asistir cirugías aún más complejas [21]. Esto lleva a la necesidad de que los cirujanos se adapten a estas nuevas tecnologías sin poner en riesgo la salud del paciente. Es por esto que se hace necesario crear módulos de entrenamiento y diagnóstico en donde las INU se hacen fundamentales.

En el entrenamiento de cirujanos, generalmente se crean ambientes virtuales que permiten al cirujano conocer el funcionamiento de los robots virtuales y/o los procedimientos a seguir en determinadas cirugías y luego, a través de INU se crean ejercicios que permiten al usuario entrenar movimientos de sutura o de manipulación de los diferentes elementos que hay en un quirófano tanto convencional como robótico.

Una de las aplicaciones de las INU en entrenamiento se da en el reconocimiento de gestos que permitan manipular robots quirúrgicos de forma natural y evitando el uso de joystick, como es el caso del sistema de reconocimiento de gestos (Figura 9) desarrollado en la Universidad del Cauca, Colombia. Este sistema permite capturar determinados gestos del usuario para manipular dos robots quirúrgicos en un ambiente virtual, diseñados para realizar operaciones de laparoscopia. Todo el sistema fue creado con el fin de crear una base para un entrenador quirúrgico [22].

En entrenamiento de cirugías robóticas el Leap Motion ha sido un dispositivo ampliamente usado pues facilita la navegación de usuario. El Leap Motion al detectar e interpretar el movimiento de las manos, permite que tanto estudiantes como cirujanos mejoren sus habilidades quirúrgicas y su entrenamiento médico, al interactuar con simuladores que presentan imágenes tridimensionales de la escena quirúrgica que entre otros permiten también realizar análisis morfológicos [23] y eventualmente facilitarían la toma de decisiones en una cirugía real.

Muchos otros dispositivos como el Wii o el Kinect han sido utilizados y comparados. Se ha demostrado [24] que, para controlar un robot en aplicaciones quirúrgicas, el Leap Motion presenta menos error de desviación del objetivo que el Kinect, pero éste presenta menor varianza cuando se trata de entrenar la realización de una incisión (Figura 10). Sin embargo, en el ejercicio de transferencia bimanual (peg transfer en inglés) que es uno de los ejercicios fundamentales en el entrenamiento para desarrollar habilidades en cirugía laparoscópica [25], se presentó que con Kinect o el Leap Motion se tardaba más en completar el ejercicio que con otro dispositivo de entrada manual [26]. Finalmente se probó en los estudios mencionados que el Leap Motion y el Kinect tienen menor curva de aprendizaje y mayor rango de maniobrabilidad en comparación a otros dispositivos que requieren de joystic o teclado para funcionar.

Más allá del entrenamiento quirúrgico, se han propuesto algunos trabajos de manipulación de robots utilizando gestos durante una cirugía, como asistentes en diferentes tareas más allá de la intervención quirúrgica en sí. Este es el caso de Gestonurse [27], un robot enfermera asistente que hace las veces de instrumentista y le pasa los instrumentos quirúrgicos al médico cuando este se lo indica a través de determinados gestos (Figura 11). Fue probado en el Large Animal Hospital de la Universidad Purdue, Estados Unidos, y trabaja con su propio software de reconocimiento de gestos a través de una cámara en la cabeza del cirujano.

También se han creado simuladores para ver cómo servía la manipulación de ciertos elementos en una sala de cirugía, como es el caso del simulador para manipular las lámparas de la sala y ayudar a la iluminación durante una operación quirúrgica. Este sistema permite manipular con gestos las lámparas de la sala evitando la contaminación de las manos o la desconcentración del cirujano en su objetivo [28].

Otra aplicación de la manipulación de robots con gestos se da en la asistencia de personas mayores o con determinadas enfermedades como el Pakinson, que impide que puedan tener buena calidad de vida. Se han creado sistemas que no solo leen los gestos, sino que filtran el temblor de las manos y transfieren las ordenes a brazos robóticos que realizan el trabajo requerido (Figura 12). Además, permite ser manipulado a distancia. Los datos necesarios son adquiridos a través del Leap Motion [29].

Y se están estudiando otro tipo de reconocimiento como es el seguimiento del movimiento de los ojos. Esto en cirugía podría guiar a un robot quirúrgico a donde el cirujano desea, o podría disminuir el riesgo de contaminación al evitar el contacto con cualquier elemento de la sala de cirugía [30].

Uno de los campos donde las INU han demostrado ser muy útiles es en la rehabilitación., especialmente del tipo motriz, donde se espera que el paciente recupere la movilidad que se ha visto afectada o disminuida. Las INU han entrado en este campo de la medicina a apoyar a los terapeutas en la realización de ejercicios, la obtención de información y la motivación del paciente para terminar el tratamiento [31].

Con la introducción de las INU al campo de la rehabilitación motriz vienen varios conceptos nuevos como la Rehabilitación virtual y los serious games.

La rehabilitación virtual combina los conceptos de rehabilitación y realidad virtual y como su nombre lo indica, permite realizar los ejercicios de rehabilitación recomendados por un profesional de la salud, pero apoyándose en el uso de tecnologías de realidad virtual que pueden incluir simuladores manipulados con guantes hápticos, gafas de realidad virtual o los dispositivos para INU como el Kinect [32] [33]. Entre las ventajas de la rehabilitación virtual se encuentran la facilidad de documentar los procesos y avances de los pacientes, la disminución de los costos, el aumento de la motivación del paciente y la opción de no requerir la presencia constante del terapeuta durante los ejercicios [34] [35].

Una parte del uso de la realidad virtual en la rehabilitación son los juegos serios o serious games en inglés. Estos juegos tienen una finalidad diferente a sólo entretener al usuario y pueden utilizarse en áreas tan diversas como la militar, la educación y la salud [36].

Las INU han sido utilizadas en diversos prototipos de juegos serios para rehabilitación, especialmente porque presentan beneficios como el aumento del atractivo y la intuición para que los ingenieros desarrollen este tipo de juegos [37].

Entre las múltiples investigaciones en este campo se encuentra el “PhysioMate” [38] que, utilizando un Kinect para seguir los movimientos del paciente, permite realizar ejercicios en pacientes en silla de ruedas para evitar el deterioro físico y cognitivo, con la característica de que permite la ausencia del terapeuta.

Por otro lado, el “RemoviEm” [39] basado en el Kinect fue diseñado para dar una opción motivante e intuitiva a pacientes con esclerosis múltiple para que puedan realizar varios movimientos de rehabilitación. Además, permite a los terapeutas seguir el progreso de sus pacientes.

Otro ejemplo del uso de las INU con juegos serios en el campo de la rehabilitación se muestra con “just Physio kidding” [40] que utilizando el Kinect de Microsoft se enfoca en una rehabilitación interactiva e inteligente para niños con necesidades especiales. Una vez más se destaca que no es necesario que el terapeuta esté presente todo el tiempo.

Las INU también permiten crear sistemas de rehabilitación más completos que permiten no sólo ayudar al paciente sino también permitir que el terapeuta siga la evolución y capture señales cerebrales que permiten obtener datos adicionales y alimentar bases de datos sobre el progreso de pacientes con estas tecnologías. Este sistema ha sido probado con pacientes con múltiples lesiones motoneuronales [41]. También son compatibles con aplicaciones móviles que hacen más portable el sistema, permiten el monitoreo remoto y el control de varios pacientes al mismo tiempo [42]. Al permitir que las INU sean parte de un sistema más completo se beneficia también al terapeuta, facilitándole el trabajo, permitiendo la interacción con otros colegas para resolver dudas o generar lazos sociales y apoyar los procesos convencionales del tratamiento fisioterapéutico [43].

El Kinect de Microsoft ha demostrado ser uno de los dispositivos más utilizados en la rehabilitación relacionada con INU. Se ha probado [44] que en comparación a otros dispositivos de mayos calidad y costo, el Kinect tiene muy buenas respuestas, permite obtener señales y motivar al paciente de igual forma y a menor costo. Además, su diseño permite que las terapias sean realizadas tanto en el centro de rehabilitación como en el hogar del paciente, generando comodidad y portabilidad.

Otros dispositivos han demostrado ser útiles en la rehabilitación con INU como es el caso del Nintendo Wii y sus accesorios. Se ha probado que estos dispositivos permiten mejorar el proceso de rehabilitación de pacientes que han sufrido accidentes cerebrovasculares, siendo seguro y mostrando mejoría significativa frente a tratamientos convencionales [45]. Además, se han realizado estudios con elementos del Wii para mejorar otros aspectos de los efectos de un accidente cerebrovascular como son el equilibrio y la postura que se ven afectados después de estos incidentes [46].

Las INU en rehabilitación son utilizadas para mejorar el proceso de recuperación de pacientes con diversas enfermedades o necesidades especiales. Se destacan los tratamientos para rehabilitación de miembro superior y/o inferior en pacientes afectados por accidentes cerebrovasculares [47]. También, su uso puede ser extendido para mejorar las funciones motoras de niños con síndrome de Down [48]. Además, el uso de las INU puede extenderse a aplicaciones híbridas que permitan crear sistemas complementados con wearables, aunque esto se aleja en parte del concepto básico de interfaz natural [49]. Finalmente se destaca que el uso de INU en rehabilitación no aumenta costos y los dispositivos son adecuados para tratamientos de rehabilitación, aunque aún necesiten muchos más estudios para demostrar su efectividad frente a las terapias tradicionales [50] [51].

V. Conclusiones

Las Interfaces Naturales de Usuario permiten mejorar la interacción entre los humanos y las máquinas, al facilitar la manipulación de estas últimas utilizando gestos o movimientos propios del cuerpo humano.

Al ser utilizadas originalmente para el entretenimiento, la curva de aprendizaje es corta y no se requiere de usuarios expertos o de invertir mucho tiempo en entrenamiento.

Las INU han entrado al campo de la medicina para facilitar la manipulación de robots tanto quirúrgicos como asistentes, así como para servir de ayuda a pacientes de la tercera edad, pacientes con necesidades especiales o incluso como asistentes de terapeutas en procesos de rehabilitación física. Dentro de los quirófanos el uso de INU es ideal para evitar contaminación o equivocaciones. Además, permiten ahorrar tiempo y facilitar el trabajo del cirujano.

Existen varios dispositivos para INU en el mercado, tienen precios variados y los más conocidos son el Leap Motion y el Kinect de Microsoft. Hay otros dispositivos más especializados como las cámaras Intel RealSense y hay una comunidad académica creciente interesada en realizar proyectos de diferentes tipos con INU. Sin embargo, dispositivos como el Leap Motion presentan desventajas relacionadas con la calibración, el cansancio generado por las posturas de las manos o el ruido que puede afectar fácilmente su funcionamiento. Mientras que el Kinect ha sido mayormente utilizado por su buena relación costo beneficio en el campo de la rehabilitación.

Referencias

[1] H.F. Vargas-Rosero, O.A Vivas-Albán. “Manipulación de robot quirúrgico mediante interfaz natural”. Revista Mexicana de Ingeniería Biomédica, Vol. 37, No.3, pp. 287–298, 2016.

IR