Introducción

El diseño de software centrado en el humano es un enfoque para el desarrollo de sistemas interactivos que tiene como objetivo hacer que los sistemas sean utilizables y útiles, centrándose en los usuarios, sus necesidades, requisitos, y aplicando factores humanos, ergonomía, conocimientos y técnicas de usabilidad. El objetivo de esta perspectiva es mejorar la efectividad y la eficiencia, el bienestar humano, la satisfacción del usuario, la accesibilidad y la sostenibilidad; y además contrarresta los posibles efectos adversos del uso en la salud humana, la seguridad y el rendimiento. [1]

El proceso de verificación y validación (V&V) aborda todas las fases del ciclo de vida del software, siendo utilizado para establecer si determinada etapa, tarea o producto, cumple con las necesidades del usuario y los requisitos establecidos para su desarrollo [2], V&V coadyuva al proceso de construcción proporcionando una valoración objetiva de los productos y los procesos que forman parte del ciclo de vida del desarrollo de software, es decir, garantiza que el producto final se ajuste a su respectiva especificación y que este cumple las expectativas del usuario. [3]

Las pruebas de software son parte de un proceso más amplio de verificación y validación de software, y se soporta en los estándares IEEE1008 e ISO / IEC 29119. Estas pruebas nacen por la necesidad de garantizar un producto de calidad, descubriendo defectos que podrían contener los programas antes de la implantación, y demostrar que un programa hace lo que se pretende que haga. Al verificar se realiza retroalimentación, es decir se vuelve a repasar el funcionamiento del plan en el pasado o en el presente para poder tomar acciones a la salida del feedback. Al validar se quiere tener la certeza que el sistema alcanzará el resultado definido en un plan a futuro y con posibilidad de que existan revalidaciones en el proceso.

La norma ISO/IEC 9241 está orientada hacia la calidad en usabilidad y ergonomía para productos y servicios en tecnología, tanto en software como en hardware, creada por la ISO (Organización Internacional de Normalización) y por la IEC (Comisión Electrotécnica Internacional). Estas normativas se sustentan en estándares como ISO/EEC 15288:2008 e ISO/EEC 12207:2008, que permiten aportar al software el concepto de calidad, estableciendo si los requisitos son correctos, completos, precisos, consistentes y verificables.

La norma ISO 9241 se enfoca en el diseño centrado al humano, y uno de los puntos claves es la usabilidad. La usabilidad se refiere a la capacidad de un software de ser comprendido, aprendido, usado y atractivo al usuario, en condiciones específicas de uso [4], [5]. La usabilidad es uno de los aspectos más importantes en los últimos años, y es una consecuencia del constante avance tecnológico y el deseo de ofrecer un producto que ayude a cumplir las metas del usuario. La norma 9241 establece el concepto de usabilidad [6] aplicado a sistemas interactivos [7], pero no es un proceso específico en la evaluación del diseño.

Las pruebas de usabilidad cumplen un rol fundamental en todo el proceso de V &V, siendo estas un atributo primordial de la calidad [8]. Sin embargo, los métodos de medición apropiados para evaluar la usabilidad no son obvios y son una preocupación constante para el personal involucrado en el desarrollo de un proyecto de software [9]. Cada empresa y producto son diferentes, motivo por el cuál no hay una prueba de usabilidad “única” que sea portable para aplicar a todas las organizaciones. Empresas de gran prestigio como Apple, MailChimp, Yahoo, DirecTV, Microsoft, Buffer, entre otras, utilizaron diferentes técnicas de usabilidad en función de sus necesidades específicas [10].

La evaluación de la usabilidad en simuladores de vuelos es una tarea compleja, donde no es suficiente que el software correspondiente a dicho dispositivo de entrenamiento funcione correctamente, sino también será necesario que el uso de éste sea satisfactorio a los pilotos. Si dicho dispositivo es percibido por los operadores como malo, deficiente o insatisfactorio, constituirá para ellos un mal sistema de adiestramiento, dificultándose en gran medida su capacitación mediante el mismo, razón por la cual su desarrollo sería en vano. Por tal motivo, la aceptación por parte del usuario será determinante para el éxito o fracaso de los simuladores de vuelo [11].

No obstante, la satisfacción del usuario es un indicador blando, con un marcado componente subjetivo, convirtiéndose su estimación en un desafió [12], ya que está más enfocada hacia las percepciones y actitudes de los usuarios, que hacia criterios concretos y objetivos [11].

En este trabajo se presenta la formulación e implementación de dos métricas de usabilidad, que constituyen una medida de evaluación objetiva y de carácter supletoria a la satisfacción del usuario, tomando como referencia los atributos de calidad que propone la Norma ISO 9241-11.

Materiales y métodos o Metodología computacional

Existen numerosos métodos para evaluar la usabilidad de un software. Cada una de ellos cuenta con sus propias ventajas y desventajas. Cada empresa u organización deberá seleccionar el método que más se adecué en función de sus necesidades específicas, teniendo en cuenta las características del sistema en cuestión o la etapa de desarrollo, entre otros [13]. En ocasiones resulta conveniente combinar estos métodos, con el fin de optimizar los resultados [10].

Según el Estándar ISO 9241-11, la usabilidad es entendida como “El grado en que un producto puede ser usado por usuarios específicos para lograr un objetivo con eficacia, eficiencia y satisfacción en un contexto de uso específico” [4], [8], [14], [15], [16], [17].

La eficacia puede ser obtenida a partir del porcentaje de tareas ejecutadas debidamente por el/los usuarios escogidos. En lo que respecta a la eficiencia, puede ser medida por medio del tiempo empleado para realizar las tareas establecidas por el evaluador. En cuanto a la satisfacción, es definida como la capacidad del software para cumplir con las expectativas del usuario en un contexto de uso determinado. En consecuencia, la obtención de la satisfacción es un proceso con cierto grado de subjetividad, lo que no permite parametrizar cuantitativamente este atributo, algo que sí es posible con la eficacia y eficiencia [8].

Existen gran cantidad de métodos para el proceso de diseño de producto (PDP), la selección de cuál escoger depende muchas veces de las necesidades específicas del equipo de desarrollo y su contexto.

La investigación exploratoria se realizó mediante la búsqueda de artículos y bibliografía relacionada sobre las distintas técnicas existentes destinadas a evaluar la usabilidad, seleccionando para el desarrollo del objeto de estudio, la técnica más adecuada, con el objetivo de llegar a un resultado favorable en la aplicación de la misma al software de los simuladores de vuelo.

La metodología elegida para realizar pruebas de usabilidad en los referenciados ut-supra, se basa fundamentalmente en combinar una técnica cuantitativa con una técnica cualitativa, tomando como referencia la Norma ISO 9241-11, adaptándola a las necesidades específicas de la organización en cuestión. Ante ello, se formularon e implementaron métricas correspondientes destinadas a la evaluación de la eficacia y eficiencia, acompañadas por la utilización de cuestionarios y observación directa, como medio para la valuación de la satisfacción del usuario.

Se ofrece en este marco a los usuarios del simulador, una metodología ágil de evaluación, basada en un concepto disrruptivo para la institución, de prestación y gestión de servicios, centrado en la mejora progresiva de procesos y en la interacción continua con los usuarios. Con esta nueva visión se pretende ofrecer aumentos significativos en la precisión, alcance y cobertura en los simuladores, por parte de los pilotos.

Resultados y discusión

En esta sección se presentan los resultados del proceso de investigación, obtenidos a partir de la formulación e implementación de las métricas que a continuación se detallan en la figura 1. Los resultados alcanzados, previos y posteriores a la incorporación de dichas métricas, se presentan mediante dos momentos. Al final de cada momento se presentan los aportes de la investigación general y la integración de los resultados, para luego dar paso a las conclusiones en el siguiente apartado.

Figura 1
Métrica para evaluar Efectividad y Eficiencia

En la Tabla 1, se detallan los resultados alcanzados, previos a la implementación de las métricas descriptas en la figura 1. En este primer momento, el único atributo considerado para la evaluación de la usabilidad se determina mediante la satisfacción del usuario.

Tabla 1. Evaluación de la usabilidad mediante la satisfacción del usuario

En la Tabla 2, se presentan los resultados obtenidos, posteriores a la implementación de las métricas mencionadas en la Figura 1. En este segundo momento, la usabilidad es evaluada mediante la eficiencia, eficacia y satisfacción, tomando como referencia la Norma ISO 9241-11.

En ambos momentos, la evaluación se realiza tomando como base el proceso correspondiente de pruebas de usabilidad, que incluye las etapas de planeación, ejecución, análisis y reporte [15].

Los resultados obtenidos demuestran la importancia de combinar una técnica cuantitativa, como lo son la eficacia y la eficiencia, con otra cualitativa, como la satisfacción del usuario, en el proceso de pruebas de usabilidad, con el objetivo de obtener mejores resultados en las pruebas.

En un primer momento, la satisfacción del usuario fue tomada como única medida de prueba para la evaluación de la usabilidad, por considerarse a los usuarios finales los actores más importantes en el proceso de pruebas, quienes determinan la aceptación o rechazo del simulador, como instrumento de capacitación.

Sin embargo, los resultados correspondientes a los cuestionarios, preguntas abiertas, como así también gestos, expresiones faciales y actitudes frente al uso del simulador, en ocasiones difirió, entre un usuario y otro, en función de sus percepciones, experiencias y expectativas.

Cabe mentar, que un simulador de vuelo es un sistema que intenta replicar o simular la experiencia de pilotear una aeronave en particular, de la forma más realista posible. Para esto, se guardan los parámetros típicos del avión en vuelo, desde la velocidad de despegue, rutas, hasta posibles averías y accidentes. Esto le permite al piloto formarse y al instructor, evaluarlo. En este contexto la aceptación del usuario no se refiere a la apreciación estética, sino más bien a la capacidad que tiene el dispositivo de comportarse de manera análoga a un avión real, tanto en software como en hardware.

Los resultados obtenidos corroboran que la denominada “satisfacción del usuario” es una medida subjetiva, ya que frente al uso del mismo dispositivo y bajo las mismas condiciones de uso, el software cumplió con las expectativas de los usuarios en distintas medidas, dependiendo en gran parte de sus experiencias previas frente al uso de otros simuladores. Las percepciones de similitud entre el simulador y la aeronave real, con respecto al hardware, varió en algunos casos, de un usuario a otro, valorando aspectos tales como, la sensibilidad de las palancas del tren de aterrizaje, de comando, como así también las pedaleras, entre otros.

Por lo expuesto anteriormente, en un segundo momento, se considera pertinentecomplementar la satisfacción del usuario, con alguna medida de valoración objetiva, como lo son eficacia y eficiencia, para la valoración de la usabilidad en los simuladores de vuelo, para lo cual se formularon e implementaron métricas en función de las necesidades específicas de la institución.

La implementación de las métricas, permitió cuantificar los resultados y obtener porcentajes correspondientes a la evaluación de la eficacia y la eficiencia. Estas métricas, junto a la satisfacción del usuario, resultaron ser el complemento ideal para la evaluación de la usabilidad de estos simuladores, logrando resultados que proporcionan un mayor nivel de confiabilidad, completitud y objetividad en las pruebas.

Conclusiones

El propósito de esta investigación fue tomar como referencia la Norma ISO 9241-11 y adaptarla a las necesidades de nuestra Institución, formulando e implementando métricas que ayuden a optimizar las pruebas de usabilidad.

Los resultados obtenidos en esta investigación muestran que, a pesar que la satisfacción del usuario es determinante para el uso de los simuladores, la evaluación de la usabilidad mediante este atributo, como única medida de valoración, constituye una medida subjetiva, que depende en gran parte de las percepciones, actitudes y expectativas del usuario.

Este trabajo expone la formulación e implementación de dos métricas, destinadas a evaluar la eficacia y la eficiencia, siendo éstas medidas de evaluación objetivas y de carácter supletorias a la satisfacción del usuario, logrando de esta manera un mayor grado de confiabilidad, completitud y objetividad en las pruebas.

Agradecimientos

Quiero agradecer a todas las personas que nos apoyaron e hicieron posible que este trabajo se realice con éxito. A nuestra tutora, Esp. Ing. Silvia Arias, por su paciencia, tiempo dedicado y conocimientos brindados; a la profesora de inglés Gisela Codrington, por su contribución desinteresada en todo momento y a todo mi equipo de trabajo, que forman parte de mi labor diaria.

Referencias

[1] M. Mascheroni, C. L. Greiner, R. H. Petris, G. N. Dapozo and M. G. Estayno, “Calidad de software e ingeniería de usabilidad”, in XIV Workshop de Investigadores en Ciencias de la Computación. La Plata, 2012, pp. 1-4. Available: http://sedici.unlp.edu.ar/handle/10915/19202

[2] Verificación y validación de software: una descripción general. Publicado en: IEEE Software, vol.6, no.1, pp.9-10, 1989. DOI: 10.1109/52.28119. Editor: IEEE

[3] M. D. Mosquera Pérez and L. M. Giraldo Castagno, “Formulación del modelo de gestión de procesos, bajo el enfoque de aseguramiento de la calidad, basado en el ciclo de mejora continua Phva de Edwards Deming, para el laboratorio de la industria académica en desarrollo de software, para la facultad de ingeniería de la UCO,” thesis, Universidad Católica de Oriente, Antioquia, 2019.

[4] N. Vázquez Callejón, “Análisis y desarrollo de heurísticas y guías de usabilidad de RESTFUL APIs y aplicación a un caso práctico”, thesis, Universidade da Coruña, Coruña, 2020.

[5] D. A. Godoy, H. Bareiro, E. O. Sosa, E. Stoffel and G. Barros, “Usabilidad en simuladores web de redes de sensores inalámbricos,” presented at XXI Workshop de Investigadores en Ciencias de la Computación, San Juan, 2019.

[6] W. Sánchez, “La usabilidad en ingeniería de software: definición y características,” Rep. Investig, no.2, pp.7-21, Ago. 2011. Available: http://www.redicces.org.sv/jspui/handle/10972/1937

[7] SHARP, ROGERS and PREECE, “Interaction Design: Beyond Human-Computer Interaction,” Wiley, 3rd Edition. Available Biblioteca UGR: http://proquest.safaribooksonline.com/9780470665763

[8] D. M. Delgado Agudelo, D. F. Girón Timaná, G. E. Chanchí Golondrino and K. Márceles Villalba, “Estimación del atributo satisfacción en test de usuarios a partir del análisis de la expresión facial,” Ingenierías Universidad de Medellín, vol.19, no.36, pp. 13-28, junio, 2019.

[9] J. R. Lewis, “IBM computer usability satisfaction questionnaires: psychometric evaluation and instructions for use,” International Journal of Human‐Computer Interaction, vol.7, no.1, pp. 57-78, 1995.

[10] C. Bank, and J. Cao, The Guide to Usability Testing. (2014) [Online]. Available: https://www.inmagic.com

[11] C. R. Martín, “La satisfacción del usuario: Un concepto en alza,” Facultad de Comunicación y Documentación y Servicio de Publicaciones de la Universidad de Murcia, vol. 3, pp. 139-153, 2000.

[12] A. De la Rosa Gómez, G. A. M. Díaz and S. X. M. Castillo, “Usabilidad y satisfacción de una aplicación móvil para el entrenamiento de competencias clínicas,” Revista Hamut'ay, no.1, vol.7, pp. 48-59, abril 2020.

[13] G. G. Toribio, Y. P. Saldaña, J. J. H.Mora, M. J. S .Hernández, H. Bautista, C. A .Ordóñez and J. A. H. Alegría, “Medición de la usabilidad del diseño de interfaz de usuario con el método de evaluación heurística: dos casos de estudio,” Revista Colombiana de Computación, no.1, vol.20, pp.23-40, 2019.

[14] G. E. G. Chanchi, W. Y. M Campo and L. M. M. Sierra, Estudio del atributo satisfacción en pruebas de usabilidad, mediante técnicas de análisis de sentimientos,” Revista Ibérica de Sistemas e Tecnologías de Informação, no.23, pp.340-352, 2019.

[15] S. V. Hernández and P. Chávez Lugo, Los Recursos Humanos como Factor Detonador de la Competitividad. Primer Edición. México: Editorial Ciempozuelos, 2019

[16] D. Albornoz, “Sistema software para la ejecución de pruebas de usabilidad bajo el enfoque de mouse tracking,”. TecnoLógicas.vol.22, pp.19-31, 2019

[17] D. F. Ordoñez, and A. Bravo, “Aplicación de Heurísticas de Usabilidad de Nielsen sobre la Plataforma Moodle 2.8.3 + Build 20150225 de la Institución Universitaria Colegio Mayor Del Cauca,” presented at II Congreso Internacional de Inteligencia Ambiental, Ingeniería de Software y Salud Electrónica y Móvil, 2018.

Author notes

danielignaciomartinez@gmail.com

Additional information

Tipo de artículo:: Artículos originales

Temática: Calidad de software

Alternative link

https://revistas.ulasalle.edu.pe/innosoft/article/view/68 (html)

https://revistas.ulasalle.edu.pe/innosoft/article/view/68/73 (pdf)

https://revistas.ulasalle.edu.pe/innosoft/article/view/68/74 (html)

https://purl.org/42411/s9/a68 (html)

https://n2t.net/ark:/42411/s9/a68 (html)