Para la búsqueda se utilizaron las palabras clave: software, source code, metric, model, readability y classification. Las bases de datos bibliográficas utilizadas fueron: WoS - Web of Science, Scopus, Google Scholar, IEEExplore y ACM Digital Library. Los criterios de inclusión utilizados para la selección de documentos fueron: idioma del documento (español o inglés) y fecha de publicación (entre el 1 de enero del año 2015 y el 23 de abril del año 2019). Las cadenas de búsqueda definidas y utilizadas en la búsqueda fueron las descritas en la Tabla 1.

Tabla 1
Cadenas de búsqueda utilizadas para la recolección

Por otra parte, algunos de los factores de calidad evaluados para los documentos fueron los siguientes: tiene objetivo del estudio; descripción clara del contexto del problema; tiene sección de resultados; es reproducible; describe al menos 1 métrica, 1 método o 1 característica; referencias actualizadas; responde las preguntas de investigación. El formato completo de lista de chequeo utilizado y diligenciado en el proceso de extracción de datos está disponible en el repositorio público de GitHub https://github.com/sofi876/MetricasLegibilidadSW, así como los formatos diseñados y utilizados en el proceso de extracción de datos. Para cada estudio se evaluó si cumplía con los factores de calidad, y fueron rechazados aquellos que no cumplían con el 80%.

En esta fase se realizó el proceso de recolección de documentos, utilizando como guía la estrategia de búsqueda definida anteriormente. Todo el proceso de recolección se documentó de forma rigurosa, indicando la razón de exclusión o inclusión de documentos, usando el gestor de referencias Mendeley.

En la Tabla 2 se muestran los resultados obtenidos al realizar la búsqueda. La columna “Selección 1” se refiere a los documentos seleccionados en un primer filtro. La columna “Selección 2” son los seleccionados después de un segundo filtro más riguroso.

Tabla 2
Resultados cuantitativos de la RSL

Posteriormente se eliminaron los duplicados y se obtuvieron 33 documentos únicos. Se realizó un tercer filtro más riguroso, obteniendo 24 seleccionados, pero se adicionaron 6 documentos que, pese a no cumplir con el criterio de fecha de publicación, son importantes porque se consideran trabajos seminales en el área, obteniendo así 30 documentos.

La fase final de análisis y presentación de resultados se llevó a cabo con los 30 seleccionados y se discuten en las siguientes secciones, dando respuesta a las preguntas de investigación.

Las características hacen referencia a los aspectos del código fuente que tienen mayor influencia con la percepción de legibilidad. Los autores de los estudios seleccionados evaluaron un grupo de características, y propusieron unas métricas para ellas que permitieran medir la legibilidad del código fuente. En la Tabla 3 se presenta el listado de algunas características encontradas que obtuvieron mejores resultados en relación al juicio de legibilidad. El nivel de relación de la característica con la legibilidad está representado por A (alto), M (medio) y B (bajo). Ese nivel de relación proviene de los resultados obtenidos por los autores en sus estudios, y refleja la importancia de la característica con la legibilidad del código. El listado de características se presenta en orden de relevancia.

Tabla 3.
Características del código fuente relacionadas con la legibilidad.

Por otra parte, las métricas de legibilidad del software se clasificaron en dos tipos: las simples, que consisten en tomar la medida por un conteo de alguna de las características presentadas; y las compuestas, que requieren de una ecuación más elaborada. Las métricas simples encontradas son: número promedio y máximo de espacios en blanco (identación), número promedio de comentarios, longitud promedio y máxima de línea, número promedio de paréntesis, número promedio de operadores aritméticos, volumen del programa, número promedio de identificadores, número de líneas de comentarios dentro de un método (LCM), número máximo de ciclos anidados, longitud de los comentarios y número promedio de palabras clave. Las métricas compuestas más relevantes se presentan en la Tabla 4.

Tabla 4
Métricas de legibilidad compuestas

De acuerdo con la literatura, las métricas simples que mejores resultados han reportado para medir la legibilidad del código fuente han sido: la cantidad de espacios en blanco, la cantidad de comentarios, la longitud de la línea de código y la cantidad de paréntesis. Además, las métricas de tipo compuestas que mejores resultados han obtenido son: la métrica de Posnett, abreviada como PHD, la métrica WSCR para el código fuente en lenguaje WSDL (servicios web), y la legibilidad de los comentarios (CR) propuesta por Scalabrino et al [25].

En la Tabla 5 se presentan los métodos utilizados en las investigaciones para diferentes actividades relacionadas, directa o indirectamente, con los procesos que permiten evaluar la legibilidad en el código fuente. En la primera columna se describen los usos de estos métodos identificados en los estudios, en la segunda columna se encuentran los métodos que fueron hallados en los estudios seleccionados en la RSL.

Tabla 5
Métodos utilizados para medir la legibilidad del código fuente

El aprendizaje de máquina supervisado ha permitido obtener métodos para evaluar automáticamente la legibilidad del código fuente, que, a pesar de no ser métodos definitivos aún, han logrado una precisión por encima del 80%. Los investigadores interesados en continuar con los trabajos podrían usar las mismas técnicas utilizadas en la literatura, tales como random forest, redes neuronales o el aprendizaje profundo, aplicándolas de forma individual o combinadas. Se recomienda la exploración de modelos basados en redes neuronales profundas, teniendo en cuenta que el aprendizaje profundo permite el entrenamiento y clasificación sin que sea necesario seleccionar las características del código fuente de antemano. Los resultados recientes más prometedores apuntan en esta dirección. Por otro lado, si lo que se desea es continuar con la búsqueda de las características del código fuente que permiten medir su legibilidad, se pueden utilizar las técnicas de aprendizaje de máquina no supervisado, como el clustering (agrupación), o alguna de las técnicas de regresión para el análisis de la correlación entre la característica y la predicción de legibilidad.

Por otra parte, como resultado adicional de la RSL, a continuación, se listan los repositorios de software identificados que contienen fragmentos de código fuente útiles para nuevos trabajos:

1. 1. https://github.com/zibranm/dataset [7]
2. 2. http://groups.inf.ed.ac.uk/cup/naturalize/#evaldata [8]
3. 3. https://github.com/roncoleman125/Pretty [13]
4. 4. https://github.com/CityUQingMi/DeepCRM/tree/master/Code%20Snippet%20Repository [20]
5. 5. https://dibt.unimol.it/report/readability/ [25].

Asimismo, se presentan repositorios de software que contienen herramientas computacionales utilizadas en los estudios:

1. 1. Medir métricas de legibilidad ARI, SMOG, FKI, GFI, CLI, BRS (https://github.com/ipeirotis/ReadabilityMetrics)
2. 2. Contar o extraer elementos del código fuente (http://se.cite.ehime-u.ac.jp/tool/)
3. 3. Analizador de código estático (https://pmd.github.io/)
4. 4. Evalúa el estilo y diseño del código fuente, de acuerdo con las convenciones (https://checkstyle.sourceforge.io/)
5. 5. Algoritmos usados en el estudio de la carga cognitiva (https://github.com/Smfakhoury/fNIRS-and-Cognitive-Load)
6. 6. Plugin para el IDE IntelliJ que permite evaluar la calidad en tiempo real (https://reticulaplugin.github.io/);
7. 7. Base de datos léxica del idioma inglés (https://wordnet.princeton.edu/)
8. 8. Código Python para contar las violaciones de reglas y otro para transformar el código (https://github.com/CityU-QingMi/DeepCRM)
9. 9. Permite extraer métricas de estilo y generar un archivo CSV (https://github.com/robertyuyang/StylisticFingerprinting)
10. 10. Modelo de legibilidad de Scalabrino et al. [25] (https://dibt.unimol.it/report/readability/)
11. 11. Algoritmo para la segmentación de palabras en inglés (https://pypi.org/project/wordsegment/)
12. 12. Embellecedor de código fuente online (http://prettyprinter.de/)
13. 13. Embellecedor de código fuente (http://astyle.sourceforge.net/)
14. 14. Calcular la legibilidad del código (https://github.com/Bowie-State-University/).

Los autores de los estudios seleccionados en la RSL presentaron en sus investigaciones algunas aplicaciones de interés para la legibilidad del código fuente, las cuales se encuentran sintetizadas a continuación:

1. 1. Modelos de legibilidad del código fuente [1, 3, 20, 21, 25, 30] .
2. 2. Apoyar el aprendizaje de las buenas prácticas de legibilidad y los estilos de embellecimiento en los cursos de programación de las instituciones de educación superior [11, 15, 31].
3. 3. Evaluar el impacto de las características de legibilidad del código fuente en la carga cognitiva del lector [16].
4. 4. Gamificación para el aprendizaje de la legibilidad del código fuente en estudiantes universitarios [19].
5. 5. Identificar el perfil de las personas en pruebas de reclutamiento de empresas de software para el cargo de programador, analizando el código fuente de sus programas, y evaluando habilidad en lenguaje y la legibilidad [23].
6. 6. Asignación automática de nombres para los identificadores de clase y métodos [29].
7. 7. Predecir los métodos propensos a fallas de acuerdo a la cantidad de comentarios que tienen.

Las más relevantes son el desarrollo de modelos computacionales para medir la legibilidad del código fuente de forma automática y el apoyo a las instituciones de educación superior con la enseñanza de buenas prácticas de legibilidad de software [17, 19, 27].

Por otra parte, algunos autores mencionaron deficiencias en sus propuestas, así como posibles mejoras que pueden realizar ellos u otros investigadores que deseen continuar con los estudios, los cuales serían los retos. A continuación, se presenta una síntesis de los retos.

1. 1. Desarrollar una herramienta, algoritmo, o un plugin de apoyo para que un programador pueda medir la legibilidad de su código fuente en tiempo de desarrollo.
2. 2. Continuar las investigaciones y proponer mejores métricas para evaluar la legibilidad del código fuente; por ejemplo, tener una métrica basada en la calidad de los comentarios, analizando el contenido del mismo usando técnicas de procesamiento de lenguaje natural, no por la cantidad de líneas [5].
3. 3. Diversificar los lenguajes de programación de los conjuntos de datos utilizados en los estudios, teniendo en cuenta que casi todos los fragmentos corresponden al lenguaje Java.
4. 4. Probar el nuevo conjunto de datos en los modelos ya propuestos, así como en la replicación de otros estudios.
5. 5. Utilizar el algoritmo de asignación automática de nombres a otros tipos de identificadores en el código fuente, aparte de la clase y el método, mejorando así la legibilidad.
6. 6. Permitir la parametrización en los modelos de legibilidad para que, de acuerdo con tipo de lenguaje de programación, se ajusten las características y las métricas a evaluar.
7. 7. Para los experimentos que usaron WordNet, reemplazarla por otras técnicas como DISCO y NER.
8. 8. Diversificar el conjunto de participantes que ayudaron con la anotación de los datos en los estudios relacionados con los modelos de legibilidad, en cuanto a la experiencia y el origen.
9. 9. Mejorar el rendimiento del modelo de legibilidad IncepCRM, ajustando parámetros.