Son numerosos los trabajos que han tratado el tema de la accesibilidad web desde diferentes perspectivas (Acosta-Vargas, Salvador-Acosta, Salvador-Ullauri & Jadán-Guerrero, 2022; Das, Das, Awasthi & Tripathi, 2024; Eusébio, Silveiro & Teixeira, 2020; Macakoğlu & Peker, 2022; Ortiz Ruiz, 2022; Stable-Rodríguez, Álvarez Calderón, Bernal Pérez & Sam-Anlas, 2020; Wentz, Pham, Feaser, Smith, Smith & Wilson, 2019). Los resultados muestran que la mayoría de los sitios web no cumplen con las pautas de accesibilidad WCAG 2.0 y 2.1. Esto evidencia que la simple aplicación de dichas pautas, así como el establecimiento de normativas que exijan el diseño de sitios web accesibles, no es suficiente para transformar las prácticas de accesibilidad de las instituciones.

Igualmente, las investigaciones consultadas tienen en común el uso de las pautas de accesibilidad (WCAG), las cuales brindan un conjunto de recomendaciones que permiten evaluar el nivel de accesibilidad de un sitio o página web, con el objetivo de que el contenido sea más accesible para todas las personas, independientemente del tipo de discapacidad que posean, reduciendo o incluso eliminando las barreras detectadas (Álvarez Guzhñay, 2018).

A partir de la versión 2.0, las pautas WCAG se estructuran en cuatro principios generales (Tabla 1), los cuales contienen a su vez pautas o directrices, y cada una de estas se componen de un número determinado de criterios de éxito (también conocidos como criterios de cumplimiento o de verificación), que constituyen los elementos a verificar. Estos criterios se distribuyen en diferentes niveles de conformidad (Tabla 2), que se refieren al grado de exigencia en que una página o sitio web cumple con lo establecido en las pautas de accesibilidad WCAG.

Tabla 1 Tabla 1 Principios básicos de las pautas WCAG

Principio	Descripción
Perceptible	El contenido informativo y la interfaz de usuario se mostrarán de forma que todos los usuarios sean capaces de percibirlos (ya sea en forma visual, sonora, táctil, etc.). Este principio se puede asociar principalmente con discapacidades sensoriales.
Operable	Las personas podrán interactuar con todos los elementos de la interfaz de navegación mediante distintas alternativas (mouse, teclado, interacción táctil, gestual o a través de la voz). Se proporcionará una ayuda que le permita a los usuarios entender en qué parte del sitio están y cómo navegarlo. Afecta principalmente (aunque no exclusivamente) a personas en situación de discapacidad motora.
Comprensible	Los usuarios serán capaces de comprender de manera sencilla tanto el contenido como los elementos de control de la interfaz para su utilización. Implica el uso de lenguaje entendible y que no sea ambiguo, además de brindar la posibilidad de evitar y corregir errores. Constituye el principio más difícil de cumplir y de evaluar, ya que se relaciona principalmente con discapacidades de tipo cognitivo o con limitaciones en el aprendizaje.
Robusto	El diseño del contenido permite su interpretación por una amplia gama de tecnologías (agentes de usuario y tecnologías de asistencia), tanto actuales como futuras, y bajo diversas circunstancias. Este principio implica que la accesibilidad no debe depender de la tecnología utilizada para acceder al contenido web.

Fuente: elaboración propia.

Tabla 2 Tabla 2 Niveles de conformidad de las pautas WCAG

Nivel de conformidad	Descripción
Nivel A	Se alcanza cuando las páginas cumplen con todos los criterios de éxito del Nivel A. Es el nivel mínimo de accesibilidad y no lograrlo hará que un grupo de usuarios no pueda acceder al contenido web.
Nivel AA	Las páginas web satisfacen todos los criterios de éxito de los Niveles A y AA. Es el nivel intermedio y no alcanzarlo hará que un grupo de usuarios tenga muchas dificultades para acceder al contenido web. Es el más requerido por las entidades que expiden certificaciones de accesibilidad web.
Nivel AAA	Se cumplen todos los criterios de éxito de los 3 niveles. Es el más exigente y no lograrlo hará que un grupo de usuarios experimente algún tipo de dificultades para acceder al contenido web. Una web que alcance el nivel AAA podrá ser accedida por un mayor número de personas.

Fuente: W3C (2016).

El 5 de octubre de 2023 se publicó la recomendación de la versión 2.2 de las WCAG, y en paralelo se está trabajando en la versión 3.0.

Está integrada por la selección de la muestra objeto de estudio, la identificación de las páginas web a evaluar, la determinación del nivel de conformidad y la selección de los indicadores para el análisis.

- Selección de la muestra. Está relacionada con el objetivo del estudio, el cual puede ser una organización o un grupo de organizaciones, siempre que cumplan los siguientes requisitos:

Entidades que posean una página web.

En dependencia del tamaño de la población se considerará realizar o no un muestreo aleatorio simple, estableciéndose para ese caso un nivel de confianza del 95% y un margen de error de 5%.

- Identificación de las páginas web a evaluar. Para la presente investigación se ha seleccionado la página web principal por ser considerada la más representativa y de mayor importancia, al ser generalmente el primer contacto que tiene un usuario con el sitio web y el origen de todos los vínculos a las restantes páginas del sitio (Kimmons & Smith, 2019; Máñez Carvajal, 2020; Reina-Alvarado, 2020; Simhadri & Chaitanya, 2023; Zhang, Wang, Bu, Li & Yu, 2017).

- Definición del nivel de conformidad. Si bien las evaluaciones de accesibilidad generalmente solo llegan hasta el nivel AA (que es el que exige la mayoría de las legislaciones), esta vez la accesibilidad web se midió en el máximo nivel (AAA), a fin de ofrecer un diagnóstico más cercano a la realidad de accesibilidad del sitio evaluado.

- Selección de los criterios para el análisis. En primer lugar, se realizó un análisis del comportamiento global de la accesibilidad de las ECTI, de acuerdo a los datos obtenidos por cada herramienta empleada. Los indicadores que se han tenido en cuenta para el análisis son los siguientes:

% de errores detectados en cada nivel de conformidad (Evaluación automática).

Posteriormente se determinó el nivel de accesibilidad de cada sitio web, con el objetivo de establecer en qué medida son accesibles para todas las personas, incluidas aquellas en situación de discapacidad. El presente estudio se apoya en un método utilizado en trabajos anteriores (Hilera, Fernández, Suárez & Vilar, 2013; Karhu, Hilera, Fernández & Ríos, 2012; Stable-Rodríguez & Sam-Anlas, 2018), que calcula el porcentaje de accesibilidad a partir de las comprobaciones realizadas con la herramienta TAW a los criterios de éxito de las pautas WCAG 2.1, en sus tres niveles (A, AA y AAA), mediante la expresión (1):

Donde:

NAW: nivel de accesibilidad web establecido en %.

PC: puntos correctos (Cuando el criterio de éxito verificado cumple los requisitos establecidos).

PV: puntos por verificar (La comprobación automática detecta posibles problemas, cuya comprobación definitiva requiere una revisión manual).

PI: Puntos incorrectos (Existen problemas): cuando el criterio de éxito verificado no cumple los requisitos establecidos y es necesario realizar correcciones.

TPV: total de puntos verificables (total de los criterios de éxito recogidos en las pautas WCAG 2.1 menos la sumatoria de los puntos imposibles de verificar y los no aplicables).

El porcentaje de accesibilidad web del sitio evaluado se sitúa en un rango de 0 a 100, con la siguiente escala asociada al nivel de accesibilidad (Tabla 3), propuesta por Hilera et al. (2013), y utilizada también por otros autores (Orozco Moreno, 2020; Pino & Reyes Huamán, 2021; Rodríguez Morales, 2019).

Tabla 3 Tabla 3 Escala de medición de la accesibilidad web

Porcentaje	Nivel	Descripción
Entre 76 y 100	Alto	El nivel de accesibilidad es alto o notable, lo que resulta en escasas limitaciones para acceder a los contenidos y funciones del sitio web.
Entre 51 y 75	Moderado	El nivel de accesibilidad es moderado o aceptable, lo que implica que habrá pocas limitaciones en el acceso a los contenidos y funciones del sitio web.
Entre 26 y 50	Deficiente	El nivel de accesibilidad es bajo o deficiente, lo que genera muchas dificultades y barreras al acceso de las personas a los contenidos y las funcionalidades del sitio web.
Entre 0 y 25	Muy deficiente	El nivel de accesibilidad es muy deficiente, lo cual se traduce en un acceso extremadamente complicado al contenido y las funciones del sitio web.

Fuente: adaptado de Rodríguez Morales (2019).

En esta fase se determinan los métodos y las herramientas a emplear para realizar la evaluación, en función de los objetivos de la evaluación y la disponibilidad de recursos.

- Selección de los métodos de evaluación. Se empleó la evaluación automática, la cual se complementa con una revisión manual. No se han incluido pruebas con usuarios en situación de discapacidad por no disponerse actualmente de la tecnología necesaria para ello.

- Selección de las herramientas para la evaluación automática. Para el presente estudio se utilizaron los validadores TAW y AChecker, por responder a los siguientes criterios: se basan en las normas WCAG 2.0 y versiones posteriores, son de acceso libre y se encuentran disponibles de manera online, posibilitan la elección del nivel de conformidad a evaluar, presentan los resultados en forma legible y comprensible y, por último, ofrecen la relación de los problemas detectados, posibilitando de esta manera la corrección de los mismos.

- Selección de las herramientas para pruebas manuales. Si bien la evaluación automática presenta ciertas ventajas, es necesario complementarla con revisiones de tipo manual, mediante el uso de herramientas que permiten identificar aquellos problemas que no son detectados por medios automáticos, y que simulan determinados entornos de discapacidad (Rijo García, 2023). Para la presente investigación se empleó el complemento Web Accessibility Evaluation Tool, el cual permite analizar las páginas almacenadas localmente, las que estén protegidas por contraseñas o las que sean dinámicas.

En primer lugar, se llevó a cabo la evaluación con las herramientas automáticas y posteriormente se efectuó la evaluación manual. Los resultados obtenidos en cada evaluación se registraron en Excel, para proceder al análisis cuantitativo y cualitativo de los datos. Posteriormente se realizó un análisis general de los errores identificados, considerando los niveles de conformidad, principios y pautas de accesibilidad, criterios de éxito propuestos por las pautas WCAG 2.1, así como los errores más comunes identificados en ambas evaluaciones.

Finalmente se determinó el nivel de accesibilidad para cada entidad evaluada, generándose un ranking que muestra la posición relativa de los sitios web evaluados y permitirá compararlos entre sí.

Por último, se documentaron los resultados obtenidos a lo largo del proceso, mediante un informe que incluye los principales resultados, conclusiones, y posibles recomendaciones para realizar los ajustes correspondientes por los desarrolladores de los sitios y responsables de la calidad.

En la Figura 2 se observa que los problemas identificados responden en su gran mayoría al Nivel de conformidad A; es decir, no se cumple el nivel mínimo de accesibilidad requerido por las pautas WCAG. Esto implica que determinados usuarios (con o sin discapacidad) no pueden acceder al contenido de las páginas evaluadas. Este dato es muy importante, ya que los criterios de nivel A siempre deben cumplirse.

Figura 2 Figura 2 Porcentaje de errores agrupados por niveles de conformidad Figura 2 Porcentaje de errores agrupados por niveles de conformidad Fuente: elaboración propia.

Por su parte, el segundo nivel con más incumplimientos es el nivel AA. Por consecuencia, un grupo de personas podría afrontar muchas dificultades para acceder a la información que proporciona el sitio web. En cuanto al nivel AAA, los errores detectados ocasionan que algunas personas tengan determinadas dificultades en el acceso a la información.

Figura 3 Figura 3 Porcentaje de errores agrupados por principios de accesibilidad web Figura 3 Porcentaje de errores agrupados por principios de accesibilidad web Fuente: elaboración propia.

Tal como se aprecia en la Figura 3, el principio Operable ocupa el primer lugar en cuanto al número de errores de accesibilidad web (42%), afectándose la interacción de los usuarios con los diversos componentes de la interfaz de navegación y el empleo de los periféricos de entrada (mouse y teclado), por lo cual las personas en situación de discapacidades motoras no pueden entender en qué parte del sitio están y cómo navegarlo. El segundo principio con mayor porcentaje de errores es el Perceptible (31%). El incumplimiento de la accesibilidad en este nivel puede afectar la capacidad de los usuarios con ciertas limitaciones sensoriales (visual, sonora o táctil) para percibir correctamente la información mostrada en el sitio web.

El tercer principio con mayor porcentaje de errores es el Robusto con un 23%. La existencia de errores en dicho principio ocasionará que los agentes de usuario y las tecnologías de asistencia empleadas por personas en situación de discapacidad tengan dificultades para interpretar el contenido web. Por último, solo el 4% de los errores se incluye dentro del principio Comprensible. Eso significa que no existen barreras significativas que impidan a los usuarios comprender fácilmente el contenido y la interfaz del sitio web.

Figura 4 Figura 4 Porcentaje de errores agrupados por pautas de accesibilidad Figura 4 Porcentaje de errores agrupados por pautas de accesibilidad Fuente: elaboración propia.

En cuanto a las Pautas de Accesibilidad web, los resultados del análisis muestran que el mayor número de errores se localiza en la pauta 2.4- Navegable con un 31,64%, lo que incide negativamente en la capacidad de los usuarios para la localización de los contenidos que necesitan y poder navegar a través de los mismos. Este hallazgo es coherente con el hecho de que el principio al que pertenece (Operable) es el que más errores acumula (Figura 4).

Por su parte, las pautas 2.2- Tiempo suficiente y 2.1- Accesible mediante el teclado, fueron las que menos errores arrojaron, posibilitándoles a los usuarios acceder a todas las funciones existentes a través del teclado y garantizando que puedan completar las tareas requeridas por el contenido según sus tiempos de respuesta individuales.

Otras pautas que también presentan un alto número de errores son: 4.1- Compatible (18,82%), 1.3- Adaptable (15,51%), 1.1- Alternativas textuales (12,37%) y 1.4- Distinguible (11,79%), y, por tanto, las que precisan de una mayor atención por los desarrolladores. Es de notar que, excepto la pauta 4.1 (perteneciente al principio Robusto), las otras tres pautas citadas pertenecen al segundo principio con más errores (Perceptible), lo cual afecta a uno o más sentidos de cualquier persona (ciegas o que presentan baja visión y también con limitaciones auditivas). Con respecto al principio Comprensible, se detectan errores de accesibilidad principalmente en la pauta 3.3- Introducción de datos asistida, seguida muy de cerca por la pauta 3.1- Legible.

De acuerdo a la Figura 5, el 62% de todos los errores se concentran en solo cuatro criterios de éxito: 4.1.1- Procesamiento (17,36%), 2.4.4- Propósito de los enlaces (17,23%), 1.3.1- Información y relaciones (15,51%) y 1.1.1- Contenido no textual (12,37%). Estos criterios están asociados al nivel A de conformidad.

En referencia al criterio 4.1.1, los errores detectados afectan a la estructura de las páginas web y pueden impedir que el contenido de las mismas pueda ser interpretado correctamente por las tecnologías de asistencia, dificultando la experiencia del usuario.

Por otra parte, en el criterio 2.4.4, los errores que más se repiten son los enlaces sin contenido textual, así como los que poseen un mismo texto, pero destinos diferentes. Describir el propósito de los enlaces posibilitaría a los usuarios orientarse de manera sencilla durante la navegación dentro del sitio.

Los errores más comunes en el criterio 1.3.1 residen en la utilización inadecuada de etiquetas de presentación, elementos de entrada que no presentan una etiqueta asociada, que poseen más de una o que no tienen texto en la etiqueta. Estos problemas afectan a las personas en situación de discapacidad que utilizan tecnologías de asistencia (lectores de pantalla, por ejemplo).

Respecto al criterio de éxito 1.1.1, las herramientas detectan la ausencia del atributo alt (texto alternativo) para los contenidos no textuales. El incumplimiento de este criterio dificulta a los usuarios una adecuada percepción de la información, especialmente aquellos que hacen uso de las tecnologías de asistencia.

Figura 5 Figura 5 Porcentaje de errores agrupados por criterios de éxito Figura 5 Porcentaje de errores agrupados por criterios de éxito Fuente: elaboración propia.

La Figura 6 muestra que más de la mitad de todos los errores detectados (54,93%) pertenecen a la categoría de errores de contraste entre el color del texto y el color de fondo de la página, lo cual constituye una barrera para las personas en situación de discapacidad visual. Los otros tres errores más comunes son la ausencia de texto alternativo en la imagen vinculada (16,57%), los enlaces vacíos (12,99%) y la ausencia de texto alternativo (alt) en las imágenes (5,98%). Estas cuatro categorías constituyen el 90,47% de todos los errores detectados.

Figura 6 Figura 6 Porcentaje de errores detectados en la evaluación manual Figura 6 Porcentaje de errores detectados en la evaluación manual Fuente: elaboración propia.

De manera general, los errores registrados por la herramienta Web Accessibility Evaluation Tool coinciden con los detectados por las herramientas automáticas anteriormente analizadas.

Después de analizados los resultados arrojados por cada evaluación, se observan determinadas coincidencias respecto a un conjunto de errores identificados en cada una de ellas. El error más frecuente es la existencia de enlaces vacíos, es decir, aquellos proporcionados en la página web que no contienen texto. Esto provoca dificultades a las personas para orientarse durante la navegación dentro del sitio. Para corregir este error, el webmaster debe proporcionar el texto vinculado al enlace, así como también ayudas de texto en los enlaces que les permitan a los usuarios una correcta navegación dentro del sitio.

La segunda incidencia más alta de errores se relaciona con la ausencia de alternativas textuales para las imágenes. Básicamente, un texto alternativo proporciona una opción al contenido sin texto del sitio, permitiendo que éste se presente a los usuarios como su contenido original. Por tanto, este error requiere una atención especial por parte del desarrollador al constituir una barrera para la accesibilidad, especialmente para las personas que utilizan lectores de pantalla. Constituye una de las inexactitudes más fáciles de solucionar y se encuentra de manera frecuente en las investigaciones de este tipo.

El tercer error con más ocurrencias se refiere a los encabezados vacíos (que no presentan contenido). Algunas personas, principalmente las que emplean teclados y lectores de pantalla, a menudo navegan por la página web basándose en los elementos del encabezado. Por lo tanto, un encabezado vacío no producirá información y puede causar confusión a los usuarios. El webmaster debe garantizar que todos los encabezados posean contenido informativo.

El problema del contraste de los colores también se registra entre las ocurrencias más altas según el presente estudio. La aplicación de un contraste de color más bajo provoca dificultades para que ciertos usuarios vean o lean el contenido web, de ahí que cumplir con la relación de contraste especificada permite a los usuarios reconocer fácilmente el texto y separar el primer plano del fondo de la página web.

Si bien durante la evaluación automática pueden aparecer falsos positivos (errores que en realidad no existen), de manera general los problemas de accesibilidad detectados por las herramientas automáticas fueron corroborados por la validación manual. Esto demuestra lo necesario de combinar los resultados de ambos tipos de evaluación para poder evaluar de manera fiable la accesibilidad de un sitio web.

La Tabla 4 muestra que la mayoría de las ECTI evaluadas presenta un nivel de accesibilidad deficiente.

Tabla 4 Tabla 4 Distribución de las ECTI de acuerdo a su nivel de accesibilidad web

Nivel de accesibilidad	Número de ECTI	%
Deficiente	79	85,87
Moderado	10	10,87
Muy deficiente	3	3,26
Totales	92	100

Fuente: elaboración propia.

El listado con el nivel de accesibilidad obtenido por cada ECTI evaluada, así como el ranking de accesibilidad generado, se encuentran disponibles en el citado repositorio Zenodo.