El aprendizaje-servicio es una propuesta innovadora de enseñanza-aprendizaje que integra el servicio comunitario con el currículum, vinculando lo experiencial con el conocimiento disciplinar o académico a través del proceso reflexivo que promueve, de manera que los aprendizajes se derivan del compromiso activo en los problemas reales de la comunidad (McIlrath, 2016).

Esta metodología se ha expandido con rapidez en nuestro entorno. Son cada vez más los docentes universitarios que la utilizan (Álvarez, Martínez, González, y Buenestado, 2017). Sin embargo, no en todas las propuestas se logra preservar el impacto reflexivo, cooperativo y transformador característico y esencial del aprendizaje-servicio (Álvarez, et al., 2017). Por lo tanto, se necesitan herramientas que faciliten los procesos de diseño, implementación y evaluación de los proyectos de aprendizaje-servicio (Martín, Puig, Palos, y Rubio, 2018).

En la actualidad, son escasos los recursos disponibles y validados cuyo objetivo es asegurar la calidad de este tipo de experiencias formativas. Con el fin de responder a esta necesidad, la presente investigación busca validar un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario diseñado con la intención de favorecer prácticas docentes de calidad.

El método Delphi es una técnica de carácter cualitativo propuesta por Dalkey y Helmer (1963) que proporciona un juicio colectivo que emerge de un grupo de expertos dispersos geográficamente (Cabero, 2014; Pérez, García, y Aguaded, 2018; Reguant y Torrado, 2016; Varela, Díaz, y García, 2012). La participación en el proceso de validación debe ser anónima (López 2018; Rowe y Wright, 1999) para disminuir la deseabilidad social y evitar respuestas influenciadas por las aportaciones o postulados de otras personas, posibilitando que emerjan pensamientos alternativos (Geist, 2010; Landeta, 1999, 2006). El proceso iterativo que se establece parte de la aplicación de un cuestionario a través del cual se recogen las valoraciones de los expertos, que después se analizan de forma estadística para retroalimentar al grupo compartiendo los resultados y las decisiones tomadas, sobre las que se solicitará de nuevo su opinión (Rowe y Wright, 1999).

El método Delphi intenta obtener una visión sobre un tema concreto lo más consensuada posible entre diferentes expertos, realizando rondas repetidas de preguntas (Cabero, 2014). Este proceder responde al supuesto racional de que un juicio colectivo es más fiable que el que puede realizar un solo individuo (Varela, Díaz, y García, 2012). El acuerdo o el consenso que diferentes expertos alcanzan en torno a un tema implica que dicho método tiene como principio la inteligencia colectiva, que se construye desde una colaboración mediatizada, controlada y centralizada (Averch, 2004).

Ha habido críticos del método Delphi, como Sackman (1975), que denunció que este método no estaba a la altura de los estándares psicométricos establecidos por la American Psychological Association. No obstante, pese a sus limitaciones, Coates (1975) y Scheele (1975) defendieron su valor social y metodológico, que sigue vigente en la actualidad (Cabero e Infante, 2014). Prueba de ello es que el método se encuentra en una etapa de plena actividad, reconocimiento y desarrollo constatable por la cantidad, heterogeneidad e impacto de los trabajos publicados (Cruz y Rúa, 2018; López, 2018).

La literatura confirma la eficacia del método Delphi para la construcción y validación de instrumentos, principalmente en el campo de las Ciencias de la Educación (Bakieva, Jornet, González, y Leyva, 2018; Cabero, 2014; George y Trujillo, 2018; López, Bernal, Leiva, y Martín, 2018), lo que lo posiciona como un método idóneo para el estudio que aquí se presenta.

Para el diseño del cuestionario se partió de herramientas ya existentes, destinadas a la autoevaluación de experiencias de aprendizaje-servicio. Dos de las fuentes internacionales (Europe Engage, 2015; RMC Research Corporation, 2008) especifican los criterios para asegurar la calidad de actividades o prácticas basadas en el aprendizaje-servicio. También se han utilizado una serie de rúbricas españolas construidas por el grupo GREM (2014), Campo (2015), Rubio, Puig, Martín, y Palos (2015) y Puig, Martín, y Rubio (2017).

Los indicadores e ítems de las herramientas citadas se categorizaron en base a las etapas de las experiencias de aprendizaje-servicio (CLAYSS, 2016): 1) etapa previa a la experiencia, 2) planificación, 3) ejecución y 4) cierre y multiplicación.

Se llevó a cabo un análisis de contenido (Krippendorff, 1980) con el ítem como unidad de análisis. Con la intención de asegurar la fiabilidad del proceso de construcción del cuestionario, se optó por el acuerdo interjueces; es decir, se aceptaron únicamente las categorizaciones en las que los autores coincidieron.

Una vez realizada esta tarea, se procedió a la redacción de los nuevos ítems, tratando de englobar todos los matices. El cuestionario quedó constituido por 54 ítems que se valoran a través de una escala tipo Likert. Este tipo de escalas ha logrado un rendimiento muy aceptable en investigación (Blanco y Alvarado, 2005) y es una de las más utilizadas para realizar mediciones en el ámbito de las Ciencias Sociales (Matas, 2018).

Es necesario considerar que la cantidad de alternativas de respuesta puede afectar a las propiedades psicométricas de los cuestionarios (Dawes, 2008; Lozano, García-Cueto, y Muñiz, 2008). Según Matas (2018), el número óptimo oscila entre cinco y siete; sin embargo, parece no haber ventajas psicométricas para escalas de respuesta con más de 6 opciones (Simms, Zelazny, Williams, & Bernstein, 2019).

Además de atender los aspectos psicométricos de la escala, se prestó atención también a consideraciones prácticas (Hilbert, Küchenhoff, Sarubin, Nakagawa, & Bühner, 2016). Los autores quisieron incluir una alternativa de respuesta intermedia, -aunque la existencia o inexistencia de esta opción no afecte sustancialmente las evidencias de validez de una escala Likert (Abal, Auné, Lozzia, y Attorresi, 2017)-, dando la opción a la persona encuestada de no tener que posicionarse a favor o en contra del ítem. Por tanto, la escala que aquí se presenta consta de 5 opciones (nunca, casi nunca, a veces, casi siempre, siempre), que posibilitan al encuestado expresar su grado de acuerdo o desacuerdo sobre lo que el ítem afirma o niega (Bisquerra y Pérez-Escoda, 2015).

Tras la revisión y el análisis realizado, el Cuestionario para la Autoevaluación de Experiencias de Aprendizaje-Servicio Universitario inicial, pendiente de evaluar, quedó constituido de la siguiente manera: 1) objetivo del cuestionario e instrucciones, 2) identificación de la persona que lo cumplimenta, 3) datos sobre la experiencia de aprendizaje-servicio, 4) autoevaluación de la experiencia realizada, 5) agradecimientos.

Se validó el apartado 3 del cuestionario, compuesto por los 54 ítems, cuyo objetivo es facilitar la autoevaluación de las experiencias universitarias de aprendizaje-servicio.

En el método Delphi, la fiabilidad de los resultados depende de la idoneidad de las personas elegidas como expertas (Aponte, Cardozo, y Melo, 2010), lo que obliga a definir el perfil de los miembros que configuran el grupo. Este estudio determinó que las personas expertas debían reunir las siguientes características: 1) tener como mínimo 4 años de experiencia en investigación (Steurer, 2011) y diseño e implementación (Kennedy, 2004; Price, 2005) de experiencias de aprendizaje-servicio; 2) formar parte del cuerpo académico universitario; y 3) ser doctor o doctorando.

Para la constitución del grupo se reclutaron personas que cumplían los requisitos explicitados. De esta manera se aseguró la accesibilidad y la motivación de los expertos sobre el tema en cuestión, evitándose así el abandono durante el proceso de validación (Hung, Altschuld, & Lee, 2008). También se buscó asegurar que los expertos elegidos perteneciesen a diversos ámbitos académicos, con la intención de no limitar las consultas a personas vinculadas a Educación. Por tanto, se trata de un muestreo basado en criterios preestablecidos (Goetz y LeCompte, 1988).

Ludwing (1997), en una revisión sobre el método Delphi, concluyó que en la mayoría de estudios el grupo se compone de entre 15 y 20 personas. Por tanto, se estableció contacto con 20 personas que se adecuaban a las características preestablecidas. Dieciséis completaron el proceso en su totalidad, lo que confirma la mortandad experimental descrita por Cabero y Barroso (2013). Finalmente, el grupo quedó constituido por un 75% de expertas y un 25% de expertos en aprendizaje-servicio universitario.

El estudio siguió las cuatro fases características del método Delphi (Reguant y Torrado, 2016). En la fase de definición se estableció que se analizarían dos tipos de validez: por un lado, la validez de constructo siguiendo el proceso explicitado en el estudio de Bakieva y sus colegas (2018); y por otro, la validez de contenido, para la que se tomó como referencia el trabajo de Gil y Pascual (2012).

La fase de la conformación del grupo de informantes sirvió para determinar de forma consensuada las cuatro características que debían reunir las personas que iban a ser consultadas. Luego se procedió a la selección para establecer contacto y solicitarles su participación.

El método Delphi modificado “online” se utilizó para la fase de ejecución de las rondas de consulta. Con el término modificado se hace referencia a la adecuación del método original propuesto por Cabero (2014), quien limita el proceso iterativo a 2 rondas con el objetivo de evitar la deserción de las personas que configuran el grupo de expertos. Debido a estos beneficios, el método Delphi modificado se ha ido extendiendo, llegando a ser el más aplicado (Steurer, 2011).

l método Delphi modificado se le añade la etiqueta de “online” acuñada por Cruz y Rúa (2018), porque las consultas se realizaron a través del correo electrónico. Diferentes autores han expuesto que el empleo de Internet ayuda a superar ciertas limitaciones inherentes al Delphi tradicional (Donohoe, Stellefson y Tennant, 2012; Hung, Altschuld, & Lee, 2008; Linstone & Turoff, 2011; Rowe y Wright, 2011; Steurer, 2011; Von der Gracht, 2012).

Mientras el objetivo de la primera ronda de consulta era analizar la relevancia y la claridad de todos los ítems, el de la segunda ronda fue analizar la claridad de los ítems que habían sido reformulados. Los expertos valoraron los ítems utilizando una escala Likert de 4 opciones. Al no introducir ninguna alternativa de respuesta intermedia, se obliga a la persona encuestada a posicionarse a favor o en contra (Abal, et al., 2017), facilitando así la toma de decisión sobre la permanencia o no de los ítems que configuran el cuestionario.

La fase anterior se combinó con la fase de resultados, en la que se analizaron las valoraciones del grupo de expertos. Para el análisis de datos se utilizó el programa SPSS versión 25. A medida que se fueron extrayendo resultados, se tomaron decisiones en función del grado de consenso hallado (Martínez, 2003). Para determinar el consenso se emplearon dos análisis. Por un lado, se calculó el coeficiente de Kendall para determinar el nivel de concordancia entre las respuestas dadas por los expertos. Y por otro, se realizó un análisis descriptivo que facilitó la media, la desviación típica y los percentiles de las respuestas recopiladas. Todos los resultados y las decisiones se compartían con el grupo de expertos.

En la Tabla 1 se presentan los resultados de las pruebas de concordancia realizadas a través de la W de Kendall. Los valores de los coeficientes de concordancia son débiles, pero significativos, tanto para la relevancia de los ítems como para la claridad con la que están formulados. Por ello, se puede concluir que existe acuerdo estadísticamente significativo entre los expertos interpelados en torno a estas dos dimensiones.

Tabla 1
Concordancia respecto a la validez de constructo y contenido

Elaboración propia

Se realizó un análisis descriptivo sobre la relevancia y claridad de cada ítem según las valoraciones del grupo de expertos. Para determinar la permanencia de un ítem se siguió el criterio de George y Trujillo (2018), pero en lugar de aplicarlo a la media, en el presente estudio se aplicó al percentil, eliminando los ítems que no lograban que el 75% de los expertos lo considerasen altamente relevante o claro. Además, se estableció que la relevancia del ítem condicionaría el análisis de la claridad de este; es decir, si un ítem no era aceptado como relevante por el grupo de expertos, no se procedería a examinar si la formulación era clara.

Validez de constructo

Para el análisis de la validez de constructo se cuestionó al grupo de expertos sobre la relevancia de los ítems. Como se puede observar en la Tabla 2, los resultados evidenciaron la necesidad de eliminar 10 ítems del cuestionario inicial: el ítem 9, porque solo un 50% consideró que tenía mucha relevancia; los ítems 27 y 54, que únicamente consiguieron un 62,50% de aceptación; y los ítems 4, 5, 16, 45, 51, 52 y 53 porque solo el 68,80% los valoró como muy relevantes.

Tabla 2
Resultados sobre la validez de constructo y contenido

Elaboración propia

Validez de contenido

Las valoraciones que el grupo de expertos realizaron sobre la claridad de los ítems se utilizaron para analizar la validez de contenido. En la Tabla 2 se muestran los resultados, que ponen de manifiesto la necesidad de reformular 16 ítems: el 23 y el 30, porque menos de la mitad de los expertos, un 43,80%, consideró que estaban formulados con “mucha” claridad; el ítem 31, que solo el 50% valoró con la máxima puntuación; los ítems 10, 15, 33 y 42, que obtuvieron un escaso grado de aceptación: un 56,30%; los ítems 1, 2, 41 y 43, que alcanzaron la valoración máxima únicamente por el 62,50%; y los ítems 13, 14, 37, 48 y 49 porque sólo un 68,80% los valoró como muy claros.

Este análisis permitió identificar los ítems que debían ser reformulados y validados nuevamente. En el proceso de reformulación se tuvieron en cuenta los comentarios que realizaron los expertos con la intención de justificar la puntuación otorgada. La Tabla 3 recoge los resultados sobre la validez de contenido de los 16 ítems reformulados. Según los datos, se debían eliminar los ítems 23 y 41, porque solo un 62,50% consideró que estaban formulados con “mucha” claridad; y los ítems 1(b) y 31, que consiguieron el 68,80% de aceptación.

Tabla 3
Resultados sobre la validez de contenido de los ítems reformulados

Elaboración propia

Tras los análisis realizados, de los 54 ítems iniciales quedaron validados 41. En la formulación final se incluyeron 4 más, a modo de preguntas de control, con el objetivo de valorar en un futuro la consistencia interna. La versión final del cuestionario se estructura de la siguiente manera: 1) objetivo del cuestionario e instrucciones, 2) identificación de la persona que lo cumplimenta, 3) datos sobre la experiencia de aprendizaje-servicio; 4) 45 ítems destinados a la autoevaluación de experiencias de aprendizaje-servicio universitario y 5) agradecimiento por la participación. El cuestionario final está accesible en el siguiente enlace: https://goo.gl/forms/omk0u7AzWbSkr8PL2

Una vez finalizado el cuestionario, existe la posibilidad de obtener un informe que facilita la identificación de las potencialidades y de las posibles mejoras de cada propuesta evaluada.