INTRODUCCIÓN

La construcción del Espacio Europeo de Educación Superior ha supuesto un cambio significativo para la Universidad, no solo en los aspectos estructurales, sino en la oportunidad para recuperar el compromiso social (Santos, 2016). La Declaración de Bolonia (1999) recoge que las instituciones de Educación Superior han de formar ciudadanos competentes en lo profesional y también responsables en lo social, críticos ante las injusticias y participativos para contribuir a la mejora de la sociedad, de las personas y de colectivos más desfavorecidos, y a la protección del medio ambiente (Repáraz, Arbués, Naval, y Ugarte, 2015; Santos, 2016).

Estos cuestionamientos, recogidos en el Real Decreto 1791/2010, de 30 de diciembre, por el que se aprueba el Estatuto del Estudiante Universitario, han sido caldo de cultivo para fomentar nuevos métodos de enseñanza (Zabalza, 2006) basados en el constructivismo, el aprendizaje experiencial, cooperativo o dialógico y la transdisciplinariedad. El aprendizaje-servicio es una de estas propuestas pedagógicas, pertinentes y eficaces para alcanzar la adquisición de conocimiento y de conciencia ciudadana a través de la acción social reflexiva (Aramburuzabala, McIlrath, y Opazo, 2019; Deeley, 2016).

Calidad en el aprendizaje-servicio

El aprendizaje-servicio es una propuesta innovadora de enseñanza-aprendizaje que integra el servicio comunitario con el currículum, vinculando lo experiencial con el conocimiento disciplinar o académico a través del proceso reflexivo que promueve, de manera que los aprendizajes se derivan del compromiso activo en los problemas reales de la comunidad (McIlrath, 2016).

Esta metodología se ha expandido con rapidez en nuestro entorno. Son cada vez más los docentes universitarios que la utilizan (Álvarez, Martínez, González, y Buenestado, 2017). Sin embargo, no en todas las propuestas se logra preservar el impacto reflexivo, cooperativo y transformador característico y esencial del aprendizaje-servicio (Álvarez, et al., 2017). Por lo tanto, se necesitan herramientas que faciliten los procesos de diseño, implementación y evaluación de los proyectos de aprendizaje-servicio (Martín, Puig, Palos, y Rubio, 2018).

En la actualidad, son escasos los recursos disponibles y validados cuyo objetivo es asegurar la calidad de este tipo de experiencias formativas. Con el fin de responder a esta necesidad, la presente investigación busca validar un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario diseñado con la intención de favorecer prácticas docentes de calidad.

Método Delphi para la validación de cuestionarios

El método Delphi es una técnica de carácter cualitativo propuesta por Dalkey y Helmer (1963) que proporciona un juicio colectivo que emerge de un grupo de expertos dispersos geográficamente (Cabero, 2014; Pérez, García, y Aguaded, 2018; Reguant y Torrado, 2016; Varela, Díaz, y García, 2012). La participación en el proceso de validación debe ser anónima (López 2018; Rowe y Wright, 1999) para disminuir la deseabilidad social y evitar respuestas influenciadas por las aportaciones o postulados de otras personas, posibilitando que emerjan pensamientos alternativos (Geist, 2010; Landeta, 1999, 2006). El proceso iterativo que se establece parte de la aplicación de un cuestionario a través del cual se recogen las valoraciones de los expertos, que después se analizan de forma estadística para retroalimentar al grupo compartiendo los resultados y las decisiones tomadas, sobre las que se solicitará de nuevo su opinión (Rowe y Wright, 1999).

El método Delphi intenta obtener una visión sobre un tema concreto lo más consensuada posible entre diferentes expertos, realizando rondas repetidas de preguntas (Cabero, 2014). Este proceder responde al supuesto racional de que un juicio colectivo es más fiable que el que puede realizar un solo individuo (Varela, Díaz, y García, 2012). El acuerdo o el consenso que diferentes expertos alcanzan en torno a un tema implica que dicho método tiene como principio la inteligencia colectiva, que se construye desde una colaboración mediatizada, controlada y centralizada (Averch, 2004).

Ha habido críticos del método Delphi, como Sackman (1975), que denunció que este método no estaba a la altura de los estándares psicométricos establecidos por la American Psychological Association. No obstante, pese a sus limitaciones, Coates (1975) y Scheele (1975) defendieron su valor social y metodológico, que sigue vigente en la actualidad (Cabero e Infante, 2014). Prueba de ello es que el método se encuentra en una etapa de plena actividad, reconocimiento y desarrollo constatable por la cantidad, heterogeneidad e impacto de los trabajos publicados (Cruz y Rúa, 2018; López, 2018).

La literatura confirma la eficacia del método Delphi para la construcción y validación de instrumentos, principalmente en el campo de las Ciencias de la Educación (Bakieva, Jornet, González, y Leyva, 2018; Cabero, 2014; George y Trujillo, 2018; López, Bernal, Leiva, y Martín, 2018), lo que lo posiciona como un método idóneo para el estudio que aquí se presenta.

OBJETIVOS

El presente trabajo describe el proceso de validación de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario. Los objetivos del estudio son los siguientes:

1. 1. Categorizar los ítems de cuestionarios ya existentes en base a las etapas de desarrollo de las experiencias de aprendizaje-servicio, para diseñar el nuevo cuestionario de autoevaluación presentado y analizado en este artículo;
2. 2. Analizar la validez de constructo a través del método Delphi, para verificar si el cuestionario está construido y organizado de forma ajustada al propósito para el que fue creado (Cronbach, 1990; Messick, 1995);
3. 3. Analizar la validez de contenido a través del método Delphi, para comprobar que el cuestionario incluye todos los elementos repre-sentativos necesarios para cumplir su función (Gil y Pascual, 2012);
4. 4. Adaptar el nuevo cuestionario de autoevaluación de experiencias de aprendizaje-servicio diseñado teniendo en cuenta los resultados obtenidos.

METODOLOGÍA

Diseño y descripción del cuestionario

Para el diseño del cuestionario se partió de herramientas ya existentes, destinadas a la autoevaluación de experiencias de aprendizaje-servicio. Dos de las fuentes internacionales (Europe Engage, 2015; RMC Research Corporation, 2008) especifican los criterios para asegurar la calidad de actividades o prácticas basadas en el aprendizaje-servicio. También se han utilizado una serie de rúbricas españolas construidas por el grupo GREM (2014), Campo (2015), Rubio, Puig, Martín, y Palos (2015) y Puig, Martín, y Rubio (2017).

Los indicadores e ítems de las herramientas citadas se categorizaron en base a las etapas de las experiencias de aprendizaje-servicio (CLAYSS, 2016): 1) etapa previa a la experiencia, 2) planificación, 3) ejecución y 4) cierre y multiplicación.

Se llevó a cabo un análisis de contenido (Krippendorff, 1980) con el ítem como unidad de análisis. Con la intención de asegurar la fiabilidad del proceso de construcción del cuestionario, se optó por el acuerdo interjueces; es decir, se aceptaron únicamente las categorizaciones en las que los autores coincidieron.

Una vez realizada esta tarea, se procedió a la redacción de los nuevos ítems, tratando de englobar todos los matices. El cuestionario quedó constituido por 54 ítems que se valoran a través de una escala tipo Likert. Este tipo de escalas ha logrado un rendimiento muy aceptable en investigación (Blanco y Alvarado, 2005) y es una de las más utilizadas para realizar mediciones en el ámbito de las Ciencias Sociales (Matas, 2018).

Es necesario considerar que la cantidad de alternativas de respuesta puede afectar a las propiedades psicométricas de los cuestionarios (Dawes, 2008; Lozano, García-Cueto, y Muñiz, 2008). Según Matas (2018), el número óptimo oscila entre cinco y siete; sin embargo, parece no haber ventajas psicométricas para escalas de respuesta con más de 6 opciones (Simms, Zelazny, Williams, & Bernstein, 2019).

Además de atender los aspectos psicométricos de la escala, se prestó atención también a consideraciones prácticas (Hilbert, Küchenhoff, Sarubin, Nakagawa, & Bühner, 2016). Los autores quisieron incluir una alternativa de respuesta intermedia, -aunque la existencia o inexistencia de esta opción no afecte sustancialmente las evidencias de validez de una escala Likert (Abal, Auné, Lozzia, y Attorresi, 2017)-, dando la opción a la persona encuestada de no tener que posicionarse a favor o en contra del ítem. Por tanto, la escala que aquí se presenta consta de 5 opciones (nunca, casi nunca, a veces, casi siempre, siempre), que posibilitan al encuestado expresar su grado de acuerdo o desacuerdo sobre lo que el ítem afirma o niega (Bisquerra y Pérez-Escoda, 2015).

Tras la revisión y el análisis realizado, el Cuestionario para la Autoevaluación de Experiencias de Aprendizaje-Servicio Universitario inicial, pendiente de evaluar, quedó constituido de la siguiente manera: 1) objetivo del cuestionario e instrucciones, 2) identificación de la persona que lo cumplimenta, 3) datos sobre la experiencia de aprendizaje-servicio, 4) autoevaluación de la experiencia realizada, 5) agradecimientos.

Se validó el apartado 3 del cuestionario, compuesto por los 54 ítems, cuyo objetivo es facilitar la autoevaluación de las experiencias universitarias de aprendizaje-servicio.

Selección de expertos para la aplicación del método Delphi

En el método Delphi, la fiabilidad de los resultados depende de la idoneidad de las personas elegidas como expertas (Aponte, Cardozo, y Melo, 2010), lo que obliga a definir el perfil de los miembros que configuran el grupo. Este estudio determinó que las personas expertas debían reunir las siguientes características: 1) tener como mínimo 4 años de experiencia en investigación (Steurer, 2011) y diseño e implementación (Kennedy, 2004; Price, 2005) de experiencias de aprendizaje-servicio; 2) formar parte del cuerpo académico universitario; y 3) ser doctor o doctorando.

Para la constitución del grupo se reclutaron personas que cumplían los requisitos explicitados. De esta manera se aseguró la accesibilidad y la motivación de los expertos sobre el tema en cuestión, evitándose así el abandono durante el proceso de validación (Hung, Altschuld, & Lee, 2008). También se buscó asegurar que los expertos elegidos perteneciesen a diversos ámbitos académicos, con la intención de no limitar las consultas a personas vinculadas a Educación. Por tanto, se trata de un muestreo basado en criterios preestablecidos (Goetz y LeCompte, 1988).

Ludwing (1997), en una revisión sobre el método Delphi, concluyó que en la mayoría de estudios el grupo se compone de entre 15 y 20 personas. Por tanto, se estableció contacto con 20 personas que se adecuaban a las características preestablecidas. Dieciséis completaron el proceso en su totalidad, lo que confirma la mortandad experimental descrita por Cabero y Barroso (2013). Finalmente, el grupo quedó constituido por un 75% de expertas y un 25% de expertos en aprendizaje-servicio universitario.

Procedimiento de aplicación del método Delphi

El estudio siguió las cuatro fases características del método Delphi (Reguant y Torrado, 2016). En la fase de definición se estableció que se analizarían dos tipos de validez: por un lado, la validez de constructo siguiendo el proceso explicitado en el estudio de Bakieva y sus colegas (2018); y por otro, la validez de contenido, para la que se tomó como referencia el trabajo de Gil y Pascual (2012).

La fase de la conformación del grupo de informantes sirvió para determinar de forma consensuada las cuatro características que debían reunir las personas que iban a ser consultadas. Luego se procedió a la selección para establecer contacto y solicitarles su participación.

El método Delphi modificado “online” se utilizó para la fase de ejecución de las rondas de consulta. Con el término modificado se hace referencia a la adecuación del método original propuesto por Cabero (2014), quien limita el proceso iterativo a 2 rondas con el objetivo de evitar la deserción de las personas que configuran el grupo de expertos. Debido a estos beneficios, el método Delphi modificado se ha ido extendiendo, llegando a ser el más aplicado (Steurer, 2011).

l método Delphi modificado se le añade la etiqueta de “online” acuñada por Cruz y Rúa (2018), porque las consultas se realizaron a través del correo electrónico. Diferentes autores han expuesto que el empleo de Internet ayuda a superar ciertas limitaciones inherentes al Delphi tradicional (Donohoe, Stellefson y Tennant, 2012; Hung, Altschuld, & Lee, 2008; Linstone & Turoff, 2011; Rowe y Wright, 2011; Steurer, 2011; Von der Gracht, 2012).

Mientras el objetivo de la primera ronda de consulta era analizar la relevancia y la claridad de todos los ítems, el de la segunda ronda fue analizar la claridad de los ítems que habían sido reformulados. Los expertos valoraron los ítems utilizando una escala Likert de 4 opciones. Al no introducir ninguna alternativa de respuesta intermedia, se obliga a la persona encuestada a posicionarse a favor o en contra (Abal, et al., 2017), facilitando así la toma de decisión sobre la permanencia o no de los ítems que configuran el cuestionario.

La fase anterior se combinó con la fase de resultados, en la que se analizaron las valoraciones del grupo de expertos. Para el análisis de datos se utilizó el programa SPSS versión 25. A medida que se fueron extrayendo resultados, se tomaron decisiones en función del grado de consenso hallado (Martínez, 2003). Para determinar el consenso se emplearon dos análisis. Por un lado, se calculó el coeficiente de Kendall para determinar el nivel de concordancia entre las respuestas dadas por los expertos. Y por otro, se realizó un análisis descriptivo que facilitó la media, la desviación típica y los percentiles de las respuestas recopiladas. Todos los resultados y las decisiones se compartían con el grupo de expertos.

RESULTADOS

Los resultados obtenidos en este estudio se han estructurado en función del procedimiento llevado a cabo para la validación del cuestionario. Primero se analizó la concordancia de las opiniones emitidas por el grupo de expertos respecto a la validez de constructo y contenido. El segundo paso fue analizar la validez de constructo, cuya finalidad es verificar si el cuestionario está construido y organizado de forma ajustada al propósito para el que se creó (Cronbach, 1990; Messick, 1995). Por último, se analizó la validez de contenido con la intención de comprobar que el cuestionario incluye todos los elementos representativos necesarios para cumplir su función (Gil y Pascual, 2012).

Análisis de concordancia

En la Tabla 1 se presentan los resultados de las pruebas de concordancia realizadas a través de la W de Kendall. Los valores de los coeficientes de concordancia son débiles, pero significativos, tanto para la relevancia de los ítems como para la claridad con la que están formulados. Por ello, se puede concluir que existe acuerdo estadísticamente significativo entre los expertos interpelados en torno a estas dos dimensiones.

Tabla 1

Concordancia respecto a la validez de constructo y contenido

Elaboración propia

Validez de constructo y de contenido

Se realizó un análisis descriptivo sobre la relevancia y claridad de cada ítem según las valoraciones del grupo de expertos. Para determinar la permanencia de un ítem se siguió el criterio de George y Trujillo (2018), pero en lugar de aplicarlo a la media, en el presente estudio se aplicó al percentil, eliminando los ítems que no lograban que el 75% de los expertos lo considerasen altamente relevante o claro. Además, se estableció que la relevancia del ítem condicionaría el análisis de la claridad de este; es decir, si un ítem no era aceptado como relevante por el grupo de expertos, no se procedería a examinar si la formulación era clara.

Validez de constructo

Para el análisis de la validez de constructo se cuestionó al grupo de expertos sobre la relevancia de los ítems. Como se puede observar en la Tabla 2, los resultados evidenciaron la necesidad de eliminar 10 ítems del cuestionario inicial: el ítem 9, porque solo un 50% consideró que tenía mucha relevancia; los ítems 27 y 54, que únicamente consiguieron un 62,50% de aceptación; y los ítems 4, 5, 16, 45, 51, 52 y 53 porque solo el 68,80% los valoró como muy relevantes.

Tabla 2

Resultados sobre la validez de constructo y contenido

Elaboración propia

Validez de contenido

Las valoraciones que el grupo de expertos realizaron sobre la claridad de los ítems se utilizaron para analizar la validez de contenido. En la Tabla 2 se muestran los resultados, que ponen de manifiesto la necesidad de reformular 16 ítems: el 23 y el 30, porque menos de la mitad de los expertos, un 43,80%, consideró que estaban formulados con “mucha” claridad; el ítem 31, que solo el 50% valoró con la máxima puntuación; los ítems 10, 15, 33 y 42, que obtuvieron un escaso grado de aceptación: un 56,30%; los ítems 1, 2, 41 y 43, que alcanzaron la valoración máxima únicamente por el 62,50%; y los ítems 13, 14, 37, 48 y 49 porque sólo un 68,80% los valoró como muy claros.

Este análisis permitió identificar los ítems que debían ser reformulados y validados nuevamente. En el proceso de reformulación se tuvieron en cuenta los comentarios que realizaron los expertos con la intención de justificar la puntuación otorgada. La Tabla 3 recoge los resultados sobre la validez de contenido de los 16 ítems reformulados. Según los datos, se debían eliminar los ítems 23 y 41, porque solo un 62,50% consideró que estaban formulados con “mucha” claridad; y los ítems 1(b) y 31, que consiguieron el 68,80% de aceptación.

Tabla 3

Resultados sobre la validez de contenido de los ítems reformulados

Elaboración propia

Reformulación final del cuestionario

Tras los análisis realizados, de los 54 ítems iniciales quedaron validados 41. En la formulación final se incluyeron 4 más, a modo de preguntas de control, con el objetivo de valorar en un futuro la consistencia interna. La versión final del cuestionario se estructura de la siguiente manera: 1) objetivo del cuestionario e instrucciones, 2) identificación de la persona que lo cumplimenta, 3) datos sobre la experiencia de aprendizaje-servicio; 4) 45 ítems destinados a la autoevaluación de experiencias de aprendizaje-servicio universitario y 5) agradecimiento por la participación. El cuestionario final está accesible en el siguiente enlace: https://goo.gl/forms/omk0u7AzWbSkr8PL2

Una vez finalizado el cuestionario, existe la posibilidad de obtener un informe que facilita la identificación de las potencialidades y de las posibles mejoras de cada propuesta evaluada.

CONCLUSIONES

Del presente trabajo se infiere que el método Delphi es adecuado para procesos cuyo objetivo es la validación de instrumentos, porque permite obtener información de un grupo de expertos, organizar dicha información para su análisis, seleccionarla en base a las estimaciones y reformularla siguiendo las sugerencias de los expertos (Bakieva, et al., 2018; Cabero, 2014; George y Trujillo, 2018; López, Bernal, Leiva, y Martín, 2018).

Además, a la luz de los resultados alcanzados, se puede afirmar que existen suficientes evidencias sobre la validez del Cuestionario para la Autoevaluación de Experiencias de Aprendizaje-Servicio Universitario. El diseño del cuestionario se basó en el análisis de herramientas ya existentes (p.e. Campo, 2015; Europe Engage, 2015; GREM, 2014; Puig, et al., 2017; RMC Research Corporation, 2008; Rubio, et al., 2015), de las que se desconocen evidencias científicas que garanticen su validez. Por tanto, este estudio aporta un nuevo cuestionario, validado a través del método Delphi.

Además de mostrar evidencia empírica sobre el uso del método de validación Delphi, se ha generado conocimiento y una nueva herramienta para la autoevaluación y mejora de experiencias de aprendizaje-servicio universitario. Este proceso se ha desarrollado de forma colaborativa, en coherencia con la filosofía del aprendizaje-servicio que se pretende autoevaluar (López-de-Arana, Aramburuzabala, Opazo, Quintana, y Franco, en prensa).

Aunque este método permite obtener resultados significativos en un plazo relativamente corto de tiempo (George y Trujillo, 2018), conviene tener presente la importancia de determinadas decisiones que aportan una mayor exhaustividad en el proceso de validación. El tamaño de la muestra podría considerarse una de estas claves (George y Trujillo, 2018). De acuerdo a la literatura consultada, cuando el grupo de expertos es homogéneo, la muestra puede oscilar entre 10 y 15 personas (Powell, 2003). Sin embargo, con independencia de la diversidad de la muestra, se proponen rangos mayores, entre 7 y 30 (Landeta, 1999) y entre 15 y 35 (Gordon, 1994). Por tanto, aunque en este estudio se hayan respetado y superado los mínimos deseables para la configuración del grupo de expertos, los estudios futuros deberían incrementar el número de participantes.

Así mismo, se sugiere huir de la verticalidad existente en este proceso de validación, en el que los expertos que configuran la muestra son responsables de programas de estudios y se dedican a investigar sobre experiencias de aprendizaje-servicio (Aramburuzabala, Gezuraga y López-de-Arana, 2018; Puig, et al., 2017). Siendo el aprendizaje-servicio una propuesta en la que la participación es fundamental (Eyler y Giles, 1999), conviene que el proceso de validación cuente con todos los agentes implicados (p.e. alumnado, profesorado, entidades sociales y beneficiarios del servicio), y no solo con expertos académicos. De este modo, la validación incrementaría en fiabilidad y se podrían comparar las estimaciones de los diferentes colectivos a cada ítem, como sugieren Bakieva y su equipo (2018).

Para concluir, y con la intención de dar continuidad a este estudio, se considera que sería interesante incluir el análisis de la idoneidad de los ítems y llevar a cabo el procedimiento para la validación psicométrica del cuestionario. Para esto último, debería examinarse su confiabilidad y validez a través de métodos intra-pruebas e inter-pruebas (Aliaga, 2006).

Agradecimientos

Los autores agradecen el apoyo de la Comisión Nacional para la Investigación Científica y Tecnológica de Chile (CONICYT Fondecyt / Iniciación Nº11170623).

Referencias

Abal, F.J.P., Auné, S.E., Lozzia, G.S., y Attorresi, H.F. (2017). Funcionamiento de la categoría central en ítems de Confianza para la Matemática. Revista Evaluar, 17(2), 18-31.

Aliaga, J. (2006). Psicometria: Tests Psicométricos, Confiabilidad y Validez. En A. Quintana y W. Montgomery. (Eds.), Psicología: Tópicos de actualidad (pp. 85-108). Lima, Perú: Universidad Nacional Mayor de San Marcos.

Álvarez, J.L., Martínez, M.J., González, H., y Buenestado, M. (2017). El aprendizaje-servicio en la formación del profesorado de las universidades españolas. Revista Española de Pedagogía, 75(267), 199-217. https://doi.org/10.22550/REP75-2-2017-02

Aponte, G., Cardozo, M.A., y Melo, M. (2012). Método Delphi: Aplicaciones y posibilidades en la gestión prospectiva de la investigación y desarrollo. Revista Venezolana de Análisis de Coyuntura, 18(1), 41-52.

Aramburuzabala, P., Gezuraga, M., y López-de-Arana, E. (2018). Cómo abordar la evaluación en los proyectos de Aprendizaje-Servicio. En J. García- Gutiérrez y M. Ruiz-Corbella (Eds.), Aprendizaje-Servicio: Los retos de la evaluación (pp. 27-37). Madrid: Narcea.

Aramburuzabala, P., McIlrath, H., & Opazo, H. (Eds.). (2019). Embedding Service-Learning in European Higher Education. London, UK: Routledge.

Averch, H. (2004). The systematic use of expert judgment. In K.E. Newcomber, J.S. Wholey, & H P. Hatry (Eds.), Handbook of practical program evaluation (pp. 292-309). San Francisco, USA: Jossey-Bass Inc.

Bakieva, M., Jornet, J.M., González, J., y Leyva, Y.E. (2018). Colegialidad docente: validación lógica del instrumento para autoevaluación docente en España y México. Estudios sobre Educación, 34, 99-127.

Bisquerra, R. y Pérez-Escoda, N. (2015). ¿Pueden las escalas Likert aumentar en sensibilidad? REIRE, Revista d’Innovació i Recerca en Educació, 8(2). https://doi.org/10.1344/reire2015.8.2828

Blanco, N. y Alvarado, M.E. (2005). Escala de actitud hacia el proceso de investigación científico social. Revista de Ciencias Sociales, 3(11), 537-546.

Cabero, J. (2014). Formación del profesorado universitario en TIC. Aplicación del método Delphi para la selección de los contenidos formativos. Educación XX1, 17(1), 111-131.

Cabero, J. y Barroso, J. (2013). La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta. Bordón, 65(2), 25-38.

Cabero, J. e Infante, A. (2014). Empleo del Método Delphi y su empleo en la investigación en comunicación y educación. Edutec, 48, 1-16.

Campo, L. (2015). Evaluar para mejorar los proyectos de aprendizaje servicio en la universidad. RIDAS, Revista Iberoamericana de Aprendizaje y Servicio, 1, 91-111.

CLAYSS (2016). Cómo desarrollar proyectos de aprendizaje y servicios solidario en la Educación Media (Secundaria y Enseñanza Técnica). Buenos Aires, Argentina: Ediciones CLAYSS.

Coates, J. (1975). In defense of Delphi: a review of Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 193-194.

Cronbach, L.J. (1990). Essentials of psychology testing. New York, USA: Harper & Row.

Cruz, M. y Rúa, J.A. (2018). Surgimiento y desarrollo del método Delphi: una perspectiva cienciométrica. Biblios, 71, 90-107. https://doi.org/10.5195/biblios.2018.470

Dalkey, N. & Helmer, O. (1963). An experimental application of the Delphi method to the use of experts. Management science, 9(3), 458-467.

Dawes, J. (2008). Do data characteristics change according to the number of scale points used? An experiment using 5 point, 7 point and 10 point scales. International Journal of Market Research, 50(1), 1-19.

Declaración de Bolonia (junio 1999). Declaración conjunta de los Ministros Europeos de Educación. Recuperado de http://bit.do/eSTaH

Deeley, S. (2016). El aprendizaje-Servicio en educación superior. Teoría, práctica y perspectiva crítica. Madrid: Narcea.

Donohoe, H., Stellefson, M., & Tennant, B. (2012). Advantages and limitations of the e-Delphi technique. American Journal of Health Education, 43(1), 38-46. https://doi.org/10.1080/19325037.2012.10599216

Europe Engage (2015). Quality Standards for Service Learning Activities. Recuperado de http://bit.do/eSTa3

Eyler, J. & Giles, D. (1999). Where’s the Learning in Service Learning? San Francisco, CA, USA: Jossey-Bass.

Geist, M.R. (2010). Using the Delphi method to engage stakeholders: A comparison of two studies. Evaluation and Program Planning, 33(2), 147-154.

George, C.E. y Trujillo, L. (2018). Aplicación del Método Delphi Modificado para la Validación de un Cuestionario de Incorporación de las TIC en la Práctica Docente. Revista Iberoamericana de Evaluación Educativa, 11(1), 113-135.

Gil, B. y Pascual, D. (2012). La metodología Delphi como técnica de estudio de la validez de contenido. Anales de Psicología, 28(3), 1011-1020.

Goetz, J.P. y LeCompte, M.D. (1988). Etnografía y diseño cualitativo en investigación educativa. Madrid: Morata.

Gordon, T.J. (1994). The Delphi method. Washington D.C. USA: United Nations University.

GREM (2014). Rúbrica para la autoevaluación y la mejora de los proyectos de Aprendizaje Servicio. Barcelona: Fundación Jaume Bofill. Recuperado de http://bit.do/eSTbb

Hilbert, S., Küchenhoff, H., Sarubin, N., Nakagawa, T.T., & Buhner, M. (2016). The Influence of the Response Format in a Personality Questionnaire: An Analysis of a Dichotomous, A Likert-Type, and a Visual Analogue Scale. Testing, Psychometrics, Methodology in Applied Psychology, 23(1), 3-24. 10.4473/TPM23.1.1

Hung, H.L., Altschuld, J.W., & Lee, Y. (2008). Methodological and conceptual issues confronting a cross-country Delphi study of educational program evaluation. Evaluation and Program Planning, 31, 191-198.

Kennedy, H. (2004). Enhancing Delphi research: methods and results. Journal of Advanced Nursing, 45, 504-511.

Krippendorff, K. (1980). Content Analysis. An Introduction to Its Methodology. Beverly Hills, CA, USA: Sage.

Landeta, J. (1999). El método Delphi. Una técnica de previsión para la incertidumbre. Barcelona: Ariel.

Landeta, J. (2006). Current validity of the Delphi method in social sciences. Technological Forecasting and Social Change, 73(5), 467-482

Linstone, H.A., & Turoff, M. (2011). Delphi: a brief look backward and forward. Technological Forecasting and Social Change, 78, 1712-1719.

López, E.J., Bernal, C., Leiva, J.J. y Martín, A.H. (2018). Validación del instrumento didáctico de valoración de observatorios digitales sobre MOOC: CUVOMOOC® mediante el Método Delphi. Campus Virtuales, 7(1), 95-110.

López-de-Arana, E., Aramburuzabala, P., Opazo, H., Quintana, A., y Franco, L. (En prensa). Idoneidad del método Delphi para la validación de herramientas dirigidas a la evaluación de experiencias basadas en Aprendizaje-Servicio. En P. Aramburuzabala, C. Ballesteros y J. García (Eds.), El papel del servicio- aprendizaje en la construcción de una ciudadanía global. Madrid: UNED.

Lozano, L., García-Cueto, E., & Muñiz, J. (2008). Effect of the number of response categories on the reliability and validity of rating scales. Methodology, 4(2), 73-79. https://doi.org/10.1027/1614-2241.4.2.73

Ludwig, B. (1997). Predicting the future: Have you considered using the Delphi methodology? Journal of Extension, 35(5) 1-4.

Martín, X., Puig, J. M., Palos, J., & Rubio, L. (2018). Enhancing the quality of Service-Learning practices. Enseñanza & Teaching, 36(1), 111-128. https://doi.org/10.14201/et2018361111128

Martínez, E. (2003). La Técnica Delphi como estrategia de consulta a los implicados en la evaluación de programas. Revista de Investigación Educativa, 21(2), 449-463.

Matas, A. (2018). Diseño del formato de escalas tipo Likert: Un estado de la cuestión. Revista Electrónica de Investigación Educativa, 20(1), 38-47. https://doi.org/10.24320/redie.2018.20.1.1347

McIlrath, L. (2016). Europe Engage Survey of Civic Engagement & Service-Learning Activities within the Partner Universities. Recuperado de http://bit.do/eSTbe

Messick, S. (1995). Standards of validity and the validity of standards in performance assessment. Educational Measurement: Issues and practice, 14, 5-8.

Pérez, A., García, R., y Aguaded, I. (2018). La competencia mediática en el profesorado universitario. Validación de un instrumento de evaluación. @tic revista d’innovació educativa, 21, 1-9. https://doi.org/10.7203/attic.21.12550

Powell, C. (2003). The Delphi technique: Myths and realities. Journal of Advanced Nursing, 41(4), 376-382.

Price, B. (2005). Delphi survey research and older people. Nursing Older People, 17(3), 25-31.

Puig, J., Martín, X., y Rubio, L. (2017). ¿Cómo evaluar proyectos de aprendizaje servicio? Voces de la Educación, 2(2), 122-132.

Real Decreto 1791/2010, de 30 de diciembre, por el que se aprueba el Estatuto del Estudiante Universitario. Boletín Oficial del Estado 318/2010, de 31 de diciembre de 2010. Recuperado de http://bit.do/eSTbo

Reguant, M. y Torrado, M. (2016). El método Delphi. REIRE, Revista d’Innovació i Recerca en Educació, 9(1), 87-102. http://dx.doi.org/10.1344/reire2016.9.1916

Repáraz, C. Arbués, E., Naval, C., y Ugarte, C. (2015). El índice cívico de los universitarios: sus conocimientos, actitudes y habilidades de participación social. Revista Española de Pedagogía, 260, 23-51.

RMC Research Corporation. (2008). Standards and Indicators for Effective Service-Learning Practice. Scotts Valley, CA, USA: National Service-Learning Clearinghouse. Recuperado de http://bit.do/eSTbD

Rowe, G. & Wright, G. (1999). The Delphi technique as a forecasting tool: Issues and analysis. International Journal of Forecasting, 15(4), 353-375.

Rowe, G. & Wright, G. (2011). The Delphi technique: Past, present, and future prospects-Introduction to the special issue. Technological Forecasting and Social Change, 78, 1487-1490.

Rubio, L., Puig, J. M., Martín, X., y Palos, J. (2015). Analizar, repensar y mejorar los proyectos: Una rúbrica para la autoevaluación de experiencias de aprendizaje servicio. Profesorado, Revista de currículum y formación del profesorado, 19(1), 111-126.

Sackman, H. (1975). Delphi critique. Boston, MA, USA: Lexington Books.

Santos, M. A. (Ed.) (2016). Sociedad del conocimiento. Aprendizaje e innovación en la universidad. Madrid: Biblioteca Nueva.

Scheele, D. (1975). Consumerism comes to Delphi: comments on Delphi assessment, expert opinion, forecasting, and group process by H. Sackman. Technological Forecasting and Social Change, 7, 215-219.

Simms, L.J., Zelazny, K., Williams, T.F., & Bernstein, L. (2019). Does the number of response options matter? Psychometric perspectives using personality questionnaire data. Psychological Assessment, 31(4), 557-566.

Steurer, J. (2011). The Delphi method: an efficient procedure to generate knowledge. Skeletal Radiol, 40, 959-961.

Varela, M., Díaz, L., y García, R. (2012). Descripción y usos del método delphi en investigaciones en el área de la salud. Investigación en Educación Médica, 1(2), 90-95.

Von der Gracht, H. (2012). Consensus measurement in Delphi studies: review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525-1536.

Zabalza, M.A. (2006). La convergencia como oportunidad para la mejora de la docencia universitaria. Revista Interuniversitaria de Formación del Profesorado, 20(3) 37-69.

Notas de autor

Información adicional

Cómo referenciar este artículo: López-de-Arana Prado, E.; Aramburuzabala Higuera, P. y Opazo Carvajal, H. (2020). Diseño y validación de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario. Educación XX1, 23(1), 319-347, doi: 10.5944/educXX1.23834

How to reference this article: López-de-Arana Prado, E.; Aramburuzabala Higuera, P. & Opazo Carvajal, H. (2020). Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educación XX1, 23(1), 319-347, doi: 10.5944/educXX1.23834