Introducción

El presente trabajo aporta luz, por un lado, sobre el panorama actual en el campo de la evaluación de programas, concretamente los diseñados para la educación patrimonial en el ámbito formal, tanto en los niveles de Educación Secundaria Obligatoria, como en Bachillerato. Y, por otro lado, sobre la evaluación de aprendizajes, que subyace de esos programas referentes. Por tanto, destacamos tres tópicos o temas que sustentan este estudio: educación patrimonial, evaluación de programas y evaluación de aprendizajes.

Educación patrimonial

Esta parcela de la educación que se encarga de enseñar qué es el patrimonio, es un campo que en los últimos años ha sufrido un gran impulso a nivel nacional, derivado principalmente de las investigaciones, llevadas a cabo desde varias Universidades españolas. El concepto de patrimonio posee tintes de gran diversidad de colores y matices, según desde el ámbito que se defina. Por ejemplo, desde el punto de vista de la Política o normativa vigente, el patrimonio es lo que las leyes decreten a nivel internacional, nacional o autonómico; o desde ópticas de la Historia, el patrimonio va dejando huella con el paso del tiempo a través del legado monumental, artístico y arquitectónico; o desde otros campos, como la Economía, se le da importancia al valor económico del patrimonio (Fontal, 2016); o según la Antropología, el patrimonio tiene que ver con la cultura y con la naturaleza (Zamora, 2011).

Es un concepto en constante redefinición, cambiante con las sociedades y sujeto a las leyes propias de la globalización. Su definición ha sufrido cambios también en nuestro país, parejos a las grandes convenciones internacionales, en el seno de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, (UNESCO, 1972). Es una organización que se ocupa de la educación patrimonial, entre otros asuntos, a nivel internacional.

Desde la perspectiva del presente estudio, se aborda el patrimonio como un constructo sistémico, integrador y complejo, con manifestaciones de carácter histórico, artístico, etnológico, científico-tecnológico y natural (Estepa y Cuenca, 2006), pero que da importancia principalmente a las personas, -pues sin personas no existe el patrimonio (Fontal, 2003, 2013)- y a procesos de apropiación simbólica del objeto patrimonial y de identización (Gómez 2011, 2012).

El estudio y la investigación en el campo de la Educación Patrimonial a nivel nacional, viene de la mano de instituciones como el Instituto del Patrimonio Cultural de España (IPCE), con el Plan Nacional de Educación y Patrimonio, y desde la universidad, a través de proyectos de Investigación, Desarrollo e Innovación, como el Observatorio de Educación Patrimonial en España (OEPE).

Y en un nivel autonómico, de la comunidad de Castilla y León, hay varias instituciones que están implicadas en todo aquello que concierne a la educación en patrimonio, como la Fundación Santa María la Real del Patrimonio Histórico, Fundación Villalar, Fundación las Medulas o la Fundación de Patrimonio Natural de Castilla y León, entre otras.

Además, se pueden mencionar acciones que se concretan de las propuestas del Plan Nacional de Educación y Patrimonio en la comunidad, como cursos o congresos internacionales: bienal de ARPA o las jornadas de Gestión de emergencias del Patrimonio de Castilla y León.

El Plan PAHIS del Patrimonio Cultural de Castilla y León 2020 se complementa con otros planes sectoriales paralelos como el Plan Jacobeo 2021, el Plan de investigación, conservación y difusión en materia de Arqueología (2018-2024), o el Plan de inspección de los Bienes culturales de Castilla-León (2017-2020).

No se puede olvidar un aspecto crucial en este estudio: la formación del profesorado de Secundaria y Bachillerato, sujeta a aquellas Universidades que hayan optado por incorporar la enseñanza del patrimonio en sus planes de estudio. En España existen algunas en distintas disciplinas, como en las Artes, Historia, Historia del Arte o en otros niveles educativos, Educación Primaria de Granada, y en la Comunidad de Castilla y León, en Valladolid.

Evaluación de programas y evaluación de aprendizajes

En otras lenguas, como las del mundo anglosajón, se distingue entre Evaluation, que es la evaluación educativa, sobre programas educativos, o formas de educación en distintos contextos, como centros educativos acogidos a normas estatales, u otros centros no formales; y Assessment, que se define como medición de resultados de los alumnos a través de pruebas estandarizadas con el fin de elaborar rankings a nivel de aula, de centro, locales, regionales, estatales e internacionales.

Hay aspectos importantes encontrados en la revisión bibliográfica sobre evaluación a tener en cuenta para el entendimiento de dicho concepto:

1. 1. Guba y Lincoln (1982,1989) establecieron la clasificación de las “cuatro generaciones de la evaluación”, aunque actualmente se han extendido hasta cinco: a) Técnica, b) Descriptiva, c) de Juicio, d) Sensible y e) Ecléctica.
2. 2. Hasta 1930 predominaba el término medición. Con la llegada de Tyler (1969) cobra protagonismo la evaluación, Tyler es reconocido como el padre de la evaluación educativa; la evaluación es antepuesta a la medición.
3. 3. A partir de 1957 la evaluación se asocia a la toma de decisiones, para mejorar los programas educativos, pero no directamente a los individuos sujetos de aprendizaje.
4. 4. Después de 1973 la evaluación empieza a entenderse como herramienta de empoderamiento de los sujetos. Se introduce el concepto de evaluación educativa; el constructivismo impregna la evaluación de aprendizajes. Una se nutre de la otra.
5. 5. Actualmente vivimos en la quinta generación o generación ecléctica donde la evaluación educativa se tiñe de muchos calificativos dependiendo de las funciones que intenta desempeñar.
6. 6. La evaluación no ha conseguido diferenciar claramente los terrenos de la medición, la calificación y la evaluación. Ocurre que muchas de las prácticas que se llaman evaluación contienen a su vez prácticas de calificación o medición.
7. 7. En el mundo anglosajón existen muchas palabras que distinguen matices dentro del mismo concepto: accountability, appraisal, arousal, self-evaluation, evaluation, assessment.

Aunque en la práctica se especifiquen diferencias claras entre evaluación educativa y evaluación de aprendizajes, como ambas se nutren mutuamente, acaban difuminadas entre sí. Pero es importante tal distinción para el diseño metodológico de ambos tipos de evaluación.

Como en el caso del tópico anterior, la formación de profesorado es crucial en este estudio, sujeta a la formación particular y poco específica en las universidades.

Evaluación de programas y evaluación de aprendizajes en Educación Patrimonial: referentes

Los referentes nacionales que podemos encontrar en evaluación de programas sobre patrimonio, se encuentran incorporadas en el marco del OEPE y grupos de investigación relacionados. Dentro de este grupo de investigación se han realizado tesis que evalúan programas de tecnología móvil, programas en contextos informales, programas en la comunidad de Madrid, programas sobre diversidad, programas sobre redes sociales, programas de arte contemporáneo o programas específicos de patrimonio inmaterial.

En cuanto a la evaluación de los aprendizajes, se desarrollan en los últimos años una corriente colateral que se interesa sobre el fin último de un programa de educación de calidad: que evalúe los aprendizajes generados en el programa, siendo el tercer proyecto del OEPE, (Ref. EDU 2015/65716-C2-1-R), en el marco en el que se investiga sobre el conocimiento de la naturaleza de los procesos de adquisición y alcance de los aprendizajes generados en los programas referentes en educación patrimonial.

Problema de investigación y objetivos

Se define el problema de investigación como:

“la educación patrimonial del alumnado de Secundaria y Bachillerato no se tiene en cuenta, por parte de los agentes educativos, que está inmersa a lo largo del currículo, ni se realiza la evaluación de aprendizajes, ni existen estándares definidos de esa evaluación”.

Siguiendo a Maxwell (2008) y para la resolución de este problema, en el presente trabajo se definen tres tipos de objetivos:

Por un lado, el objetivo personal de realizar este trabajo es el de satisfacer la curiosidad personal de conocer el estado en que se encuentra la evaluación de aprendizajes en un campo aún desconocido por muchos docentes de Secundaria y Bachillerato como es la Educación Patrimonial.

Los objetivos prácticos, centrados en cambiar la situación de desconocimiento en este ámbito de las ciencias sociales, por una parte, y por otra, en la falta de puesta en práctica de evaluar los aprendizajes dentro de ese ámbito que es la educación patrimonial, queja que el propio profesorado mantiene en muchos foros académicos.

Y, por último, los objetivos intelectuales que se focalizan en comprender a nivel teórico y conceptual cómo es la evaluación de aprendizajes en la educación patrimonial en secundaria y bachillerato, una revisión de referentes que continúa más allá del presente trabajo.

Métodología

Para una investigación compleja como la presente, hay que tener en cuenta, en primer lugar, las bases epistemológicas que sustentan la investigación en educación, con todos los obstáculos que conlleva, aún hoy día, realizar trabajos y pesquisas en las ciencias sociales, si se pone el foco sobre su carácter científico. Este interés continuo por la cientificidad de las investigaciones en educación, concretamente en la educación patrimonial como disciplina joven, está siendo el punto de mira en los últimos trabajos referentes. Se trata de abordarlo describiendo todas las fases de la metodología utilizada, imbricándola con la teoría que la sustenta, dando así coherencia a todo el conjunto del trabajo.

En este estudio que se presenta, se ha utilizado una metodología de investigación mixta, que integra tanto métodos cuantitativos como métodos cualitativos, con la finalidad de dar una visión más completa del fenómeno estudiado, combinando análisis estadísticos junto con análisis de contenido en el marco de un estudio de caso.

Los estudios mixtos parten de una visión pragmática de la realidad, en la que convergen filosofías que abogaban por la idea de que las ciencias sociales no pueden investigarse a través del método científico tradicional de forma única y las filosofías post-modernistas que defendían que la investigación en este campo social debe llevarse a cabo por procesos en los que impere el sentido común, el pensamiento práctico y la aplicabilidad de ambos. Es decir, no es una mezcla de métodos cuantitativos y cualitativos sin conciencia, sino que este tipo de metodología clarifica el diseño de manera que sea un escalón más en la comprensión del fenómeno. En este sentido, se tienen en cuenta los puntos aportados a la ciencia por Kuhn (1962, 1972, 1982) cuando explica que los fenómenos no pueden entenderse por completo, ni son la realidad, sino que son una parte de un gran fenómeno que se explica desde el punto de vista subjetivo de la realidad que se percibe, según el contexto y la trayectoria científica, siendo las teorías finales complementarias entre sí para la explicación de dichos fenómenos.

Actualmente los métodos mixtos están muy difundidos y utilizados, quizá en exceso y con una praxis no exenta de errores tanto de diseño como de llevarlos a la práctica. Se han propuesto foros internacionales de todo tipo: congresos internacionales como el Mexed Methods International Conference; una asociación internacional de investigadores, la Mixed Methods International Research Association, MMIRA; libros sobre la temática o una revista científica, la Journal of Mixed Methods Research, del Sage.

Cuando un investigador se enfrenta con la idea de usar metodología mixta ha de tomar dos decisiones importantes: por un lado, si quiere operar dentro del paradigma dominante o no, en su mayor parte de la investigación a realizar; y si quiere realizar la investigación en fases de una manera secuencial o de una manera simultánea.

Los multi-métodos (multi-methods), multi-estrategia (multi-strategy) o metodología mixta (mixed-methodology) llegan de la mano de las ciencias del comportamiento sobre los años 50 con el concepto de triangulación como una operación múltiple en investigación (Campbell y Fiske, 1959), que no es lo mismo que la metodología mixta, sino un objetivo de entre muchos, de los multi-métodos.

La triangulación teórica, por ejemplo, retomada de Denzin (1990) cuando se refiere a probar distintas teorías y metodologías antagonistas la mayoría de las veces (p.511), aunque poco usada por la confusión de que se sintetiza en la crítica las epistemologías de base; o la triangulación metodológica: uso de distintos métodos en el diseño o en la recogida de datos, que puede ser entre métodos o dentro de los métodos, que Arias (1999) lo define como “combinación de dos o más recolecciones de datos con parecidas aproximaciones en el mismo estudio que miden la misma variable” (p.15).

Es decir, la triangulación es una convergencia de resultados obtenidos por distintos métodos o estrategias, incluso en la recolección de datos. Los métodos mixtos forman parte de un proceso más amplio, en el que la triangulación es una parte de ese proceso.

Así, para realizar este trabajo, y siguiendo a Creswell y Plano (2011), los métodos mixtos han de cumplir una serie de pautas específicas e insalvables:

1. 1. Recogida y análisis de los datos con rigurosidad, tanto los cualitativos como los cuantitativos.
2. 2. Relación o integración de los dos tipos de datos de dos formas: simultánea, para combinarlos o fusionarlos; o secuencial, para insertar unos sobre otros.
3. 3. Priorizar una de las dos formas o equilibrar la dominancia del paradigma
4. 4. Llevar a cabo unas fases del programa de investigación
5. 5. Utilizar los procedimientos sin olvidar la complejidad del contexto y el marco teórico empleado
6. 6. Combinar los procedimientos de forma coherente con el plan de investigación.

En este trabajo, como se ha indicado, se utiliza la metodología mixta de investigación, basada en la cosmovisión pragmática de los propios investigadores, que parte de teorías de autores como Creswell (2014), Patton (1990), Morgan (2007), o Tashakkori y Teddlie (2010), que invitan a poner el foco en el problema de investigación desde distintos enfoques para poder generar conocimiento; así, en este trabajo, la metodología principalmente se basa en el marco teórico desarrollado sobre las teorías de educación patrimonial (memoria e identidad) y teorías de la evaluación tanto de programas como de aprendizajes, y los referentes en estos tres ámbitos, dentro de la comunidad de Castilla y León, en el espacio formal, concretamente en la Educación Secundaria Obligatoria y el Bachillerato.

Procedimiento

La metodología utilizada ha sido una metodología mixta de diseño anidado, en la que el estudio cualitativo predomina y el cuantitativo está anidado en el primero (ver Figura 1).

El proceso de investigación se lleva a cabo a través de dos fases complejas, concretas y en la que el final de la fase I se anida a la fase II.

La primera fase, parte del Método Secuencial de Análisis y Evaluación de Programas de Educación Patrimonial en el seno del Observatorio de Educación Patrimonial en España, que a su vez se lleva a cabo a través de siete subfases.

La segunda fase, es un estudio de caso de la investigación que nos ocupa y con sus correspondientes pasos a seguir, según esta tradición de investigación.

FASE I. Evaluación de programas: la Q-Edutage para evaluar a través de estándares

En la primera fase del estudio se utiliza la Secuencia de Análisis y Evaluación de Programas (SAEPEP-OEPE) propuesta desde el Observatorio de Educación Patrimonial en España (Fontal 2016). Es una secuencia de fases que va realizando una discriminación de programas de educación patrimonial en virtud de unos estándares de evaluación. En esta fase es en la que se realizan los análisis cuantitativos que dan respuesta a algunos interrogantes de la siguiente fase que es el estudio de caso.

Las hipótesis de partida en esta fase son:

1. 1. Los programas de educación patrimonial se dirigen al alumnado de ESO, bachillerato, o ambas
2. 2. Los programas de educación patrimonial definen el patrimonio desde todas sus tipologías
3. 3. Los programas de educación patrimonial desarrollan competencias clave y específicas
4. 4. Los programas de educación patrimonial realizan una evaluación verdadera y diversa de los aprendizajes

Las subfases son las que siguen:

Fase 1: Búsqueda y localización de programas.

Esta fase es el primer contacto que tiene el investigador con la base de datos del Observatorio. Se trata de la búsqueda de programas de educación patrimonial a través de distintos medios. La base de datos está integrada y es de uso exclusivo de los investigadores con intereses comunes en Educación Patrimonial.

Fase 2: Discriminación mediante criterios de inclusión y exclusión en la base de datos.

En esta fase se decide cuáles son los programas susceptibles de ser inventariados y cuáles no, en base a unos criterios que se consensuaron en la gestación de la base de datos, que se especifican en el Observatorio. Así, se excluyen si: a) es un programa exclusivamente realizado por el museo para su público, b) o si es una web de museo que informa sobre el mismo,

c) o si es un material cuyo único fin es el de informar sobre algún bien patrimonial, d) o una página web 1.0, que solo informa. El resto de casos estarían dentro de los criterios de inclusión.

Fase 3: Inventario de Programas

Es un archivado que se lleva a cabo en una ficha de registro organizada y sistematizada que recoge información de los programas desde el diseño educativo hasta la difusión del mismo. Esta ficha se divide en cinco grandes apartados: localización, relación con otras fichas, descripción, diseño educativo y anexo documental (ver Figura 2).

Fase 4: Análisis estadístico descriptivo

Esta fase es aquella en la que se realiza un análisis descriptivo, en el cual se pueden descubrir características de los programas inventariados, así como describir a través de la estadística descriptiva las categorías a las que pertenecen los programas, la localización de los mismos, si se han realizado adaptaciones a todos los públicos a los que se dirigen, cómo se han diseñado en cuanto a los objetivos, las metodologías usadas o si se llega a cualquier tipo de población. Esta fase puede hacer una idea, una descripción de las partes inventariadas de los programas.

Fase 5: Selección discriminatoria a través de la evaluación basada en estándares básicos

En esta fase se utiliza un instrumento creado para la discriminación de programas a través de estándares básicos. Es una rúbrica con escala Likert y los 14 estándares básicos sobre dos dimensiones o estándares generales (Q-Edutage): a) la calidad de la información sobre los programas (metadatos), con siete ítems y b) grado de concreción del diseño educativo, con siete ítems; todos deben obtener una puntuación de la escala que son: desde (D) no se alcanza, (C) se alcanza con condiciones, (B) se alcanza, hasta (A) se alcanza con calidad, (ver Figura 3).

La creación de estos estándares básicos proviene de la Base de Datos del OEPE (Fontal, 2016) en la que, se crearon 15 ítems y se han realizado tres análisis de contenido y análisis estadístico descriptivo de tres muestras de programas de dicha base (n=350, n=644 y n=1120), unido a la revisión bibliográfica y los criterios determinados en los aspectos metodológicos del Plan Nacional de Educación y Patrimonio (Fontal y Juanola, 2015). En un principio era una escala con etiquetas cualitativas y se pasó posteriormente a una codificación ordinal cuantitativa. Una vez calibrada, la tabla de estándares pasa a 14 ítems.

Toda la rúbrica detalla los criterios básicos para desarrollar un programa bien diseñado valorando la institución al cargo, la estructura de diseño didáctico, el tipo de programa y su difusión. Para cada programa se extrae un sumatorio de los estándares básicos en una puntuación total (Nitko, 2001). En la calibración de la escala Q-Edutage se realizaron los baremos de estas puntuaciones directas a estandarizadas, con media 100 y desviación típica 15. De esta interpretación, se destacan una serie de programas que serán evaluados en la siguiente fase por los estándares específicos.

Fase 6: Evaluación de programas basada en estándares específicos

Los estándares específicos han sido diseñados en función de las hipótesis planteadas en esta fase de estudio y los referentes encontrados, tanto de estudios de investigación, como las normativas vigentes, atendiendo a la evaluación de aprendizajes: el momento que se hace, la forma de hacerla, quién la realiza, los aprendizajes que se esperan adquirir, según la etapa de la ESO o Bachillerato, etc.

En principio fueron diseñados 23 ítems sobre la evaluación de aprendizajes, pero tras el acuerdo entre jueces, la tabla de estándares específicos se redujo a 14 ítems.

Fase 7: Casos de estudio

Análisis en profundidad de los programas que se han ido seleccionando en la criba de las seis fases anteriores, a través de la documentación que se presenta en la base de datos, puesta en contacto con los agentes implicados en los programas, entrevistándolos, observaciones de la puesta en práctica, cuestionarios, en definitiva, recaudando datos para la fase II.

En esta fase se produce el anidamiento entre la metodología cuantitativa y la cualitativa. Hay que tener en cuenta que en esta fase el método de mayor envergadura, de tradición cualitativa, es el que va a tener la finalidad de esclarecer y comprender cómo se está llevando a cabo la evaluación de aprendizajes en la enseñanza del patrimonio en Secundaria y Bachillerato en la comunidad de Castilla y León.

FASE II. Evaluación de los aprendizajes: Estudio de caso

Se establece una distinción común entre lo que se escala analíticamente y lo que se juzga holísticamente (Stake y Munson, 2008). En esta segunda parte, se realiza un estudio de caso sobre la evaluación de aprendizajes de Educación Patrimonial en Secundaria y Bachillerato en Castilla y León.

Se realiza un estudio de caso único. Es una tradición de investigación que a principios del siglo XX no había cobrado aún un estatus legítimo en ciencias sociales, quizá por la falta de protocolos y estructuración (Yin, 2002).

En esta fase de investigación la posición que se toma como investigadores y el Worldview es muy cercano a Yazan (2015), pues se pretende que el principal objetivo de un investigador cualitativo sea entender el conocimiento construido por las propias personas que intervienen en el estudio, principal aspecto que suscribe el paradigma constructivista (Stake, 1995 y Merriam, 1998). Se concibe el conocimiento como algo que se va construyendo en la sociedad y que surge de las prácticas educativas. Por lo tanto, se conceptualiza la realidad social como generada y construida por personas y que existen en gran medida dentro de la mente de las personas. “Los esfuerzos de investigación son orientados a la búsqueda de interpretaciones históricamente situadas y derivadas de la cultura del mundo de la vida social” (Crotty, 1998, p. 67). Sin embargo, dado que la orientación de esta investigación es también más cercana al pragmatismo de Dewey (1938), el actual análisis abarca la instrumentalidad del grupo de estrategias, directrices y herramientas (Yin, 2002).

Resultados

En la Base de Datos del Observatorio de Educación Patrimonial en España se ha intervenido en el inventariado de 333 programas en la comunidad de Castilla y León, teniéndose en cuenta los criterios de inclusión y exclusión determinados por las normas del método SAEPEP- OEPE.

Un primer análisis estadístico descriptivo nos devuelve los siguientes resultados: de las 17 tipologías en los que se pueden clasificar los distintos programas de Educación Patrimonial, 29,78% son proyectos educativos, 21,27% son programas educativos, 10,63% son diseño didáctico, 8,51% son evento científico y un 6,38% se clasifica como concurso. Y dentro de la clasificación del tipo de patrimonio, existe un porcentaje alto de 82% que pertenece a los programas que se encuadran dentro de patrimonio material e inmaterial a la vez.

De este análisis a través de los estándares básicos, han sido seleccionados 47 programas que están encaminados a la enseñanza Secundaria y Bachillerato y que son los de mejor calidad y concreción de diseño en el programa. Estos 47 programas son el resultado de escoger los que están en la media y por encima de ella.

En cuanto a los estándares específicos, el conjunto inicial de 23 ítems fue sometido a la revisión de 17 jueces, que valoraron cada uno de ellos en una escala de 1 a 4, en términos de coherencia, claridad de la redacción, relevancia y observabilidad. Para analizar el acuerdo entre los jueces se calcularon los coeficientes ponderados de concordancia de Bangdiwala (.WN) (Bangdiwala, 1987). El índice de acuerdo BWNde Bangdiwala permite la representación gráfica del grado de acuerdo y proporciona una medida de la fuerza del mismo. En esta representación, los cuadrados negros muestran el acuerdo observado, en tanto que los cuadrados grises representan el acuerdo parcial. La zona blanca de cada rectángulo es la representación gráfica del desacuerdo.

Como se puede observar en la Figura 4, los coeficientes ponderados de concordancia de Bangdiwala (Bangdiwala, 1987) obtenidos fueron: .WN = .753 (coherencia); .WN = .833 (claridad); .WN = .845 (relevancia); y .WN = .872 (observabilidad). Para interpretar los coeficientes de concordancia, Muñoz y Bangdiwala (1997), proponen los siguientes criterios: valores comprendidos entre .000 y .200 indican un nivel de acuerdo pobre; entre .201 y .400, acuerdo débil; entre .401 y .600, moderado; entre .601 y .800, bueno; y superiores a .801, indican un nivel de acuerdo excelente. Estos índices de acuerdo sugieren que los ítems, globalmente, pueden considerarse suficientemente coherentes, observables, relevantes y que la claridad de la redacción es adecuada para evaluar los programas de educación patrimonial en relación a la evaluación de aprendizajes en las etapas de Secundaria y Bachillerato.

De los 47 programas seleccionamos los cinco con mejor puntuación en los estándares específicos. Estos programas se anidarán en el estudio de caso, como parte de él y son los mini-casos.

La estructura conceptual del caso está basada en el esquema que propone Stake (1995) para sus investigaciones de estudio de caso (Figura 5).

En el círculo central del caso se puede comprobar en la parte superior, que se describe la función principal del caso, que al ser de naturaleza intrínseco e instrumental (Stake, 1995), nos permite comprender un proceso como es la evaluación de los aprendizajes en el ámbito de la Educación Patrimonial. Además, en el mimo círculo se encuentran las actividades particulares realizadas (entrevistas semiestructuradas, observaciones en el aula, focus-group), los lugares donde se realizaron (Valladolid y Burgos), los documentos (referentes, normativa de ESO y Bachillerato, Planes Nacionales y Autonómicos), los informantes (profesorado, alumnado) y los mini-casos (los programas seleccionados en la Fase I).

De este círculo sobresalen tres semicírculos que son de contextualización del caso: investigaciones referentes, historia y contexto social. Debajo del círculo grande, las Issues de investigación y las declaraciones temáticas. Se han definido dos Issues: 1. ¿Se realiza la evaluación de aprendizajes en Educación Patrimonial en Secundaria y Bachillerato según las orientaciones y estándares del currículo autonómico? Y 2. ¿Es posible plantear la evaluación de aprendizajes en Educación Patrimonial como una pieza elemental del proceso enseñanza- aprendizaje equilibrando las dimensiones objetivas y subjetivas?

Los resultados del análisis realizado desde N*vivo.11 se detallan a partir de estas declaraciones temáticas: a) currículo en ESO y Bachillerato y Planes nacional y autonómico sobre Educación Patrimonial; b) competencias patrimoniales en el proceso de enseñanza-aprendizaje; c) estrategias de evaluación en Educación Patrimonial y d) formación de profesorado.

a) Currículo y Planes

El Plan Nacional de Educación y Patrimonio orienta sobre la forma que se ha de seguir el currículo vigente, además de dar pautas como diseñar el material didáctico sobre Patrimonio con mayor calidad o “fomentar la formación del profesorado en valor social, cultural, económico e identitario de los bienes culturales”. (Domingo, Fontal y Ballesteros, 2010, p.8).

Desde las leyes educativas de ESO y Bachillerato, en sus objetivos generales proponen el “Conocer, valorar y respetar la historia, la aportación cultural y el patrimonio de España y de cada una de las Comunidades Autónomas” (p.32053).

Y se han encontrado alusiones al patrimonio en las leyes autonómicas, de manera transversal, en asignaturas como: En la ESO: Naturaleza, Geografía e Historia, Latín, Lengua Castellana y Literatura, Cultura Clásica, Educación Física, Educación Plástica, Visual y Audiovisual, Música, Lengua Gallega y en Bachillerato: Educación Física, Artes Escénicas, Historia del Arte, Historia de la Música, Biología, Economía y Griego.

En ambas etapas educativas el concepto de patrimonio muestra interesantes aportaciones más allá de una visión obsoleta del patrimonio, ceñida a una sucesión de monumentos arquetípicos y sus características. Por el contrario, entiende el patrimonio inserto en las dinámicas sociales y de organización fluida de las sociedades. En este sentido explicita el disfrute del arte o el respeto general a lo patrimonial como reflexiones pedagógicas de fondo. Contraria a esta idea, el currículo está denostado por los profesionales por sus carencias en varios sentidos (fig.6):

El currículo atiende a las cuestiones contemporáneas de la diversidad lingüística y cultural de todo el territorio nacional y el europeo. En general, es reflejo en todas las materias del enfoque autonomista de los contenidos que viene dándose a la educación desde la llegada de la democracia y esto se evidencia en la Tabla 1, en la que se han realizado búsquedas de palabras satélites del concepto de patrimonio (arte, cultura, identidad, memoria y patrimonio), dándose mayor protagonismo a la cultura y al arte.

b) Competencias patrimoniales en el proceso de enseñanza- aprendizaje

Los informantes han descrito ciertas competencias que un docente en Educación Patrimonial ha de desarrollar para la práctica en el aula: por un lado, el desarrollo de la sensibilidad, algo que se adquiere y desarrolla con el interés en disciplinas como las Artes (fig.7) :

Se analizan las prácticas y las competencias en su desarrollo hasta la actualidad:

Competencias de aprender a hacer en muchas disciplinas, pero en cuanto al patrimonio personal, aprender a ser es una de las más llamativa, ya que el patrimonio ayuda al desarrollo de valores competenciales que en otros ámbitos no se aprenden

c) Estrategias de evaluación en Educación Patrimonial

En varios casos se habla de la evaluación de una forma controvertida, ya que se piensa que el sistema empuja a la calificación (fig. 9):

Y se enfrentan a la complicación de evaluar todo aquello que es subjetivo dentro de las competencias (fig.10):

El profesorado que trabaja dentro de los parámetros de la transdisciplinariedad, crítico al sistema, analiza la evaluación y el proceso de la misma, teniendo en cuenta ideas como el beneficio de cometer errores (fig.11):

Pero si la han llevado a cabo, engrandecen la evaluación como parte primordial en el proceso de enseñanza-aprendizaje (fig.12):

d) Formación de profesorado

El docente en patrimonio ha de ser, no solo docente, sino también realizar otras funciones importantes para enriquecer su labor como profesor en el aula (fig.13):

El profesorado que trabaja en patrimonio entiende que realiza proyectos que algunos de sus propios compañeros no entienden, se sienten un poco al margen de la ley (fig.14):

La mayoría entiende que la docencia del patrimonio y lo que conlleva, incluida su evaluación dentro del aula es una tarea que tiene que ver con el interés personal, y no se enseña en ninguna facultad de las que han estudiado, (la mayoría son especialistas en Arte, Historia del Arte, o Historia). Los proyectos que diseña este tipo de profesorado con interés por el patrimonio y su evaluación, incluyen un plan evaluativo complejo que desarrolla el máximo de competencias, incluida la autoevaluación y coevaluación, como partes de aprender a ser personas críticas. (Mini-caso 1\11 marzo 2018).

Conclusiones y discusión

En Educación Patrimonial se han realizado estudios sobre evaluación de programas, unos con más pruebas de validez y fiabilidad que otros. Este trabajo ha incidido en dos aspectos: la validez de criterio y la fiabilidad, utilizando la escala Q-Edutage (Evolution).

Para evaluar aprendizajes en este ámbito, último criterio de calidad de un programa educativo, el docente tiene que aprender el proceso por sí mismo: la transversalidad de lo patrimonial, el contexto del alumnado, sus capacidades, conocer las competencias y los estándares de aprendizajes, el autoaprendizaje dirigido y salir de un currículo poco abierto que a veces deja la enseñanza del patrimonio en una declaración de intenciones. Desde la comunidad educativa se carece de educación en lo patrimonial como disciplina que cumple las consignas de las nuevas enseñanzas, en las que lo importante es la persona. Y la evaluación en este campo, afrontarla de forma sistémica, socializada y crítica, como una actitud en la forma de hacer educación. Aprender a evaluar aprendizajes forma parte de nuestro patrimonio.

Referencias

Arias, M. M. (1999). Triangulación metodológica: Sus principios, alcances y limitaciones. Investigación y Educación en Enfermería, 18(1), 13-26.

Bangdiwala, S. I. (1987). A graphical test for observer agreement. Proceedings of the 45th International Statistical Institute Meeting, Amsterdam, 1, 307- 308.

Campbell, T., & Fiske, W. (1959). Convergent and discriminant validation by multitrait-multimethod matrix. Psychological Bulletin, 56, 81-105.

Creswell, J. W., & Plano Clark, V. L. (2011). Choosing a mixed methods design. Designing and Conducting Mixed Methods Research, 2, 53- 106.

Creswell, J. W. (2014). A concise introduction to mixed methods research. California: SAGE publications.

Crotty, M. (1998). The foundations of social research. Thousand Oaks, California: SAGE Publications.

Denzin, N. K. (1990). Reading rational choice theory. Rationality and Society, 2(2), 172-189.

Dewey, J. (1938). Experience and education. New York: Collier.

Domingo, M., Fontal, O., y Ballesteros, P. (Coords.). (2013). Plan Nacional de Educación y Patrimonio. Madrid: Ministerio de Educación, Cultura y Deporte, Secretaría de Estado de Cultura.

Estepa, J., y Cuenca, J. M. (2006). La mirada de los maestros, profesores y gestores del patrimonio: Investigación sobre conceptos de patrimonio y su didáctica. En O. Fontal, y R. Calaf (Eds.). Miradas al patrimonio, (pp.51-71). Gijón: Trea.

Fontal, O. (2003). La educación patrimonial: Teoría y práctica para el aula, el museo e Internet. Gijón: Trea.

Fontal, O. (2013). La educación patrimonial: Del patrimonio a las personas. Gijón: Trea.

Fontal, O., y Juanola, R. (2015). La educación patrimonial: Una disciplina útil y rentable en el ámbito de la gestión del patrimonio cultural. Cadmo. International Journal of Educational Research, 23(1), 254–266.

Fontal, O. (2016). Educación patrimonial: Retrospectiva y prospectivas para la próxima década. Estudios Pedagógicos, 42(2), 415–436.

Fontal, O., García, S., Arias, B., y Arias, V. B. (2018). Evaluación de la calidad de programas de educación patrimonial: Construcción y calibración de la escala Q-Edutage. Revista de Psicodidáctica, 24(1), 31-38.

Gómez-Redondo, C. (2011). El arte contemporáneo: Escenario para nuevas identidades. In Actas del II Congreso Internacional de arte, educación y cultura: Aportaciones desde la periferia.

Gómez Redondo, C. (2012). Identización: La construcción discursiva del individuo. Arte, Individuo y Sociedad, 24(1), 21-37.

Guba, E.G. & Lincoln, Y. S. (1982). Establishing dependability and confirmability in naturalistic inquiry through an audit. 66th American Educational Research Association Annual Meeting, 1-22. New York.

Guba, E.G. & Lincoln, Y. S. (1989). Ethics: The failure of positivist science. The Review of Higher Education, 12(3), 221-240.

Kuhn, T. (1962). La estructura de las revoluciones científicas. México: FCE.

Kuhn, D. (1972). Mechanisms of change in the development of cognitive structures. Child Development, 43(3), 833-844.

Kuhn, T. (1982). Objetividad, juicios de valor y elección de teoría. La tensión esencial, 2, 344-364.

Maxwell. J.A. (2008). Designing a qualitative study. En L. Bickman & D. J. Rog (Eds.), Handbook of applied social science research methods, 2, 214-253. Thousand Oaks, California: Sage Publications.

Merriam, S. B. (1998). Qualitative research and case study applications in education. Revised and expanded from "Case Study Research in Education". San Francisco, California: Jossey-Bass Publishers

Morgan, K. (2007). The learning region: institutions, innovation and regional renewal. Regional Studies, 41(S1), S147-S159.

Muñoz, S. R., & Bangdiwala, S. I. (1997). Interpretation of Kappa and B statistics measures of agreement. Journal of Applied Statistics, 24(1), 105-112.

Nitko, A. J., & Brookhart, S. M. (1996). Educational assessment of students. Englewood Cliffs, NJ: Merrill.

ORDEN EDU/362/2015, de 4 de mayo, por la que se establece el currículo y se regula la implantación, evaluación y desarrollo de la educación secundaria obligatoria en la Comunidad de Castilla y León. (BOCyL nº 86 de 8/5/2015 páginas 32051 a 32480).

ORDEN EDU/363/2015, de 4 de mayo, por la que se establece el currículo y se regula la implantación, evaluación y desarrollo del bachillerato en la Comunidad de Castilla y León. (BOCyL nº 86 de 8/5/2015 páginas 32481 a 32984).

Patton, M. Q. (1990). Qualitative evaluation and research methods. California: SAGE Publications.

Stake, R. E. (1995). The art of case study research. California: Sage Publications.

Stake, R., & Munson, A. (2008). Qualitative assessment of arts education. Arts Education Policy Review, 109(6), 13-22.

Tashakkori, A., & Teddlie, C. (Eds.). (2003). Sage handbook of mixed methods in social & behavioral research. California: SAGE Publications.

Tyler, R. W. (Ed.). (1969). Educational evaluation: New roles, new means. Chicago: University of Chicago Press.

UNESCO, 1972, Convención para la Protección del Patrimonio Mundial, Cultural y Material, Aprobada en París el 21 de noviembre de 1972.

Yazan, B. (2015). Three approaches to case study methods in education: Yin, Merriam, and Stake. The Qualitative Report, 20(2), 134-152.

Yin, R. K. (2002). Estudio de caso. Porto Alegre: Bookman.

Zamora, E. (2011). Sobre patrimonio y desarrollo. Aproximación al concepto de patrimonio cultural y su utilización en procesos de desarrollo territorial. Pasos, 9, 101-113.