Artículos
Recepción: 02 Octubre 2017
Aprobación: 13 Diciembre 2017
Resumen: El objetivo de este estudio es identificar qué escuelas y qué docentes podemos considerar que son eficaces, basándonos en un instrumento de observación que evalúa la eficacia escolar y del docente. Con este propósito, se administró por primera vez en un contexto educativo no-anglosajón el Sistema Internacional de Observación y Feedback Docente (istof-ii). Se combinaron el uso de técnicas de investigación de carácter cualitativo (entrevistas al profesorado y directores de los centros seleccionados) y cuantitativo (protocolo de observación). Se observó a 21 profesionales impartir lengua (castellana, catalana e inglesa) y matemáticas, en 15 centros de educación primaria. Los resultados muestran asociaciones negativas entre la edad y experiencia del profesorado y sus prácticas, y entre el porcentaje de estudiantes de bajo nivel socioeconómico y la calidad de enseñanza que reciben. A su vez, el estudio evidencia que el istof-ii, un sistema de observación válido internacionalmente, resulta útil para mejorar la calidad de la educación. La discusión versa sobre la importancia de la identificación y difusión de prácticas y centros eficaces a partir de instrumentos que se compartan a nivel internacional.
Palabras clave: Eficacia del docente, Aula, Escuelas, Observación, Instrumento de medida.
Abstract: The objective of this study is to identify which schools and which teachers can be considered effective, based on an observation tool that evaluates the effectiveness of the school and the teacher. The International System for Teacher Observation and Feedback (istof-ii) was used in a non-Anglo Saxon educational context for the first time. Research techniques were used that combine qualitative (interviews with teachers and head teachers in the selected schools) and quantitative (observation protocol) analysis. Twenty-one teachers were observed teaching languages (Spanish, Catalan and English) and mathematics in 15 primary schools. The results showed negative links between the age and experience of the teachers and their practices and between the percentage of students at a low socio-economic level and the quality of teaching they receive. The study proves that an internationally valid observation system, such as the istof-ii, is a useful tool in in identifying effective practices and schools. Discussion concerns the importance of identifying and spreading effective centers and practices through international systems of assessment.
Keywords: Teacher effectiveness, Classrooms, Schools, Observation, Measuring instruments.
1. Fundamentación teórica
¿Qué escuelas y qué docentes podemos considerar que son eficaces? El movimiento que intenta responder esta cuestión aglutina estudios cuyo objeto es la estimación de la magnitud de los efectos escolares y el análisis de sus propiedades científicas, y/o el estudio de los factores escolares, de aula y de contexto que caracterizan una escuela eficaz, sea cual sea el enfoque metodológico utilizado para conseguirlo (Murillo, 2005, p. 22).
El campo de la eficacia escolar ha progresado rápidamente en todo el mundo en los últimos veinte años, dando lugar a un cuerpo de conocimiento cada vez más reconocido sobre los resultados de las escuelas, los procesos en los colegios que son eficaces y que añaden valor a sus alumnos, y las formas en que los centros escolares se pueden mejorar (Teddlie y Reynolds, 2000).
Desde este enfoque se define una escuela eficaz como “aquella que consigue un desarrollo integral de todos y cada uno de sus alumnos mayor de lo que sería previsible, teniendo en cuenta su rendimiento previo y el nivel social, económico y cultural de las familias” (Murillo, 2005, p 30). Además, se afirma que para que una escuela sea eficaz, debe ser inclusiva, y para que sea inclusiva debe ser eficaz (Murillo y Duk, 2011). No se concibe, por tanto, el término eficaz desvinculado de la atención a la diversidad y mejora de la calidad de vida de todo el alumnado (Booth y Ainscow, 2002; Cobo y López, 2012; De la Iglesia Mayol et al., 2012; González, 2005; Sales-Ciges, Moliner-García y Moliner-Miravent, 2010).
Por otra parte, también se está avanzando en el campo de la eficacia docente, desde un comienzo lento en el Reino Unido, un crecimiento inicial más rápido en los Estados Unidos y, en la actualidad, una expansión sustancial en la calidad y cantidad de trabajo a nivel internacional (Chapman et al., 2015; Creemers y Kyriakides, 2007; Muijs y Reynolds, 2010).
A diferencia de hace unas décadas, en estos momentos las investigaciones que caracterizan a este enfoque entran en las aulas y se centran en aspectos metodológicos, de gestión del proceso, de la interacción que se da entre los sujetos, considerando al alumnado y profesorado como ejes centrales del sistema educativo (Kelly y Downey, 2011). Sin embargo, como afirman Hernández-Castilla, Murillo y Martínez-Garrido (2014, p. 104) perviven aún ciertas reticencias hacia esta línea de investigación, algunas de ellas justificadas y bien fundamentadas, y otras cargadas de prejuicios y desconocimientos.
Precisamente, una de las limitaciones apunta a la inexistencia de un instrumento, válido internacionalmente, para medir la eficacia de los docentes y centros escolares. En esta dirección, el trabajo reciente realizado por la inspección educativa en la República Eslovaca, Flandes (Bélgica), Lower Saxony (Alemania) y Holanda, ha supuesto un claro avance para el desarrollo de un sistema cruzado de observación (Van de Grift, 2013). Esta investigación informó de que la calidad de la enseñanza, en los cuatro países, se puede comparar de forma fiable y válida en relación a los siguientes puntos: entorno seguro y estimulante, instrucción clara, adaptación de la enseñanza, estrategias de enseñanza-aprendizaje y gestión del aula. Desde otro contexto geográfico, Murillo y Román (2012) partiendo del Segundo Estudio Regional Comparativo y Explicativo (serce) que se desarrolló en América Latina y el Caribe, muestran la necesidad de analizar los datos de acuerdo a la realidad sociocultural y económica de cada país o región, ya que se detecta una relación significativa entre la disponibilidad de servicios básicos en la escuela (agua potable, servicios sanitarios, electricidad, entre otros) y el logro académico de estudiantes. De forma similar concluye un estudio más reciente desarrollado por Suárez-Enciso, Elías y Zarza (2016) a partir del cual se detectan factores asociados al rendimiento escolar que responden a las características socio-culturales y económicas del Paraguay, país donde se desarrolla la investigación.
Con las evidencias que tenemos sobre "qué funciona en educación" el reto ahora es determinar el por qué lo hace (Martínez-Garrido y Murillo, 2011; Teodorovic, 2011). No obstante, en España existen pocos estudios centrados en la práctica docente y en las características de los centros escolares llevados a cabo con protocolos de observación que permitan evaluar su eficacia (Murillo, 2005; Murillo y Muñoz-Repiso, 2002).
Por este motivo, consideramos que la investigación desarrollada en este artículo puede resultar relevante. En la misma se asumen dos hipótesis iniciales:
Que el istof-ii sirve en un contexto no-anglosajón para identificar prácticas docentes y centros escolares eficaces
Que el estudio de campo desarrollado en Mallorca contribuye a dar validez al sistema internacional de observación y feedback docente, debido a las semejanzas entre los estudios previos llevados a cabo en otros países y las características de los centros de nuestro contexto.
2. Método
El estudio parte de un doble objetivo: por una parte, utilizar el istof-ii para observar los procesos de enseñanza en las aulas y valorar hasta qué punto sirve en un contexto no anglosajón. Y, por otra parte, identificar qué prácticas docentes y centros escolares son más eficaces y favorecen el aprendizaje de todo el alumnado en nuestra comunidad autónoma.
Para alcanzar los objetivos planteados, optamos por una metodología mixta (Hernández-Sampieri, Fernández-Collado y Baptista, 2010), en la que combina el uso de técnicas de investigación de carácter cualitativo (entrevistas a los/las docentes y directores de los centros seleccionados) y cuantitativo (protocolo de observación).
Muijs y Brookman (2016), a partir del análisis del desarrollo y uso de la metodología cuantitativa en la investigación centrada en la eficacia escolar, concluyen "que es necesario hablar del uso de diseños y métodos combinados ya que son los que verdaderamente permiten descubrir y analizar los datos no esperados y profundizar en los resultados obtenidos" (p. 200).
En nuestro estudio, primero se llevó a cabo la parte cuantitativa mediante la aplicación del istof-ii, previo entrenamiento de los observadores. Una vez realizada la observación, se procedió al desarrollo de la entrevista con el/la docente observado/a así como también al director/a del centro en cuestión.
Las entrevistas fueron grabadas y transcritas. Posteriormente, se realizó un análisis temático siguiendo los pasos metodológicos de ordenación, clasificación y análisis final de datos. Se buscó la saturación de la información, es decir, el momento de la investigación en el que las opiniones de los participantes se repiten, son redundantes y ya no aportan contenido nuevo. De este modo, la información dada por los entrevistados permitió adaptar y enriquecer los datos obtenidos con el istof-ii.
El rigor en este estudio se consigue mediante varios procesos entre los que destaca la obtención de datos desde múltiples fuentes y métodos, lo cual facilita la triangulación.
Muestra
La población objeto de estudio son todos los centros de educación primaria de Mallorca, ya que el instrumento istof fue desarrollado, a nivel internacional, para ser utilizado en esta etapa. Se obtuvo una muestra de 15 escuelas a partir de un proceso de muestreo intencionado con tres estratos de desagregación: titularidad de los centros (pública/privada); ubicación geográfica (urbana/rural) y índice socioeconómico y cultural (bajo, medio y alto).
La muestra se fijó en nueve escuelas públicas y seis escuelas concertadas con valor añadido positivo, valor añadido negativo y valor añadido medio. Se consideró como valor añadido el “progreso neto de los estudiantes hacia objetivos de aprendizaje establecidos, una vez eliminada la influencia de otros factores ajenos a la escuela” (Martínez, Gaviria y Castro, 2009, p. 17).
Para saber cómo las variables socioeconómicas y culturales influyen en los resultados escolares de los alumnos, se calculó el índice socioeconómico y cultural (isec) a partir de distintos factores: el nivel de estudios de los padres y madres, sus profesiones, el número de libros que tienen en casa, las expectativas de estudio por parte de los padres y los recursos materiales disponibles para el estudio en casa. Después se relacionó el isec del alumno y el isec medio del centro con los resultados en cada una de las pruebas, mediante un análisis de regresión. De esta manera se obtuvieron las puntuaciones esperadas para cada alumno.
Con estos datos se calculó, para cada grupo del centro, para el centro y para el conjunto del nivel educativo evaluado, las medias de puntuaciones obtenidas y las medias de las esperadas, la diferencia de las que proporcionó una medida del "valor añadido" del centro. Así, todas las escuelas se distribuyen a lo largo de diferentes estratos socioeconómicos o ses y se seleccionaron 2 del grupo ses 1, 4 del grupo ses 2, 5 del grupo ses 3, 3 del grupo ses 4 y 1 del grupo ses 5.
Participaron ocho escuelas de la ciudad de Palma de Mallorca y siete del resto de la isla para garantizar una distribución geográfica equitativa. Posteriormente, se generaron tres grupos de escuelas tomando en consideración los resultados obtenidos en las pruebas de diagnóstico: cinco escuelas con un nivel alto, cinco con un nivel medio y cinco con un nivel bajo. La selección de las 15 escuelas fue realizada por el iaqse-Instituto de Evaluación y Calidad del Sistema Educativo de la Consejería de Educación, Cultura, y Universidades. Al negociar su participación en el proyecto, no hubo rechazo, aunque una de las quince escuelas que aceptaron, finalmente, no permitió las dos últimas visitas necesarias para recopilar todos los datos.
La muestra de directores/as se compone de 15 personas que estaban desempeñando el cargo en 2010. Y la muestra de profesores comprende todos aquellos que enseñaban en el cuarto curso de educación primaria, durante el año académico 2009-2010, en los 15 centros seleccionados. Hubo veintiún profesores en total que fueron entrevistados y observados, de los cuales 8 son mujeres y 7 son hombres, con una media de edad se sitúa en 48 años.
Los datos y resultados de los alumnos de cuarto curso de primaria, fueron facilitados también por el iaqse a partir de los resultados obtenidos en las pruebas de diagnóstico de 2008, en las áreas de castellano (N = 9.074), catalán (N = 9.009), inglés (N = 9.072) y matemáticas (N = 9.097); estos datos sirvieron para el análisis posterior de los resultados obtenidos en las observaciones. A los resultados “en bruto” (resultados reales alcanzados por los alumnos) se calculó su "valor añadido" (teniendo en consideración diversos factores del entorno del alumnado que influyen en los resultados). Así, la participación del alumnado fue indirecta, ya que únicamente se recogió la información a través del iaqse.
Con todo, el proceso de selección de la muestra no está exento de limitaciones ya que las observaciones de los 21 maestros están vinculadas con el funcionamiento de sus escuelas en su conjunto, no con el rendimiento de sus propios alumnos. Lo mismo sucede con los datos sobre las características de la escuela, donde las respuestas de todos los maestros de una escuela, dadas en la encuesta autonómica, se comparan con las puntuaciones de las observaciones sólo de los maestros seleccionados.
Lo ideal hubiese sido tener los resultados individuales de los maestros observados en comparación con los propios datos del rendimiento de sus alumnos, y los puntos de vista de los docentes seleccionados sobre su escuela en comparación con los mismos datos. No pudimos obtener dicha información, así que utilizamos como muestra a los veintiún profesores del 4º curso de primaria en 2008/09 de cada escuela. A pesar de ello, se considera que la elección de los profesores de 4ºcurso que participaron en el estudio fue una elección al azar, con lo que no se vería afectado el nivel de la confianza de los resultados.
Los instrumentos de recogida de información utilizados se presentan a continuación:
Sistema Internacional de Observación y Feedback Docente: istof-ii (versión 2006)
El protocolo de observación istof-ii fue diseñado por un equipo internacional de expertos en el área para medir comportamientos observables de los docentes, coherentes con la enseñanza eficaz en el aula. Como señalan Teddlie, Reynolds y Stringfield (2002), no habría existido el istof-ii sin las experiencias previas con istof-i e iserp[1] (estudio longitudinal sobre la eficacia de maestros y escuelas). Para la creación del instrumento se utilizó la técnica Delphi iterativa, múltiple y on-line (Teddlie, Kyriakides y Fen, 2004). Las preguntas utilizadas en este proceso sirvieron de base para generar los componentes, indicadores e ítems para la eficacia docente, y que constituían el sistema istof[2].
El objetivo principal de istof-ii es hacer estudios de campo en cada uno de los países participantes para generar índices psicométricos y poder desarrollar directrices por las cuales se pueda proporcionar un feedback significativo a los docentes, basado en datos generados por el protocolo.
Es importante remarcar que los componentes que recoge el istof-ii y que correlacionan con la efectividad del docente son:
Componente 1: Evaluación y valoración.
Componente 2: Diferenciación e inclusión.
Componente 3: Claridad de la instrucción.
Componente 4: Habilidades de instrucción.
Componente 5: Promover el aprendizaje activo y desarrollo de habilidades meta-cognitivas.
Componente 6: Clima en el aula.
Componente 7: Gestión de la clase.
Por otra parte, el protocolo requiere que cada observación se realice en una clase ordinaria y con una duración de una sesión (normalmente entre 40-50 minutos). El observador debe evaluar los diversos ítems de cada uno de los componentes anteriormente descritos de acuerdo con la siguiente escala: (5) Totalmente de acuerdo; (4) De acuerdo en algo; (3) Neutral; (2) En desacuerdo con algo; (1) Totalmente en desacuerdo; y (na) No aplicable/no observable.
Para terminar con la descripción del instrumento, es importante remarcar que se apuesta por el trabajo de campo y el uso de entrevistas para evaluar los indicadores para la enseñanza eficaz, que no pueden ser observados directamente, tales como: la planificación y programación de las sesiones de clase, los conocimientos, la profesionalidad y la reflexión del profesorado.
Entrevistas al director/a del centro y al profesorado observado
Se llevó a cabo una entrevista estructurada con los directores de los 15 centros que componen la muestra. Dicha entrevista recabó información sobre los datos descriptivos del centro; la información general sobre la experiencia y las funciones que se ejercen como director/a; datos en relación a la tipología de alumnado y docentes, relación con las familias o ayudas institucionales; descripción de innovaciones metodológicas, formación de los docentes, programas actuales que se desarrollan en el centro o medidas de atención a la diversidad del alumnado.; información sobre el compromiso y la implicación del profesorado en el centro; información sobre debilidades, fortalezas y metas del centro. Se repitió la entrevista dos veces para profundizar en aspectos importantes obtenidos a partir del primer análisis de datos.
Por otra parte, después de cada sesión observada, se recopiló de los maestros diversos datos (años de experiencia profesional, estancia en el centro y descripción del alumnado su aula) y se le interrogó acerca de la dinámica de la clase, la metodología y los materiales que más frecuentemente utiliza, sus puntos fuertes, las necesidades y debilidades que detecta en su quehacer diario en la escuela y en su aula, funciones y responsabilidades pedagógicas que asume en el centro, así como también su nivel de satisfacción con el desarrollo de su práctica profesional.
Con la finalidad de establecer un contacto inicial y un proceso de negociación respetuoso con las peculiaridades de cada centro, se marcó el cronograma siguiente:
Las 15 escuelas son visitadas por el equipo investigador, para explicar el proyecto, contactar con los docentes, entrevistar al/la directora/a de manera informal y realizar una visita general al centro. Se pidió el consentimiento informado a los docentes que, voluntariamente, accedían a ser observados y entrevistados.
Se llevó a cabo el entrenamiento de los observadores del aula. Los observadores fueron dos ex-alumnas de la Facultad de Educación de la Universidad de las Islas Baleares, junto con los miembros del equipo de investigación.
A continuación, se iniciaron las observaciones y las entrevistas estructuradas. En total 21 observaciones y 21 entrevistas a docentes y 15 entrevistas a los directores.
Por último, se llevó a cabo otra visita a los centros, por parte del investigador principal, para comprender los problemas relativos a la cultura escolar y para entrevistar por segunda vez a los directores.
Se procedió posteriormente al análisis de los resultados obtenidos; se elaboró y se presentó el primer informe a los participantes del estudio. Para finalizar este proceso, se celebró una conferencia para la difusión y discusión de los resultados a nivel de la isla de Mallorca bajo el título istof: Buenas Prácticas en las Escuelas y Maestros de Educación Primaria de Mallorca. Al acto se convocó a todos los equipos directivos de los centros de Mallorca.
Análisis estadístico
El procedimiento de análisis de los datos se basa en un sistema de correlaciones simple entre los resultados obtenidos a partir del protocolo de observación, los registros post-observación y los siete componentes de medida de la eficacia que valora el istof-ii, con en el programa estadístico informático spss 17. Cabe decir que, como los 7 componentes del istof-ii contienen diferentes números de ítems (entre 4 y 10), se dividió la puntuación total de los componentes por su número de ítems para poder hacer una comparación entre ellos. Se siguieron los siguientes pasos para el análisis de los datos:
Primero se calculó la fiabilidad del observador usando Kappa de Cohen. En la primera observación se obtuvo una puntuación intra-clase de 0,72 y en la segunda de 0,88, mostrando así una gran concordancia.
En una segunda fase, se calcularon los estadísticos descriptivos de las observaciones en el aula. La media, mediana, desviación estándar y rango se calcularon para cada ítem del instrumento de observación istof-ii.
En la tercera fase, se correlacionaron las puntuaciones de la observación de aula con las puntuaciones de valor añadido de centro en las áreas de castellano, catalán, matemáticas e inglés, así como también con las puntuaciones de logro a nivel escolar.
En la siguiente fase, las puntuaciones istof-ii se correlacionaron con la media de centro respecto al alumnado hispanohablante, alumnado con bajo nivel socioeconómico, y alumnado con dificultades de aprendizaje, superdotación o con necesidades educativas especiales (nee). Una vez más, la puntuación media de la escuela fue asignada a cada aula observada en el centro.
En la cuarta fase, las puntuaciones istof-ii del aula se correlacionaron con las características de los maestros: años de experiencia en la escuela, años de experiencia en la enseñanza, la edad y el género. Estas variables se miden sólo nivel de aula.
A continuación, se agruparon los componentes en las siete escalas istof sumando la puntuación obtenida en cada escala. Entonces se analizaron las correlaciones entre cada puntuación de la escala y las variables mencionadas anteriormente.
Por último, se calculó una puntuación global para el instrumento istof-ii para cada maestro observado (sumando todos los elementos en el instrumento istof-ii) y otra vez correlacionados con variables como en las fases 3-5.
Debido a la gran cantidad de información recogida y analizada, los resultados han sido seleccionados para el presente artículo y se presentan en cuatro apartados: (1) Correlaciones entre los componentes de eficacia del istof-ii y los resultados y características del alumnado de la muestra, con y sin valor añadido. (2) Correlaciones entre los componentes istof-ii y las características de los/las docentes. (3) Correlaciones entre los componentes istof-ii y las características de los centros. y (4) Resultados del análisis de datos cualitativos.
3. Resultados
3.1. Correlaciones entre los componentes de eficacia del istof-ii y los resultados y características del alumnado de la muestra, con y sin valor añadido
En primer lugar, se presenta los resultados al analizar los siete componentes en general del instrumento de observación. En el cuadro 1 se observa que los componentes valoración y evaluación, clima dentro del aula y gestión dentro del aula fueron los mejor puntuados.

Estos componentes también tuvieron las menores desviaciones estándar. Por otra parte, los componentes con menor puntuación fueron: aprendizaje activo y habilidades meta cognitivas y diferenciación e inclusión. Estos componentes también mostraron la mayor desviación estándar.
A continuación, se muestran los coeficientes de correlación entre los componentes istof-ii y el valor añadido, es decir, una vez eliminada la influencia de otros factores ajenos a la escuela (cuadro 2). Las correlaciones son mayores con el valor añadido de las observaciones en las clases de inglés y catalán, más que en castellano y matemáticas. Las correlaciones más altas son para la gestión dentro del aula y la diferenciación e inclusión, mientras que para la valoración y evaluación son las más bajas.

Las correlaciones de los componentes con las calificaciones globales del alumnado aparecen en el cuadro 3. Al igual que con las escalas de valor añadido, los coeficientes de correlación son todos positivos entre los comportamientos de los docentes y las calificaciones de los estudiantes. Las relaciones son de nuevo más fuertes en inglés y catalán. La gestión dentro del aula y la diferenciación e inclusión están estrechamente relacionadas con las calificaciones, mientras que las relaciones entre la valoración y la evaluación fueron más débiles.

Por último, se muestran las correlaciones entre los componentes istof-ii y las características del alumnado (cuadro 4). Las correlaciones entre los componentes istof-ii y el origen de los alumnos son todas bajas menos una, que es significativa, y son más bajas que aquellas relacionadas con las calificaciones. Las relaciones más negativas se dan entre el porcentaje de estudiantes con bajos recursos socioeconómicos y la gestión dentro del aula. Se establece una correlación positiva entre el número de alumnos castellano-parlantes y la gestión dentro del aula.

En general, el porcentaje de alumnado de bajo nivel socioeconómico y el porcentaje de alumnos con necesidades educativas especiales se relacionan negativamente con comportamientos/estrategias de los maestros, mientras que el porcentaje de alumnos castellano-parlantes, alumnos con dificultades de aprendizaje y alumnos superdotados está positivamente relacionado con el comportamiento/estrategias de los maestros.
3.2. Correlaciones entre los componentes istof-ii y las características de los/las docentes
En el cuadro 5 podemos ver que hay una relación negativa entre la edad, la experiencia y el comportamiento de los maestros. Esto es particularmente evidente respecto a la valoración y la evaluación, la claridad de la instrucción y las habilidades didácticas. Así, el total de puntuaciones de la escala istof-ii están negativamente relacionadas con la experiencia y la edad del docente.
3.3. Correlaciones entre los componentes istof-ii y las características de los centros
El cuadro 6 muestra que la mayoría de las correlaciones fueron positivas, con la excepción de la frecuencia con la que se atienden incidentes en clase. Las correlaciones más fuertes aparecen con la estimación de la institución sobre la participación de los padres en la educación de sus hijos, la frecuencia con la que se atienden incidentes en clase (negativo) el clima dentro del aula, y el desempeño de la gestión. La relación más débil fue aquella que promueve una metodología pedagógica que fomenta la participación y las actividades prácticas.


3.4. Resultados del análisis de datos cualitativos
El análisis de los datos cualitativos obtenidos a partir de las entrevistas a docentes y directores, nos permite presentar algunos indicadores de eficacia escolar que coinciden con los obtenidos en la literatura internacional a partir del modelo de Edmonds (1979), que concretaba en cinco factores lo aprendido en los primeros años y que fueron ampliados por estudios posteriores, aportando factores contextuales, desde el enfoque de la mejora escolar:
El objetivo principal de la escuela es tener un fuerte sentido de logro académico.
Un ambiente ordenado.
Altas expectativas de lo que los alumnos pueden alcanzar.
Marcadas rutinas escolares.
Un/a director/a comprometido/a con la enseñanza, siendo esta el centro de las actividades escolares.
Altos niveles de participación de los profesores en las clases.
Altos niveles de participación de las familias en el centro.
Sistemas fuertes de monitoreo por parte de los estudiantes.
Alta participación de los profesores en la planificación curricular.
Amplia disponibilidad de tiempo para el aprendizaje.
Estos indicadores aparecen de manera repetida y constante en cada una de las entrevistas realizadas a docentes y directores de los centros seleccionados. Los docentes participantes los valoran positivamente y remarcan el hecho de que correlacionan con mayor aprendizaje del alumnado. Aun así, consideran que hay que recordar continuamente la necesidad de tenerlos en cuenta en las decisiones que se toman, a nivel de programación de aula y de organización de centro, para poder facilitar y asegurar que perdurarán durante los próximos cursos.
De este modo, docentes y directores/as apuestan por la evaluación junto con formación en las escuelas, centrada en el trabajo y mejora de dichos factores, para diseñar situaciones de enseñanza y aprendizaje de alta calidad y que permitan avanzar hacia la creación de comunidades de aprendizaje. Cabe destacar que un deseo expresado a menudo por el profesorado participante en el estudio tiene que ver con un sistema de financiamiento y de reparto de recursos que ayude a las escuelas a reconocer la naturaleza tan diferente de sus poblaciones y que genere programas para ayudar a satisfacer sus necesidades. A pesar de que no se recogieron sistemáticamente datos sobre este punto, en las entrevistas se recoge la queja que los recursos no se incrementan en las escuelas que poseen los alumnos más desfavorecidos.
4. Conclusiones y discusión
Los datos obtenidos sobre el comportamiento de los profesores en el aula y las características de los centros muestran, en primer lugar, que prácticamente todas las escuelas estudiadas pueden ser catalogadas como escuelas eficaces, aplicando los mismos parámetros que los usados en los estudios internacionales (Chapman et al., 2015), ya que poseen numerosos ejemplos de buenas prácticas. Los puntos fuertes en los que destacan los docentes de la muestra son: las estrategias de evaluación, de gestión y la creación de un buen clima de aula. Dichos factores son considerados clave en el aumento de la eficacia en numerosos estudios a nivel internacional (Kelly y Downey, 2011; Martínez-Garrido y Murillo, 2016; Van de Grift, 2013) No ocurre lo mismo con los resultados obtenidos sobre el impacto de las características personales de los profesores, tales como su edad, en relación a su efectividad en la enseñanza, un dato que sería inusual en los estudios internacionales citados anteriormente.
Entre los resultados, cabe destacar que los docentes de la muestra obtienen peores valoraciones en el desarrollo del aprendizaje activo, habilidades meta-cognitivas y en favorecer la diferenciación e inclusión del alumnado con necesidades educativas especiales. Dichas competencias corresponden a un nivel más complejo de desarrollo de la práctica docente y deben ser pilares en la formación inicial de los grados universitarios, tal y como lo son en los países con niveles de mayor calidad y equidad educativa (Echeita, 2008; Melgarejo, 2008).
Esta investigación también aporta resultados de correlación negativa entre la proporción de alumnos de bajos recursos y la calidad de la enseñanza, y se aconseja incrementar la investigación al respecto. Este último dato coincide con la información aportada por los directores y docentes entrevistados al afirmar que el incremento de los recursos en las escuelas que poseen los alumnos más desfavorecidos es muy bajo y queda muy lejos de lo que se daría a las escuelas en los Estados Unidos (el 150% del gasto "normal" per cápita, se da a un niño inmigrante), en los Países Bajos (el 125% del gasto "normal" per cápita se da a un niño en desventaja social, cultural, económica, u otras) (ocde, 2005), o en Finlandia, donde los centros con población más necesitada son las escuelas que más recursos disponen (Melgarejo, 2008). Podemos volver a preguntarnos, como lo hacen Perry y McConney (2010) en su estudio, si realmente la administración educativa es sensible a las diferencias socioeconómicas y culturales de los centros en la toma de decisiones que afectan su distribución.
En este sentido, la investigación que presentamos vuelve a poner de manifiesto que el alumnado con necesidades educativas especiales recibe una enseñanza de peor calidad que el resto del alumnado, evidenciando que aún queda un largo recorrido por hacer en nuestro contexto respecto a la equidad e igualdad de oportunidades, tal como reclaman los recientes estudios sobre la Eficacia Escolar e Inclusión, citados en la introducción del artículo.
Con todo, el estudio no está exento de limitaciones, entre las cuales cabe citar la reducida muestra seleccionada y el hecho de observar únicamente las clases de idiomas y matemáticas, dejando el necesario análisis de las sesiones de Conocimiento del Medio Social y Natural, así como también las clases de Educación Artística y Musical, y de Educación Física, materias donde son más habituales unas dinámicas de enseñanza y aprendizaje más activas y participativas.
La imagen de escuela de eficaz en Mallorca es muy similar a las descritas en la literatura académica del resto del mundo (Teddlie y Reynolds, 2000) y sugiere que la investigación realizada puede contribuir a aumentar el conocimiento sobre eficacia escolar y del docente, desarrollado a nivel mundial con el protocolo de observación istof-ii, confirmándose así las hipótesis del estudio que presentamos.
Futuras líneas de investigación, inciden sobre la necesidad de continuar con la creación de contextos de máxima calidad para el aprendizaje de todo el alumnado (ocde, 2009), y apuesta por ofrecer una perspectiva internacional comparada sobre las condiciones de enseñanza y aprendizaje y sobre algunos de los principales factores que permiten explicar las diferencias en los resultados educativos que pisa ha revelado.
En definitiva, partiendo de los resultados obtenidos en el estudio, pueden citarse como mecanismos para promover y aumentar la efectividad de la enseñanza: a) el uso del instrumento utilizado para promover la discusión acerca de los métodos más eficaces dentro de una apuesta clara por una escuela inclusiva y de calidad para todo el alumnado, y b) la utilización de los conocimientos de la investigación internacional sobre la eficacia de los maestros para reducir la variabilidad "intra" e "inter” nacional.
Referencias
Booth, T. y Ainscow, M. (2002). Index for inclusion. Developing learning and participation in schools. Bristol: CSIE.
Chapman, C., Muijs, D., Reynolds, D., Sammons, P. y Teddlie, C. (2015). The Routledge international handbook of educational effectiveness and improvement: Research, policy, and practice. Nueva York, NY: Routledge.
Cobo, I. L. y López, I. G. (2012). Generación de entornos inclusivos desde la mejora de la eficacia escolar. Revista de Educación Inclusiva, 5(2), 9-23.
Creemers, B. P. y Kyriakides, L. (2007). The dynamics of educational effectiveness: A contribution to policy, practice and theory in contemporary schools. Londres: Routledge.
De la Iglesia Mayol, B., Forteza, D., Rosselló Ramon, M. R., Muntaner, J. J. y Verger, S. (2012). Evaluación de la calidad de vida del alumnado con discapacidad en la escuela. Revista de Educación Inclusiva, 5(3), 33-51.
Echeita, G. (2008). Inclusión y exclusión educativa. "Voz y quebranto". REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 6(2), 9-18.
Edmonds, R. (1979). Effective schools for the urban poor. Educational Leadership, 37(1), 15-24.
González, P. M. (2005). La respuesta educativa a la diversidad desde el enfoque de las escuelas inclusivas: Una propuesta de investigación. Revista de Psicodidáctica, 10(2), 97-110.
Hernández-Castilla, R., Murillo, F. J. y Martínez-Garrido, C. (2014). Factores de ineficacia escolar. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 12(1), 103-118.
Hernández-Sampieri, R., Fernández-Collado, C. y Baptista, P. (2010). Metodología de la investigación. Ciudad de México: McGraw-Hill.
Kelly, A. y Downey, C. (2011). Using effectiveness data for school improvement: Developing and utilizing metrics. Nueva York, NY: Routledge.
Martínez, R., Gaviria, J. L. y Castro, M. (2009). Concepto y evolución de los modelos de valor añadido en educación. Revista de Educación, 348, 15-45.
Martínez-Garrido, C. y Murillo, F. J. (2011). Para saber más: Algunas lecturas sobre eficacia escolar y equidad. Profesorado. Revista de Currículum y Formación del Profesorado, 15 (3), 175-179.
Martínez-Garrido, C. y Murillo, F. J. (2016). Investigación sobre enseñanza eficaz. Revista Mexicana de Investigación Educativa, 21(69), 471-499.
Melgarejo, J. (2008). Las claves del éxito en Finlandia. Cuadernos de Pedagogía, 381, 30-33.
Muijs, D. y Brookman, A. (2016). Quantitative methods. En C. Chapman, D. Muijs, D. Reynolds, D., P. Sammons y C. Teddlie (Eds.), The Routledge international handbook of educational effectiveness and improvement: Research, policy, and practice (pp. 173-201). Nueva York, NY: Routledge.
Muijs, D. y Reynolds, D. (2010). Effective teaching: Research and practice. Londres: Paul Chapman.
Murillo, F. J. (2005). La investigación sobre eficacia escolar. Barcelona: Octaedro.
Murillo, F. J. y Duk, C. (2011). ¿Escuelas eficaces versus escuelas inclusivas? Revista Latinoamericana de Educación Inclusiva, 5(1), 11-12.
Murillo, F. J. y Muñoz-Repiso, M. (2002). La mejora de la escuela: Un cambio de mirada. Barcelona: Octaedro.
Murillo, F. J. y Román, M. (2012). School infrastructure and resources do matter: Analysis of the incidence of school resources on the performance of Latina American students. School Effectiveness and School Improvement, 22(1), 29-50. https://doi.org/10.1080/09243453.2010.543538
OCDE. (2005). School factors related to quality and equity: Results from PISA 2000. París: OCDE. https://doi.org/10.1787/9789264008199-en
OCDE. (2009), Creating effective teaching and learning environments: First results from TALIS. París: OCDE.
Perry, L. y McConney, A. (2010). School socio-economic composition and student outcomes in Australia: Implications for educational policy. Australian Journal of Education, 54(1), art. 5. https://doi.org/10.1177/000494411005400106
Reynolds, D., Creemers, B., Stringfield, S., Teddlie, C. y Schaeffer, E. (2002) Worldclassschools: International perspectives on school effectiveness. Londres: Routledge.
Sales-Ciges, A., Moliner-García, O. y Moliner-Miravent, L. (2010). Estudio de la eficacia académica de las medidas específicas de atención a la diversidad desde la percepción de los implicados. Estudios sobre Educación, 19, 119-137.
Suárez Enciso, S., Elías, R. y Zarza, D. (2016). Factores asociados al rendimiento académico de estudiantes de Paraguay: Un análisis de los resultados del TERCE. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 14(4), 113-133. https://dpi.org/10.15366/reice2016.14.4.006
Teddlie, C. y Reynolds, D. (2000). School effectiveness research and the social and behavioral sciences. En C. Teddlie y D. Reynolds (Eds.), The internacional handbook of school effectiveness research (pp. 301-321). Londres: Falmer.
Teddlie, C., Kyriakides, L. y Fen, Y. (agosto, 2004). A proposal to develop an internationally valid teacher observation system: The international system for teacher observation and feesback (ISTOF). Comunicación presentada en el Annual Meeting of the International Congress for School Effectiveness and Improvement. Erasmus University Rotterdam.
Teddlie, C., Reynolds, D. y Stringfield, S. (2002). The methodological strategy of ISERP. En D. Reynolds, B. P. Creemers, S. Stringfield, C. Teddlie y E. Schaffer (Eds.), Worldclass schools: International perspectives on school effectiveness (pp.15-32). Londres: Routledge.
Teddlie, C., Creemers, B. P. M., Kyriakides, L., Muijs, D. y Fen, Y. (2006). The international system for teacher observation and feedback: Evolution of an internacional study of teacher effectiveness constructs. Educational Research and Evaluation, 12(6), 561-582. https://doi.org/10.1080/13803610600874067
Teodorovic, J. (2011). Classroom and school factors related to student achievement: What works for students? School Effectiveness and School Improvement, 22(2), 215-236. https://doi.org/10.1080/09243453.2011.575650
Van de Grift, W. J. (2013). Measuring teaching quality in several European countries. School Effectiveness and School Improvement, 25(3), 295-311. https://doi.org/10.1080/09243453.2013.794845