Resumen: This paper presents a test aimed at assessing university students’ reading competence –The Reading Competence Test for University Students (in Spanish, Test de Competencia Lectora para Universitarios, Test CLUni)– and the results obtained in the test by prospective Early Years and Primary Education teachers. The theoretical framework underlying the test is followed by description of the pilot stage and the validation process; this included content and expert validity. Next, the test is characterised. It consists of six authentic texts (four continuous and two non-continuous texts) that were selected according to the proposed text types in PISA-2012. Finally, the results obtained in the test by a sample of 288 students in the Bachelor Degree of Early Years (n=148, 51.4%) and Primary Education (n=140, 48,6%) at the University of Málaga in the academic year 2013/4 are presented. Results pertaining the students’ perceptions on the difficulty of the test are also included.
Keywords: Student, teacher, reading, text comprehension, educational research
Artículos
Evaluación de la competencia lectora de futuros docentes
Assessment of Preservice Teachers’ Reading Competence

En la actividad de comprender el lenguaje intervienen diversos procesos lingüísticos y psicológicos, no solamente de descodificación de ideas explícitas sino también de las inferidas a partir del conocimiento del mundo universal, rescatadas de la memoria a largo plazo (MLP). Participan en la lectura, por tanto, mecanismos cognitivos, perceptivos, de actitud y sociológicos, que permiten la interpretación y valoración personal del texto.
Como describe Solé (1992, p. 21), leer es un proceso de interacción entre el lector y el texto mediante el que el lector trata de satisfacer de una forma activa, procesando y examinando el texto, los diversos objetivos que motivan su lectura, siendo estos imprescindibles para que tenga lugar dicho proceso. El lector construye el significado del texto según sus experiencias y conocimientos previos y guiado por sus objetivos. Los objetivos del lector condicionan, por tanto, su lectura, a pesar de que el texto sea invariable, y son esenciales porque no solo determinan las estrategias de lectura de las que depende la comprensión, sino que influyen en el control inconsciente que tenemos sobre este proceso (Solé, 1992, pp. 21–22).
Sánchez Miguel y García-Rodicio (2014, pp. 87-89) definen los tipos de comprensión. En la comprensión superficial (texto base), el lector es capaz de entender lo que dice el texto mediante la selección y organización de su contenido, empleando escasamente sus conocimientos previos. Para que tenga lugar una comprensión profunda (modelo situacional), no obstante, es necesario que el lector comprenda, además, el contexto situacional al que se refiere el texto; debe, por tanto, integrar sus conocimientos previos con la información contenida en el texto. Por último, la comprensión crítica (o reflexiva), se manifiesta cuando el lector evalúa la “validez” de la fuente y solventa las inconsistencias que puedan producirse entre afirmaciones dentro de un mismo texto (o entre varios textos) o entre la información que aporta el texto y los conocimientos que ya posee. Estos tipos de comprensión se relacionan con los aspectos de la competencia lectora evaluados con los ítems de PISA, como podemos ver en la figura 1.

Sánchez Miguel y García-Rodicio (2014) describen, asimismo, los procesos responsables de la comprensión: procesos locales y procesos globales (figura 2). Los procesos locales –que están dirigidos por los elementos específicos del texto conforme van apareciendo en el campo visual del lector– son tres:
2. Proposición: Componemos con esos significados léxicos una red de relaciones (agente-acción-objeto) que conforma las unidades básicas del significado.
3. Integración lineal: Una vez creada una proposición, emprendemos la elaboración de una nueva que debe conectarse a la anterior. (p.89)
Los procesos globales, sin embargo, consideran generalmente el texto como un todo, por ejemplo, cuando se identifica el tema tratado y se construyen ideas más generales, prescindiendo de los elementos secundarios y deduciendo categorías con un grado más alto de abstracción. Los autores señalan, además:
Finalmente, hemos visto que realizamos inferencias para conectar localmente dos proposiciones (inferencias puente) o para encontrar una meta que dé sentido a todo lo narrado. Y de manera más básica, hemos también mencionado que cada vez que reconocemos una palabra en el texto y activamos lo que sabemos de ella en nuestra memoria, se propaga la activación de todos los elementos con los que está conectada en nuestra memoria. (Sánchez Miguel y García-Rodicio, 2014, p. 89)

Las diversas explicaciones del proceso de lectura pueden agruparse, asimismo, en dos modelos: el ascendente (bottom up) y el descendente (top down). En el modelo ascendente se entiende que para alcanzar la comprensión, el lector procesa el texto de una manera secuencial, comenzando por las letras, siguiendo por las palabras, las oraciones… En cambio, en el modelo descendente, el lector hace uso de sus conocimientos previos y de sus recursos cognitivos para formular hipótesis sobre el contenido del texto y recurre a este para comprobarlas. El modelo interactivo reúne y simplifica ambos enfoques, por una parte los elementos que componen el texto (unidades léxicas, subléxicas y supraléxicas) crean expectativas en el lector de una manera ascendente pero, por otra parte, al mismo tiempo, el significado global del texto genera unas conjeturas semánticas que el lector trata de verificar de manera descendente (Solé, 1992, p. 24).
Cuando el lector verifica sus predicciones sobre el significado del texto, puede elaborar una interpretación y se produce la comprensión. Como señala Solé (1992), “cuando hipotetizamos y vamos leyendo, vamos comprendiendo, y, si no comprendemos, nos damos cuenta de ello y podemos emprender acciones necesarias para resolver la situación” (Solé, 1992, p. 27).
La definiciones de los conceptos de lectura y competencia lectora han evolucionado al verse influidas por los cambios socioculturales y económicos (Jiménez Pérez, 2014). El aprendizaje considerado como un continuum a lo largo de toda la vida, y no simplemente en los primeros años de esta, ha modificado las concepciones sobre la competencia lectora: ya no se considera como una capacidad que tan solo se adquiere durante la primera etapa escolar, sino que se entiende como un conjunto en constante evolución compuesto por conocimientos, habilidades y estrategias que han de ser desarrolladas por el individuo a partir de las experiencias y de la interacción social (OCDE, 2006, p. 48).
En La lectura en PISA 2009 –y asimismo en el informe de PISA 2012–, se define de este modo la competencia lectora:
La capacidad de un individuo para comprender, utilizar, reflexionar y comprometerse con textos escritos para alcanzar sus objetivos, desarrollar sus conocimientos y potencial, y participar en la sociedad. (Ministerio de Educación, 2010, p. 34 y MECD, 2013, p. 54).
.Zayas (2012) apunta que en esta concepción se relacionan tres componentes: el lector, los textos y los fines de lectura. El lector adecua su lectura a un fin, y al mismo tiempo, las diferentes situaciones/fines de lectura condicionan su acercamiento al texto, y las características del texto estipulan las destrezas y estrategias que ha de utilizar el lector (figura 3).
En PISA 2012 (MECD, 2013, p. 55), al diseñar los ejercicios que evalúan la competencia lectora, se consideran únicamente tres características esenciales del proceso lector, por la imposibilidad de englobar en una misma evaluación su multiplicidad de matices (Felipe, 2014, p. 298). Estas características fundamentales son:
§ La situación. Se refiere tanto al lugar donde se produce la actividad lectora como a los diferentes contextos y finalidades de esta. Los contextos sociales en las que pueden clasificarse las distintas situaciones de lectura son: personal, público, educativo y profesional (MECD, 2013, pp. 56–57).
§ El texto. Los textos en PISA 2009 y PISA 2012 pueden categorizarse según cuatro criterios: medio, entorno, formato y tipo de texto. Teniendo en cuenta el medio o soporte, los textos se dividen entre impresos o digitales (en PISA 2012 se sustituye el término “electrónicos” por el de “digitales”). Los textos digitales pueden clasificarse, asimismo, según el entorno: entorno de autor, entorno basado en mensajes, y entornos mixtos. Según el formato, los textos pueden clasificarse en continuos, discontinuos, mixtos o múltiples. Al considerar el tipo de texto, el proyecto PISA –adaptando la catalogación de Werlich (1976)– divide los textos en descriptivos, narrativos, expositivos, argumentativos, instructivos y transaccionales (MECD, 2013, pp. 57–61).
§ El aspecto. Hace referencia a las diferentes maneras, objetivos y estrategias mentales que tiene el lector para acercarse al texto. Los aspectos que sirven de guía para la elaboración de los ejercicios en PISA 2012 (MECD, 2013, pp. 61–64) son cinco; estos se agrupan a su vez en tres categorías para facilitar la evaluación de la competencia lectora y la descripción de los resultados: acceder y obtener, integrar e interpretar y reflexionar y valorar.
Una de las tareas que con mayor asiduidad se exige a los docentes en formación y demás estudiantes universitarios, es la lectura de textos académicos de distinta índole –manuales, artículos especializados, informes, etc.– que cumplen funciones varias tales como la introducción de nuevos conceptos, la ampliación de contenidos, la presentación de puntos de vista divergentes en torno a un mismo fenómeno, entre otros.
Tanto los textos que se les presentan a los estudiantes en la etapa universitaria –sofisticados y complejos desde el punto de vista conceptual y discursivo– como las tareas asociadas a ellos, plantean generalmente una mayor demanda cognitiva que aquéllos a los que estaban expuestos en su etapa educativa anterior; esta circunstancia puede representar para algunos un escollo difícil de superar. De hecho, no son infrecuentes las quejas de profesorado de distintos puntos geográficos sobre las deficiencias del alumnado de reciente ingreso a la universidad en una competencia clave como es la de la lectura, cuya importancia reside en que es una capacidad instrumental indispensable para acceder a saberes y desarrollar capacidades propias de las enseñanzas universitarias (De Brito y Angeli, 2005; Echevarría, 2006; Echevarría y Gastón, 2002; Hernández Garre, 2009; Quintana, Raccoursier, Sánchez Guzmán, Sidler y Toirkens, 2007). En palabras de Delgadová y Gullerová (2015):
En nuestra opinión, la competencia lectora es un complejo de habilidades y capacidades lectoras necesarias para el trabajo efectivo con el texto. No es solo la habilidad de leer palabras, frases y textos; significa también comprender todo lo leído, trabajar con el contenido y con la información obtenida para interpretarla y transmitirla correctamente y, sobre todo, para crear nuestras propias ideas a partir de la información obtenida, es decir, crear un nuevo conocimiento innovador a partir del conocimiento adquirido a través de la lectura. (Delgadová y Gullerová, 2015, p. 49).
Al constatar la ausencia de un instrumento validado en nuestro contexto que midiese esta competencia en estudiantes universitarios, se diseñó el Test de Competencia Lectora para Universitarios (Test CLUni).
La versión preliminar del Test CLUni fue validada por cinco expertos de las áreas de Didáctica de la Lengua y la Literatura, Filología y Psicología de la Educación. Los expertos consultados valoraron muy positivamente la mayoría de los ítems que componen la prueba; no obstante, señalaron ciertos aspectos de mejora, que se tuvieron en cuenta para la elaboración de la versión última de la prueba. Igualmente, la validez del contenido estaba garantizada por la selección de tipos de textos y el diseño de los ítems acorde a los supuestos establecidos en el marco teórico de PISA 2009 y 2012 (Felipe, 2014, pp. 308–309).
Tomaron parte en la investigación un total de 288 estudiantes de primer curso del Grado en Educación Infantil (n=148, 51,4%), y de segundo y cuarto curso del Grado en Educación Primaria (n=140, 48,6%) de la Universidad de Málaga, del año académico 2013–14, con edades comprendidas entre los 18 y los 51 años (media de edad: 23,19, D.E. 5,025); de ellos, 234 (81,2%) son mujeres y 54 (18,8%), hombres.
Considerando los resultados obtenidos en la fase de pilotaje y las valoraciones de los expertos, se elaboró una nueva versión de la prueba. El Test CLUni consta de un total de 6 textos y 24 preguntas, de las que todas son de elección múltiple con cuatro alternativas. Un total de 13 preguntas evalúa la categoría del aspecto de acceso y obtención de la información, 9; la de la integración e interpretación, y 2 la de reflexión y valoración. La tabla siguiente muestra la clasificación de los textos de esta prueba, siguiendo una tipología adaptada de Werlich (1976) utilizada en PISA 2009 y 2012 (tabla 1).

El Texto 1 es un texto de 350 palabras que versa sobre primeros auxilios; en él se explica cómo se debe actuar para socorrer a un accidentado que tiene una obstrucción total de las vías respiratorias. Se trata de un texto educativo pero podría considerarse también profesional dependiendo del oficio de los destinatarios. Consta de un párrafo introductorio y 5 puntos en los que se describen las instrucciones a seguir. Es un fragmento extraído de la página “Obstrucción de las vías respiratorias: Primeros auxilios” de José Luis Moliné y Mª Dolores Solé, albergada en la web del Instituto Nacional de Seguridad e Higiene en el Trabajo del Ministerio de Trabajo y Asuntos Sociales de España. Se ha modificado mínimamente el contenido y se han suprimido las ilustraciones.
El Texto 2 es un fragmento narrativo de 518 palabras (8 párrafos) extraído de la novela Don de Lenguas de Rosa Ribas y Sabine Hofmann (pp. 31–32) en el que se describen el ostracismo y las dificultades económicas que sufre una profesora tras regresar del exilio. Puede incluirse en una situación de lectura personal. Se ha eludido un párrafo que contenía un fragmento de diálogo.
El Texto 3 (284 palabras) está extraído del Manual del conductor 2013 de Marcos Peguero (epígrafe 2: “Esquema general de velocidades” del tema 5. Documento en línea). Este texto educativo tiene un formato mixto (mayoritariamente discontinuo): consta de un breve párrafo introductorio, una tabla en la que se especifican los límites de velocidad máximos y mínimos permitidos para los distintos vehículos según el tipo de vía por el que circulen y cinco notas a pie de página con algunas especificaciones sobre el contenido de la tabla. El texto se ha modificado mínimamente y se han sustituido los dibujos que representaban las señales de tráfico por números que expresan las velocidades; las velocidades máximas están expresadas en negrita y las mínimas, en cursiva.
El Texto 4 (seis párrafos, 327 palabras) es un fragmento expositivo extraído de un ensayo académico (texto educativo) y en él se describe el método de investigación-acción. Este fragmento pertenece al libro Didáctica de la Lengua en la Escuela Infantil de Cristóbal González (pp. 240–1). No se ha modificado el contenido, únicamente se han corregido las erratas que aparecían en el texto original.
El Texto 5 (169 palabras) tiene un formato múltiple, esencialmente discontinuo. En él se representan los porcentajes de la lectura digital de los menores españoles (de 10 a 13 años) en los años 2010 a 2012, y los soportes digitales que utilizan. Se compone de tres párrafos breves, un gráfico circular, tres gráficos de barras y un gráfico lineal. Se incluiría en el ámbito público. Está extraído de Hábitos de lectura y compra de libros en España 2012 (Federación de Gremio de Escritores de España y Ministerio de Educación, Ciencia y Deporte de España, 2013, p. 137). Se trata de una captura de pantalla del documento en línea, por lo que no se ha modificado el contenido ni se han corregido las erratas.
El Texto 6 (397 palabras, 4 párrafos) es argumentativo. Es un artículo de opinión de Jorge Calero sobre los resultados del Informe PISA, extraído de la edición Digital de El País y que lleva por título: “España en PISA: ninguna catástrofe”. Se enmarca asimismo en el contexto público.
En el proceso de selección de los textos y de elaboración de los ítems se han tenido en cuenta las pautas ofrecidas por Mendelovits y Sainsbury (2013) en su conferencia “Cómo construir ítems de Lengua”.
Se elaboró, asimismo, un análisis de consistencia interna de la prueba. El coeficiente Alfa de Cronbach de la puntuación global obtenida por los futuros docentes participantes fue ,646.
Los participantes cumplimentaron la prueba de competencia lectora de manera individual –sin que se permitiera la consulta o comunicación entre ellos– en horario lectivo cedido por el docente a cargo del grupo. Los sujetos disponían de un máximo de 45 minutos para completarla. Se les solicitó que cumplimentasen una serie de datos académicos y biográficos y, a continuación, que leyesen atentamente cada uno de los textos y respondiesen a las preguntas marcando la respuesta que considerasen correcta (a, b, c ó d) en la hoja de respuestas adjunta. Se les explicó que podían releer y consultar los textos tantas veces como necesitasen, siempre y cuando no excediesen el límite de tiempo establecido para la realización de la prueba. También se les dio la posibilidad de consultar las dudas que tuviesen sobre la realización del test a la examinadora, pero no de realizar consultas sobre el vocabulario.
Se efectuó el análisis de los datos recabados por el test según las puntuaciones totales logradas por los futuros maestros que participaron en la investigación (tabla 2). La media de las puntuaciones fue de 14,96 sobre 24, que correspondería a un 6,23 sobre 10. La calificación máxima fue de 22 aciertos y mínima, de 6.

Si categorizamos a los participantes teniendo en cuenta la puntuación obtenida en la prueba, se obtiene un preocupante 18,75% de estudiantes entre “Nada competente” (puntuación de 0–6) y “Poco competente” (puntuación de 7–11). La mayoría de los futuros maestros pertenecería a la categoría “De competencia media” (puntuación de 12–17) y “Bastante competente” (puntuación de 18–21) con un 55,21% y un 24,31%, respectivamente. Es destacable el hecho de que tan solo un 1,74% de los participantes podría clasificarse como “Muy competente” (puntuación de 22–24), cuando cabría esperar que esto fuese lo habitual en la etapa educativa universitaria (figura 4).

Según el análisis estadístico llevado a cabo, existen diferencias estadísticamente significativas entre el grado que cursan los futuros maestros y la puntuación que logran en la prueba; el valor del estadístico chi-cuadrado fue de 26,524, con una significación de 0,047. Como se puede observar en la tabla 4, los alumnos del Grado en Educación Primaria obtienen mejores resultados en el Test CLUni que los del Grado en Educación Infantil.

Asimismo, el análisis estadístico aplicado revela que hay diferencias estadísticamente significativas entre los cursos de los participantes en cuanto a la calificación obtenida por estos en el Test CLUni; el valor del estadístico chi-cuadrado fue de 58,739, con una significación de 0,003. El porcentaje de alumnos de 1º clasificados como “Nada competentes” o “Poco competentes” es más del doble que el de 2º y 4º. Igualmente, en 2º el porcentaje de futuros maestros “De competencia media” es altamente superior que en los otros cursos y es en cuarto donde es mayor el porcentaje de futuros maestros entre “Bastante competentes” y “Muy competentes” (representando más del doble que los otros cursos) (tabla 4).

En cambio, el análisis determina que no son estadísticamente significativas la diferencias entre los sexos en cuanto a los resultados conseguidos en la prueba; el valor del estadístico chi-cuadrado fue de 12,084 con una significación de 0,738. Como puede apreciarse en la tabla 5, los porcentajes en cada una de las categorías son bastante similares en hombres y mujeres.

Se requirió a los estudiantes que, una vez finalizada la prueba, valorasen la dificultad de esta en una escala de 1 (= Ninguna dificultad) a 10 (= Mucha dificultad). La media ponderada obtenida de las apreciaciones de los participantes fue de 6,16, por lo que puede afirmarse que consideraban que la prueba les planteaba una dificultad de grado medio.
Según la categorización de las valoraciones que se realizó a posteriori, un 10,8% de los participantes manifestó que la prueba le supuso entre “Ninguna” (valoraciones 1–2) y “Poca dificultad” (valoraciones 2,5–4); un 43,7% de los estudiantes señaló que presentaba una “Dificultad media” (valoraciones 4,5–6,5); y un 45,5% afirmó que el test le planteaba “Bastante” (valoraciones 7–8,5) o “Mucha dificultad” (valoraciones 9–10) (figura 5).

Los maestros en formación inicial que han participado en el estudio obtienen una media de 14,96 sobre 24 en el Test CLUni. Aproximadamente la mitad de los participantes (un 55,21%) puede clasificarse como de competencia media, es decir, con una calificación entre 12 y 17 sobre 24. Es destacable el hecho de que un 18,75% del alumnado haya obtenido un resultado que lo califica como nada o poco competente (puntuación de 0–11). Puede entenderse que el nivel de competencia lectora que poseen los futuros docentes es insuficiente para la etapa educativa en la que se encuentran, en la que cabría esperar estudiantes muy competentes, categoría a la que pertenece tan solo un 3,3% de la muestra.
Los análisis estadísticos realizados concluyen que se producen diferencias estadísticamente significativas entre los grados y cursos en cuanto a los resultados obtenidos por los participantes en la prueba de competencia lectora. Sin embargo, las diferencias entre los sexos no son estadísticamente significativas.
A este respecto, es importante señalar que varios estudios han demostrado que muchos estudiantes universitarios experimentan dificultades al leer textos expositivos (Echevarría y Gastón, 2002; León y Peñalba, 2002; Wolfe, 2005), que son, precisamente –junto a los textos argumentativos–, los tipos de textos que de manera más frecuente se han de leer en las etapas de educación superior. Por ejemplo, en un contexto universitario próximo al nuestro, Echevarría y Gastón (2002) evidencian dificultades experimentadas por estudiantes universitarios de primer año al leer tipos textuales expositivo-argumentativos; en concreto, los participantes del estudio obtuvieron resultados pobres en referencia a la captación de las ideas importantes del discurso y evidenciaron dificultades en cuanto a la extracción de inferencias a partir de lo explicitado en el texto.
Estos hallazgos son compatibles con los obtenidos en los estudios realizados por Pressley, El-Dinary y Brown (1992) y por Woloshyn, Willoughby, Wood y Pressley (1990) –también en un contexto universitario– quienes, además de desvelar que los estudiantes experimentaban dificultad para encontrar información en un texto y no monitorizaban si habían entendido la idea principal de un fragmento, encontraron que no adoptaban una actitud estratégica ni selectiva cuando estudiaban un texto con vistas a una prueba.
Echevarría (2006) apunta que para hacer frente a esta problemática –que califica como falta de autonomía lectora– no debemos pretender que los estudiantes desde un primer momento lleven a cabo una lectura independiente, a pesar de que estén en la etapa universitaria, ya que esto no soluciona sus dificultades sino que las acrecienta. Como explica la autora:
La falta de orientación resulta contraproducente para el fin que se pretende lograr, porque desalienta los intentos y no permite adquirir los recursos con los que afrontar estas dificultades. Si pretendemos un lector autónomo, que pueda autorregularse, es preciso que en un primer momento se le ayude desde fuera, de modo que pueda ir apropiándose de los instrumentos que mejoren su comprensión lectora. (Echevarría, 2006, p. 170)
Por tanto, desde la universidad –y no sólo en las etapas educativas previas– resulta necesario emprender medidas para resolver las deficiencias de comprensión lectora y de estrategias efectivas de lectura de las que adolecen los estudiantes universitarios. Este cambio ya ha empezado a producirse en varias universidades, como señala Echevarría (2006):
Algunas universidades comienzan a tomar conciencia del problema y a asumir la responsabilidad de orientar a sus alumnos en aquello que la mayoría no sabe hacer bien. La tarea de interpretar textos no ha sido objeto de enseñanza en la universidad porque los profesores la presuponen como un mero instrumento (y no un saber en sí mismo), como una capacidad ya adquirida (y no en desarrollo) y como una práctica universal (y no específica). Es preciso que los profesores universitarios tomemos conciencia de que aprender una asignatura es aprender su discurso tanto como sus conceptos y que, por ello, es útil integrar en el currículo de las materias actividades para enseñar a interpretar los textos propios de cada dominio. (Echevarría, 2006, p. 170)
Puede considerarse que estudios como el que aquí se presenta ofrecen pistas valiosas sobre la competencia lectora de los futuros maestros, que sirven como punto de partida para el diseño y desarrollo de intervenciones didácticas en el ámbito universitario.








