Evaluación de la escritura académica: construcción y validación de un instrumento integrado basado en tareas para evaluar habilidades específicas de escritura

Assessing academic writing: The construction and validation of an integrated task-based instrument to evaluate specific writing skills

Alejandra Andueza* aandueza@uahurtado.cl

Universidad Alberto Hurtado, Chile

Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial 4.0 Internacional.

La escritura académica es esencial en la educación superior, y adquirir las habilidades necesarias para dominarla es fundamental para el éxito académico (Sundeen, 2014; Margolin, Ram & Mashiah, 2013). Esto se debe a que la escritura puede llegar a ser una herramienta poderosa para adquirir conocimientos disciplinares altamente especializados y complejos (Andueza, 2016; Nückles, Hubner & Renkl, 2009; Klein y Rose, 2010), al mismo tiempo que ofrece a los estudiantes oportunidades únicas para comprender y dominar los géneros discursivos académicos mediante los cuales se genera y se transmite ese conocimiento (Bazerman, 2012a, Bazerman, 2012b).

En el contexto chileno, incluso los estudiantes de mejor rendimiento, enfrentan dificultades al momento de escribir textos académicos (Bitrán, Zúñiga, Paulina, Padilla & Moreno, 2009). Para la mayoría de ellos, llegar a dominar este tipo de escritura –altamente compleja y situada en las disciplinas–, supone un proceso arduo que exige superar diversas dificultades, como la falta de estrategias metacognitivas, de autorregulación y monitoreo o la escasa familiaridad con el lenguaje y los géneros académicos.

En vista de lo anterior, durante la última década muchas universidades chilenas y latinoamericanas han desarrollado programas orientados a promover habilidades de lectura y escritura académica en estudiantes de primer año (Carlino, 2012). Estos programas han implementado diversas iniciativas, tales como: cursos de escritura en primer año, tutorías entre pares, vinculación de cursos disciplinares con talleres de enseñanza de la escritura, entre otros, con el objetivo de apoyar el progresivo dominio de la escritura académica.

Como se puede apreciar, las universidades invierten una cantidad considerable de tiempo y recursos en dichas iniciativas, pero raramente evalúan la eficacia de las mismas, a partir de métodos válidos y sistemáticos. Sin embargo, para los programas de escritura académica es fundamental contar con instrumentos que permitan diagnosticar las habilidades de entrada de los estudiantes, para tomar decisiones pedagógicas a partir de la evidencia, y evaluar el efecto de estas decisiones, volviendo a medir después de la implementación.

Con todo, diagnosticar las habilidades de escritura académica no es una tarea fácil, entre otras causas, porque no existe una teoría unificadora para este constructo. De hecho, de acuerdo con Knoch (2011), la mayoría de los instrumentos diseñados para evaluar estas habilidades, no reportan ni su proceso de construcción, ni el marco teórico que subyace al instrumento, lo cual es problemático en vista de la importancia que estos tienen para la percepción de los correctores (Dryer, 2013).

Existen varias rúbricas publicadas para evaluar escritura (Boix, Dawes, Duraisingh, & Haynesbut, 2009; Muñoz & Valenzuela, 2015; Johnson & Riazi, 2017; Rakedzon & Baram-Tsabari, 2017; entre otras), pero, hasta donde sabemos, ninguna de ellas describe la escritura académica en tanto constructo teórico. En este sentido, la contribución del presente artículo es doble: por una parte, intenta describir este constructo y operativizarlo en cinco dimensiones y nueve indicadores. Por otro lado, busca dar cuenta del proceso mediante el cual el instrumento fue construido y validado. Finalmente, presentamos los resultados y proponemos varias conclusiones.

Evaluación de la escritura: desarrollo de una tarea integrada para medir escritura académica

En esta sección se discuten diferentes tipos de tareas de escritura y se analizan en términos de validez de contenido y fiabilidad. De acuerdo con Yancey (1999), a lo largo de las últimas décadas se han generado tres corrientes para la evaluación de la escritura: en la primera (1950-1970), el tipo de evaluación predominante fueron los test estandarizados (ítems de opción múltiple); en la segunda (1970-1986), ensayos evaluados de manera holística y, en la tercera (1986-hasta el presente), evaluaciones por portafolio.

Actualmente, ninguna de esas tres corrientes ha sido completamente superada, aunque algunas predominan más que otras. En efecto, algunas instituciones todavía utilizan ítems de opción múltiple para medir escritura, pero esta práctica es cada vez menos frecuente debido a sus problemas de validez. Lo más usual son los ensayos escritos a partir de temáticas asignadas, evaluados con rúbricas y métodos para cautelar la consistencia entre correctores. La evaluación por portafolio, a pesar de ser más válida que las otras dos, implica problemas de fiabilidad –dadas las dificultades que supone estandarizar un portafolio que contiene textos de diversos géneros.

En concreto, la mayor parte de las universidades diagnostica los niveles de escritura académica de sus estudiantes a través de ensayos evaluados mediante rúbricas. Esto, de acuerdo con Johnson y Svingby (2007), favorece la consistencia entre correctores, especialmente si se complementa con un entrenamiento de los mismos, y con rúbricas analíticas. Aun así, en los últimos años ha habido una tendencia a reemplazar estos ensayos por tareas que implican leer-para-escribir, basadas en el consenso de que ese tipo de instrumento refleja con mayor validez el tipo de demandas propias de la escritura académica, y son más auténticas (Gebril & Plakans, 2013; Knoch & Sitajalabhorn, 2013; Plakans & Gebril, 2012; Shin & Ewert, 2015).

Knoch y Sitajalabhorn (2013), explican que para que una tarea de escritura sea integrada es fundamental que: (1) el material de lectura contenga una gran cantidad de información expresada de manera verbal; (2) que el texto producido integre ideas contenidas en el texto fuente, y (3) que la integración de ideas refleje una apropiación por parte del escritor y no una mera transcripción literal. Adicionalmente, las autoras plantean que la rúbrica utilizada para evaluar los textos escritos debe contemplar estos aspectos y proveer a los correctores de descripciones precisas que reflejen adecuadamente aquellos aspectos que se espera que los estudiantes logren hacer con el material fuente (Knoch & Sitajalabhorn, 2013).

Escritura académica como constructo teórico

A continuación describimos el constructo teórico a partir del cual se mide el impacto de la intervención reportada en la presente investigación. Este constructo está compuesto por los siguientes componentes: (1) coherencia textual, (2) lenguaje académico, (3) manejo de fuentes y (4) dominio del género discursivo.

Coherencia textual

De acuerdo con Charolles (1983, 1995, 2011), la coherencia es un principio general mediante el cual se interpretan las acciones humanas. Cada vez que una persona ve que otra realiza una secuencia de acciones, concluye de manera automática que existe una intención general que justifica el orden en que esas acciones son llevadas a cabo. El mismo principio aplicaría a la interpretación del discurso: cuando un emisor transmite un mensaje a un receptor, este asume de manera automática que el emisor intenta comunicar algo y que ese algo es un todo coherente. Dado que el emisor usualmente desea que el receptor comprenda el mensaje, utiliza diversos mecanismos para estructurar el discurso y facilitar su comprensión: anáforas, conectores y adverbios de enmarcamiento.

Estos mecanismos tienen como objetivo principal favorecer la unión entre las ideas del texto de modo que el lector pueda entender el contenido global y la intención del mensaje que el emisor está transmitiendo (Charolles, 1983; Charolles, 1997; Sarda, Carter-Thomas, Faggard, &Charolles, 2014). En términos concretos, este fenómeno de la coherencia opera a través de las siguientes características textuales:

1. 1. Progresión temática: de acuerdo con Charolles 1979, todas las ideas de un discurso coherente deben estar conectadas entre ellas. Esto implica que cada proposición debe incluir información dada que asegure la continuidad temática, e información nueva que garantice la progresión temática de modo que toda idea, se conecte con una parte del texto y, al mismo tiempo, aporte nueva información. Esta estructura controla la progresión temática del discurso y ofrece al lector un punto focal a partir del cual interpretar cada parte del discurso en relación con las demás (Van Dijk, 1996).
2. 2. Consistencia de las ideas: otro elemento fundamental para Charolles es la consistencia entre todas las ideas del texto, lo cual implica que ninguna idea debe contradecir una idea anterior ni ser incongruente con el universo discursivo en el que está inserta.

Lenguaje académico

Siguiendo a Ucelli, Dobbs y Scott (2013) consideramos el lenguaje académico como un constructo teórico que define un conjunto de habilidades lingüísticas transdisciplinares, un set de soluciones pragmáticas que favorecen la comprensión y la generación de ideas complejas, que se utilizan para alcanzar ciertos propósitos comunicativos como transmitir ideas precisas, densificar información, explicitar relaciones lógicas entre ideas, etc. (Ucelli, Barr, Dobbs, Phillips Galloway, Meneses & Sánchez, 2014; Uccelli et al., 2013; Schleppegrell, 2006). Para poder hacer operativo el constructo, nos focalizamos en dos aspectos del lenguaje académico: la densidad informativa y la postura académica.

Densidad informativa: los textos académicos expresan información de manera concisa y directa, empaquetan una gran cantidad de contenido proposicional en pocas palabras, evitando la ambigüedad y la redundancia (Snow & Ucelli, 2009). Esta condensación de información se logra mediante el uso de cláusulas, y el dominio de un léxico especializado que favorezca la construcción de significado preciso y explícito, lo cual, a su vez, permite que el escritor articule su pensamiento y produzca claridad de sentido (Schleppegrell, 2001).

Uno de los recursos gramaticales clave de la densidad informativa es la nominalización. Esta permite al escritor condensar una explicación larga en una frase nominal compleja (Schleppegrell, 2001), y es la expresión de una frase nominal que más coherentemente debería ser comunicada a través un verbo. Mediante este recurso podemos aumentar la densidad informativa y construir clausulas complejas que favorezcan el desarrollo de oraciones largas capaces de empaquetar gran cantidad de información. (Snow & Ucelli, 2009).

Postura académica: de acuerdo con Hyland (2005), la postura académica se refiere al modo en que el escritor se presenta a sí mismo en el texto y transmite sus juicios, opiniones, lealtades y compromisos. En otras palabras, la postura se relaciona con la actitud, el grado de certeza, y el compromiso que el escritor asume con su propia disciplina y con las posturas de otros autores (Aull & Lancaster, 2014; Uccelli et al., 2013).

Hyland sostiene que los componentes clave de la postura son:

1. 1. La evidencialidad, que se refiere al nivel de compromiso expresado por el autor, es decir, al nivel de certeza y confianza que tiene en lo que está diciendo. Esto puede variar desde la incertidumbre o la posibilidad, a la certeza total.
2. 2. El afecto, que se refiere a las emociones, perspectivas y creencias que el autor sostiene frente a sus propias afirmaciones.
3. 3. La relación, asociada el nivel de proximidad o desapego que expresa el escritor respecto a su texto.

Por su parte, para Schleppegrell (2001 y 2006) y Snow & Ucelli (2009) la postura de un texto académico, en términos de evidencialidad, suele ser epistémicamente cauta y objetiva; respecto del afecto, se espera que sea desapasionada, y respecto de la relación se espera que sea desapegada y autorizada.

Manejo de textos fuente

Otro de los aspectos centrales de la escritura académica es la incorporación de ideas de otros en los textos propios. La escritura académica implica leer, comprender seleccionar y editar información proveniente de otras fuentes para incorporarlas en el texto propio (Shin & Ewert, 2015; Cumming, 2013). Para hacer esto, el escritor debe realizar una cantidad considerable de decisiones, tales como determinar qué información debe ser seleccionada del texto fuente, cómo la información seleccionada debe contribuir con el logro de los objetivos del otro texto, y cómo la información va a ser organizada, seleccionada y conectada con las propias ideas del autor (Knoch & Sitajalabhorn (2013),

De acuerdo con Hyland (2008), esta capacidad de analizar y sintetizar ideas de diversos textos es crucial, dado que la escritura académica requiere que se incorpore referencias a obras de otros autores para lograr la persuasión académica. De este modo, no solo se crea un marco teórico, sino que también se evidencia que el trabajo está fundamentado en los trabajos previos de la disciplina, lo cual valida al autor como un miembro activo de la comunidad discursiva (Castelló, Bañales, &Vega, 2011).

Dominio del género discursivo

Otro aspecto clave de la escritura académica es la capacidad de adecuarse a las características de los géneros académicos que, en general, requieren habilidades analíticas más expertas o especializadas que otros géneros (Uccelli, Dobbs & Scott, 2013). De acuerdo con Hyland (2008), una de las principales características de los géneros académicos es la capacidad de sus autores de predecir reacciones adversas frente a lo que está proponiendo. La experiencia del escritor como lector le permite anticipar las objeciones que podrían surgir desarrollando una línea de razonamiento sólida. De acuerdo con Uccelli, Dobbs y Scott (2013), la práctica de la argumentación consiste en una tesis que refleja la postura del autor, seguida por una argumentación organizada paso a paso que incluye datos, garantías contraargumentos y refutaciones, todo lo cual conduce a una conclusión adecuadamente justificada.

En la siguiente sección se describe el proceso de construcción y validación del instrumento diseñado para medir habilidades específicas de escritura académica. Para esto se detalla, primero, la fase de diseño –durante la cual desarrollamos la tarea y la rúbrica de evaluación– y luego se explica el proceso de validación de la rúbrica, mediante métodos cuantitativos y cualitativos.

Después de la aplicación del instrumento llevamos a cabo el proceso de corrección. Los correctores fueron los mismos del estudio piloto, por lo que no fue necesario realizar más sesiones de entrenamiento. En la sesión siguiente, analizamos la consistencia entre correctores y llevamos a cabo un análisis descriptivo e inferencial para determinar la fiabilidad del instrumento.

Niveles de consistencia entre correctores

Los resultados arrojan altos grados de consistencia entre correctores (ver tabla 1): el 23% de los ensayos fueron doble corregidos (n=73). Para todos los indicadores el porcentaje más alto se dio en puntuaciones iguales (es decir, que la diferencia entre ambas es igual a 0), progresión temática (54,8%), consistencia entre las ideas (50,7%), densidad informativa (68,5%), postura académica (60,3%), comprensión del texto fuente (49,3%), integración de ideas del texto fuente (58,9%), citación (67,1%), ortografía y puntuación (71,2%), ajuste al género discursivo (53,4%). Las diferencias de ±1punto fueron las segundas más frecuentes, las de ±2 puntos fueron muy poco frecuentes y no hubo diferencias de ±3 puntos.

Tabla 1
Consistencia entre correctores

Análisis descriptivo

A continuación se detalla la media y la desviación estándar para cada indicador (tabla 2). Es importante notar, que mientras postura académica . comprensión del texto fuente, fueron los puntajes más altos, ortografía . puntación . ajuste al género fueron los puntajes más bajos.

Table 2
Media y Desviación típica

Análisis Inferencial

El análisis muestra un adecuado nivel de confiabilidad (alfa de Cronbach para todos los elementos es igual a 0.717). La tabla 3 muestra una correlación moderada entre la mayoría de los indicadores. Referenciación, ortografía y puntuación son los que menos correlacionan. Pensamos que esto se debe a que son indicadores que implican un mayor dominio de aspectos mecánicos

Tabla 3
Correlaciones de Pearson entre indicadores

Diagnosticar las habilidades de escritura académica de los estudiantes puede proveer de datos valiosos para el desarrollo de programas de escritura académica y contribuir de manera sustancial a mejorar los procesos de enseñanza-aprendizaje. En este sentido, consideramos que el instrumento presentado en el presente artículo puede ser útil para dicho propósito. En efecto, presentamos una rúbrica fundamentada en la teoría y validada empíricamente que puede ser utilizada con propósitos diagnósticos. Esto permitiría evaluar la consistencia entre los objetivos de los cursos de escritura académica y las necesidades de aprendizaje de los estudiantes.

Más aún, el constructo teórico subyacente a la prueba puede ser útil para definir los objetivos y contenidos de aprendizaje para estos cursos porque puede ayudar a docentes a determinar qué contenidos deben ser enseñados, como, por ejemplo, conocimientos metacognitivos declarativos para aumentar la conciencia de los estudiantes respecto de las características particulares de la escritura académica.

Adicionalmente, este instrumento puede ser útil para medir resultados de aprendizaje, especialmente si se aplica antes y después de la instrucción. De esta forma, para los docentes será posible verificar la efectividad de las estrategias de enseñanza-aprendizaje; y, a los estudiantes, les permitirá monitorear su propio progreso en el desarrollo de las habilidades de escritura. Por último, esta rúbrica puede adaptarse a diferentes tareas de escritura y ser utilizada sistemáticamente como instrumento de evaluación formativa.

Cómo referenciar este artículo: Andueza, Alejandra (2019). Evaluación de la escritura académica: construcción y validación de un instrumento integrado basado en tareas para evaluar habilidades específicas de escritura. RELIEVE, 25(2), art. 5. doi: http://doi.org/10.7203/relieve.25.2.11163

https://ojs.uv.es/index.php/RELIEVE/article/view/11163/14852 (pdf)