ARTÍCULOS

Evaluación de la escritura académica: construcción y validación de un instrumento integrado basado en tareas para evaluar habilidades específicas de escritura

Assessing academic writing: The construction and validation of an integrated task-based instrument to evaluate specific writing skills

Alejandra Andueza *
Universidad Alberto Hurtado, Chile

Evaluación de la escritura académica: construcción y validación de un instrumento integrado basado en tareas para evaluar habilidades específicas de escritura

RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, vol. 25, núm. 2, 2019

Universidad de Granada

© Universitat de València

Recepción: 12 Diciembre 2018

Aprobación: 07 Noviembre 2019

Publicación: 27 Diciembre 2019

Resumen: Evaluar las habilidades de escritura es clave para el desarrollo de métodos de instrucción que ayuden a los nuevos estudiantes con la escritura académica universitaria. Este artículo presenta el proceso de construcción y validación de un instrumento desarrollado para ese propósito. Al hacerlo, primero discutimos la construcción teórica de la prueba evaluativa, luego describimos el proceso a través del cual el instrumento fue desarrollado y validado, y, por último, presentamos los resultados obtenidos y discutimos algunas de sus diversas implicaciones para la instrucción.

Palabras clave: Evaluación de escritura, Evaluación diagnóstica, Escritura académica, Lenguaje académico instrucción de escritura.

Abstract: Assessing writing skills is key to the development of instructional methods to help students new to university master academic writing. This article presents the construction and validation process of an instrument developed for that purpose. In so doing, we first discuss the theoretical construct of the evaluative test, then describe the process through which the instrument was developed and validated, and, lastly, present the results obtained and discuss some of its various implications for instruction

Keywords: Writing assessment, Diagnostic assessment, Academic writing, Academic language, Writing instruction.

La escritura académica es esencial en la educación superior, y adquirir las habilidades necesarias para dominarla es fundamental para el éxito académico (Sundeen, 2014; Margolin, Ram & Mashiah, 2013). Esto se debe a que la escritura puede llegar a ser una herramienta poderosa para adquirir conocimientos disciplinares altamente especializados y complejos (Andueza, 2016; Nückles, Hubner & Renkl, 2009; Klein y Rose, 2010), al mismo tiempo que ofrece a los estudiantes oportunidades únicas para comprender y dominar los géneros discursivos académicos mediante los cuales se genera y se transmite ese conocimiento (Bazerman, 2012a, Bazerman, 2012b).

En el contexto chileno, incluso los estudiantes de mejor rendimiento, enfrentan dificultades al momento de escribir textos académicos (Bitrán, Zúñiga, Paulina, Padilla & Moreno, 2009). Para la mayoría de ellos, llegar a dominar este tipo de escritura –altamente compleja y situada en las disciplinas–, supone un proceso arduo que exige superar diversas dificultades, como la falta de estrategias metacognitivas, de autorregulación y monitoreo o la escasa familiaridad con el lenguaje y los géneros académicos.

En vista de lo anterior, durante la última década muchas universidades chilenas y latinoamericanas han desarrollado programas orientados a promover habilidades de lectura y escritura académica en estudiantes de primer año (Carlino, 2012). Estos programas han implementado diversas iniciativas, tales como: cursos de escritura en primer año, tutorías entre pares, vinculación de cursos disciplinares con talleres de enseñanza de la escritura, entre otros, con el objetivo de apoyar el progresivo dominio de la escritura académica.

Como se puede apreciar, las universidades invierten una cantidad considerable de tiempo y recursos en dichas iniciativas, pero raramente evalúan la eficacia de las mismas, a partir de métodos válidos y sistemáticos. Sin embargo, para los programas de escritura académica es fundamental contar con instrumentos que permitan diagnosticar las habilidades de entrada de los estudiantes, para tomar decisiones pedagógicas a partir de la evidencia, y evaluar el efecto de estas decisiones, volviendo a medir después de la implementación.

Con todo, diagnosticar las habilidades de escritura académica no es una tarea fácil, entre otras causas, porque no existe una teoría unificadora para este constructo. De hecho, de acuerdo con Knoch (2011), la mayoría de los instrumentos diseñados para evaluar estas habilidades, no reportan ni su proceso de construcción, ni el marco teórico que subyace al instrumento, lo cual es problemático en vista de la importancia que estos tienen para la percepción de los correctores (Dryer, 2013).

Existen varias rúbricas publicadas para evaluar escritura (Boix, Dawes, Duraisingh, & Haynesbut, 2009; Muñoz & Valenzuela, 2015; Johnson & Riazi, 2017; Rakedzon & Baram-Tsabari, 2017; entre otras), pero, hasta donde sabemos, ninguna de ellas describe la escritura académica en tanto constructo teórico. En este sentido, la contribución del presente artículo es doble: por una parte, intenta describir este constructo y operativizarlo en cinco dimensiones y nueve indicadores. Por otro lado, busca dar cuenta del proceso mediante el cual el instrumento fue construido y validado. Finalmente, presentamos los resultados y proponemos varias conclusiones.

Evaluación de la escritura: desarrollo de una tarea integrada para medir escritura académica

En esta sección se discuten diferentes tipos de tareas de escritura y se analizan en términos de validez de contenido y fiabilidad. De acuerdo con Yancey (1999), a lo largo de las últimas décadas se han generado tres corrientes para la evaluación de la escritura: en la primera (1950-1970), el tipo de evaluación predominante fueron los test estandarizados (ítems de opción múltiple); en la segunda (1970-1986), ensayos evaluados de manera holística y, en la tercera (1986-hasta el presente), evaluaciones por portafolio.

Actualmente, ninguna de esas tres corrientes ha sido completamente superada, aunque algunas predominan más que otras. En efecto, algunas instituciones todavía utilizan ítems de opción múltiple para medir escritura, pero esta práctica es cada vez menos frecuente debido a sus problemas de validez. Lo más usual son los ensayos escritos a partir de temáticas asignadas, evaluados con rúbricas y métodos para cautelar la consistencia entre correctores. La evaluación por portafolio, a pesar de ser más válida que las otras dos, implica problemas de fiabilidad –dadas las dificultades que supone estandarizar un portafolio que contiene textos de diversos géneros.

En concreto, la mayor parte de las universidades diagnostica los niveles de escritura académica de sus estudiantes a través de ensayos evaluados mediante rúbricas. Esto, de acuerdo con Johnson y Svingby (2007), favorece la consistencia entre correctores, especialmente si se complementa con un entrenamiento de los mismos, y con rúbricas analíticas. Aun así, en los últimos años ha habido una tendencia a reemplazar estos ensayos por tareas que implican leer-para-escribir, basadas en el consenso de que ese tipo de instrumento refleja con mayor validez el tipo de demandas propias de la escritura académica, y son más auténticas (Gebril & Plakans, 2013; Knoch & Sitajalabhorn, 2013; Plakans & Gebril, 2012; Shin & Ewert, 2015).

Knoch y Sitajalabhorn (2013), explican que para que una tarea de escritura sea integrada es fundamental que: (1) el material de lectura contenga una gran cantidad de información expresada de manera verbal; (2) que el texto producido integre ideas contenidas en el texto fuente, y (3) que la integración de ideas refleje una apropiación por parte del escritor y no una mera transcripción literal. Adicionalmente, las autoras plantean que la rúbrica utilizada para evaluar los textos escritos debe contemplar estos aspectos y proveer a los correctores de descripciones precisas que reflejen adecuadamente aquellos aspectos que se espera que los estudiantes logren hacer con el material fuente (Knoch & Sitajalabhorn, 2013).

Escritura académica como constructo teórico

A continuación describimos el constructo teórico a partir del cual se mide el impacto de la intervención reportada en la presente investigación. Este constructo está compuesto por los siguientes componentes: (1) coherencia textual, (2) lenguaje académico, (3) manejo de fuentes y (4) dominio del género discursivo.

Coherencia textual

De acuerdo con Charolles (1983, 1995, 2011), la coherencia es un principio general mediante el cual se interpretan las acciones humanas. Cada vez que una persona ve que otra realiza una secuencia de acciones, concluye de manera automática que existe una intención general que justifica el orden en que esas acciones son llevadas a cabo. El mismo principio aplicaría a la interpretación del discurso: cuando un emisor transmite un mensaje a un receptor, este asume de manera automática que el emisor intenta comunicar algo y que ese algo es un todo coherente. Dado que el emisor usualmente desea que el receptor comprenda el mensaje, utiliza diversos mecanismos para estructurar el discurso y facilitar su comprensión: anáforas, conectores y adverbios de enmarcamiento.

Estos mecanismos tienen como objetivo principal favorecer la unión entre las ideas del texto de modo que el lector pueda entender el contenido global y la intención del mensaje que el emisor está transmitiendo (Charolles, 1983; Charolles, 1997; Sarda, Carter-Thomas, Faggard, &Charolles, 2014). En términos concretos, este fenómeno de la coherencia opera a través de las siguientes características textuales:

  1. 1. Progresión temática: de acuerdo con Charolles 1979, todas las ideas de un discurso coherente deben estar conectadas entre ellas. Esto implica que cada proposición debe incluir información dada que asegure la continuidad temática, e información nueva que garantice la progresión temática de modo que toda idea, se conecte con una parte del texto y, al mismo tiempo, aporte nueva información. Esta estructura controla la progresión temática del discurso y ofrece al lector un punto focal a partir del cual interpretar cada parte del discurso en relación con las demás (Van Dijk, 1996).
  2. 2. Consistencia de las ideas: otro elemento fundamental para Charolles es la consistencia entre todas las ideas del texto, lo cual implica que ninguna idea debe contradecir una idea anterior ni ser incongruente con el universo discursivo en el que está inserta.

Lenguaje académico

Siguiendo a Ucelli, Dobbs y Scott (2013) consideramos el lenguaje académico como un constructo teórico que define un conjunto de habilidades lingüísticas transdisciplinares, un set de soluciones pragmáticas que favorecen la comprensión y la generación de ideas complejas, que se utilizan para alcanzar ciertos propósitos comunicativos como transmitir ideas precisas, densificar información, explicitar relaciones lógicas entre ideas, etc. (Ucelli, Barr, Dobbs, Phillips Galloway, Meneses & Sánchez, 2014; Uccelli et al., 2013; Schleppegrell, 2006). Para poder hacer operativo el constructo, nos focalizamos en dos aspectos del lenguaje académico: la densidad informativa y la postura académica.

Densidad informativa: los textos académicos expresan información de manera concisa y directa, empaquetan una gran cantidad de contenido proposicional en pocas palabras, evitando la ambigüedad y la redundancia (Snow & Ucelli, 2009). Esta condensación de información se logra mediante el uso de cláusulas, y el dominio de un léxico especializado que favorezca la construcción de significado preciso y explícito, lo cual, a su vez, permite que el escritor articule su pensamiento y produzca claridad de sentido (Schleppegrell, 2001).

Uno de los recursos gramaticales clave de la densidad informativa es la nominalización. Esta permite al escritor condensar una explicación larga en una frase nominal compleja (Schleppegrell, 2001), y es la expresión de una frase nominal que más coherentemente debería ser comunicada a través un verbo. Mediante este recurso podemos aumentar la densidad informativa y construir clausulas complejas que favorezcan el desarrollo de oraciones largas capaces de empaquetar gran cantidad de información. (Snow & Ucelli, 2009).

Postura académica: de acuerdo con Hyland (2005), la postura académica se refiere al modo en que el escritor se presenta a sí mismo en el texto y transmite sus juicios, opiniones, lealtades y compromisos. En otras palabras, la postura se relaciona con la actitud, el grado de certeza, y el compromiso que el escritor asume con su propia disciplina y con las posturas de otros autores (Aull & Lancaster, 2014; Uccelli et al., 2013).

Hyland sostiene que los componentes clave de la postura son:

  1. 1. La evidencialidad, que se refiere al nivel de compromiso expresado por el autor, es decir, al nivel de certeza y confianza que tiene en lo que está diciendo. Esto puede variar desde la incertidumbre o la posibilidad, a la certeza total.
  2. 2. El afecto, que se refiere a las emociones, perspectivas y creencias que el autor sostiene frente a sus propias afirmaciones.
  3. 3. La relación, asociada el nivel de proximidad o desapego que expresa el escritor respecto a su texto.

Por su parte, para Schleppegrell (2001 y 2006) y Snow & Ucelli (2009) la postura de un texto académico, en términos de evidencialidad, suele ser epistémicamente cauta y objetiva; respecto del afecto, se espera que sea desapasionada, y respecto de la relación se espera que sea desapegada y autorizada.

Manejo de textos fuente

Otro de los aspectos centrales de la escritura académica es la incorporación de ideas de otros en los textos propios. La escritura académica implica leer, comprender seleccionar y editar información proveniente de otras fuentes para incorporarlas en el texto propio (Shin & Ewert, 2015; Cumming, 2013). Para hacer esto, el escritor debe realizar una cantidad considerable de decisiones, tales como determinar qué información debe ser seleccionada del texto fuente, cómo la información seleccionada debe contribuir con el logro de los objetivos del otro texto, y cómo la información va a ser organizada, seleccionada y conectada con las propias ideas del autor (Knoch & Sitajalabhorn (2013),

De acuerdo con Hyland (2008), esta capacidad de analizar y sintetizar ideas de diversos textos es crucial, dado que la escritura académica requiere que se incorpore referencias a obras de otros autores para lograr la persuasión académica. De este modo, no solo se crea un marco teórico, sino que también se evidencia que el trabajo está fundamentado en los trabajos previos de la disciplina, lo cual valida al autor como un miembro activo de la comunidad discursiva (Castelló, Bañales, &Vega, 2011).

Dominio del género discursivo

Otro aspecto clave de la escritura académica es la capacidad de adecuarse a las características de los géneros académicos que, en general, requieren habilidades analíticas más expertas o especializadas que otros géneros (Uccelli, Dobbs & Scott, 2013). De acuerdo con Hyland (2008), una de las principales características de los géneros académicos es la capacidad de sus autores de predecir reacciones adversas frente a lo que está proponiendo. La experiencia del escritor como lector le permite anticipar las objeciones que podrían surgir desarrollando una línea de razonamiento sólida. De acuerdo con Uccelli, Dobbs y Scott (2013), la práctica de la argumentación consiste en una tesis que refleja la postura del autor, seguida por una argumentación organizada paso a paso que incluye datos, garantías contraargumentos y refutaciones, todo lo cual conduce a una conclusión adecuadamente justificada.

Método

En la siguiente sección se describe el proceso de construcción y validación del instrumento diseñado para medir habilidades específicas de escritura académica. Para esto se detalla, primero, la fase de diseño –durante la cual desarrollamos la tarea y la rúbrica de evaluación– y luego se explica el proceso de validación de la rúbrica, mediante métodos cuantitativos y cualitativos.

Fase de diseño

Diseño de la tarea: una vez que el constructo teórico fue definido nos embarcamos en el diseño del instrumento. Para esto desarrollamos una tarea que integra actividades de leer-para-escribir, pues representan mejor las demandas que los estudiantes enfrentan cuando escriben en la universidad y además los proveen de contenidos relevantes sobre los cuales escribir (Shin & Ewert, 2015). Para diseñar esta tarea, revisamos diversos instrumentos publicados y manuales de escritura académica, como el de Hacker (2000), y desarrollamos un conjunto de instrucciones en los que se especifica a los estudiantes qué es lo que se espera que hagan. En concreto, la tarea consistió en la escritura de un ensayo de opinión sobre uno de dos temas posibles. Para llevarla a cabo, los estudiantes debieron escoger un punto de vista y sostenerlo con al menos tres argumentos, y –como mínimo– uno de esos argumentos debía estar respaldado por datos provenientes de un texto fuente (de aproximadamente 1700 palabras). Se proporcionó un texto informativo diferente para cada tema. Las indicaciones incluyen una serie de orientaciones que clarifican el proceso de escritura y las características que debe tener el ensayo.

Diseño de la rúbrica: la primera versión de la rúbrica analítica fue desarrollada por dos expertas en escritura académica. Esta rúbrica considera nueve indicadores

  1. 1. progresión temática,
  2. 2. consistencia de las ideas,
  3. 3. densidad informativa,
  4. 4. postura académica,
  5. 5. comprensión del texto fuente,
  6. 6. integración de las ideas del texto fuente,
  7. 7. citación,
  8. 8. ortografía y puntuación, y
  9. 9. ajuste al género discursivo.

Estudio de pensamiento en voz alta

Una vez completada la primera versión de la tarea y la rúbrica, llevamos a cabo un estudio de pensamiento en voz alta con 11 participantes. Se les solicitó que llevaran a cabo la prueba y que comentaran en voz alta qué pensaban mientras escribían, siguiendo un protocolo estructurado (Janssen; Braaksma & Rijlaarsdam, 2006). Como registro, realizamos una grabación de audio de este proceso. Todos los participantes primero leyeron la tarea, luego el texto fuente y comenzaron a escribir el ensayo. Este estudio nos permitió verificar si

  1. 1. los participantes entendían adecuadamente lo que se estaba pidiendo,
  2. 2. si eran capaces de escribir un ensayo como el que se estaba solicitando, y
  3. 3. si era posible aplicar adecuadamente la rúbrica.

Gracias a este estudio pudimos identificar aspectos problemáticos del instrumento y resolverlos.

Panel de evaluación de expertos

Después de realizar las modificaciones correspondientes enviamos una segunda versión de la rúbrica a un panel de expertos para validación de contenido. Cuatro expertos del área de escritura académica o de lenguaje académico revisaron la tarea y la rúbrica e hicieron comentarios de mejora. Luego incorporamos, en la medida de lo posible, esos comentarios.

Estudio piloto

Una vez que el instrumento fue modificado por las sugerencias del panel de expertos, realizamos un pilotaje con una muestra de 72 estudiantes de cuarto año de Enseñanza Media (en el sistema español, segundo de Bachillerato). Cuatro correctores experimentados (la mayoría de ellos profesores de escritura académica) revisaron los 72 textos, después de tres sesiones de entrenamiento de cuatro horas.

Aplicación de la prueba

Después del estudio piloto realizamos correcciones al instrumento (ver anexo A) y lo aplicamos a estudiantes de primer año de la Facultad de Filosofía y Humanidades de una universidad chilena privada de la Región Metropolitana. Un total de 319 estudiantes (162 mujeres y 157 hombres) de primer año rindieron la prueba de manera voluntaria (18-19 años aproximadamente). Los estudiantes disponían de un total de tres horas para responder, pero la gran mayoría requirió menos tiempo.

Resultados

Después de la aplicación del instrumento llevamos a cabo el proceso de corrección. Los correctores fueron los mismos del estudio piloto, por lo que no fue necesario realizar más sesiones de entrenamiento. En la sesión siguiente, analizamos la consistencia entre correctores y llevamos a cabo un análisis descriptivo e inferencial para determinar la fiabilidad del instrumento.

Niveles de consistencia entre correctores

Los resultados arrojan altos grados de consistencia entre correctores (ver tabla 1): el 23% de los ensayos fueron doble corregidos (n=73). Para todos los indicadores el porcentaje más alto se dio en puntuaciones iguales (es decir, que la diferencia entre ambas es igual a 0), progresión temática (54,8%), consistencia entre las ideas (50,7%), densidad informativa (68,5%), postura académica (60,3%), comprensión del texto fuente (49,3%), integración de ideas del texto fuente (58,9%), citación (67,1%), ortografía y puntuación (71,2%), ajuste al género discursivo (53,4%). Las diferencias de ±1punto fueron las segundas más frecuentes, las de ±2 puntos fueron muy poco frecuentes y no hubo diferencias de ±3 puntos.

Tabla 1
Consistencia entre correctores
DimensiónIndicadorIndicadorDiferencia entre puntuacionesFrecuencia
CoherenciaProgresión temática04054,8
±13142,5
±222,7
±300,0
Consistencia de las ideas03750,7
±13446,6
±222,7
±300,0
Lenguaje académicoDensidad informativa05068,5
±12230,1
±211,4
±300,0
Postura académica04460,3
±12635,6
234,1
±300,0
Dominio del texto fuenteComprensión textual03649,3
±13041,1
±279,6
±300,0
Integración de ideas del texto fuente04358,9
±12737,0
±234,1
±300,0
Citación04967,1
±12331,5
±211,4
±300,0
Aspectos mecánicosOrtografía y puntuación05271,2
±11824,7
±234,1
±300,0
Dominio del géneroAjuste al género discursivo03953,4
±13345,2
±211,4
±300,0

Análisis descriptivo

A continuación se detalla la media y la desviación estándar para cada indicador (tabla 2). Es importante notar, que mientras postura académica . comprensión del texto fuente, fueron los puntajes más altos, ortografía . puntación . ajuste al género fueron los puntajes más bajos.

Table 2
Media y Desviación típica
temáticaConsistencia entre las ideasDensidad informativaPostura adémica Comprensión del texto fuenteIntegración de ideas del texto fuenteCitaciónOrtografía y puntuaciónAjuste al género
Media2.38132.26972.13892.70962.50102.36441.9831.49071.8655
Desv.Típica0.56700.46760.44290.58660.63670.62690.62170.67510.5316
N316316316316316316316316316

Análisis Inferencial

El análisis muestra un adecuado nivel de confiabilidad (alfa de Cronbach para todos los elementos es igual a 0.717). La tabla 3 muestra una correlación moderada entre la mayoría de los indicadores. Referenciación, ortografía y puntuación son los que menos correlacionan. Pensamos que esto se debe a que son indicadores que implican un mayor dominio de aspectos mecánicos

Tabla 3
Correlaciones de Pearson entre indicadores
Progresión temáticaConsistencia entre las ideasDensidad informativaPostura adémicaComprensión del texto fuenteIntegración de ideas del texto fuenteReferenciaciónOrtografía y puntuaciónAjuste al género
Progresión temáticaCorrelación de Pearson1
Sig. (1-cola)
Consistencia entre las ideasCorrelación de Pearson.457**1
Sig. (1-cola).000
Densidad informativaCorrelación de Pearson.353**.417**1
Sig. (1-cola).000.000
Postura académicaCorrelación de Pearson.244**.173**.217**1
Sig. (1-cola).000.002.000
Comprensión del texto fuenteCorrelación de Pearson.442**.330**.323**.352**1
Sig. (1-cola).000.000.000.000
Integración de ideas del texto fuenteCorrelación de Pearson.393**.360**.243**.158**.460**1
Sig. (1-cola).000.000.000.005.000
CitaciónCorrelación de Pearson.061.085-.046.198**.197**.129*1
Sig. (1-cola).279.133.413.000.000.022
Ortografía y puntuaciónCorrelación de Pearson.330**.339**.122*.067.146**.212**.0471
Sig. (1-cola).000.000.031.233.009.000.409
Ajuste al géneroCorrelación de Pearson.205**.088.172**.218**.262**.208**.111*.0941
Sig. (1-cola).000.118.002.000.000.000.049.095
**. Correlaciones significativas al nivel de 0.01 (1-cola).
*. Correlaciones significativas al nivel de 0.05 (1-cola).

Discusión e implicaciones para la enseñanza y el aprendizaje de la escritura académica

Diagnosticar las habilidades de escritura académica de los estudiantes puede proveer de datos valiosos para el desarrollo de programas de escritura académica y contribuir de manera sustancial a mejorar los procesos de enseñanza-aprendizaje. En este sentido, consideramos que el instrumento presentado en el presente artículo puede ser útil para dicho propósito. En efecto, presentamos una rúbrica fundamentada en la teoría y validada empíricamente que puede ser utilizada con propósitos diagnósticos. Esto permitiría evaluar la consistencia entre los objetivos de los cursos de escritura académica y las necesidades de aprendizaje de los estudiantes.

Más aún, el constructo teórico subyacente a la prueba puede ser útil para definir los objetivos y contenidos de aprendizaje para estos cursos porque puede ayudar a docentes a determinar qué contenidos deben ser enseñados, como, por ejemplo, conocimientos metacognitivos declarativos para aumentar la conciencia de los estudiantes respecto de las características particulares de la escritura académica.

Adicionalmente, este instrumento puede ser útil para medir resultados de aprendizaje, especialmente si se aplica antes y después de la instrucción. De esta forma, para los docentes será posible verificar la efectividad de las estrategias de enseñanza-aprendizaje; y, a los estudiantes, les permitirá monitorear su propio progreso en el desarrollo de las habilidades de escritura. Por último, esta rúbrica puede adaptarse a diferentes tareas de escritura y ser utilizada sistemáticamente como instrumento de evaluación formativa.

Referencias

Andueza, A. (2016). La escritura como herramienta de aprendizaje significativo: un cuasiexperimento en la clase de ciencias. Revista Complutense de Educación, 27(2), 653-668. doi: https://doi.org/10.5209/rev_RCED.2016.v27.n2.46918

Aull, L. & Lancaster, Z. (2014). Linguistic markers of stance in early and advanced academic writing: A corpus-based comparison. Written Communication 2014, 31(2), 151–183. doi: https://doi.org/10.1177/0741088314527055

Bazerman, C. (2012a). Genre as social action. En J.P. Gee & M. Handford (Eds.), The Routledge handbook of discourse analysis (pp. 226-238). New York, U.S.A: Routledge.

Bazerman, C. (2012b). Writing, cognition and affect from the perspectives of sociocultural and historical studies of writing. In V. Wise (Ed.), Past, present and future contributions of cognitive writing research to cognitive psychology (pp.89-104). New York, U.S.A: Psychology Press.

Bitran, M., Zúñiga, D., Paulina, F., Padilla, O. y Moreno, R. (2009). Mejoría en las habilidades de comunicación escrita de estudiantes de medicina: Impacto de un taller de escritura. Revista Médica de Chile , 137, 617-624. doi: https://doi.org/10.4067/S0034-98872009000500004

Boix, V., Dawes, E., Wolfe, C. R., & Haynes, C. (2009). Targeted Assessment Rubric: An Empirically Grounded Rubric for Interdisciplinary Writing. Journal of Higher Education, 80(3), 334-353. doi: https://doi.org/10.1080/00221546.2009.11779016

Carlino, P. (2012). Section essay: Who takes care of writing in Latin American and Spanish universities? Perspectives on writing, 485.

Castelló, M; Bañales, G., & Vega, N (2011). Leer múltiples documentos para escribir textos académicos en la universidad: o cómo aprender a leer y escribir en el lenguaje de las disciplinas. Pro-Posições, 22, 1, p. 97-114. doi: https://doi.org/10.1590/S0103-73072011000100009

Charolles, M. (1978). Introduction aux problèmes de la cohérence des textes: Approche théorique et étude des pratiques pédagogiques. Langue française, (38), 7-41. doi: https://doi.org/10.3406/lfr.1978.6117

Charolles, M. (1983). Coherence as a principle in the interpretation of discourse. Text- Interdisciplinary Journal for the Study of Discourse, 3, 71–98. doi: https://doi.org/10.1515/text.1.1983.3.1.71

Charolles, M. (1995). Cohésion, cohérence et pertinence du discours. Travaux de linguistique, (29), 125-151.

Charolles, M. (1997). L'encadrement du discours. Monographie Cahier de Recherche Linguistique (6), 1-73.

Charolles, M. (2011). Cohérence et cohésion du discours. Dimensionen der Analyse Texten und Diskursivent-Dimensioni dell'analisi di Testi e Discoursi, 153-173.

Cumming, A. (2013). Assessing integrated writing tasks for academic purposes: Promises and perils. Language Assessment Quarterly, 10(1), 1-8. doi: https://doi.org/10.1080/15434303.2011.622016

Dryer, D. (2013). Scaling writing ability a corpus-driven inquiry. Written Communication, 30(1), 3-35. doi: https://doi.org/10.1177/0741088312466992

Gebril, A. & Plakans, L. (2013). Toward a transparent construct of reading to-write tasks: The interface between discourse features and proficiency. Language Assessment Quarterly, 10(1), 9-27. doi: https://doi.org/10.1080/15434303.2011.642040

Hacker, D. (2000). Rules for writers. Boston: Bedford/St. Martin’s.

Hyland, K. (2005). Stance and engagement: A model of interaction in academic discourse. Discourse Studies, 7(2): 173–192. doi: https://doi.org/10.1177/1461445605050365

Hyland, K. (2008). Genre and academic writing in the disciplines. Language Teaching, 41, 543-562. doi: https://doi.org/10.1017/S0261444808005235

Janssen, T., Braaksma, M. & Rijlaarsdam, G. (2006). Literary reading activities of good and weak students: A think aloud study. European Journal of Psychology of Education, 21(1), 35-52. doi: https://doi.org/10.1007/BF03173568

Johnson, R.C. & Riazi, A.M. (2017) Validation of a locally created and rated writing test used for placement in a higher education EFL program. Assessing Writing 32, 85–104. doi: https://doi.org/10.1016/j.asw.2016.09.002

Jonsson, A. & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130–144. doi: https://doi.org/10.1016/j.edurev.2007.05.002

Kintsch, W. (2004). The construction-integration model of text comprehension and its implications for instruction. Theoretical models and processes of reading, 5, 1270-1328. doi: https://doi.org/10.1598/0872075028.46

Klein, P., & Rose, M. (2010). Teaching argument and explanation to prepare junior students for writing to learn. Reading Research Quarterly, 45(4), 433-461. doi: https://doi.org/10.1598/RRQ.45.4.4

Knoch, U. (2011). Rating scales for diagnostic assessment of writing: what should they look like and where should the criteria come from. Assessing Writing, 16, 81-96. doi: https://doi.org/10.1016/j.asw.2011.02.003

Knoch, U., & Sitajalabhorn, W. (2013). A closer look at integrated writing tasks: Towards a more focussed definition for assessment purposes. Assessing Writing, 18, 300–308. doi: http://doi.org/10.1016/j.asw.2013.09.003

Margolin, B., Ram, D. & Mashiash, R. (2013). Building and validating a tool for assessing academic writing skills. International Journal of Linguistics, 5(4), 188. doi: https://doi.org/10.5296/ijl.v5i4.3498

Muñoz, C.& Valenzuela, J. (2015). Características psicométricas de una rúbrica para evaluar expresión escrita a nivel universitario. Formación Universitaria, 8(6), 75-84 doi: http://dx.doi.org/10.4067/S0718-50062015000600010

Nicola, D. J. & Macfarlane-Dickb, D. (2006) Formative assessment and selfregulated learning: A model and seven principles of good feedback practice. Studies in Higher Education. 31(2), 199–218 doi: https://doi.org/10.1080/03075070600572090

Nückles, M., Hübner, S., & Renkl, A. (2009). Enhancing self-regulated learning by writing learning protocols. Learning and instruction, 19 (3), 259-271. doi: https://doi.org/10.1016/j.learninstruc.2008.05.002

Plakans, L., & Gebril, A. (2012). A close investigation into source use in integrated second language writing tasks. Assessing Writing, 17, 18-34. doi: https://doi.org/10.1016/j.asw.2011.09.002

Rakedzon, T. & Baram-Tsabari, A. (2017). To make a long story short: A rubric for assessing graduate students’ academic and popular science writing skills. Assessing Writing 32, 28–42. doi: http://dx.doi.org/10.1016/j.asw.2016.12.004 1075-2935

Sarda, L., Carter-Thomas, S., Fagard, B., & Charolles, M. (2014). Text structuring devices: An overview. Pragmatic Approaches to Text Structuring, 1-50.

Schleppegrell, M. (2001). Linguistic features of the language of schooling. Linguistic and Education 12(4), 431-459. doi: https://doi.org/10.1016/S0898-5898(01)00073-0

Schleppegrell, M. (2006). The challenges of academic language in school subjects. En Lindberg, I. & Sandwall, K. (Eds.), Spraket och kunskapen: att lara pa sitt andrasprak i skola och hogskola (pp.47-69). Gotenborg, Sweden: Gotenborgs universitet institutet for svenska som andrasprak.

Shin, S. Y., & Ewert, D. (2015). What accounts for integrated reading-to-write task scores? Language Testing, 32(2), 259-258. doi: https://doi.org/10.1177/0265532214560257

Snow, C. & Uccelli, P. (2009). The challenge of academic language. En Olson, D. Y Torrance, N. (eds.), Cambridge handbook of literacy (pp. 112-133). USA: Cambridge university press. doi: https://doi.org/10.1017/CBO9780511609664.008

Sotomayor, C., Parodi, G., Coloma, C., Ibáñez, R., y Cavada, P. (2011). La formación inicial de docentes de educación general básica en Chile: ¿Qué se espera que aprendan los futuros profesores en el área de Lenguaje y Comunicación?. Revista de Investigación Educacional Latinoamericana, 48(1), 28-41. doi: https://doi.org/10.7764/PEL.48.1.2011.3

Sundeen, T. (2014). Instructional rubrics: Effects of presentation options on writing quality. Assessing Writing, 21, 74-88. doi: https://doi.org/10.1016/j.asw.2014.03.003

Uccelli, P., Barr, C., Dobbs, C., Phillips Galloway, E., Meneses, A. & Sanchez, M. (2014). Core academic language skills: An expanded operational construct and a novel instrument to chart school-relevant language proficiency in preadolescent and adolescent learners. Applied Psycholinguistics, 1- 33. doi: https://doi.org/10.1017/S014271641400006X

Uccelli, P., Dobbs, C., & Scott, J. (2013). Mastering academic language organization and stance in the persuasive writing of high school students. Written Communication, 30(1), 36-62. doi: https://doi.org/10.1177/0741088312469013

Van Dijk, T. (1996). La ciencia del texto. Barcelona, España: Paidós.

Yancey, K. (1999). Looking back as we look forward: Historicizing writing assessment. College Composition and Communication, 50(3), 483-503. doi: https://doi.org/10.2307/358862

ANEXO A

ANEXO A

Tabla 4.
Rúbrica de evaluación
EjeIndicador 4321
Coherencia1Progresión temática El texto presenta una excelente progresión temática: existe un equilibrio entre progresión semántica y continuidad temática, ya que la información nueva se introduce a partir de información ya conocida. Esto se manifiesta en que: · Cada oración del texto tiene un elemento que se repite, o se relaciona íntimamente con uno anterior (continuidad temática). No hay cambios de tema abruptos, ni digresiones. · - Cada oración del texto transmite información nueva (progresión semántica). No repite innecesariamente ninguna idea. Esto permite al lector conectar todas las ideas del texto y seguir con facilidad el hilo del discurso. El texto presenta una buena progresión temática: generalmente, existe un equilibrio entre progresión semántica y continuidad temática, aunque en algunas ocasiones este equilibrio se pierde, debido a que:· Se rompe la continuidad temática (un cambio de tema abrupto, una pérdida del referente o una digresión).· Se rompen la progresión semántica (no se aporta información nueva o se repite innecesariamente alguna información). Esto permite al lector conectar la mayoría de las ideas del texto ya que, globalmente, es posible seguir el hilo del discurso, aunque existen algunos problemas puntuales de conexión. Existe una progresión temática insuficiente: existe un equilibrio precario entre progresión semántica y continuidad temática, ya que, en varias ocasiones existen:· Rupturas en la continuidad temática (un cambio de tema abrupto, una pérdida del referente o una digresión).· Rupturas en la progresión semántica (no se aporta información nueva o se repite innecesariamente alguna información). Esto permite al lector conectar algunas de las ideas del texto, pero es difícil seguir el hilo del discurso ya existen varios problemas de conexión. Existe una progresión temática deficiente: no existe un equilibrio entre progresión semántica y continuidad temática, ya que, en la mayoría de las ocasiones existen:· Rupturas en la continuidad temática (un cambio de tema abrupto, una pérdida del referente o una digresión). · Rupturas en la progresión semántica (no se aporta información nueva o se repite innecesariamente alguna información).Esto no permite al lector conectar las ideas del texto, ya que solo es posible conectar algunas de forma aislada. Se hace casi imposible establecer el hilo del discurso.
Consistencia de las ideas con la intención global del texto Se comprende perfectamente el sentido del texto, su lectura es fluida y todas las ideas que expone son consistentes entre sí, esto se manifiesta en que: · Ninguna idea contraría el significado de otra anteriormente expuesta.· Todas las relaciones entre las ideas del texto se explicitan mediante marcadores del discurso adecuados y específicos· Todas las relaciones entre las ideas del texto o se infieren de manera unívoca (a partir de la puntuación u otros recursos del lenguaje) Se comprende el sentido global del texto, casi todas las ideas son consistentes entre sí, pero la lectura no es siempre fluida, esto se manifiesta en que:· Ninguna idea contraría el significado de otra anteriormente expuesta.· En alguna ocasión, el texto presenta ideas cuya relación no se explicita adecuadamente porque utiliza un marcador(es) poco específico o inadecuado.· En alguna ocasión, texto presenta ideas cuya relación no se puede inferir de manera unívoca (a causa de errores en la puntuación o en otros recursos del lenguaje). Se comprende con dificultad el sentido global del texto, varias ideas no son consistentes entre sí, con lo cual, la lectura es poco fluida. Esto se manifiesta en que:· Alguna idea del texto contraría el significado de otra expuesta anteriormente.· En varias ocasiones, el texto presenta ideas cuya relación no se explicita adecuadamente porque utiliza un marcador(es) poco específico o inadecuado.· En varias ocasiones, el texto presenta ideas cuya relación no se puede inferir de manera unívoca (a causa de errores en la puntuación o en otros recursos del lenguaje). Apenas se comprende el sentido global del texto, la mayoría de las ideas no son consistentes entre sí, con lo cual la lectura no es fluida. Esto se manifiesta en que:· El texto presenta varias ideas que contrarían el significado de otras expuestas anteriormente.· El texto presenta ideas cuya relación no se explicita adecuadamente ya sea porque utiliza un marcador(es) poco específico o inadecuado.· El texto presenta ideas cuya relación no se puede inferir de manera unívoca (a causa de errores en la puntuación o en otros recursos del lenguaje).
Lenguaje académicoDensidad informativa La información del texto está concentrada, es decir, entrega mucha información utilizando pocas palabras. Esto se manifiesta en que:· Las ideas del texto se expresan de manera directa. · El texto emplea un léxico preciso y diverso.· El texto emplea alguna nominalización para compactar la información (transforma frases verbales y adjetivas en sustantivos, para tematizar procesos o características) y/o amplía el grupo nominal mediante cláusulas adjetivas o complementos del nombre, con el fin de condensar la información integrando varias ideas en una misma oración. En términos generales, la información del texto está concentrada ya que, en su mayor parte, entrega mucha información utilizando pocas palabras, aunque:· En alguna ocasión no se expresan las ideas de manera directa (realiza un circunloquio; es decir,  utiliza muchas palabras para dar a entender algo que hubiera podido expresar brevemente).· En alguna ocasión se cometen imprecisiones léxicas (léxico vago o palabras utilizadas incorrectamente).· En alguna ocasión se repite una misma palabra al interior de un párrafo, pudiendo utilizar un sinónimo, pronombre o elisión en su lugar.· No utiliza nominalizaciones para compactar la información, ni amplía el grupo nominal mediante cláusulas. La información del texto es poco concisa, ya que en su mayor parte, entrega poca información utilizando muchas palabras. Esto se manifiesta en que:· En varias ocasiones, se expresan las ideas realizando circunloquios.· En varias ocasiones, se cometen imprecisiones léxicas (léxico vago o palabras utilizadas incorrectamente)· En varias ocasiones, se repite una misma palabra al interior de un párrafo, pudiendo utilizar un sinónimo, pronombre o elisión en su lugar.· No utiliza nominalizaciones para compactar la información, ni amplía el grupo nominal mediante cláusulas. La información del texto es dispersa, ya que entrega escasa información utilizando muchas palabras. Esto se manifiesta en que:· Expresa la mayoría de las ideas realizando circunloquios.· Utiliza un vocabulario mayormente coloquial, en el que predominan imprecisiones léxicas (léxico vago o palabras utilizadas incorrectamente)· Repite constantemente palabras al interior de los párrafos, pudiendo utilizar un sinónimo, pronombre o elisión en su lugar.· No utiliza nominalizaciones para compactar la información, ni amplía el grupo nominal mediante cláusulas.
Postura académicaEl texto mantiene una postura académica. Es decir, presenta la información de manera asertiva (afirmativa) y objetiva, lo cual se manifiesta en que el texto: · Adopta una actitud distanciada. Es decir, no refleja un apego emotivo, ni apasionado con lo que dice.· Tiene una postura epistémicamente cauta, es decir, expresa diversos niveles de certeza respecto de la veracidad de lo que dice. El texto mantiene una postura mayormente académica. Es decir, presenta la información de manera asertiva y objetiva, sin embargo: · En alguna ocasión el texto adopta una actitud implicada. Es decir, refleja un apago emotivo, comprometido o apasionado con lo que dice. · En alguna ocasión el texto presenta la información de manera epistémicamente poco cauta. Es decir, expresa con un nivel de certeza poco apropiado una idea (P.e: presenta como verdad indiscutible una idea propia, una emoción, un juicio o experiencia personal). El texto mantiene una postura mayormente coloquial. Es decir, en términos generales, presenta la información de manera poco asertiva y subjetiva debido a que:· En varias ocasiones, adopta una actitud implicada, Es decir, refleja un apego emotivo, comprometido o apasionado con lo que dice.· En varias ocasiones, presenta la información de manera epistémicamente poco cauta. Es decir, expresa con un nivel de certeza poco apropiado una idea (P.e: presenta como verdad indiscutible una idea propia, una emoción, un juico o experiencia personal). El texto mantiene una postura coloquial. Es decir, en términos generales, no presenta la información de manera asertiva (es, incluso, errático) y expresa constantemente la subjetividad del autor. Esto se manifiesta en que:· Adopta una actitud muy implicada, expresiva, prejuiciosa, autorreferente.· En muchas ocasiones, presenta la información de manera epistémicamente poco cauta. Es decir, expresa con un nivel de certeza poco apropiado una idea (P.e: presenta como verdad indiscutible una idea propia, una emoción, un juico o experiencia personal).
Dominio de fuentesComprensión de los textos estímulo Construye adecuadamente las proposiciones del texto estímulo. Es decir:· Siempre cita o parafrasea las ideas del texto estímulo al que hace referencia, manteniendo su sentido original. Construye medianamente bien las proposiciones del texto estímulo. Es decir:· En alguna ocasión, cita o parafrasea las ideas del texto estímulo al que hace referencia, manteniendo parcialmente su sentido original. No construye adecuadamente las proposiciones del texto estímulo. Es decir:· En alguna ocasión cita o parafrasea las ideas del textos estímulo, desvirtuando su sentido original.Y/O· No es posible evaluar la comprensión del texto estímulo, ya que las ideas que cita son marginales o poco importantes con respecto al contenido de este. No se refiere al contenido proposicional del texto estímulo. Es decir:· No es posible identificar en el texto escrito por el alumno, ideas que provengan del texto estímulo. Y/O· En alguna ocasión, cita o parafrasea las ideas del texto estímulo, alternado completamente su sentido original.
Incorporación de la información de los textos estímulo El autor incorpora adecuadamente en su texto información adquirida en el texto estímulo. Es decir:· Toma ideas del texto estímulo y las agrega a su propio texto.· Todas las ideas que toma del texto estímulo aportan información relevante para su propio texto.· Integra todas las ideas que toma del texto estímulo con las propias. En general, el autor incorpora, de manera adecuada, la información adquirida en el texto estímulo. Es decir:· Toma ideas del texto estímulo y las agrega a su propio texto.· Todas las ideas que toma del texto estímulo aportan información relevante para su propio texto.SIN EMBARGO· En alguna ocasión el autor expone una idea del texto estimulo, pero no la integra con sus propias ideas (se limita a dar cuenta de ella). El autor incorpora de manera inadecuada información adquirida en el texto estímulo. Es decir:· Toma ideas del texto estímulo y las agrega a su propio texto.SIN EMBARGO:· En algunas ocasiones la o las ideas integradas no aportan información relevante para el texto (parecen elegidas aleatoriamente).· En varias ocasiones, el autor expone una idea del texto estimulo, pero no la integra con sus propias ideas (se limita a dar cuenta de ellas). El autor no integra ideas adquiridas en el texto estímulo, con sus propias ideas. Es decir,· No toma ideas provenientes del texto estímulo.O· La idea tomada del texto estímulo no tiene ninguna relación con el sentido del texto del autor.
Referencia a los textos estímulo Todas las ideas integradas del texto estímulo hacen referencia adecuadamente a la fuente de la que provienen. Es decir:· En el cuerpo del texto, la referencia a la fuente se realiza siguiendo adecuadamente un solo sistema de citación (APA, MLA, Chicago, entre otros)· En la bibliografía, se referencia adecuadamente el texto estímulo mediante el mismo sistema de citación utilizado anteriormente. Todas las ideas integradas del texto estímulo hacen referencia a la fuente de la que provienen. Sin embargo, la referencia no se realiza adecuadamente:· En el cuerpo del texto, la referencia a la fuente se realiza nombrando todos los datos que permiten la localización de la cita (autor o año, número de página(s)).· En la bibliografía, se referencia el texto estímulo mencionando los todos los datos que permiten la identificación del texto (autor, año, título del artículo, título de la revista y medio de publicación (página web). No todas las idea integradas del texto estímulo hacen referencia a la fuente O· En el cuerpo del texto, la referencia a la fuente se realiza nombrando datos insuficientes para localizar la cita en el texto estímulo. O· No presenta un apartado de bibliografía O· No se hace referencia al texto estímulo en el cuerpo del texto, pero sí se presenta un apartado de bibliografía que permite identificar el texto. No se hace referencia al texto estímulo, es decir:· No se presenta referencia a la fuente en el cuerpo del texto.Y· No se presenta referencia a la fuente en el apartado de bibliografía.
Aspectos mecánicosNormas de ortografía, puntuación y concordancia gramatical El texto se ajusta completamente a las normas de puntuación y de ortografía de la RAE y no presenta errores tipográficos, de abreviaturas, ni de concordancia gramatical. El texto se ajusta a las normas de puntuación y de ortografía de la RAE, pero presenta hasta cinco errores de ortografía, puntuación, tipográficos, de abreviaturas o de concordancia gramatical. El texto se ajusta medianamente a las normas de puntuación y de ortografía de la RAE. Es decir, presenta hasta diez errores de ortografía, puntuación, tipográficos, de abreviaturas o de concordancia gramatical. El texto no se ajusta a las normas de puntuación y de ortografía de la RAE, ya que presenta más de diez errores ortografía, puntuación, tipográficos, de abreviaturas o de concordancia gramatical.
Dominio del género discursivoAjuste a las características del ensayo argumentativo Escribe un texto que cumple con todas las características del ensayo argumentativo, ya que:· Plantea con claridad una tesis o una posición frente al tema (o se puede inferir de manera unívoca).Y· Sostiene la tesis con una argumentación organizada (el orden de los argumentos impacta la comprensión de los mismos) que incluye al menos tres argumentos –respaldados por datos-.Y· Plantea al menos un contraargumento y lo refuta adecuadamente.Y· Concluye reafirmando el punto de vista, reformulando el punto de vista y/o sintetizando los principales argumentos. Escribe un texto que cumple con la mayoría de las características del ensayo argumentativo, ya que:· Plantea una tesis o una posición frente al tema (o se puede inferir de manera unívoca).SIN EMBARGO, · Sostiene la tesis con una argumentación, pero esta no se encuentra debidamente organizada (los argumentos podrían cambiar de posición y esto no alteraría el sentido del texto) que incluye al menos tres argumentos.Y/O· No plantea ningún contraargumento. Y Concluye reafirmando el punto de vista, reformulando el punto de vista y/o sintetizando los principales argumentos. Escribe un texto que cumple con ciertas características del ensayo argumentativo, ya que: · Plantea una tesis (o se puede inferir una) sobre el tema.SIN EMBARGO:· Sostiene la tesis con dos o tres argumentos (que pueden o no estar organizados), pero al menos uno de ellos no está directamente relacionado con la tesis o no logra sostenerla. Y/O· No plantea ningún contraargumento.Y· Concluye repitiendo el punto de vista o uno de los principales argumentos O NO concluye. No escribe un ensayo argumentativo ya que:· No es posible identificar una tesis o posición frente al tema.Y/O· No existe argumentación, sino que más bien se presenta una lista desestructurada de ideas, algunas de las cuales se encuentran tangencialmente relacionadas con la tesis, pero no la sostienen. La organización del texto se asemeja más a una conversación oral que a una argumentación estructurada.· Puede plantearse o no un contraargumento.· Puede concluir o no el texto.

Notas de autor

* Andueza, Alejandra aandueza@uahurtado.cl Alberto Hurtado University, Department of Language and Literature. Director of the Academic Writing Program at the Alberto Hurtado University. Her research interest includes, writing assessment, academic writing, writing instructional strategies, and metacognitive strategies during writing process Postal adresses: Alameda 1869, 4to. Piso, Santiago de Chile

aandueza@uahurtado.cl

Información adicional

Cómo referenciar este artículo: Andueza, Alejandra (2019). Evaluación de la escritura académica: construcción y validación de un instrumento integrado basado en tareas para evaluar habilidades específicas de escritura. RELIEVE, 25(2), art. 5. doi: http://doi.org/10.7203/relieve.25.2.11163

Enlace alternativo

HTML generado a partir de XML-JATS4R por