El tamaño muestral fue de 125 participantes, todos ellos estudiantes del segundo curso del grado en Maestro de Educación Infantil de la Universidad de Salamanca. Se optó por una muestra homogénea de estudiantes universitarios, con la misma formación académica previa (en todos los casos cursaban su primer grado universitario) y con las características de nivel formativo supuestamente similares que puede tener un grupo de estudiantes del mismo grado y curso.

En relación con las demás variables sociodemográficas que se tuvieron en cuenta, la edad mayoritaria de los encuestados estuvo comprendida entre los 19 y los 21 años (87%), seguida de los 22 a los 23 años (9,2%). Los alumnos restantes contaban con más de 24 años (3,8%) en el momento de la recogida de datos. Como es frecuente en las titulaciones de Ciencias de la Educación y particularmente en el grado de Educación Infantil, la mayoría de las informantes fueron de género femenino (89,6%).

Se decidió realizar el ejercicio de medición de la comprensión lectora de un texto argumentativo, pues su propia naturaleza los hace más propicios a mostrar más explícitamente los marcadores discursivos que otras tipologías textuales y son, además, junto con los expositivos, los más numerosos en el ámbito académico ( Martı́n-Macho-Harrison and Faya-Cerqueiro 2022). Se tuvieron en cuenta dos aspectos constructivos importantes en el momento del diseño del texto:

1. 1. que tuviera una estructura deductiva prototípica descrita como “opinión + argumentos posibles en contra + argumentos con los que nos defendemos + conclusión y cierre” ( Martı́nez-Sánchez 2011) y
2. 2. que, aunque los argumentos defiendan una opinión y, como es consustancial a su tipología, estén destinados a convencer al lector, el texto no tuviera una carga ideológica muy marcada que pudiera sensibilizar a los participantes.

Adoptamos como modelo de ejercicio una de las pruebas que constituyen la Comprensión Lectora del Diploma de Español como Lengua Extranjera (DELE) de nivel B2 ( Cervantes 2014), pues las características de la propia tarea de medición de capacidades de comprensión lectora basada en la reconstrucción discursiva a nivel cohesivo-semántico sobre un texto argumentativo y el hecho de ser un instrumento de evaluación ampliamente validado a través de las convocatorias anuales que se realizan desde el año 2013 a nivel mundial nos ofrecían la seguridad de estar ante un instrumento fiable. Según el Cervantes ( 2014), por medio de esta tarea se evalúa la capacidad de reconstruir la estructura de un texto e identificar la relación entre las ideas. Para ello, el candidato debe leer un texto incompleto (de entre 400 y 450 palabras) e identificar, de entre ocho fragmentos posibles, los que corresponden a seis espacios en el texto (se pueden ver ejemplos de exámenes en https://examenes.cervantes.es/es/dele/preparar-prueba).

En el proceso de diseño de la prueba se tuvieron en cuenta de forma escrupulosa todas las indicaciones que el Instituto Cervantes marca para que esta tarea sea considerada válida y se incluya en sus exámenes como instrumento de evaluación. En primer lugar, se realizó una búsqueda de un texto adecuado dentro de los ámbitos público, educativo o profesional que, modalmente, correspondiese con un artículo de opinión para, una vez seleccionado, proceder a su adaptación tanto en extensión como en contenidos. Los criterios adicionales que se tuvieron en cuenta para elegir el texto fueron temáticos (se buscaba que los contenidos pudieran resultar interesantes a los grupos que iban a realizar la tarea) y estructurales (el texto elegido debía ser un texto claramente argumentativo en el que se encontrasen varios tipos de conectores o que, al menos, fuese susceptible de poder incluirlos en la adaptación). En este caso no fue necesario adaptar ni el léxico ni las estructuras sintácticas a los contenidos que el Plan Curricular del Instituto Cervantes ( Cervantes 2006) marca como prototípicos del nivel B2, pues el ejercicio iba dirigido a hablantes nativos universitarios y se presuponía en ellos un dominio alto de vocabulario y estructuras lingüísticas de carácter culto. La intervención que se realizó al texto elegido estuvo dirigida, principalmente, a reducir la carga político-ideológica y a conseguir un texto de 450 palabras que condensase las ideas principales del texto original por medio de una redacción coherente y bien cohesionada.

El siguiente paso fue determinar cuáles eran los fragmentos que se iban a extraer del texto, teniendo en cuenta que, según las especificaciones de la tarea que se estaba creando, estos debían tener una extensión de entre dieciséis y veinte palabras y formar frases independientes con sentido pleno. Asimismo, se valoró cuál era la relación semántico-pragmática que se establecía entre cada uno de esos fragmentos y su contexto lingüístico previo y posterior, y si esa relación se hacía explícita o no por medio de marcadores discursivos. En los casos en que no aparecía ningún marcador se incluyó el que se consideró más adecuado.

Siguiendo la categorización de marcadores del discurso que ofrece el PCIC en su apartado de Tácticas y estrategias pragmáticas ( Cervantes 2006), en los fragmentos que finalmente se seleccionaron para la prueba, aparecen representados los marcadores discursivos contraargumentativos de introducción de ideas ( no obstante) y de contraste entre los miembros de la relación ( en cambio), los aditivos ( más aún), los recapituladores ( en definitiva), los rectificativos ( más bien) y los de refuerzo argumental ( desde luego).

La última fase de creación de la prueba fue la redacción de los dos distractores. Además de tener una apariencia de validez por su similitud temática con el texto en general y con varios párrafos en particular, se decidió que debían estar introducidos, en la medida de lo posible, por marcadores discursivos de categorías diferentes a las que ya representaban los de los fragmentos extraídos del texto. Teniendo en cuenta la tipología de relaciones semántico-pragmáticas entre ideas esperables en un texto argumentativo, se decidió incluir un conector consecutivo ( así pues) y un marcador discursivo recapitulador ( en suma).

El producto de diseño fue un texto con seis espacios intercalados que debían ser completados con seis de las ocho frases que se presentaban como opciones de relleno ordenadas aleatoriamente ( Figura 1). Este texto de prueba se validó mediante un juicio de expertos ( Escobar-Pérez and Cuervo-Martı́nez 2008): tres profesionales con amplia experiencia en la elaboración de la misma prueba de evaluación para el DELE de Cursos Internacionales de la Universidad de Salamanca. A partir de su valoración, se realizaron pequeñas modificaciones relacionadas principalmente con el contenido temático de uno de los distractores. De este modo, se dio por terminado el proceso de creación de la prueba y se procedió a su administración.

La prueba se adaptó a la herramienta tecnológica de cuestionario de la plataforma moodle Studium (campus virtual de la Universidad de Salamanca), de uso habitual en la docencia, que permite la visualización del texto con sus huecos y el uso de bloques móviles con las frases para completar que se sitúan en la parte inferior de la pantalla ordenadas para cada participante de manera aleatoria ( Figura 1). La digitalización del texto fue perfecta para el desarrollo de la prueba. El alumno no recibía ningún feedback de acierto o error y podía cambiar las seis opciones elegidas cuantas veces quisiera en el tiempo establecido para el desarrollo del ejercicio, 20 minutos como máximo. La prueba se realizó en el aula de forma síncrona y en presencia de la profesora durante el curso 2022-2023. El tiempo de realización osciló entre los 13 minutos y los 19’15’’.

Figura 1.
Herramienta cloze
Fuente: Elaboración propia

El análisis estadístico de los resultados de evaluación se llevó a cabo mediante el programa informático SPSS (versión 25). Las técnicas y test aplicados fueron los siguientes: 1) Las variables cualitativas se han descrito mediante tablas de frecuencias, proporciones y porcentajes. 2) La significación de las diferencias entre variables dicotómicas medidas en una misma muestra de sujetos participantes se ha analizado mediante el Test de Cochran. Y 3) se ha aplicado el Test de homogeneidad de Chi-cuadrado para determinar las posibles diferencias entre las opciones de respuesta de variables categóricas. El objetivo ha sido, por una parte, medir estadísticamente el índice de acierto y error de cada frase y su conector, y hacer una valoración de significación de diferencias en los resultados obtenidos entre los seis casos. Por otra parte, mediante el Test de Cochran, se ha valorado qué impacto tiene un determinado uso erróneo de un conector (con su frase) en lugar del conector correcto y, dentro de cada variable correcta, si hay un uso de la frase con el conector erróneo que se utiliza significativamente más que otras frases también incorrectas.

Hemos focalizado los aciertos y errores en el uso de conectores, pese a ser conscientes de que esos conectores forman parte de oraciones donde el conjunto de elementos léxicos constituyen la coherencia discursiva. Pero, en todos los casos, el peso argumentativo decisivo en las opciones correctas para completar el texto dependía del conector discursivo. Por esta razón, como se ha explicado (cf. 2.2), el diseño del instrumento fue un proceso costoso hasta su validación.

La Figura 2 presenta la proporción de acertantes. Se puede apreciar que, sobre un porcentaje medio de aciertos del 65%, solo dos de ellos, las frases que incluyen los conectores no obstante y más bien, superan este valor y destacan sobre los demás con más de un 70% de usos correctos, siendo esta diferencia altamente significativa con p <.0001 $p<.0001$ (Cochran: Q=26.14 $Q=26.14$; \text{P-valor}=.00008 $\mathrm{\text{P-valor}}=.00008$) respecto a las frases con los otros cuatro conectores, que se han usado adecuadamente en una proporción menor y, además, muy similar entre sí (de 56% al 62%, sin diferencias significativas entre ellos: Q=1.26 $Q=1.26$; \text{P-valor}=.738 $\mathrm{\text{P-valor}}=.738$). La diferencia de aciertos entre las frases con los dos conectores con más acertantes (79% vs. 70%) está muy cerca de ser significativa también, p <.10 $p<.10$ ( Q=3.67 $Q=3.67$; \text{P-valor}=.056 $\mathrm{\text{P-valor}}=.056$). Esto parece indicar que la argumentación que liga el conector no obstante es la más transparente en la comprensión de forma significativa en nuestra muestra. La contraargumentación y la rectificación de argumentos expresada mediante los conectores no obstante y más bien se identifican mejor que otras nociones semántico-pragmáticas del texto argumentativo como el refuerzo argumental ( desde luego), la recapitulación ( en definitiva), la adición ( aún más) y la contrastiva ( en cambio).

Figura 2.
Proporción de aciertos en el uso de los conectores
Fuente: Elaboración propia

Es destacable que las frases que incluyen los dos nexos contraargumentativos ( no obstante y en cambio) se encuentren en los extremos de mayor-menor acierto ( Figura 2). Las diferencias entre ambos conectores no son fáciles de definir ( Marchante-Chueca 2021): oposición vs. contraste de argumentos. Sí parece claro, según los resultados de esta investigación, que el argumento de contraste marcado por en cambio se ha entendido mucho menos que la noción contraargumentativa de oposición expresada con no obstante. Si ligamos estos resultados a la frecuencia de aparición de los conectores en el Corpus de Referencia del Español Actual ( Real Academia Española 2021) vemos cierta correspondencia ( Tabla 2) acorde con el nivel decreciente de aciertos en nuestra prueba; la correlación de resultados solo se altera en el caso de en cambio, que es el segundo más usado en CREA después de no obstante y el que presenta más fallos en nuestra prueba de comprensión. En cualquier caso, dada la diferencia de uso tan grande entre los dos conectores contraargumentativos ( Tabla 2), sí se puede afirmar que la frecuencia de uso de los conectores sea un factor que favorece la comprensión.

Tabla 2.
Tokens en el Corpus de Referencia del Español Actual, CREA

Considerar con estos resultados que hay nociones argumentativas más transparentes que otras y, por tanto, más comprensibles, podría orientar la didáctica del texto al estudio de las relaciones conceptuales con mayor déficit en la comprensión. Según estos datos ( Table 3), dadas las diferencias significativas en el porcentaje de aciertos de cada conector, deberían trabajarse más aquellas relaciones conceptuales entre argumentos que se comprenden peor.

Tabla 3.
Comprensión de conectores y nociones semánticas Conectores No obstante Más bien Desde luego

En total ha habido 265 errores en el uso de conectores, que da una media de 2.12 por participante, cifra no muy elevada (sobre un máximo de 6) (aunque es reseñable que solo 28 sujetos no cometieron ningún error, 48 tuvieron 3 o más errores y 5 cometieron 6 errores). Esos 265 errores totales, que suponen un 35.3% sobre el total de las respuestas emitidas ( 750=125 \times 6 $750=125\times 6$), se reparten entre los conectores según se indica en la tabla 4. El test de homogeneidad nos indica que hay diferencias altamente significativas ( p <.001 $p<.001$) en cuanto a la frecuencia de uso de cada uno de ellos. Los más usados de forma incorrecta son, sin duda, los dos distractores: así pues 57 veces y en suma 65 veces, que suponen el 21.5% y el 24.5% sobre el total de errores. En los 6 restantes, que se han usado erróneamente entre 18 ( más bien) y 36 veces ( desde luego), no se han detectado diferencias significativas ( Chi^2=8.85; P-valor=.117 $Ch{i}^2=8.85;P-valor=.117$), es decir, ningún uso erróneo destaca significativamente sobre el resto.

A continuación, se estudió, con el objetivo de determinar si hay un patrón definido de uso, si, para cada uno de los conectores, los errores se distribuyen de forma homogénea o no ( Tabla 5). Se ha comprobado que en 5 de los 6 conectores hay usos incorrectos de algún otro conector que son más frecuentes que otros. El único donde no ocurre esto es en desde luego ( p>.05 $p>.05$), donde no hay un error que destaque sobre los demás y, por tanto, no se encuentra el patrón buscado. Por su parte, sí aparece en los restantes:

Tabla 4.
Distribución del uso incorrecto total de los conectores (N=125; 750 respuestas)

1. 1. Donde se debería haber usado no obstante, los errores más frecuentes de forma muy significativa ( p <.01 $p<.01$) son en cambio y así pues.
2. 2. Donde se debería haber usado más bien, los errores más frecuentes con significación estadística ( p <.05 $p<.05$) son en definitiva y así pues.
3. 3. Donde se debería haber usado en definitiva los errores más frecuentes con significación estadística ( p <.05 $p<.05$) son en suma, así pues y, en menor medida, desde luego.
4. 4. Donde se debería haber usado más aún, los errores más frecuentes de manera muy altamente significativa ( p <.001 $p<.001$) son en suma y así pues.
5. 5. Y donde se debería haber usado en cambio, el error más frecuente de forma muy significativa ( p <.01 $p<.01$) es desde luego, seguido en menor medida de en suma.

Tabla 5.
Distribución del uso incorrecto de cada uno de los conectores

Si se interpreta esta confusión en clave argumental, se establecen las siguientes conclusiones:

1. 1. Se confunde la contraargumentación que introduce ideas ( no obstante) con la contrastiva ( en cambio) y la consecutiva ( así pues).
2. 2. Se confunde el argumento de rectificación (introducido por más bien) con el recapitulador ( en definitiva) y el que muestra consecuencia ( así pues).
3. 3. Se confunde el argumento que recapitula ( en definitiva) con el reformulador ( en suma) y el consecutivo ( así pues), principalmente.
4. 4. Se confunde el argumento de adición ( más aún), con el reformulador ( en suma) y el consecutivo ( así pues).
5. 5. Se confunde la contraargumentación contrastiva de ideas ( en cambio), con el refuerzo argumental ( desde luego).

La confusión entre los dos nexos contraargumentativos (1) es previsible, pues los matices semánticos son sutiles. Sin embargo, sí es llamativa la confusión entre una contraargumentación y una consecuencia, pues se trata de argumentaciones opuestas. La confusión (2) es igualmente en todos sus elementos previsible, pues un argumento de consecuencia puede asociarse a otro anterior como reformulador o recapitulador. Y del mismo modo, la confusión de conectores en (4) es predecible hasta el punto de que en algunas clasificaciones el reformulador en suma se señala como aditivo. Encaja menos dentro de la lógica semántica la confusión de argumentos de (2) y (5): rectificar y recapitular ideas son procesos discursivos distintos, igual que contrastar argumentos y reforzarlos.

Los resultados de esta investigación promueven una orientación didáctica de la comprensión textual basada en la conexión semántica y formal entre argumentos. El mal uso de los conectores indica confusión entre las nociones argumentales que unen. Por este motivo, la didáctica debería centrarse en aquellos argumentos dispares que se confunden por falta de comprensión ( Table 6). Es decir, la medición de la comprensión de un texto argumentativo a través de una prueba como la llevada a cabo en esta investigación conduce a resultados que focalizan el centro de atención didáctico en la conexión de argumentos, pues, a pesar de que todos los hablantes son nativos de español y conocen los conectores, se ha demostrado que no comprenden las relaciones semántico-discursivas que enlazan.

Tabla 6.
Confusión de conectores y nociones semánticas

Las confusiones más significativas y no predecibles entre conectores y nociones semánticas ( Tabla 6) se corresponden con los mismos niveles de comprensión ( Tabla 3). Los tres conectores ( no obstante, más bien y desde luego) y las tres nociones (contraargumentación, rectificación y refuerzo de argumento) que mejor se reconocen según los resultados de esta investigación no se confunden entre ellas de manera significativa ( Tabla 3). Son los conectores usados como distractores en la prueba ( así pues y en definitiva) los que producen más errores significativos con todos los conectores excepto con desde luego. En este caso, desde luego se confunde con todos los conectores sin ningún patrón destacable, pero en cambio sí es suplantado en el texto erróneamente por desde luego de manera significativa (19 respuestas vs. 5 en dirección inversa). La transparencia del refuerzo argumentativo es mejor en términos generales que la de una contraargumentación contrastiva ( Figura 2, Tabla 3) y apenas hay casos erróneos que usen en cambio por desde luego (5 usos); sin embargo, la contraargumentación que liga en cambio sí está marcada por la confusión con desde luego (19 usos). Estos ejemplos merecen una atención especial por la distancia conceptual de los argumentos que conectan, lo que muestra que no es el desconocimiento de los conectores el máximo problema para la comprensión, sino el desconocimiento de los argumentos oracionales.

*rosana@usal.es†sesena@usal.es