A compreensão de leitura é uma habilidade complexa na qual diferentes processos cognitivos atuam simultaneamente (Ministério da Educação, 2020). Usando tais processos, o leitor constrói ativamente uma representação mental sobre o significado do texto lido (Vieira et al., 2015), relacionando o conhecimento prévio às novas informações transmitidas pelo texto (Graesser et al., 2014).

Há evidências robustas indicando que a habilidade de compreensão leitora envolve componentes básicos de leitura no nível da palavra, como consciência fonológica, consciência morfológica e decodificação (Ministério da Educação, 2020), incluindo também componentes mais complexos relacionados à interpretação das sentenças, como memória de trabalho, construção de inferências, uso do conhecimento prévio, raciocínio e conhecimento de estruturas de discurso (Teixeira & Correria, 2017). Além disso, características do sujeito, como interesse pelo assunto e conhecimento prévio, parecem desempenhar importante papel na compreensão de leitura (Amendum et al., 2018).

Diferentes estudos indicam que a compreensão de leitura é influenciada, também, por questões inerentes ao texto, incluindo estrutura, tipo de vocabulário e gênero textual, sugerindo que diferentes tipos de textos apresentam demandas cognitivas específicas (Best et al., 2008). Assim, textos narrativos geralmente são reportados como sendo mais fáceis de compreender que textos expositivos, sendo isso atribuído, entre outros aspectos, por utilizarem estruturas e palavras mais familiares que textos expositivos e por exigirem, com frequência, um conhecimento geral de mundo, enquanto textos expositivos, requerem também certo grau de conhecimento prévio (Best et al., 2008).

Alcançar a leitura com compreensão é essencial em sociedades modernas e democráticas (Ministério da Educação, 2020). Contudo, no Brasil, a maior parte dos alunos termina o primeiro ciclo do EF com performance em leitura abaixo do esperado, tendo o nível de proficiência em Língua Portuguesa classificado como básico (INEP, 2019). Ainda mais distante do adequado estão os estudantes do 9º ano do EF e no 3º ano do Ensino Médio, cuja performance em leitura mostrou-se insuficiente (Ministério da Educação, 2020).

Estes dados ressaltam a importância de dispor de instrumentos de avaliação padronizados e validados que permitam a identificação de dificuldades específicas de leitura e o monitoramento de intervenções (Brito, 2017). A técnica Cloze é uma das tarefas de avaliação da compreensão leitora mais citadas na literatura científica (Collins et al., 2018). A técnica convencional de Cloze, conforme proposto por Taylor (1953), consiste na organização de um texto do qual é omitido sistematicamente o quinto vocábulo, o qual é substituído por um traço de tamanho sempre igual, de modo que a quantidade de itens a serem preenchidos varia de acordo com o tamanho do texto. A tarefa do leitor é, após a leitura integral do texto, preencher os itens, isto é, as lacunas, com as palavras que completem melhor o texto.

Testes Cloze são de fácil aplicação (Brown, 2002), contribuindo para que, internacionalmente, esta seja uma técnica amplamente utilizada para avaliar a compreensão de leitura no contexto clínico, escolar e de pesquisa (Collins et al., 2018; Trace et al., 2017). Ademais, diferentes estudos evidenciam que a performance nos testes Cloze, além de refletir habilidades básicas de compreensão, como o conhecimento sintático e semântico, também são medidas eficazes para avaliar habilidades complexas de compreensão, como a conexão de ideias e argumentos em passagens, visto que, para o preenchimento adequado de alguns itens, é necessário extrair informações do nível global do texto e não apenas no nível da sentença (Brown, 2002).

No Brasil, foi desenvolvido o Teste Cloze de Compreensão de Leitura – TCCL (Brito, 2017), que avalia a compreensão de leitura de estudantes do 4º ao 9º ano do EF. O teste é composto por dois textos no formato Cloze de gêneros diferentes: narrativo (TCCL_N) e expositivo (TCCL_E). Estudos preliminares verificaram evidências de validade convergente por meio da correlação do TCCL com outros testes e com a nota na disciplina de Português, também demonstraram que o instrumento é sensível em diferenciar os anos escolares em relação a estudantes de escola pública (Brito, 2017) e de escola particular (Brito et al., 2021). Adicionalmente, análises da correlação entre TCCL_N e TCCL_E sugerem que tais textos avaliam construtos diferentes, embora relacionados com magnitude alta (acima de .70; Brito, 2017).

Tal hipótese tem sido corroborada por estudos com diferentes grupos clínicos. Estudo com estudantes diagnosticados com dislexia e com transtorno do déficit de atenção e hiperatividade (TDAH) demonstrou que o desempenho no TCCL foi condizente com os déficits cognitivos classicamente apontados pela literatura para cada diagnóstico, sendo que, tanto no grupo com TDAH quanto no grupo com dislexia, os estudantes tiveram melhor desempenho no TCCL_N (Branco & Seabra, 2018). Diferentemente, recente estudo avaliando o perfil de leitura em estudantes com Transtorno do Espectro Autista (TEA) revelou maiores dificuldades na compreensão TCCL_N que no TCCL_E (Ribeiro et al., 2021). A literatura prévia aponta que textos de gênero narrativo tendem a demandar mais inferências sobre os estados mentais dos personagens (Spinillo & Almeida, 2014). Desse modo, dificuldades no desenvolvimento da Teoria da Mente poderiam comprometer o desempenho de sujeitos com TEA (Nunes & Walter, 2016). Ou seja, é fundamental compreender as características do texto, mas, adicionalmente, há outros fatores que influenciam sua compreensão.

Sendo assim, estudos utilizando o TCCL vão ao encontro da literatura ao sugerir que características intrínsecas ao texto desempenhem importante papel na compreensão de leitura. Especificamente em relação à técnica de Cloze, há evidências de que características específicas do tipo de item, isto é, do tipo de palavra omitida, também interferem na dificuldade para a compreensão da leitura (Trace, et al., 2017). Logo, ao construir e utilizar instrumentos com a técnica de Cloze, como no caso do TCCL, é importante analisar diferentes características textuais e das palavras omitidas, a fim de poder inferir, com maior precisão, quais são os processos cognitivos subjacentes ao desempenho na tarefa.

Porém, é fundamental compreender por que alguns grupos têm melhor desempenho no texto narrativo, enquanto outros têm melhor desempenho no expositivo. Segundo Amendum et al. (2018), a literatura aponta uma grande variedade de formas de análise textual, sendo útil a distinção entre os termos “complexidade textual” e “dificuldade textual”. A complexidade textual refere-se exclusivamente a propriedades do texto, independentemente de características do leitor ou da tarefa; enquanto o termo dificuldade textual refere-se a quão fácil ou difícil determinado texto é para o leitor. Deste modo, a complexidade textual é estabelecida relativamente a outros textos, e a dificuldade textual é relacionada ao leitor e, possivelmente, à tarefa.

Dentre as fórmulas desenvolvidas para medir complexidade textual, o índice Flesch, embora seja uma medida superficial, por se basear apenas no número de sílabas e de palavras por texto, merece destaque por ser o único tipo de métrica de legibilidade já adaptada para o português e por incorporar o conceito de níveis de complexidade textual relacionado ao nível escolar (Scarton & Aluísio, 2010). Há quatro faixas de dificuldades de leitura derivadas do índice Flesch, sendo que, quanto maior o índice, mais fácil o texto. Assim, os textos com índice entre 100 e 75 são classificados como muito fáceis; textos com índice entre 75 e 50 são classificados como fáceis; textos com índice entre 50 e 25 são classificados como difíceis; e textos com índice entre 25 e 0 são classificados como muito difíceis (Scarton & Aluísio, 2010).

Recentemente, outras ferramentas computadorizadas têm mensurado características textuais mais sofisticadas (Amendum et al., 2018), dentre as quais destaca-se o Coh-Metrix. Desenvolvido por pesquisadores de Memphis, o software integra diferentes recursos e ferramentas utilizadas na área de Processamento da Língua Natural (PLN) e calcula índices que avaliam coesão, coerência e dificuldade de compreensão de um texto, utilizando vários níveis de análise linguística: léxico, sintático, discursivo e conceitual (Graesser et al., 2011; Scarton & Aluísio, 2010). Uma das vantagens na utilização dessa ferramenta é o fato dela não oferecer apenas uma simples dimensão de dificuldade textual. Em vez disso, a ferramenta parte do pressuposto de que a dificuldade textual é inerentemente multidimensional (Graesser et al., 2011), o que lhe confere maior sensibilidade a diferentes nuances textuais (Graesser et al., 2014).

Para dar conta da complexidade envolvida nas métricas disponibilizadas pelo Coh-Metrix, Graesser et al. (2011) propuseram o modelo teórico multinível. Tal modelo integra as concepções de diferentes abordagens e modelos de leitura que se propõem a especificar vários níveis de representação ou componentes de processamento, identificando seis principais dimensões textuais que influenciam a compreensão. Sendo assim, a complexidade textual poderia ser avaliada no nível das palavras, sintaxe, base textual explícita, modelo situacional (às vezes chamado de modelo mental), gênero e estrutura retórica (para uma compreensão aprofundada, ver Graesser et al., 2014).

Ao compararem diferentes ferramentas de análise da complexidade textual, Nelson et al. (2012) observaram que dezenas de métricas oferecidas pelo Coh-Metrix tendem a se agrupar em cinco dimensões principais. Tais dimensões podem ser teoricamente definidas como: narratividade, simplicidade sintática, concretude das palavras, coesão referencial e coesão profunda (Nelson et al., 2012). A versão atualizada do software Coh-Metrix-TEA (Tex Easability Assessor) oferece medidas específicas referentes a estas cinco dimensões, das quais é derivada uma métrica geral, intitulada de formalidade (Graesser et al., 2014). Textos com maior índice de formalidade usualmente apresentam baixa narratividade, maior complexidade sintática, palavras mais abstratas e altas medidas de coesão, tanto referencial quanto profunda (Nelson et al., 2012).

Em geral, quanto maior o índice de formalidade de um texto, maior será a dificuldade para sua compreensão, de modo que diferentes níveis de formalidade seriam adequados para diferentes níveis de escolarização (Graesser et al., 2014). A versão do Coh-Metrix-Port ainda não dispõe de uma métrica específica intitulada formalidade. Porém, muitas medidas que compõem as cinco dimensões das quais derivam a métrica de formalidade do Coh-Metrix-TEA já estão disponíveis na versão do software para o português adaptado por Scarton e Aluísio (2010), atualmente disponível na versão 2.0.

Assim, é possível analisar as métricas de complexidade textual já oferecidas pelo Coh-Metrix-Port, com base no conceito de formalidade conforme proposto por Graesser et al. (2014), que inclui cinco principais dimensões teóricas (Nelson et al., 2012). Segundo estes estudos, a narratividade está relacionada ao modelo situacional. Em textos narrativos o modelo situacional inclui personagens, objetos, configurações espaciais, ações, eventos, processos, pensamentos e emoções dos personagens e outros detalhes relacionados à história. Em textos informativos, como no caso dos textos expositivos, o modelo situacional corresponde a um domínio de conhecimento específico que o texto descreve, o qual depende do conhecimento prévio do leitor para ser construído. A narratividade está intimamente relacionada à oralidade e, por isso, textos com menor narratividade tendem a ser mais complexos.

A complexidade sintática, segundo fator, refere-se à quantidade de palavras e à estruturação da sentença. Sentenças com poucas palavras e com estrutura mais familiar tendem a facilitar a compreensão. Já a concretude das palavras está relacionada ao conceito de ambiguidade das palavras, de modo que palavras mais concretas tendem a ser menos ambíguas, isto é, tendem a ter menos significados e por isso são capazes de evocar imagens mentais com maior facilidade. A coesão referencial diz respeito à sobreposição de palavras e ideias entre as sentenças e no texto como um todo. Um texto com alta coesão textual forma tópicos que conectam o texto base, explícito. Por último, a coesão profunda, quinto fator, diz respeito ao uso de conectivos de causalidade, intencionalidade entre outros que auxiliam o leitor a formar um entendimento mais coerente e profundo do texto no nível de modelo situacional causal.

Dado que questões inerentes ao texto desempenham importante papel na compreensão da leitura (Amendum et al., 2018), é de extrema importância tanto para uso clínico, escolar ou de pesquisa, compreender as características textuais dos textos narrativo e expositivo que compõem o TCCL. Deste modo, o presente estudo tem como objetivo principal analisar as características das palavras, da estrutura sintática e elementos referentes à coesão do TCCL_N e TCCL_E, comparando ambos os textos por meio do software Coh-Metrix. Espera-se que, ao compreender melhor tais aspectos, seja possível inferir, de maneira mais precisa, os processos e mecanismos cognitivos subjacentes ao desempenho em cada texto que compõem o instrumento. Adicionalmente, o estudo poderá contribuir com pesquisas que utilizem o Coh-Metrix-Port, sendo assim, procurou-se analisar o maior número de métricas disponíveis pelo software.

Método

Instrumento

O Teste Cloze de Compreensão de Leitura - TCCL (Brito et al., 2017) é dividido em duas partes. A primeira parte é composta por um texto de gênero narrativo, com 425 palavras e 62 itens, e a segunda por um texto de gênero expositivo, com 291 palavras e 43 itens. Os itens foram excluídos de cada parte de acordo com a técnica convencional proposta por Taylor (1953), segundo a qual o quinto vocábulo é omitido sistematicamente, independentemente de sua classe gramatical ou significado, e substituído por um traço sempre do mesmo tamanho. Abaixo de cada lacuna é apresentado um boxe onde são oferecidas quatro alternativas, sendo um vocábulo alvo, outro de sentido aproximado e outros dois distratores, em ordem aleatorizada. A tarefa do sujeito consiste em, após ter feito a leitura integral do texto, circular ou fazer um X em uma das quatro alternativas que melhor completar cada uma das lacunas. A fim de garantir a compreensão da tarefa e a emissão de respostas pelos sujeitos, o primeiro parágrafo de cada texto é aplicado como treino, de forma que são oferecidos oito itens de treino no texto narrativo e cinco no texto expositivo.

O teste é aplicado em folha de papel tamanho A4, cor branca. Os textos são apresentados escritos com fonte Arial, tamanho 11 e cor preta. As alternativas foram escritas com fonte Calibri, tamanho 10 e cor preta em boxes. Tais boxes estão numerados à direita, para facilitar a posterior correção, mas os números são discretos e em tamanho pequeno, a fim de evitar distração pelo examinando. O teste deve ser cronometrado para oferecer uma medida de tempo, relacionada à leitura silenciosa, contudo, não há limite de tempo para execução da tarefa.

A interpretação dos dados permite avaliar o grau de desvio entre o padrão de compreensão do estudante e o padrão de compreensão normal em relação ao ano escolar de referência. Ainda permite analisar, qualitativamente, se há ou não um padrão de erros, por exemplo, mais erros em relação aos itens derivados da omissão de palavras funcionais (artigos, preposições, pronomes, conjunções e interjeições) ou de palavras de conteúdo (advérbios, adjetivos, verbos e substantivos).

Procedimento

Os textos foram submetidos à análise computadorizada por meio do programa Coh-Metrix-Port 2.0, versão adaptada para o português brasileiro, disponível on-line, gratuitamente (http://143.107.183.175:22680/). A versão 2.0 do software utiliza 48 métricas que permitem a análise da coesão, da coerência e da dificuldade de compreensão de um texto, utilizando diversos níveis de análise linguística, lexical, sintático, discursivo e conceitual, por meio de diferentes recursos e ferramentas de PLN (Scarton & Aluísio, 2010). A ferramenta também apresenta breve descrição de como são calculadas cada uma das métricas, muitas das quais estão diretamente relacionadas a recursos e ferramentas de PLN já disponíveis para o português brasileiro e integradas na versão 2.0 do Coh-Metrix-Port. A seguir, são apresentadas as fórmulas das demais métricas selecionadas no Coh-Metrix-Port para análise do TCCL:

1. Índice Flesch: ILF = 248.84 - [1.02 x (Número de palavras por sentença)] - [84.6 x (Número de sílabas do texto / Número de palavras do texto)].

2. Contagens básicas: Número de palavras, média de sílabas por palavra de conteúdo (substantivos, verbos, adjetivos e advérbios), número de sentenças, média de palavras por sentença (número de palavras/número de sentenças), número de parágrafos, média de sentenças por parágrafo (número de sentenças/número de parágrafos), incidência de palavras de conteúdo (número de palavras de conteúdo/(número de palavras/1000)), incidência de substantivos (número de substantivos/(número de palavras/1000)), incidência de verbos (número de verbos/(número de palavras /1000)), incidência de substantivos (número de substantivos/(número de palavras/1000)), incidência de adjetivos (número de adjetivos/(número de palavras /1000)), incidência advérbios (número de advérbios/(número de palavras/1000)), incidência de pronomes (número de pronomes/(número de palavras/1000)), incidência de palavras funcionais (número de palavras funcionais/(número de palavras/1000)).

3. Frequências: Frequência de palavras de conteúdo (média de todas as frequências das palavras de conteúdo encontradas no texto), mínimo de frequências de palavras de conteúdo (após a identificação da palavra com a menor frequência dentre todas as palavras de conteúdo de uma sentença é calculada uma média de todas as frequências mínimas). O valor da frequência das palavras é obtido por meio da lista de frequências das palavras do corpus Banco de Português (Sardinha, 2007).

4. Constituintes: Palavras antes do verbo principal (média do número de palavras antes de verbos principais na cláusula principal da sentença).

5. Operadores lógicos (e, se, ou, negações): Incidência de todos os operadores lógicos que aparecem no texto (número de operadores lógicos/(número de palavras/1000)).

6. Conectivos: Incidência de todos os conectivos que aparecem no texto (número de conectivos/(número de palavras/1000)).

7. Hiperônimos: Soma-se o número de hiperônimos de cada verbo do texto e divide o total pelo número de verbos. Hiperônimos são palavras com sentido mais genérico relacionadas ao verbo, por exemplo, imaginar e conceber são hiperônimos de sonhar.

8. Ambiguidade: Ambiguidade de adjetivos (para cada adjetivo do texto soma-se o número de sentidos apresentados no Thesaurus para o português – TEP (Maziero et al., 2008) e divide o total pelo número de adjetivos), de advérbios (para cada advérbio do texto soma-se o número de sentidos apresentados no TEP e divide o total pelo número de advérbios), de substantivos (para cada advérbio do texto soma-se o número de sentidos apresentados no TEP e divide o total pelo número de substantivos), de verbos (para cada advérbio do texto soma-se o número de sentidos apresentados no TEP e divide o total pelo número de verbos).

9. Pronomes, tipos e tokens: Incidência de pronomes pessoais (número de pronomes pessoais/(número de palavras/1000)), média de palavras por sintagma nominal (média do número de pronomes que aparecem em um texto pelo número de sintagmas nominais), proporção de tipo e tokens (número de tipos do texto/número de tokens do texto - cada palavra de conteúdo é um tipo e a quantidade de vezes que esta palavra aparece no texto é um token).

10. Co-referência: Análise da proporção de sentenças que retomam a informação de sentenças anteriores (Mesquita, 2014): Sobreposição de argumento (proporção de todos os pares de sentenças que compartilham um ou mais substantivo, pronome ou sintagma nominal), sobreposição de palavras de conteúdo adjacente (proporção de sentenças adjacentes que compartilham palavras de conteúdo).

11. Anáforas: Referências anafóricas (proporção de palavras ou expressões que se referem a um constituinte, algo que já foi mencionado, presente em até cinco sentenças anteriores).

Resultados

Resultados da análise da complexidade textual do TCCL realizada por meio do Coh-Metrix-Port são apresentados na Tabela 1. Comparação das métricas entre texto narrativo e expositivo aponta que, das 13 medidas referentes às contagens básicas, o texto narrativo obteve maiores índices que o expositivo em oito delas: número de palavras, número de sentenças, número de parágrafos, incidência de verbos, incidência de advérbios, incidência de pronomes e incidência de palavras funcionais. Portanto, o texto expositivo obteve maiores índices que o narrativo apenas em cinco métricas de contagens básicas: média de sílabas por palavras de conteúdo, média de palavras por sentença, incidência de palavras de conteúdo, incidência de substantivos e incidência de adjetivos. Tal resultado é condizente com o índice Flesch (IF) de ambos os textos: expositivo (IF = 37.56) e narrativo (IF = 57.40), indicando maior complexidade do texto expositivo.

Tabela 1
Tabela 1

Análise da complexidade do texto narrativo e expositivo do TCCL por meio do índice Flesch e de métricas selecionados no Coh-Metrix-Port.

	Expositivo	Narrativo
Índice Flesch =	37.56	57.40
Contagens Básicas
Número de palavras	291	424
Média de sílabas por palavra de conteúdo	2.94	2.67
Número de sentenças	15	34
Média de palavras por sentença	19.40	12.47
Número de parágrafos	5	11
Média de sentenças por parágrafo	3.00	3.09
Incidência de palavras de conteúdo	601.38	599.06
Incidência de verbos	171.82	214.62
Incidência de substantivos	312.72	259.43
Incidência de adjetivos	54.98	51.89
Incidência de advérbios	61.86	73.11
Incidência de pronomes	68.73	87.26
Incidência de palavras funcionais	378.01	393.87
Frequências
Frequência de palavras de conteúdo	460757.13	225695.98
Mínimo de frequências de palavras de conteúdo	1077.27	8214.39
Constituintes
Palavras antes do verbo principal	4.20	2.29
Operadores Lógicos
Incidência de operadores lógicos	20.62	51.89
Conectivos
Incidência de conectivos	72.17	139.15
Hiperônimos
Média de hiperônimos por verbo	0.51	0.28
Ambiguidade
Ambiguidade de adjetivos	2.13	4.73
Ambiguidade de advérbios	1.85	2.96
Ambiguidade de substantivos	1.70	2.01
Ambiguidade de verbos	11.55	10.37
Pronomes. tipos e tokens
Incidência de pronomes pessoais	3.44	7.08
Média de pronomes por sintagma nominal	0.01	0.04
Proporção de tipo e tokens	0.63	0.59
Co-referência
Sobreposição de palavras de conteúdo adjacentes	0.59	0.26
Anáforas
Referências anafóricas	0.07	0.46

Em relação às medidas de frequência, conforme a Tabela 1, tanto o texto narrativo, quanto o dissertativo obtiveram altos valores para a métrica ‘frequência de palavras de conteúdo’. Isto indica que, em geral, ambos os textos utilizam palavras bastante frequentes. Contudo, o texto expositivo obteve índice de frequência de palavras maior que o texto narrativo. Já em relação à métrica de ‘mínimo de frequências de palavras de conteúdo’, o texto expositivo obteve índice menor, indicando que, considerando as palavras menos frequentes de ambos os textos, o texto expositivo alcança menor frequência do que o narrativo.

Concernente à métrica ‘palavras antes de verbo principal’, o texto expositivo apresenta maior índice que o narrativo. Já em relação à métrica ‘maior incidência de operadores lógicos’, o texto narrativo obteve maiores índices, indicando que apresenta mais palavras de negação (não, nem, nenhum, nenhuma, nada, nunca e jamais) e palavras .. O texto narrativo também obteve maior índice em relação à métrica ‘incidência de conectivos’.

Em relação à métrica ‘média de hiperônimos por verbo’, o índice do texto expositivo foi maior que o índice do narrativo, indicando que o texto expositivo utilizou mais frequentemente verbos que poderiam ser substituídos por outros verbos ou expressões ao longo do texto. Ao observar as métricas relacionadas à ‘ambiguidade’, percebe-se que o texto expositivo obteve maior índice apenas em relação à ambiguidade de verbos e que a ambiguidade de adjetivos, advérbios e substantivos foi maior no texto narrativo, indicando que, de modo geral, as palavras de conteúdo do texto narrativo possuem maior diversidade de sentidos.

No que diz respeito ao ‘número de pronomes, tipos e tokens’, o texto narrativo obteve maiores valores para a métrica incidência de pronomes pessoais e média de pronomes por sintagma. Já o texto expositivo obteve maiores índices para a métrica ‘proporção de tipo e token’, o que indica que as palavras de conteúdo se repetem menos nesse texto.

Em relação à métrica de ‘sobreposição de palavras de conteúdo em sentenças adjacentes’, o texto expositivo obteve maior índice que o narrativo, indicando que a proporção de sentenças que compartilham substantivos, verbos, adjetivos e advérbios é maior no expositivo. Por fim, em relação à métrica de ‘referências anafóricas’, o texto expositivo obteve menor índice que o narrativo, indicando que o narrativo apresenta maior proporção de referências anafóricas em relação à um constituinte presente em até cinco sentenças anteriores.

A descrição dos tipos de palavras omitidas que derivaram os itens dos textos narrativo e expositivo foi realizada pelos autores do artigo e é apresentada na Tabela 2. No geral, a maior parte dos itens do TCCL foram derivados de palavras de conteúdo, representando 80.6% dos itens do texto narrativo e 81.4% dos itens do texto expositivo. Já o texto narrativo apresentou maior proporção de omissão de verbos e substantivos, enquanto o expositivo, de advérbios e substantivos. Em relação às palavras funcionais, 11.3% dos itens do texto narrativo foram formados a partir da omissão de artigos, preposições e pronomes e 18.6% dos itens do texto expositivo foram formados a partir da omissão de artigos, preposições, pronomes e conjunções.

Como pode ser observado, o texto narrativo tem mais itens que o texto expositivo. Contudo, percentualmente, o tipo de palavra omitida nos dois textos é equivalente.

Tabela 2
Tabela 2

Tipos de itens (palavras omitidas) do texto narrativo e expositivo do TCCL de acordo com o Coh-Metrix-Port

	Narrativo			Expositivo
	N	%		N	%
Palavras de conteúdo
advérbios	6	9.68		7	16.28
adjetivos	2	3.23		5	11.63
verbos	18	29.03		10	23.26
substantivos	24	38.71		13	30.23
Total de palavras de conteúdo	50	80.65		35	81.40
Operadores lógicos: e	2	3.23
Palavras Funcionais
artigos	2	3.23		2	4.65
preposições	3	4.84		4	9.30
pronomes	2	3.22		1	2.33
conjunções				1	2.33
interjeições
Total de palavras funcionais	7	11.30		8	18.60
Outros: Contrações	3	4.83
Total de itens	62	100		43	100

Discussão

Nesse artigo, por meio do programa Coh-Metrix-Port, foi feita uma análise das características dos textos narrativo e expositivo que compõem o TCCL. Partindo de um conceito dimensional de formalidade, considera-se que textos narrativos e expositivos estão em extremos opostos (Graesser et al., 2014); neste sentido, conforme esperado, os resultados revelaram que, em geral, o TCCL_E apresentou índices que indicam se tratar de um texto mais formal, conferindo-lhe maior complexidade textual que o TCCL_N.

Tais resultados são condizentes com o fato do TCCL_E ter obtido índice Flesch menor que o TCCL_N, indicando que, apesar do TCCL_E apresentar menor número total de palavras, apresenta maior complexidade textual que o TCCL_N. De fato, as medidas nas quais se baseiam o índice Flesch, ‘média de palavras por sentença’ (que indica o tamanho das sentenças) e ‘média de sílabas por palavra de conteúdo’ (que indica o tamanho das palavras) indicaram, conforme apresentado na Tabela 1, que o TCCL_E possui sentenças e palavras maiores que o TCCL_N, conferindo um índice Flesch menor ao TCCL_E, que indica maior dificuldade (Scarton & Aluísio, 2010). Com efeito, outros estudos também apontam que o tamanho e a frequência das palavras estão mais relacionadas à dificuldade que ao tamanho do texto em si (Trace et al., 2017).

Em termos de classificação de dificuldade relacionada ao ano escolar, o índice Flesch de 57.40 do TCCL_N indica se tratar de um texto fácil e seria indicado para alunos até o sétimo ano do EF. Já o índice Flesch de 37.56 do TCCL_E indica se tratar de um texto difícil e seria mais indicado para alunos a partir do Ensino Médio (Scarton & Aluísio, 2010). De fato, estudo prévio apontou que o TCCL_N é mais eficaz para diferenciar o desempenho em compreensão entre estudantes ao final do primeiro ciclo do EF (4º e 5º ano), enquanto que o TCCL_E é mais discriminativo entre os estudantes do segundo ciclo do EF (5° ao 9º ano) (Brito et al., 2021).

Outras medidas obtidas por meio do Coh-Metrix-Port também indicam maior formalidade e, consequentemente, maior complexidade do TCCL_E em relação ao TCCL_N. Por exemplo, o valor mínimo de frequências de palavras de conteúdo. Segundo a documentação do Coh-Metrix-Port, essa métrica avalia, sentença a sentença, as palavras mais raras do texto (Scarton & Aluísio, 2010). O menor índice obtido pelo TCCL_E nessa métrica indica que o texto expositivo possui palavras mais raras que o TCCL_N. Isso sugere haver uma maior demanda lexical, morfológica e de uso do conhecimento prévio (Graesser et al., 2014).

No que tange à complexidade sintática, o TCCL_E apresentou parágrafos e sentenças maiores, além de maior índice para a métrica ‘número de palavras antes do verbo principal’, fatores que, segundo a documentação do Coh-Metrix, aumentam a demanda por memória de trabalho relacionada à manutenção de informação relativa ao sujeito, quando do processamento do verbo. Resultados de estudos experimentais apontam que quanto maior for a sequência de palavras antes de verbos principais, maior o custo em termos do processamento da leitura (Mesquita, 2014). Outro fator que tende a aumentar a complexidade sintática diz respeito à métrica que mede a incidência de operadores lógicos e conectivos, para a qual o TCCL_E obteve menores índices, indicando que a estrutura sintática do TCCL_E é mais complexa que a do TCCL_N, resultado condizente com o gênero textual de ambas as partes do teste.

Já em relação à coesão textual, de acordo com evidências que sugerem que textos expositivos tendem a apresentar maior coesão do que textos narrativos (Nelson et al., 2012), verificou-se que o TCCL_E apresentou maior índice obtido na métrica de hiperônimos, indicando que o texto contém verbos mais específicos, com maior possibilidade de serem substituídos por outras palavras ou expressões mais genéricas. Além disso, o TCCL_E apresentou maiores índices em relação à métrica de proporção de tipo e tokens, que mede a proporção de sentenças que compartilham substantivos, verbos, adjetivos e advérbios, indicando haver maior sobreposição de argumentos entre as sentenças no TCCL_E, característica que também contribui para maior coesão textual. Índices mais elevados neste tipo de métrica podem ser tomados como facilitadores da leitura, pois, em princípio, quando há sobreposição de argumentos, a informação é retomada, facilitando a manutenção da referência e o processo de progressão temática (Mesquita, 2014).

Por outro lado, o TCCL_N apresentou maiores índices referentes ao uso de pronomes e de expressões anafóricas, o que contribui para menor coesão textual, pois pode dificultar que o leitor identifique a quem ou a que o texto se refere. Imprecisões na compreensão desses elementos podem causar rupturas em nível local, capazes de interferir no entendimento global do texto, em especial em relação a leitores menos proficientes (Mesquita, 2014). Normalmente, quanto menos coeso, mais difícil a compreensão do texto, porém, tratando-se de textos narrativos, inferências baseadas no conhecimento geral de mundo costumam ser suficientes para compensar a menor coesão textual (Graesser et al., 2014).

Sendo assim, com base na análise das diferentes métricas do Coh-Metrix-Port 2.0 utilizadas no presente estudo, observou-se que, de modo geral, tanto TCCL_N quanto TCCL_E obtiveram índices condizentes com o gênero textual de cada texto, apontando, conforme o esperado, para maior formalidade do TCCL_E que do TCCL_N. Tal resultado vai ao encontro do apontado na literatura, que sugere que textos expositivos tendem a ser mais difíceis que textos narrativos (Best et al., 2008).

Contudo, este estudo reforça a necessidade de distinção entre complexidade e dificuldade textual (Amendum et al., 2018). Conforme descrito na Introdução, como pôde ser observado nos resultados dos estudos envolvendo o TCCL e diferentes grupos clínicos (Ribeiro et al., 2021), a dificuldade para compreensão de determinado texto está relacionada a múltiplos fatores, incluindo complexidade textual, mas também características próprias do leitor (Amendum et al., 2018). A distinção entre complexidade e dificuldade textual, portanto, deve ser considerada nos âmbitos educacional e clínico, visto que as características do texto, apesar de essenciais, não são suficientes para determinar sua dificuldade.

Deve-se considerar, ainda, que o tipo de tarefa pela qual será aferida a compreensão do texto também pode determinar a sua dificuldade. De fato, Brown (2002) observou que estudos com testes Cloze desenvolvidos com o mesmo texto, mas cujos itens foram derivados a partir de diferentes critérios de exclusão de palavras, obtiveram medidas de compreensão diferentes entre si. Porém, cabe destacar que, embora o TCCL_N apresente maior quantidade de palavras e consequentemente de itens do que o TCCL_E, o percentual de palavras de conteúdo e de palavras funcionais omitidas para a derivação dos itens em cada um dos textos foi bastante semelhante. Isso pode sugerir que, no caso do TCCL, a dificuldade na execução de cada tarefa está mais relacionada às características dos textos do que dos itens que os compõem. Contudo, uma das limitações do estudo foi não ter investigado detalhadamente as características dos itens e sua contribuição para a complexidade de cada tarefa. Sugere-se ainda que, em estudos futuros, o TCCL seja aplicado a diferentes tipos de leitores e os resultados obtidos possam ser analisados à luz das métricas aqui obtidas, de modo a verificar quais características dos textos relacionam-se aos perfis de desempenho.

Conclusão

O estudo apresentou uma importante evidência de validade de conteúdo do TCCL, o que pode contribuir para o uso clínico, escolar e de pesquisa do instrumento, auxiliando na compreensão das habilidades e mecanismos cognitivos subjacentes ao desempenho em cada parte do TCCL. Adicionalmente, diante da carência de estudos com Coh-Metrix-Port, esse estudo poderá ser usado como um exemplo do uso dessa ferramenta na busca por evidências de validade de testes em formato Cloze.

Conforme as métricas obtidas por meio do Coh-Metrix-Port 2.0, como esperado, o TCCL_E apresentou menor narratividade, uso de palavras menos frequentes, estrutura sintática mais complexa e maiores medidas de coesão textual que o texto narrativo, indicando se tratar de um texto mais formal que o TCCL_N. Deste modo é possível inferir que o TCCL_E é mais complexo que o TCCL_N, sugerindo que possivelmente os leitores, em geral, poderão ter maior dificuldade para compreender o TCCL_E, apresentando melhor desempenho no TCCL_N.

De fato, de acordo com os índices Flesch, o TCCL_E foi classificado como sendo um texto difícil, indicado para leitores com maior escolaridade, e o TCCL_N como sendo um texto fácil, indicado para leitores com menor escolaridade. Portanto, os resultados desse estudo são relevantes para a avaliação de alunos em diferentes níveis escolares. Contudo, o atual estudo reforça a importância de distinguir entre os conceitos de complexidade e dificuldade textual. Conforme observado por meio dos estudos com diferentes grupos clínicos, independentemente da complexidade textual, a dificuldade de leitura está relacionada às características individuais, de modo que o mesmo texto pode ser difícil de ser compreendido por um leitor e não por outro.

Sendo assim, destaca-se que a análise realizada por meio do Coh-Metrix-Port 2.0 permitiu a verificação de diferentes nuances textuais entre o TCCL_N e o TCCL_E e como tais aspectos podem se relacionar com diferentes características individuais do leitor. Espera-se que, além de possibilitar um melhor uso escolar, clínico e de pesquisa do TCCL, este estudo contribua para um maior conhecimento das potencialidades da plataforma Coh-Metrix-Port.

Além disso, embora a técnica Cloze seja bastante utilizada tanto em pesquisa quanto no âmbito escolar por ser de fácil desenvolvimento e aplicação, esse estudo ressalta que esta forma de avaliação requer cuidado tanto na seleção do tipo de texto, quanto na formação dos itens. Espera-se que este artigo, além de contribuir com evidências de validade para o TCCL, possa auxiliar professores, clínicos e pesquisadores a compreenderem a importância das características dos textos para a análise de sua complexidade, bem como considerarem a diferenciação entre complexidade e dificuldade textual na escolha de textos voltados a leitores e contextos específicos.

Referências

AMENDUM, Steven; CONRADI, Kristin; & HIEBERT, Elfrieda (2018). Does text complexity matter in the elementary grades? A research synthesis of text difficulty and elementary students’ reading fluency and comprehension. Educational Psychology Review, 30(1), 121–151. https://doi.org/10.1007/s10648-017-9398-2

BEST, Rachel; FLOYD, Randy; & MCNAMARA, Danielle (2008). Differential competencies contributing to children’s comprehension of narrative and expository texts. Reading Psychology, 29(2), 137–164. https://doi.org/10.1080/02702710801963951

BRANCO, Carolina; & SEABRA, Alessandra (2018). Avaliação dos componentes de leitura em alunos com dislexia e TDAH do ensino fundamental II. [Artigo em Conferência]. Jornada de Iniciação Científica e Mostra de Iniciação Tecnológica. São Paulo, SP, Brasil. Disponível em: http://eventoscopq.mackenzie.br/index.php/jornada/xivjornada/schedConf/presentations

BRITO, Gabriel (2017). Adaptação, desenvolvimento e evidências de validade e precisão de instrumentos de avaliação dos componentes de leitura no Ensino Fundamental II [Dissertação de Doutorado, Universidade Presbiteriana Mackenzie]. Adelpha Repositório Digital. https://dspace.mackenzie.br/handle/10899/22712

BRITO, Gabriel; RIBEIRO, Camila; & SEABRA, Alessandra (2021). Evidência de validade por relação com série escolar do Teste Cloze de Compreensão de Leitura (TCCL). [Resumo em Anais]. IV IBNequinho e IX Mostra Carioca de Neuropsicologia Clínica, Rio de Janeiro.

BROWN, James (2002). Do cloze tests work? Or is it just an illusion? Second Language Studies, 21(1), 79-125. http://hdl.handle.net/10125/40654

COLLINS, Alyson; LINDSTRÖM, Esther; & COMPTON, Donald (2018). Comparing students with and without reading difficulties on reading comprehension assessments: A meta-analysis. Journal of Learning Disabilities, 51(2), 108–123. https://doi.org/10.1177/0022219417704636

GRAESSER, Arthur; MCNAMARA, Danielle; CAI, Zhiqang; CONLEY, Mark; LI, Haiying; & PENNEBAKER, James (2014). Coh-Metrix measures text characteristics at multiple levels of language and discourse. The Elementary School Journal, 115(2), 210–229. https://doi.org/10.1086/678293

GRAESSER, Arthur; MCNAMARA, Danielle; & KULIKOWICH, Jonna (2011). Coh-Metrix. Providing multilevel analyses of text characteristics. Educational Researcher, 40(5), 223–234. https://doi.org/10.3102/0013189x11413260

INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (2019). Relatório SAEB 2017. Inep. https://www.gov.br/inep/pt-br/centrais-de-conteudo/acervo-linha-editorial/publicacoes-institucionais/avaliacoes-e-exames-da-educacao-basica/relatorio-saeb-2017

MAZIERO, Erick G.; PARDO, Thiago A. S.; DI FELIPPO, Ariani; & DIAS-DA-SILVA, Bento C. (2008). A base de dados lexical e a interface web do TeP 2.0: thesaurus electrônico para o Português do Brasil. Em VI Workshop em Tecnologia da Informação e da Linguagem Humana (TIL), pp. 390-392. Disponível em: https://www.researchgate.net/publication/228656191_A_base_de_dados_lexical_e_a_interface_web_do_Tep_20_thesaurus_electronico_para_o_Portugues_do_Brasil

MESQUITA, Nely (2014). Análise de inteligibilidade de material didático para Educação de Jovens e Adultos (EJA): compreensão leitora avaliada pelo Coh-Metrix-Port. Pesquisas em Discurso Pedagógico, 2014(Especial), 1-14. https://doi.org/10.17771/pucrio.pdpe.23477

MINISTÉRIO DA EDUCAÇÃO (2020). Relatório Nacional de Alfabetização Baseada em Evidências (RENABE). Secretaria de Alfabetização – Sealf, Brasília.

NELSON, Jessica; PERFETTI, Charles; LIBEN, David; & LIBEN, Meredith (2012). Measures of text difficulty: testing their predictive value for grade levels and student performance. Council of Chief State School Officers, Washington, DC.

NUNES, Débora; & WALTER, Elizabeth (2016). Processos de leitura em educandos com autismo: um estudo de revisão. Revista Brasileira de Educação Especial, 22(4), 619–632. https://doi.org/10.1590/s1413-65382216000400011

RIBEIRO, Camila; MECCA, Tatiana; BRITO, Gabriel; & SEABRA, Alessandra (2021). Reconhecimento de Palavras, Fluência e Compreensão de Leitura em Alunos com Transtorno do Espectro Autista. Revista Brasileira de Educação Especial, 27(e0050), 919-934. https://doi.org/10.1590/1980-54702021v27e0050

SARDINHA, Tony (2007). History and compilation of a large register diversified corpus of Portuguese at CEPRIL. The Especialist, 28(2), 211-225. Disponível em: https://revistas.pucsp.br/index.php/esp/issue/view/428

SCARTON, Carolina; & ALUÍSIO, Sandra (2010). Análise da inteligibilidade de textos via ferramentas de Processamento de Língua Natural: adaptando as métricas do Coh-Metrix para o Português. Linguamática, 2(1), 45–61. https://linguamatica.com/index.php/linguamatica/article/view/44

SPINILLO, Alina; & ALMEIDA, Denise (2014). Compreendendo textos narrativo e argumentativo: há diferenças? ArquivosBrasileiros de Psicologia, 66(3), 115–132. https://www.redalyc.org/articulo.oa?id=229035339010

TAYLOR, Wilson (1953). “Cloze procedure”: A New tool for measuring readability. Journalism Quarterly, 30(4), 415–433. https://doi.org/10.1177/107769905303000401

TEIXEIRA, Carlos; & CORREIA, Alda (2017). A aprendizagem da leitura: o desenvolvimento da compreensão leitora. Revista de Estudios e Investigación en Psicología y Educación, (6), 313-318. https://doi.org/10.17979/reipe.2017.0.06.2722

TRACE, Jonathan; JAMES, Dean; JANSSEN, Gerriet; & KOZHEVNIKOVA, Liudmila (2017). Determining cloze item difficulty from item and passage characteristics across different learner backgrounds. Language Testing, 34(2), 151–174. https://doi.org/10.1177/0265532215623581

VIEIRA, Daiana; FRISON, Lourdes; & SIMÃO, Ana Margarida (2015). Aprendizagem autorregulada: estratégias de compreensão leitora. Revista de Estudios e Investigación en Psicología y Educación, (1), 072-077. https://doi.org/10.17979/reipe.2015.0.01.392

Notas de autor