Construindo um Teste de Capacidade de Leitura Autoaplicável com apresentação aleatória de estímulos

Création d'un test de portée de lecture auto-administrable avec présentation de stimuli aléatoires

Construcción de una prueba de lectura autoadministrable con presentación de estímulos aleatorios

Building a Self-Administrable Reading Span Test with Random Stimuli Presentation

Na busca por modelar a cognição humana, um construto de grande importância é a memória de trabalho (Baddeley & Hitch, 1974), sistema responsável pelo armazenamento temporário e processamento simultâneo de informações provenientes de estímulos internos e externos (Baddeley, 2012; Cowan, 1999; Miyake & Shah, 1999). Um consenso existente a respeito do sistema é sua limitação multifacetada (ver Miyake & Shah, 1999, p. 447-448). Tal limitação varia entre indivíduos e os esforços de muitas pesquisas na área têm sido em explorar, analisar e explicar como tal variação relaciona-se com variações de desempenho em diversas tarefas que envolvem processos cognitivos complexos, como a leitura (ver meta-análises Daneman & Merikle, 1996; Linck, Osthus, Koeth, & Bunting, 2014). Esse tipo de investigação envolve o uso de instrumentos que possam medir a capacidade de memória de trabalho (MT) e, dada a natureza multifacetada de suas limitações e o caráter multimodal do sistema (Baddeley & Logie, 1999; ver também Miyake & Shah, 1999, p. 448-449), é necessário a escolha de instrumentos apropriados que deem conta de medir as diferenças individuais de acordo com os processos específicos da tarefa cognitiva em questão. Se tratando da leitura, um instrumento de mensuração da capacidade da MT é o Teste de Capacidade de Leitura (Reading Span Test) desenvolvido por Daneman e Carpenter (1980), que mede a capacidade do(a) leitor(a) de recordar palavras-alvo enquanto processa sentenças.

O Teste de Capacidade de Leitura (TCL) de Daneman e Carpenter consiste, resumidamente, na leitura em voz alta de sessenta sentenças, mostradas uma a uma. A cada sentença, o(a) participante deve tentar reter a última palavra. As sentenças são organizadas em conjuntos e ao final de cada conjunto é solicitado que o(a) participante recorde as palavras finais das sentenças na ordem em que foram apresentadas. A capacidade de memória de trabalho é considerada pelo nível em que o(a) participante falha em recordar corretamente as palavras ou pelo número total de palavras recordadas corretamente. Uma explicação mais detalhada do teste é dada na seção de método do artigo.

Além de sua versão original em inglês, existem versões do TCL em diversas línguas, como alemão (Carroll et al., 2015; Van Den Noort, Bosch, Haverkort, & Hugdahl, 2008), holandês (Keijzer, 2013; Van Den Noort et al., 2008), norueguês (Van Den Noort et al., 2008), e, mais relevante para o presente estudo, a versão construída por Tomitch (2003) para o português brasileiro, com base no original de Daneman e Carpenter (1980), assim como suas adaptações posteriores que substituíram a apresentação das sentenças em cartões impressos por apresentações em slides com projetor multimídia (Bailer, 2011), e em apresentações em forma de aplicativo web (Oliveira, 2016). Esses três últimos estudos citados utilizaram o TCL na investigação de possíveis correlações entre a capacidade de memória de trabalho e três outras variáveis: a percepção de organização textual durante a leitura (Tomitch, 2003), a atenção à forma e ao sentido durante a leitura em inglês como língua estrangeira (Bailer, 2011) e a proficiência de leitura em inglês como língua estrangeira (Oliveira, 2016). Resultados dos três estudos mostram correlações estatisticamente significativas entre pontuações do TCL e as variáveis investigadas.

Apesar do sucesso do teste em medir diferenças individuais na capacidade de MT durante a leitura (Bailer, Tomitch, & D’ely, 2013; Oliveira, 2016; Procailo, 2017; Roscioli, 2017; Tomitch, 2003; Woelfer, 2016), algumas limitações podem ser identificadas se desenhos de pesquisa específicos forem considerados. A leitura em voz alta, utilizada para assegurar que o(a) participante leia a sentença completamente e não apenas a palavra a ser recordada, impossibilita a aplicação do teste para mais de um(a) participante simultaneamente no mesmo local pelo(a) mesmo(a) pesquisador(a), o que pode inviabilizar a aplicação do teste para grandes quantidades de participantes num curto espaço de tempo, estratégia muitas vezes necessária para assegurar resultados estatísticos confiáveis. Além disso, o uso de sentenças iguais sempre na mesma ordem pode ser um problema para pesquisas que necessitem de aplicações subsequentes do teste, a exemplo de estudos sobre treinamento de MT (Foster et al., 2017) e estudos longitudinais, que precisam evitar o efeito de retestagem (ver Scharfen et al., 2018).

O presente artigo relata uma proposta de versão do TCL que tenta reduzir as limitações do teste original. O Teste de Capacidade de Leitura Autoaplicável (TCL-A) tem características semelhantes à versão de Daneman e Carpenter (1980) com as seguintes principais diferenças: assim como o teste usado em Oliveira (2016), o TCL-A foi programado com a linguagem de programação Javascript, com uso da biblioteca jsPsych (de Leeuw, 2015), o que faz com que ele possa ser executado em qualquer navegador web e possa, inclusive, ser disponibilizado online, além de possibilitar o registro preciso de tempos de leitura (de Leeuw & Motz, 2016; Pinet et al., 2017; Reimers & Stewart, 2015); ao invés de utilizar sempre as mesmas sessenta sentenças, a cada vez que é executado o teste seleciona aleatoriamente 60 sentenças de um conjunto de 180, possibilitando a construção de testes diferentes a cada aplicação; a cada vez que é executado o teste ordena as sentenças em ordem aleatória de forma a assegurar que, em caso de retestagem, aplicações subsequentes do teste tenham uma probabilidade muito pequena¹ de serem iguais à primeira aplicação e; para remover a necessidade de leitura em voz alta, o teste é programado de forma que, a cada sentença, o(a) participante deve fazer uma tarefa deescolha lexical, ou seja,

Os resultados aqui relatados são provenientes de um estudo piloto exploratório que, mais do que testar hipóteses, objetivou gerar hipóteses a serem testadas futuramente e propor um desenho metodológico que pode ser seguido em estudos posteriores. Apesar disso, o presente estudo foi guiado por uma hipótese inicial, formulada antes do levantamento de dados, de que as medidas provenientes do Teste de Capacidade de Leitura (TCL) correlacionam-se positivamente com as medidas provenientes do Teste de Capacidade de Leitura Autoaplicável (TCL-A, Hipótese 1). Durante o levantamento de dados, foi levantada a hipótese de que a leitura silenciosa no TCL-A resulta em menor carga cognitiva, evidenciada pelo maior número de palavras recordadas em comparação com o TCL (Hipótese 2). Por fim, após levantamento de dados, quatro hipóteses adicionais foram criadas, relacionadas a características das sentenças e das palavras finais (palavras- alvo) utilizadas no teste. Foram elas: o tamanho da sentença é um bom preditor da probabilidade de recordação da palavra- alvo (Hipótese 3); o tamanho da palavra-alvo é um bom preditor de sua probabilidade de recordação (Hipótese 4); a posição da palavra-alvo no nível é uma boa preditora de sua probabilidade de recordação (Hipótese 5) e; a posição da palavra-alvo no teste é uma boa preditora de sua probabilidade de recordação (Hipótese 6)². Tais hipóteses são exploradas, mesmo considerando-se todas as limitações de um estudo piloto exploratório, como forma a guiar investigações futuras.

Apesar de o TCL objetivar medir a capacidade da MT, ao se considerar a natureza modular do sistema e suas múltiplas fontes possíveis de limitações, como já mencionado, é válido questionar o quê, de fato, o TCL mede. Nesse sentido, é preciso entender melhor as limitações do sistema e os efeitos de tais limitações no processo de leitura. Miyake e Shah (1999, p. 421) apontam que diferentes modelos de MT pressupõem como fontes de limitações o decaimento de informações, a eficiência no controle de atenção ou a falta de controle dos processos de inibição (Engle, 2018), a capacidade de ativação total disponível (Just & Carpenter, 1992), a eficiência ou velocidade de processamento (Daneman & Carpenter, 1980), os processos de codificação ou recuperação afetados por falta de conhecimento ou habilidade, as interferências advindas do efeito de similaridade (Baddeley & Logie, 1999) e a interação entre componentes e subsistemas. A leitura, a partir da perspectiva do processamento da linguagem, pode ser compreendida como um conjunto de processos cognitivos que, executados de modo eficiente, possibilitam ao leitor a construção de uma representação mental do texto lido (Kintsch & van Dijk, 1978; Linderholm & van den Broek, 2002; Rumelhart, 1977, 2013; Rumelhart & McClelland, 1981; Samuels & Kamil, 1984, 1998; van den Broek, Young, Tzeng, & Linderholm, 1999). Diferenças individuais em capacidade probabilidade de um teste ser igual ao aplicado anteriormente aproximadamente igual a 3,330 × 10⁻¹³¹. Uma discussão detalhada sobre os fatores que devem ser 180! ,aproximadamente 3,00 × 10¹³⁰, comconsiderados na construção de um TCL pode ser (180−60)! encontrada em Tomitch (no prelo).de MT tendem a estar associadas a diferenças individuais no desempenho da leitura já que tal capacidade determina a quantidade de elementos textuais que podem ser mentalmente integrados em um dado momento, bem como a agregação dessa integração com informações recuperadas da memória de longo prazo (Just & Carpenter, 1980).

Modelos da MT concordam com a limitação do sistema, mas diferem em relação às fontes de limitação. Com base no Modelo Multicomponente proposto por Baddeley e Hitch (1974) e posteriormente revisado por Baddeley (1992, 2000, 2003, 2012), Baddeley, Gathercole e Papagno (1998) e Baddeley e Logie (1999), a capacidade de MT pode ser compreendida como o resultado das interações dos componentes do sistema, a saber, o Executivo Central, componente atencional de controle, a Alça Fonológica, que processa informações de natureza fonológica, o Esboço Visual- Espacial, que processa informações de natureza visual, espacial e possivelmente cinestésicas e o Buffer Episódico, componente de armazenamento de episódios, ou agrupamentos de informações que podem ser de natureza multimodal. Pressupõe-se que a soma das possíveis interações entre os componentes e as diferentes limitações resulta em diferenças individuais mensuráveis. Seguindo essa lógica, e com base em considerações recentes (Baddeley, 2017), diferenças individuais no montante de recursos disponíveis ao Executivo Central, à Alça Fonológica, e ao Buffer Episódico para executar suas funções podem teoricamente explicar possíveis variações no desempenho no TCL e, consequentemente, no TCL-A.

Outro modelo de MT bastante citado em estudos sobre o processamento da linguagem, o Modelo dos Processos Embutidos (The Embedded-Processes Model of Working Memory) proposto por Cowan (1988, 1993, 1999, 2008, 2015), conceitua a MT como um conjunto de informações que, devido ao seu nível de ativação, se encontra acessível para o cumprimento de tarefas cognitivas (Adams, Nguyen, & Cowan, 2018; Cowan, 1999, 2014, 2017). Segundo esse modelo, o controle e regulação da MT é voluntariamente coordenado por um Executivo Central, porém difere do Modelo Multicomponente ao não propor módulos adicionais. Nesse modelo, os itens presentes na MT são compreendidos simplesmente como informações da Memória de Longo Prazo (MLP) que, de forma análoga, se encontram em estado de ativação (Cowan, 1999, 2008, 2014). O modelo define ainda que a MT possui capacidade limitada quanto à quantidade de informações que podem ser mantidas no foco da atenção, e quanto à duração da ativação das informações presentes no subconjunto ativado da MLP (Cowan, 2008, 2014).

No que se refere ao processamento da linguagem, Cowan (2010, 2014) explica que a compreensão de sentenças enunciadas oralmente demanda que informações sobre protagonistas, ações e características de objetos se mantenham ativadas simultaneamente para que um todo coerente e significativo possa ser construído pelo ouvinte. É possível assumir que um processo similar ocorre durante a leitura. Mesmo tendo o leitor, em comparação ao ouvinte, um comando maior sobre o processamento dos elementos do insumo verbal (Just & Carpenter, 1980), é possível assumir que as limitações do foco da atenção para abrigar as informações essenciais para a compreensão de sentenças escritas pode comprometer o desempenho dos indivíduos no cumprimento da tarefa de escolha lexical exigida pelo TCL-A. Prevê-se que o êxito no cumprimento de tal tarefa depende do acesso consciente do indivíduo aos elementos que compõem as sentenças para formar o todo coerente. Possíveis falhas na realização dessa tarefa podem também ser explicadas pela forte atuação do campo semântico na percepção lexical dos indivíduos (Rumelhart, 2013). A não agregação dos elementos essenciais no foco da atenção para construir esse campo semântico pode comprometer a percepção lexical, e por consequência, a escolha lexical. Além desses aspectos, a possibilidade de intrusão de informações irrelevantes no foco da atenção, especialmente aquelas com carga emocional (Cowan, 2015), pode também afetar a tarefa de escolha lexical. Essa intrusão, por competir por ativação no foco da atenção, pode pôr em risco a construção do campo semântico das sentenças, já que compete com o insumo verbal que precisa ser processado. Além disso, o decaimento de informações na porção ativada da MLP pode interferir na tarefa de recuperação das palavras finais após a leitura de cada conjunto de sentenças. Desse modo, e de acordo com as premissas desse modelo, diferenças entre os escores obtidos no teste podem ser interpretadas como diferenças individuais de capacidade de memória de trabalho (MT).

Por fim, o Modelo de Controle Atencional (Controlled Attention Model, Engle, 2018; Engle, Kane, & Tuholski, 1999; Heitz, Unsworth, & Engle, 2005), por sua vez, propõe que a MT é um sistema unitário composto por representações mentais de diversos formatos que, recuperadas da MLP, se encontram em estado de ativação acima do limiar. Além disso, o modelo define que o sistema é composto por mecanismos que executam e mantêm essa ativação, e por um controle atencional limitado (i.e., processos envolvendo controle cognitivo de recursos atencionais). Segundo Shipstead, Harrison e Engle (2016), esse controle atua na alocação de recursos atencionais que garantem o estado ativo e, portanto, a acessibilidade a informações relevantes para a tarefa sob execução. O modelo propõe ainda que diferenças individuais de capacidade de MT primariamente refletem diferenças individuais de controle atencional (Engle, 2018; Engle et al., 1999; Hambrick & Engle, 2002; Rosen & Engle, 1998). Essas diferenças, segundo o modelo, são especialmente observáveis em situações em que o objetivo da tarefa sob execução bem como as informações a ela inerentes competem com informações irrelevantes pelo foco da atenção (i.e., emoções e pensamentos intrusivos e eventos externos distrativos etc.) (Heitz et al., 2005). Além disso, o modelo prevê que o controle atencional é de livre domínio, ou seja, atua na manutenção ativa de toda e qualquer representação mental independentemente de seu formato (Engle, 2018), o que pode explicar as razões pelas quais a capacidade de MT é comumente associada às limitações na execução de uma larga variedade de tarefas cotidianas. Com base nos princípios desse modelo, é possível prever que o TCL, assim como o TCL-A, por impor ao mecanismo de controle atencional altas demandas de processamento, limite a quantidade residual de recursos para a manutenção de informações. Ou seja, o componente de processamento do teste que envolve a leitura, a compreensão e, no caso do TCL-A, a tarefa de escolha lexical pode taxar o mecanismo de controle atencional ao ponto de fazer com que as palavras a serem recordadas ao fim de cada conjunto de sentenças sejam esquecidas por falta de ativação.

Em resumo, o TCL-A proposto no presente artigo objetiva medir diferenças individuais na capacidade de MT através da leitura silenciosa e escolha lexical, ou seja, escolha da palavra-final mais apropriada para completar o sentido da frase lida, e, simultaneamente, da recordação das palavras- finais escolhidas (palavras-alvo). Pressupõe-se que o teste envolva processos cognitivos semelhantes aos envolvidos em tarefas de leitura em situações comuns do dia a dia e que a medida represente diferenças individuais das interações das várias fontes de limitações de capacidade da MT. Por fim, o teste pode ser aplicado em grupos, sendo recomendado apenas a observação pelo(a) pesquisador(a) ou supervisor(a) de modo a evitar fatores que interfiram na medida, como anotações feitas pelo participante. A próxima seção detalha as etapas seguidas tanto no desenvolvimento do instrumento quanto na análise preliminar de sua validade.

O estudo piloto envolveu o desenvolvimento do TCL- A, sua aplicação com participantes que também realizaram o TCL, a comparação das pontuações provenientes dos dois testes e adaptações propostas com base nos resultados.

Método de pontuação. Em suas primeiras versões, o TCL é pontuado considerando-se o último nível em que o(a) participante conseguiu recordar corretamente todas as palavras de pelo menos dois conjuntos de sentenças. Desse modo, os valores possíveis para a capacidade de MT são entre 2 e 6. Esse método de pontuação resulta em uma variável discreta com poucos níveis, o que causa um problema em aproximações de sua distribuição para a distribuição normal, um dos parâmetros de testes estatísticos clássicos amplamente utilizados na literatura, sendo o coeficiente de correlação de Pearson o exemplo mais comumente encontrado. Comparando quatro métodos de pontuação do TCL, Friedman e Miyake (2005) relatam que a utilização do total de palavras recordadas, ao invés da pontuação baseada em nível, resulta em distribuições mais próximas da distribuição normal, o que reduz esse problema e, por isso, foi o método de pontuação escolhido no cálculo dos resultados de ambos os testes no presente estudo.

A Tabela 1 mostra o resumo descritivo das medidas dos dois testes e a Tabela 2 resume os dados relativos às características das palavras-alvo e suas respectivas sentenças. Analisando a diferença entre as médias dos dois testes é possível perceber que o TCL-A foi claramente mais fácil do que o TCL, tendo os(as) participantes recordados aproximadamente 11 palavras a mais no TCL-A em comparação ao TCL. Em relação às características das palavras-alvo, vale notar que apesar da grande variabilidade nos tamanhos das sentenças (9 a 15 palavras) e das palavras- alvo (4 a 14 caracteres e 1 a 7 sílabas), a maioria das sentenças e palavras-alvo têm um tamanho semelhante, como observado nos respectivos desvios-padrão, com apenas algumas se distanciando da média. Também já é possível perceber nas tabelas que as distribuições das variáveis parecem se aproximar da distribuição normal considerando a proximidade de suas médias com suas respectivas medianas. Uma análise mais detalhada dessa característica é feita na próxima seção.

Tabela 1
Resumo descritivo das medidas dos testes

Nota Tanto a versão clássica do teste (TCL) quanto a versão autoaplicável (TCL-A) foram pontuadas considerando-se o total de palavras corretamente recordadas.

Tabela 2
Resumo descritivo das características das palavras e suas sentenças

Nota DP= desvio-padrão; Mín-Máx= mínimo-máximo.

Análise descritiva

O teste de normalidade de Shapiro-Wilk foi utilizado para avaliar se os resultados do TCL e TCL-A podem ser modelados pressupondo-se uma distribuição normal, de forma a melhor informar a escolha de testes estatísticos apropriados para a comparação entre os dois instrumentos. Vale ressaltar que dado o número reduzido de participantes, tais informações são relatadas aqui como forma de guiar estudos futuros. O teste retornou não significativo tanto para os resultados do TCL (.= 0,97; . = 0,851) quanto para os resultados do TCL-A (. = 0,95; .= 0,673) o que indica que não há evidências de que as variáveis não sigam uma distribuição normal. A análise dos gráficos Q-Q (Figura 1) também não resultou em nenhuma evidência de que a distribuição das variáveis não possa ser modelada por uma distribuição normal. Desse modo, considerou-se que a distribuição dos resultados dos dois testes pode ser aproximada para uma distribuição normal. Além da normalidade da distribuição, a homogeneidade de variações também foi verificada com o Teste de Homogeneidade de Variações de Levene. O teste retornou resultado não significativo (.(1,18) = 0,08; . = 0,787), ou seja, não há evidências de que as variações sejam diferentes. Considerando que as variáveis de interesse podem ser modeladas com uma distribuição normal e que há homogeneidade de variação, testes estatísticos paramétricos foram utilizados na investigação das hipóteses que guiaram o estudo, a saber, o coeficiente de correlação produto-momento de Pearson e o teste t de amostras pareadas. Os resultados são discutidos a seguir.

Figura 1
Gráficos Q-Q das medidas do TCL (à esquerda) e do TCL-A (à direita)

Comparação entre os testes

A análise dos dados resultou em uma correlação positiva moderada estatisticamente significativa (.(8) = 0,57; .= 0,043; IC 95% [0,02; 1], unicaudal) mostrada na Figura 2, dando suporte à Hipótese 1. Em relação à Hipótese 2, comopode ser percebido na Figura 3, a diferença é clara e o teste t pareado mostra que a diferença é estatisticamente significativa (.(9) = −4,18; . = 0,001; IC 95% [−∞; −6,06], unicaudal). Essa diferença resultou em uma proposta de modificação no teste que será mais bem discutida na seção de discussões.

Figura 1
Correlação entre pontuações do Teste de Capacidade de Leitura (TCL) e do Teste de Capacidade de Leitura Autoaplicável (TCL-A)

Figura 2
Diagramas de extremos e quartis (boxplots) das pontuações do TCL (à esquerda) e do TCL-A (à direita)

Modelo logístico multinível

A possível influência das características das sentenças e palavras finais na probabilidade de recordação é algo já discutido (por exemplo, em Tomitch, no prelo), mas mensurar o nível de tais influências pode melhor informar o controle de tais características ou a consideração destas no cálculo da pontuação do teste. A primeira característica testada foi o tamanho da sentença. Porém, a variável não foi significativa em prever a probabilidade de recordação nem quando considerada isoladamente nem quando associada a outros fatores preditores. Tal resultado pode ser explicado se for considerado que o tamanho da sentença não interfere na probabilidade de recordação de sua palavra-alvo mas sim da palavra-alvo da sentença anterior, já que a manutenção da palavra final na MT ocorre em momento imediatamente posterior ao processamento da sentença em que a palavra-alvo se encontra. Essa explicação precisa ser mais bem investigada em estudos futuros. Por conta da falta de poder preditor, a hipótese não tem suporte dos dados e a variável foi removida do modelo final.

A Hipótese 4 afirma que o tamanho da palavra-alvo é um bom preditor de sua probabilidade de recordação. Espera- se, então, uma associação negativa entre o tamanho da palavra- alvo e sua probabilidade de recordação, ou seja, palavras maiores têm menor probabilidade de recordação em comparação com palavras menores. Duas medidas foram consideradas nessa hipótese: a quantidade de caracteres e a quantidade de sílabas da palavra-alvo. Como as variáveis são positivamente correlacionadas (. = 0,90) foi verificado inicialmente quais das duas, consideradas isoladamente, tinham um maior nível de significância. Porém, consideradas isoladamente, nenhuma retornou resultados significativos. Ao considerá-las com outras variáveis em dois modelos separadamente, ambas retornaram resultados significativos. Desse modo, as duas foram mantidas para análise posterior no modelo final.

A Hipótese 5 afirma que a posição da palavra-alvo no grupo é uma boa preditora da sua probabilidade de recordação. Essa hipótese surgiu da observação de que as primeiras e últimas palavras-alvo de cada conjunto tem uma probabilidade de recordação maior do que as palavras-alvo que aparecem nas outras posições. Inicialmente, a variável considerada foi a posição da palavra-alvo no conjunto, variando de 1 a 6, sendo 1 a posição inicial, ou seja, a palavra-alvo que é apresentada primeiro, 2 a segunda posição, ou seja, a segunda palavra-alvo apresentada, até 6, sendo a última posição possível de uma palavra-alvo aparecer, no quinto nível. A variável foi significativa quando considerada isoladamente, porém não se mostrou apropriada para analisar a relação prevista na hipótese pois não resulta em uma relação linear. Isso acontece porque os dados mostram que a probabilidade de recordação começa alta, para a primeira palavra-alvo, reduz até o meio do nível e aumenta novamente na palavra-alvo final. Por exemplo, nos conjuntos do quarto nível, com 5 palavras-alvo, as palavras na posição 1 têm grande probabilidade de recordação enquanto na posição 2 a probabilidade é menor, reduzindo ainda mais na posição 3, sendo a posição de menor probabilidade de recordação nesse nível. A probabilidade de recordação volta a aumentar na posição 4 e as palavras-alvo na posição 5, por fim, têm grande probabilidade de recordação novamente. Essa tendência pode ser explicada por um efeito de primazia associado a um efeito de recência³ (ver Freebody & Anderson, 1986, investigação de tais efeitos na recordação de textos). De forma a dar conta de tal observação, a variável “posição no conjunto” foi substituída pela variável “posição relativa” considerando-a como a distância entre a palavra-alvo e a primeira ou última palavra-alvo do nível (considerando a mais próxima). Assim, as primeiras e últimas palavras-alvo de cada conjunto recebem valor 0 nessa variável, enquanto as segundas e penúltimas palavras recebem valor 1 e as terceiras e antepenúltimas palavras recebem valor 2. Quando consideradas juntas, apenas a variável “posição relativa” foi estatisticamente significativa. Desse modo, apenas essa variável foi considerada no modelo final, substituindo-se a variável “posição no conjunto” pela proposta posteriormente.

Por fim, considerando um possível efeito do cansaço do(a) participante ao logo do teste, a Hipótese 6 afirma que a posição da palavra-alvo no teste é uma boa preditora de sua probabilidade de recall. Pressupõe-se, desse modo, uma associação negativa entre a posição da palavra-alvo no teste, como um todo, e sua probabilidade de recordação, ou seja, as palavras-alvo nos níveis iniciais são mais facilmente recordadas que as palavras-alvo nos níveis finais. A variável “posição no teste” foi considerada como a posição da palavra- alvo em relação a todas as outras palavras-alvo do teste, variando de 1, primeira palavra-alvo apresentada, a 60, última palavra-alvo apresentada. A variável foi uma preditora estatisticamente significativa considerada isoladamente, ou seja, palavras-alvo mostradas mais ao final do teste tiveram uma menor probabilidade de recordação. Contudo, esse efeito pode ser associado ao aumento da dificuldade dos níveis e não ao cansaço do participante no teste como um todo. Por isso, uma nova variável, “dificuldade do nível”, foi adicionada e seu poder preditor foi comparado à variável “posição no teste”. A dificuldade do nível é representada pela quantidade de palavras-alvo, que deve ser recordada, no nível, variando de 2 a 6. Quando analisadas juntas, apenas a variável “dificuldade do nível” foi considerada estatisticamente significativa. Desse modo, a variável “posição no teste” foi substituída pela variável “dificuldade do nível”.

Em resumo, não foram observadas evidências para suportar as Hipóteses 3 e 6, ou seja, o número de palavras na sentença da palavra-alvo e a posição da palavra-alvo no teste não são bons preditores de sua probabilidade de recordação, enquanto foram observadas evidências para suportar as Hipóteses 4 e 5, ou seja, o tamanho da palavra-alvo medida tanto pelo seu número de sílabas quanto pelo seu número de caracteres é um bom preditor de sua probabilidade de recordação, assim como a posição relativa da palavra no recência), em uma lista, tem maior probabilidade de serem lembrados logo após sua apresentação. conjunto, ou seja, a distância da palavra-alvo para a primeira ou última palavra do conjunto. Por fim, a falta de evidências suportando a Hipótese 6 se deu pela adição de um fator de melhor poder preditivo, a dificuldade do nível, representado pelo número de palavras-alvo a serem recordadas. Como as duas variáveis de medida de tamanho da palavra-alvo (quantidade de caracteres e quantidade de sílabas) são preditoras estatisticamente significativas da probabilidade de recall, dois modelos finais foram construídos ao invés de um. Os dois modelos têm como variáveis preditoras (1) a posição relativa da palavra-alvo em relação às palavras iniciais e finais, a quantidade de palavras a serem recordadas no nível (dificuldade do nível), e o (3) tamanho da palavra-alvo, sendo em um modelo utilizado o número de caracteres e no outro o número de sílabas.

A Figura 4 mostra o efeito estimado da posição relativa da palavra-alvo no conjunto em sua probabilidade de recordação (. = −2,65; . = 0,008). A estimativa é que, mantendo-se outros fatores constantes, palavras-alvo apresentadas nas posições iniciais e finais de cada conjunto (posição 0) têm 70% de probabilidade de recordação enquanto aquelas que aparecem na terceira ou antepenúltima posição (posição 2) tem a probabilidade de recordação reduzida para 53%. A figura mostra também o efeito também estatisticamente significativo da variável “dificuldade do nível” (. = −4,02; . < 0,001). As probabilidades estimadas são de 80% no primeiro nível, com 2 palavras-alvo a serem recordadas, reduzindo para 53% no último nível, com 6 palavras-alvo a serem recordadas. Mostra, ainda, o efeito da variável “número de caracteres” da palavra-alvo (. = −2,70; .= 0,007), com uma redução de 74% de probabilidade de recordação nas palavras-alvo com 4 caracteres para 48% nas palavras-alvo com 14 caracteres. Por fim, a figura mostra o efeito da variável “número de sílabas” quando utilizada no lugar da variável “número de caracteres” da palavra-alvo, no segundo modelo (. = −2,42; . = 0,012). A redução na probabilidade de recordação é de 76% nas palavras-alvo com 1 sílaba para 44% nas palavras-alvo com 7 sílabas.

Figura 4
Probabilidades estimadas de recordação das palavras-alvo considerando o efeito de (1) sua posição relativa no conjunto em que é apresentada, (2) do número de palavras-alvo a serem recordadas em cada conjunto no nível em que é apresentada, (3) da quantidade de caracteres na palavra e (4) da quantidade de sílabas da palavra. No primeiro gráfico, o valor 0 representa as posições inicial e final, 1 representa segunda e penúltima posições e 2 representa terceira e antepenúltima posições

Apesar de a Hipótese 1 ter suporte dos dados, é necessário notar as limitações do baixo número de observações que não permite grande poder estatístico, como mostrado pelo intervalo de confiança de 0,02 a 1. Como a Hipótese 2 foi gerada já após dados terem sido parcialmente levantados, o valor de significância do teste da hipótese nula perde o sentido, pois o pressuposto de aleatoriedade da hipótese nula não se mantém. Considerando a natureza exploratória do estudo, os valores de significância foram aqui relatados como forma de simulação para guiar pesquisas futuras.

Com base nos resultados, é possível considerar o TCL-A como instrumento que deve ser melhor investigado como uma opção para medir a capacidade de MT, especialmente em estudos que têm como foco o processo de compreensão leitora. Em relação ao nível de validade comparando-o ao TCL, é possível afirmar que a versão proposta tem o potencial de ter os mesmos níveis observados na versão original, mas por conta da limitação do número de participantes e consequente poder estatístico reduzido, estudos adicionais são necessários para melhor investigar tal afirmação. A principal diferença observada é a relativa facilidade do TCL- A em comparação ao TCL. Tal diferença em dificuldade pode ser problemática, pois diferenças individuais tendem a se mostrar mais evidentes em situações de grande demanda cognitiva (Just & Carpenter, 1992). Vale notar, porém, que nenhum(a) participante conseguiu recordar corretamente todas as palavras. Além disso, o teste foi atualizado para que a sentença seja mostrada apenas por 6,5 segundos de forma a aproximá-lo mais ao tempo de leitura em voz alta da versão original. O tempo foi calculado considerando-se o tempo médio de leitura por palavra, em voz alta, dos participantes do presente estudo durante o TCL. O tempo médio de leitura por palavra foi de 564 milissegundos e como a média de quantidade de palavras na versão atual do TCL-A é de 11,44 palavras, foi sugerido o valor aproximado de 6,5 segundos para cada sentença. Estudos adicionais precisam ser feitos para verificar se tal duração é a mais apropriada e para investigar se a limitação de tempo é suficiente para aproximar o nível de dificuldade do TCL-A ao TCL.

O uso de modelos logísticos na análise dos efeitos das características das palavras-alvo em suas probabilidades de recordação se mostrou de grande valia na análise de quais fatores levar em consideração na escolha de sentenças e palavras-alvo. Deve-se notar, porém, que os resultados aqui expostos têm valor de simulação, já que o número reduzido de participantes não é apropriado para a construção de modelos aleatórios com o número de parâmetros utilizados. Os principais fatores resultantes dos dados do presente estudo foram a quantidade de caracteres e quantidade de sílabas da palavra-alvo, a posição da palavra-alvo no teste e a dificuldade do nível em que a palavra-alvo se encontra. Como a quantidade de caracteres é de processamento computacional mais fácil, sugere-se o uso de tal medida ao invés da quantidade de sílabas, já que ambos os fatores se mostraram similarmente significativos em prever a probabilidade de recordação, dando- se prioridade a sentenças cujas palavras finais tenham o mesmo número de caracteres. Uma alternativa pode ser utilizada para evitar que as palavras-alvo tenham sempre o mesmo número de caracteres, já que tal medida pode reduzir a validade ecológica do teste. O mesmo método pode ser aplicado em relação à posição da palavra no conjunto. Trata-se de uma proposta, a ser investigada, de se considerar um método de pontuação que atribua diferentes pesos para diferentes palavras-alvo, de acordo com sua posição, número de caracteres e nível. Nesse sentido, a função predict do R (R Core Team, 2018) pode ser de grande utilidade. Tal função permite simular resultados controlando os fatores, com base no modelo. Por exemplo, utilizando o modelo do presente estudo, simulando a probabilidade de recordação de palavras de 4 caracteres nas posições inicial ou final em conjuntos do primeiro nível, estima-se uma probabilidade de 88%. Mantendo todos os outros fatores iguais e aumentando a quantidade de caracteres em 1, tem-se a estimativa de 86%. Como a probabilidade de recordação diminuiu 2%, é possível atribuir uma diferença de peso de 2% para cada caractere adicional da palavra-alvo recordada⁴. Assim, por exemplo, enquanto a recordação de uma palavra com 4 caracteres teria peso de 1 ponto, uma palavra com 9 caracteres teria peso de 1,1 ponto no escore final. Como a simulação mostra uma redução de 5% na probabilidade de recordação da palavra de posição 0 (primeira ou última palavra do conjunto) em relação à posição 1 (segunda ou penúltima palavra do conjunto) e de 4% do nível 1 para o nível 2, uma palavra de 4 caracteres na posição 0 no nível 1 teria peso 1 no escore final enquanto uma palavra de 9 caracteres na posição 1 no nível 2 teria peso de 1,19 no escore final.

A sugestão de atribuir diferentes pesos a diferentes palavras-alvo mostra diferenças sutis nos exemplos dados. Porém, o potencial de tal método é utilizar sentenças com alta validade ecológica e ainda assim dar conta das diferenças nas palavras-alvo, que afetam a probabilidade de recordação. Deve-se notar, também, que o presente estudo considerou apenas alguns dos vários fatores que podem afetar a probabilidade de recordação. Fatores como a frequência da palavra-alvo, a familiaridade do participante com a palavra- alvo, e outros fatores relacionados aos níveis semânticos, pragmáticos, fonológicos, prosódicos, assim como aspectos socioculturais dos participantes, podem ter efeitos significativos na probabilidade de recordação, refinando ainda mais a sensibilidade do método de pontuação em relação às diferenças individuais. Como já mencionado anteriormente, um fator de possível influência na probabilidade de recordação é o número de palavras na sentença imediatamente posterior à palavra-alvo, pois é o processamento da sentença lida posteriormente que resulta em processos que podem interferir na manutenção da palavra-alvo na MT.

Em resumo, medidas adicionais podem e devem ser tomadas para refinar o TCL-A. Algumas modificações adicionais, baseadas nos resultados de Friedman e Miyake (2005), são a redução do tamanho total do teste, para tornar a execução o mais breve possível, sem afetar a validade e confiabilidade dos resultados, e a aleatorização da ordem dos níveis, de forma a reduzir a previsão do nível de dificuldade destes, o que pode reduzir a ansiedade criada pela expectativa no aumento gradativo da dificuldade nos(as) participantes além de possibilitar momentos de êxito ao longo do teste, e não apenas no início, como apontado pelos autores (p. 589). Essas e outras sugestões são resumidas na próxima seção que também resume as limitações do estudo.

O presente artigo relatou resultados preliminares de um estudo piloto que objetivou testar uma proposta de versão do Teste de Capacidade de Leitura (TCL), chamado aqui de Teste de Capacidade de Leitura Autoaplicável (TCL-A), que não necessita leitura em voz alta e que apresenta um subconjunto aleatório de sentenças em ordem também aleatória a cada vez que é executado, possibilitando autoadministração e uma possível redução no efeito de retestagem. O estudo exploratório conduzido para testar a validade e propor possíveis modificações no teste para avaliações posteriores com número maior de participantes resultou em (1) uma correlação positiva moderada, estatisticamente significativa com resultados do TCL, apontando para sua validade; (2) maior facilidade em comparação com o TCL, e por isso foi proposta uma limitação no tempo de leitura para versões futuras; e (3) a verificação de que a quantidade de caracteres, a quantidade de sílabas, a posição relativa da palavra-alvo no conjunto de sentenças e a dificuldade do nível (quantidade de palavras-alvo a serem recordadas) exercem efeitos significativos na probabilidade de recordação das palavras-alvo. Com base nesse último resultado, sugere-se a criação de novas versões do teste com redução da variabilidade do tamanho da palavra-alvo ou, preferencialmente, um método de pontuação que atribua diferentes pesos a diferentes palavras-alvo considerando – mas não necessariamente limitando-se a – tais características. É preciso reforçar a necessidade de estudos com maior número de participantes para validar os resultados aqui expostos.