O repertório de ler textos com compreensão pode ser considerado como imprescindível para o acesso pleno a todos os demais conteúdos acadêmicos. Mesmo fora da escola, dificuldades em compreender textos impressos podem prejudicar variados aspectos da vida cotidiana, como compra e venda de produtos diversos, leitura de mapas e itinerários de transporte público, atualização de fatos públicos que afetam a todos, dentre muitas possibilidades. Dada a importância do repertório de ler e as dificuldades que ainda se constatam no nosso país para a aquisição por todos os aprendizes, pesquisadores têm se dedicado a planejar e avaliar procedimentos de ensino que possam suplementar o ensino de leitura que atualmente se emprega em nossas escolas. Contudo, muitas dessas pesquisas usaram palavras isoladas como modelo havendo a necessidade de investigações que avaliem os efeitos dessas ferramentas no ensino de leitura de textos com compreensão (e.g., de Rose et al., 1996; de Souza & de Rose, 2006; Melchiori et al., 2000).

Ler e compreender textos impressos envolve uma bem sucedida cadeia de outras habilidades. Parece razoável presumir que uma pessoa que compreende textos, também entende o significado de muitas palavras isoladas, conhece o nome de letras, conhece estruturas gramaticais diversas e domina a relação entre as palavras impressas e os objetos ou eventos aos quais elas se referem no mundo. Compreender textos é uma habilidade complexa e requer que várias outras habilidades tenham sido previamente aprendidas e estejam sendo continuamente ampliadas, renovadas e aprimoradas (Layng et al., 2011; de Souza et al., 2009a).

A complexidade implicada na compreensão da leitura de textos deriva também da necessidade de que sejam desenvolvidos aspectos relacionados especificamente com a linguagem escrita (consciência fonológica, princípio alfabético, etc.) e com a linguagem oral (como o conhecimento de vocabulário necessário). Um consenso na literatura nacional e internacional é o de que que existem dois componentes essenciais na leitura: a decodificação e a compreensão (Adams, 1994; de Souza et al., 2009a; McGuiness, 2004; Snow et al., 2005). Decodificar (comportamento textual para Skinner, 1957) é traduzir/transformar cada símbolo impresso em som; por exemplo, dizer os sons correspondentes, na sequência correta (ponto a ponto), às palavras escritas de uma língua. A compreensão implica que uma pessoa pode estabelecer relações entre elementos do texto e seus referentes (Sidman, 1971, 2004), reagir como ouvinte de si mesma (Skinner, 1957), realizar alguma ação a partir da leitura. Compreender requer o emprego de diferentes estratégias, entre as quais relacionar o que se sabe com o que está sendo lido. A decodificação é condição necessária, mas não suficiente, para a compreensão de um texto impresso.

Uma das maneiras de entender o repertório de leitura é pautada na concepção de que este seja formado por uma rede de relações entre estímulos (por exemplo, palavras impressas, palavras ditadas, objetos, figuras) e entre estímulos e respostas (nomear letras, nomear figuras, nomear palavras impressas, entre outras) (de Rose 1993, 2005; Stromer et al.,1992). Procedimentos de ensino baseados nessa concepção - isto é, que planejam ensinar as relações críticas e estabelecer a rede relações, têm sido utilizados desde a década de 70, como uma alternativa eficaz para o ensino de leitura de palavras isoladas a pessoas com diferentes perfis de aprendizagem e desenvolvimento. Estudos brasileiros (e.g., Bandini et al., 2014; Gomes et al., 2016; Reis et al., 2009), confirmaram as hipóteses levantadas desde o estudo pioneiro de Sidman (1971), aplicando procedimentos de ensino baseados no modelo de leitura como rede de relações, e documentando resultados positivos de aprendizagem de leitura de palavras isoladas por crianças com desenvolvimento típico ou com dificuldades na aprendizagem de leitura e por adultos iletrados.

Com base nesse modelo, de Rose e colaboradores (de Rose et al., 1989; de Rose et al., 1996) desenvolveram um programa de ensino de leitura e escrita de palavras isoladas, para aplicação individualizada, intitulado “Aprendendo a Ler e a Escrever em Pequenos Passos – ALEPP”. Esse programa inclui características de ensino personalizado que se mostraram relevantes para favorecer a aprendizagem de modo geral e a de leitura em particular (Keller et al., 1964; Nale, 1998): individualização - cada indivíduo realiza suas atividades de acordo com o seu ritmo de aprendizagem; participação ativa - o aprendiz responde continuamente às demandas da tarefa e não apenas assiste alguém ensinando algo a ele; fornecimento de consequências imediatas e diferentes para as respostas corretas e incorretas ao longo das tentativas do ensino; divisão das tarefas de ensino em pequenas unidades; hierarquização das habilidades a serem ensinadas em unidades cada vez mais complexas, sendo o progresso no programa dependente da aquisição de repertórios previamente ensinados; realização das tarefas de uma unidade até alcançar plena proficiência (com oportunidades para refazer ou fazer mais tarefas do mesmo tipo, caso não alcance o alvo previsto) (de Souza & de Rose, 2006).

Devido a suas características, o programa ALEPP mostrou-se passível de ser informatizado (Rosa Filho et al., 1998), sendo gerenciado atualmente por uma plataforma avançada intitulada Gerenciamento de Ensino Individualizado por Computador (GEIC-LECH) que permite aplicação remota online (Orlando et al., 2016). O ALEPP vem sendo desenvolvido em módulos, que passam a ser disponibilizados para uso após demonstração científica de sua eficácia. O Módulo 1 tem como objetivo o ensino de palavras dissílabas e trissílabas, com sílabas simples (sequências consoante-vogal, CVCV). No Módulo 2 são ensinadas palavras que apresentam dificuldades ortográficas, envolvendo encontros consonantais, dígrafos e letras com múltiplas correspondências fonéticas (e.g., o som da letra C difere em cabo e cena, assim como o da letra G difere em gota e gema). Ambos os módulos mostraram resultados bem sucedidos para o ensino de habilidades de leitura de palavras isoladas a aprendizes com diferentes repertórios (e.g., de Rose et al., 1996; de Souza & de Rose, 2006; Melchiori et al, 2000), e seu uso foi estendido para contextos de aplicação, como a escola e a residência do aprendiz (Benitez & Domeniconi, 2016; de Souza et al., 2009b; Reis et al., 2009; Tizo, 2016). Acordos entre prefeituras e a Universidade Federal de São Carlos foram estabelecidos para a utilização desses módulos de ensino como atividades complementares para a promoção de leitura (e.g., de Souza et al., 2019). Para um melhor conhecimento das possibilidades de uso de programas de ensino de leitura e escrita baseado em equivalência, inclusive dos módulos de ensino do ALEPP, consultar Albuquerque, Melo e Saavedra-Dias (2021).

A experiência bem-sucedida no ensino automatizado de leitura de palavras isoladas, aliada à necessidade de desenvolvimento de estratégias viáveis de ensino de leitura visando melhorar a compreensão de textos, motivaram pesquisadores a desenvolver o programa informatizado de ensino de compreensão de textos (Módulo 3, descrito em Hanna et al., 2021). O presente estudo descreve os resultados da avaliação da aplicação do Módulo 3 do ALEPP, realizada em quatro escolas públicas, duas da região centro-oeste e duas da região sudeste.

O procedimento de ensino foi inspirado no de Miúra (1992) implementado em situação face a face, usando 15 livros de histórias infantis curtas, da Coleção Estrelinhas, de Sônia Junqueira (Editora Ática). Para cada livro, um monitor incentivava o aluno a ler a história em voz alta, fornecia feedback para a leitura correta e apresentava o modelo de resposta correta, em duas situações: se o aluno lesse incorretamente uma palavra (correção), ou se hesitasse longamente diante de uma palavra (dica). No procedimento utilizado no presente estudo, o aluno lia os trechos das histórias sozinho e podia consultar as palavras com dificuldade da língua. Nenhum feedback era fornecido pelo monitor, que ficava observando um grupo de crianças e as auxiliava na utilização do software. Além disso, no Módulo 3, questões de compreensão do texto eram intercaladas com os trechos da história. No estudo de Miúra (1992), eram registradas as palavras lidas corretamente, os erros, as correções, as dicas e as autocorreções (quando o aluno lia incorretamente, mas logo em seguida corrigia sua própria leitura, com a palavra correta). No Módulo 3, apenas as palavras consultadas e as respostas às questões são registradas. Os alunos de Miúra mostraram progressos consideráveis na leitura à medida que o procedimento avançava com livros sucessivos, com aumento no número de palavras corretas e redução nas outras medidas. Apesar disso, o registro dos dados, realizado pelo próprio monitor, ficava sujeito a erros, o que poderia comprometer a fidedignidade dos dados no caso de uso do procedimento em situações de aplicação. Além disso, a aplicação envolvia um monitor para cada aluno, um custo elevado, em termos de recursos humanos, que certamente inviabilizaria seu uso como atividade complementar na escola.

As dificuldades operacionais na aplicação do procedimento de Miura (1992) e o interesse pelo desenvolvimento de compreensão de leitura justificaram o desenvolvimento do Módulo 3 informatizado (Hanna et al., 2021). O software garante a uniformidade na aplicação do procedimento, fidedignidade no registro dos dados e, sobretudo, acessibilidade ao programa. Cada aluno pode realizar grande parte das tarefas no computador, de modo que um mesmo monitor consegue supervisionar vários alunos ao mesmo tempo.

A avaliação de eficácia dos dois primeiros módulos de ensino do ALEPP foi realizada com os instrumentos desenvolvidos para esta finalidade e estreitamente relacionados aos objetivos de cada módulo. Esta estratégia é extremamente importante para avaliar os desempenhos dos participantes antes e depois do procedimento de ensino e foi empregada também no presente estudo, que utilizou as provas de compreensão desenvolvidas por Silveira et al. (2016). Contudo, tendo em vista o objetivo de promover a compreensão de textos, era importante avaliar também a relação do desenvolvimento desta habilidade com as medidas de desempenho acadêmico no âmbito da escola. Por essa razão, um segundo objetivo do estudo foi verificar a correlação entre mudanças na compreensão de textos da população estudada e no desempenho das escolas na Prova Brasil, uma avaliação de desempenho de estudantes no processo de escolarização básica, realizado em larga escala.

O presente trabalho descreve parte dos resultados de um projeto, apoiado pelo Programa Observatório da Educação (OBEDUC - Edital 049/2012/CAPES/ INEP). O OBEDUC tem como um dos objetivos incentivar a articulação entre pós- graduação, licenciaturas e escolas da rede pública de Educação Básica, utilizando a base de dados do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teitxeira- INEP. Fizeram parte do trabalho originalmente seis escolas, duas na cidade de Belém (PA), duas em São Carlos (SP) e duas em Brasília (DF). No estudo de Domeniconi et al. (2021) há uma descrição geral do projeto e da organização das equipes das seis escolas, assim como as análises dos repertórios iniciais de leitura e escrita de todos os alunos que foram avaliados pelas equipes. O presente estudo avança na análise mais pormenorizada dos dados apenas dos alunos que participaram das intervenções, em quatro escolas, e continua a discussão sobre o possível impacto das intervenções em medidas externas, como a Prova Brasil.

O uso da Prova Brasil tem as mesmas dificuldades das avaliações educacionais em larga escala (Gatti, 1994) e não resolve a necessidade de avaliações multidimensionais (Dalben & Almeida, 2015). No entanto, ela tem sido aplicada regularmente no país e seus resultados têm sido usados para analisar e classificar as escolas brasileiras. As escolas alvo do estudo haviam sido avaliadas em 2011, recebendo os mais baixos escores no conjunto de escolas de cada cidade; esses dados prévios serviram como base para comparação nas avaliações de 2015 (após a aplicação do procedimento).

MÉTODO

Participantes

Em 2013, foram avaliados todos os alunos do 5o ano do ensino básico de quatro escolas públicas brasileiras, duas da região sudeste e duas da região centro-oeste, escolhidas por seus baixos resultados na Prova Brasil em 2011. Os resultados da Prova Brasil de 2013 não foram utilizados para escolher as escolas, uma vez que o projeto já havia iniciado quando os resultados foram divulgados.

Conhecer o repertório de entrada dos aprendizes constitui uma necessidade para qualquer procedimento de ensino (Cooper et al., 2007). O mapeamento das habilidades de leitura dos alunos que participaram do presente estudo foi realizado por meio da Prova de Compreensão de Texto (versão 1) (Silveira et al., 2016). De um total de 243 alunos avaliados, foram selecionados 123 que liam palavras com sílabas simples e regulares (isto é, que tinham duas ou três sequências consoante-vogal) e palavras com sílabas complexas (dígrafos, encontros consonantais, e outras complexidades ortográficas), mas obtiveram menos de 70% de acertos na Prova de Compreensão de Texto. As crianças com escores mais baixos tiveram prioridade no atendimento e o número de crianças atendidas em cada escola dependeu da disponibilidade dos monitores e equipamentos. Os participantes selecionados ficaram assim divididos: 61 da região sudeste (32 da Escola 1 e 29 da Escola 2), e 62 da região centro-oeste (20 da Escola 3 e 42 da Escola 4). Todos os alunos tinham idades entre 9 e 11 anos, e não tinham comprometimentos no desenvolvimento.

Material e Equipamento

M

Prova de Compreensão de Texto

Foram construídas para o projeto duas versões de Prova de Compreensão de Texto com 20 questões de múltipla escolha, que avaliavam a compreensão de quatro textos, uma tirinha de história em quadrinhos e uma lista de compras. Cada questão apresentava cinco alternativas. A primeira versão da prova teve como objetivo identificar alunos que poderiam se beneficiar de uma intervenção suplementar, dirigida ao ensino da leitura de textos com compreensão. A segunda versão da prova foi aplicada após a fase de ensino, para avaliar a aprendizagem dos alunos que participaram do programa e, também, para uma comparação com os resultados da Prova Brasil (somente de Língua Portuguesa). Todos os itens apresentados (textos, tirinhas, lista de compras e questões) foram diferentes nas duas versões da Prova de Compreensão. As crianças realizaram as provas em sala de aula, com seus professores regulares, utilizando lápis e papel. Os parâmetros das Provas de Compreensão de Leitura estão detalhadamente descritos em Silveira (2015) e Silveira et al. (2019).

Prova Brasil

A Avaliação Nacional do Rendimento Escolar, denominada de Prova Brasil, é aplicada bianualmente em escolas públicas que tenham pelo menos 20 alunos matriculados em cada ano e mensura, dentre outras habilidades, as de compreensão de textos de crianças ao final do 5o e do 9o ano de escolarização. A Prova Brasil tem como objetivo avaliar os níveis de aprendizagem da língua portuguesa e matemática das escolas da rede pública e privada, podendo subsidiar propostas de políticas públicas voltadas para melhoria no ensino. No ano seguinte ao da avaliação cada escola recebe os resultados do desempenho em língua portuguesa e matemática separadamente e relatam os resultados separadamente.

No presente trabalho apenas os resultados da língua portuguesa foram utilizados. Essa avaliação tem ênfase em leitura e se baseia nas Matrizes de Referência, que são as habilidades mínimas para as quais se espera que os alunos ao final de um dado ciclo apresentem competência. Para os alunos no final do 5º ano se espera o domínio de 15 habilidades, subdivididas em seis tópicos: procedimentos de leitura, relação entre textos, coerência e coesão no processamento do texto, relações entre recursos, variação linguística e implicações do enunciado na compreensão do texto.

A partir dos descritores das Matrizes de Referência são elaborados 22 itens de Língua Portuguesa que devem ser respondidos pelos concluintes do 5º. ano. Os itens consistem em tarefas de múltipla escolha com quatro alternativas em cada item, sendo apenas uma delas a correta. As questões são baseadas em interpretação de textos de diferentes gêneros: dissertativos, narrativos, quadrinhos, listas de compras, bilhetes, cartas, poesias, entre outros.

Os resultados são apresentados em uma escala de proficiência que vai de zero a 500 pontos, divididos em nove intervalos de 25 pontos, que são chamados de níveis de proficiência, progressivos e cumulativos, apresentados em ordem crescente. Os resultados de desempenho, divulgados para cada unidade escolar (considerando a média de todos os alunos que fizeram a prova em cada ano) e também por município, estado e Brasil. Detalhes sobre as provas, exemplos de provas e os resultados para cada ano podem ser encontrados no site do INEP (https://www.gov.br/inep/pt-br/ areas-de-atuacao/avaliacao-e-exames-educacionais/saeb). A partir do ano de 2019 todas as avaliações externas passaram a ser conhecidas como SAEB (Sistema de Avaliação da Educação Básica), no presente estudo optou-se por manter a nomenclatura utilizada na ocasião da intervenção e coleta de dados (Prova Brasil).

Módulo de Ensino

O módulo de ensino informatizado foi construído em programação VBA para MS Excel que comandava cada passo de ensino automatizado em um arquivo do MS PowerPoint e registrava automaticamente as respostas. Cada um dos 15 passos tinha a mesma estrutura formal: (a) uma história infantil dividida em 12 ou 13 trechos, apresentados com a respectiva ilustração, intercalados com (b) 15 ou 16 perguntas de múltipla escolha (quatro alternativas) e (c) uma instrução final para que o aluno escrevesse (em uma folha à parte) algo sobre uma das ilustrações da história mostrada na tela do computador.

Cada passo de ensino estava baseado na apresentação digital de um dos 15 livros de histórias infantis, da Coleção Estrelinha, de Sônia Junqueira (Editora Ática). As histórias apresentavam diferenças na quantidade de texto (número total de palavras) e de proporção de palavras complexas (palavras formadas por sílabas irregulares, com dígrafos e encontros consonantais) e este foi o critério para agrupar os livros em três unidades, considerando a crescente quantidade de texto e a proporção de palavras complexas. Não foi graduada a dificuldade dentro de cada unidade. Esse agrupamento é convergente ao da Editora, que considera os livros de uma estrelinha apropriados para quem ainda não está alfabetizado, duas para quem está iniciando a alfabetização e três para quem está totalmente alfabetizado (contendo mais frases e incluindo palavras com sílabas complexas).

Os trechos de cada história tinham até cinco frases curtas, sendo o primeiro trecho sempre a capa com as informações sobre título, autor, ilustrador e web designers. As palavras complexas contidas em cada trecho da história foram sublinhadas indicando que poderiam ser consultadas: um clique sobre a palavra, produzia a palavra falada correspondente. Em telas que apresentavam trechos da história, a criança clicava em uma seta para avançar para a questão de compreensão do texto.

Parte das questões tinham respostas facilmente acessíveis no texto (predominantes), e algumas perguntas exigiam deduções, inferências, analogias e conceituações (menos frequentes). A primeira questão de todos os passos era “Qual o título/nome do livro?”, apresentada oralmente, por meio do fone de ouvido acoplado ao computador. Os enunciados das questões eram apresentados na modalidade escrita ou sonora. As perguntas orais (assim como as palavras para consulta) foram gravadas em voz feminina e eram apresentadas por meio do fone de ouvido do computador. Todas as questões tinham quatro alternativas de resposta, apresentadas na modalidade escrita ou representadas em figuras. Na maioria das questões, a alternativa correta continha uma ou mais palavras das alternativas incorretas (e.g., a festa encrencada/a festa atrapalhada) ou apresentavam semelhança temática entre elas (e.g., animais). Um clique sobre uma das alternativas era seguido por feedback de acerto (e o avanço para a próxima página do livro) ou de erro (que indicava nova oportunidade para refazer a questão). Respostas corretas eram seguidas por uma frase de incentivo ou sons melódicos e uma figura com movimento (gif), que variavam entre as questões e histórias. Respostas incorretas eram seguidas por um smilie que indicava descontentamento e, em seguida, pela reapresentação da questão. Um botão de ajuda (posicionado no canto superior direito da tela) estava disponível nas telas que apresentavam questões. Um clique sobre este botão reapresentava a parte da história lida até aquele momento (o texto era apresentado completo sem as ilustrações). O percurso da sequência no passo de ensino avançava quando o aluno clicava na seta de avanço nas telas de apresentação dos trechos e escolhia a alternativa correta de cada questão.

O módulo programado foi instalado em computadores desktop das salas de informática das escolas. As respostas corretas e incorretas, o tempo nas telas de ajuda e as palavras consultadas eram registrados automaticamente em planilha Excel, construída e armazenada automaticamente ao final de cada sessão.

Procedimento geral

A frequência de realização das tarefas variou em função da organização de cada escola e cada equipe, mas foi sugerido manter a frequência mínima de três vezes por semana. Cada sessão tinha a duração de aproximadamente 30 minutos, durante o turno escolar, nos horários autorizados pelos professores de sala de aula.

Em cada uma das escolas, as equipes eram constituídas por professores da educação básica e alunos de graduação dos cursos de Psicologia e Educação Especial da Universidade Federal de São Carlos, e alunos de graduação em Psicologia da Universidade de Brasília, sob a coordenação dos pesquisadores (um de cada Universidade). Na Universidade da região sudeste participaram ainda bolsistas e voluntários dos cursos de Pós-Graduação em Psicologia (Programa de Pós Graduação em Psicologia da Universidade Federal de São Carlos). Os professores e alunos exerceram a função de monitor.

Cada equipe foi inicialmente capacitada para as atividades do projeto. O coordenador foi responsável pela capacitação das equipes das escolas da cidade e elas seguiram basicamente o mesmo formato: apresentação do projeto e suas bases teóricas, aplicação das tarefas e discussão. Antes de iniciar a atuação como monitor, cada membro da equipe participou também de uma simulação, atuando como se fosse um aluno e, em seguida, como monitor. Não foram utilizados critérios formais para avaliação do desempenho dos monitores, após a capacitação todos iniciaram as atividades com as crianças. Parte da equipe de cada cidade participou ainda da organização e análise dos dados necessários para as tomadas de decisão ao longo da coleta de dados.

O programa foi aplicado na sala de informática da escola sob supervisão de um monitor que gerenciava o acesso do aluno ao computador, assegurava que colocasse seu fone de ouvido e iniciava a sessão de ensino corretamente. O monitor poderia ser o professor da escola participante do estudo ou o aluno de graduação, a depender da disponibilidade e da organização de cada equipe escolar. O procedimento de ensino era totalmente individualizado e apresentado ao aluno exclusivamente pelo computador; o aluno respondia usando o mouse e clicando sobre o item apropriado em cada caso: em página com trechos de história, podia clicar sobre uma palavra sublinhada (para consulta), ou na seta para mudança para uma página com questões; em página de questões, clicava sobre uma das alternativas ou sobre o botão de ajuda, que retornava ao texto. O monitor auxiliava com quaisquer questões logísticas, como eventuais danos nos equipamentos e buscava garantir condições mínimas de silêncio e conforto dos alunos dentro da sala de informática.

As atividades do Módulo de Ensino consistiram em realizar 15 passos (descritos no material). No primeiro passo, os monitores foram instruídos a solicitar a leitura em voz alta da história, a ensinar a criança a consultar as palavras grifadas que não eram lidas corretamente e a utilizar o botão de ajuda, quando errava uma das questões. Nos passos subsequentes, o monitor foi instruído a apenas observar o aluno.

O critério para avançar para o próximo passo era acertar todas as questões sem necessidade de repetição. Se ocorressem erros, o passo era repetido até no máximo três vezes. A terceira repetição de um mesmo passo era realizada com supervisão e auxílio do monitor, que utilizava de estratégias para aumentar a probabilidade de que o aluno respondesse corretamente. Nesta ocasião o monitor novamente solicitava a leitura da história em voz alta, indicava a necessidade de verificação das palavras lidas incorretamente e instruía o aluno a apontar com o dedo a alternativa que considerava correta, antes de clicar com o mouse. Em caso de escolha errada, o monitor foi instruído a fornecer alguma dica que fizesse a criança refletir sobre a alternativa correta (e.g., você tem certeza de que o nome do passarinho era este? Vamos ler novamente este pedaço?). Além disso, o monitor observava o comportamento do aluno e buscava verificar a ocorrência de alguns comportamentos favorecedores da resposta esperada. Por exemplo, o monitor observava se o aluno demonstrava estar lendo todas as alternativas, antes de selecionar uma delas (o monitor verificava isso pela inspeção visual do comportamento ao aluno, ou seja, quanto tempo ele permanecia em uma tela antes de fazer a seleção, se emitia comportamentos como passar o dedo sobre as alternativas ou mesmo ler em voz alta. Em casos de dúvida, o monitor poderia perguntar para a criança se ela estava lendo todas as alternativas antes de escolher uma). O monitor poderia também fornecer dicas para ajudar o aluno a entender palavras ou expressões que estivessem dificultando a compreensão, quando ele expressava dúvidas neste aspecto.

Quando o aluno concluía a leitura dos 15 livros com 100% de acertos, e segunda versão da Prova de Compreensão de Texto era aplicada para reavaliar a leitura com compreensão.

Ao final do estudo todos os professores participantes da equipe foram convidados a responder um questionário enviado via Googleforms com duas perguntas abertas e três fechadas, acerca do procedimento de ensino utilizado. O questionário não solicitava a identificação dos respondentes.

RESULTADOS

Inicialmente a avaliação de todas as crianças das quatro escolas, que cursavam o 5º ano, mostrou que 50,6% apresentavam dificuldade na compreensão de leitura de textos curtos (mais de 30% de erros na Prova de Compreensão de Textos).

Os resultados da intervenção implementada foram organizados de acordo com os dados obtidos em cada uma das escolas. Para avaliar a efetividade do programa de ensino foram comparados os resultados na Prova de Compreensão de Texto, antes e depois da intervenção, com os alunos que participaram do procedimento de ensino. Para analisar como estas escolas foram avaliadas externamente foram comparados os resultados das escolas na Prova Brasil antes e depois da intervenção. Por fim, foram apresentados exemplos dos relatos dos professores das escolas participantes do presente estudo, acerca do procedimento de ensino utilizado.

A Figura 1 apresenta, no painel superior, os resultados das crianças na Prova de Compreensão de Texto, antes e depois do procedimento de ensino com todos os livros do Módulo 3 em cada uma das escolas. Quando se comparam os resultados da Prova de Compreensão de texto antes e após o procedimento de ensino observa- se que o escore obtido pelos estudantes foi significativamente maior depois do procedimento para três das quatro escolas. O aumento observado nos escores dos estudantes da Escola 2 não foi significativo (teste t, p>0,05). Para os estudantes das demais escolas houve aumento significativo dos escores (teste t, p<0,05).

Os resultados de três edições da Prova Brasil (escores de língua portuguesa) para cada escola são apresentados no Painel inferior da Figura 1. Observa-se que a pontuação mais alta foi obtida em 2015, no final da aplicação do programa de ensino, para três das quatro escolas: as duas da região sudeste e uma da região centro-oeste. Para a Escola 3, a pontuação em 2015 foi superior à de 2011, mas menor que a de 2013. Para as Escolas 1 e 2, a pontuação aumentou ao longo das três edições.

A Figura 2 apresenta uma análise mais ampla dos dados na Prova Brasil, mostrando para o período 2011-2017, além das médias das escolas alvo deste estudo, os resultados médios das duas cidades (uma em cada painel) de que faziam parte e a média geral de todas as escolas brasileiras. As linhas tracejadas representam os dados nacionais, as linhas pontilhadas representam os resultados da cidade e as linhas cheias representam os de cada escola. Em 2011 as quatro escolas tinham escores menores (região sudeste) ou similares (região centro-oeste) à média nacional, enquanto a médias das cidades eram maiores que a média nacional. Ao longo dos quatro anos, todos os escores aumentaram, mas no período entre de vigência do projeto (após a avaliação de 2013 e antes da de 2015) o incremento nas escolas, mostrado pela inclinação das curvas com linhas contínuas, foi maior do que as médias locais e nacionais, para três das quatro escolas. Uma das escolas da região sudeste alcançou a média da cidade e as duas escolas desta cidade, assim como a Escola 1 da região centro-oeste, terminaram o período com escores bem maiores do que a média nacional.

Relatos dos professores

No total 19 professores responderam ao questionário enviado via Google Forms, sobre a participação deles no estudo e aspectos gerais do uso do programa de ensino. Todos se manifestaram favoráveis ao uso do programa de ensino na escola em que trabalhavam, sendo que 16 dos respondentes afirmaram que o projeto contribuiu para sua formação profissional no que se refere ao aprendizado de uma ferramenta de ensino que pode fortalecer o repertório de leitura de todos os alunos. Ao responder à pergunta aberta que solicitava sugestões e comentários sobre o programa, os professores demonstraram satisfação com o procedimento e também preocupações sobre a continuidade do uso, após o término do estudo. Alguns exemplos de relatos:

(P3) Só tenho elogios em relação ao projeto. As crianças que atendi gostaram bastante e tiveram um bom proveito, desenvolveram mais a leitura e aperfeiçoaram a escrita, sem contar no entusiasmo de manusear o computador. Tenho certeza que para elas foi um ganho significativo. Sugiro que outros projetos iguais ou semelhantes retornem a nossa escola para dar continuidade a um trabalho tão bom.

(P5) Mostrou-se uma ferramenta de ajuda nas atividades muito estimulante para as crianças, pois o uso do computador não é frequente em sala e isso já é um fator positivo no uso da mesma.

(P9) O Projeto é muito rico e os resultados foram visíveis. Apenas acho que fica um espaço vazio quando de repente ele acaba. Deveríamos ter outros projetos que desse continuidade a essa parceria.

(P14) Gostaria que esse projeto não saísse da nossa escola, pois temos muitos problemas de aprendizagem e ele ajudaria muito os nossos alunos.

DISCUSSÃO

O presente trabalho teve como objetivo avaliar a efetividade de um módulo informatizado para o ensino de compreensão de textos de alunos de quatro escolas que obtiveram notas baixas na Prova Brasil em 2011. A avaliação inicial das crianças das quatro escolas, que cursavam o 5º ano confirma o baixo desempenho em leitura nos anos iniciais do ensino fundamental, amplamente registrado na literatura nacional.

Utilizamos como medidas para avaliar internamente a eficácia do procedimento de ensino uma prova construída com base nas matrizes de avaliação utilizadas pela Prova Brasil (c.f. Silveira et al, 2016). As Provas de Compreensão de Leitura indicaram a eficácia do procedimento de ensino em todas as escolas, isto é, as médias dos alunos de cada escola foram maiores após aplicação do programa do que as médias antes da aplicação. O aumento nos desempenhos em compreensão de leitura de todas as escolas mostra também que o Módulo 3 informatizado foi efetivo para ensinar o comportamento alvo. No programa de ensino as crianças leram histórias infantis e responderam perguntas de compreensão do texto, com apresentação de feedback para suas respostas e a oportunidade de mudar suas respostas quando erravam. O aumento no número de acertos nas provas de compreensão respondidas no papel e em sala de aula sugere que o efeito do procedimento se transferiu para a situação de prova. Esses resultados corroboram Bertini e de Melo (2021) que utilizaram o procedimento de ensino aqui descrito para a análise de compreensão e fluência de leitura com 11 crianças do ensino fundamental (agrupadas em grupo controle e experimental). As autoras relataram aumento significativo do comportamento de ler com compreensão após o procedimento, embora não tenha sido encontrado efeito nas medidas de fluência.

Também acompanhamos os dados obtidos pelas escolas participantes durante três aplicações da Prova Brasil, duas antes do procedimento de ensino (2011 e 2013) e uma depois (2015). Na mesma direção das provas de compreensão de leitura, os resultados das escolas na Prova Brasil também aumentaram após a aplicação do procedimento, com exceção de uma escola da região centro-oeste (Escola 2). Cabe observar que as responsáveis por esta escola relataram descontentamento com a aplicação da Prova Brasil em 2011, culpando aspectos da aplicação pelo baixo resultado. Nas duas escolas da região sudeste, embora se possa observar melhorias significativas nas medidas da Prova Brasil, observa-se também que as duas escolas já vinham progredindo gradualmente em suas notas, quando se comparam os escores de 2011 e 2013 (Figuras 1 e 2). Essa progressão poderia ter sido encontrada mesmo na ausência do procedimento de ensino ora utilizado, provavelmente como resultado da busca por atingir as metas estabelecidas pela política educacional. Por outro lado, considerando as medidas obtidas com a prova de Compreensão de Textos (Figura 1), o progresso mais acentuado em três das escolas, imediatamente após a intervenção (Figura 2) e os relatos de professores que monitoraram os procedimentos e de coordenadores pedagógicos das escolas, parecem existir indícios de que o programa de ensino ora utilizado pode ter tido um papel facilitador, no sentido de preparar os alunos para entenderem melhor os textos que lhes foram apresentados na Prova Brasil, bem como na continuidade do ensino escolar formal.

O presente trabalho apresenta limitações, devido não apenas à complexidade do trabalho nas escolas (envolvendo muitos monitores, com diferentes níveis de qualificação) e ao fato de que a amostra era constituída pelos alunos os escores mais baixos de compreensão de leitura, mas também por limitações nos próprios instrumentos de avaliação (Gatti, 1994). Por exemplo, estudos futuros podem trabalhar em aprimorar a metodologia de análise dos erros em cada um dos tipos de questões e com base nessa análise, refinar a gradação e o equilíbrio de perguntas que requeriam apenas a identificação de informações explícitas no texto e questões que requeriam inferências e o estabelecimento de relação entre elementos do texto, considerando que são repertórios com complexidade diferenciada.

Embora ainda possa ser aprimorado, este módulo de ensino inclui características consideradas favorecedoras para o ensino, como poucas frases impressas em cada página, enredo com sequência bem definida (início, desenvolvimento e fecho), maior proporção de palavras formadas por sílabas simples (sequências regulares consoante-vogal) e possibilidade de consultar as palavras complexas. Além disso, podem também ser fatores favorecedores da aprendizagem a leitura orientada e sucessiva de vários livros (15 histórias diferentes), de maneira ativa, interativa e lúdica, com texto intercalado por questões que avaliavam a compreensão do texto e requeriam a leitura cuidadosa, a atenção a detalhes e ao conteúdo da história e das questões. Além disso, as questões servem como um tipo de avaliação inserida na apresentação do texto, que pode gerar o chamado efeito de testagem (testing effect, e.g., Carrier & Pashler, 1992; Moreira et al., 2019). Este efeito pode ter ocorrido no presente estudo, ou seja, a leitura da história seguida pelas questões pode ter aumentado a atenção, a aprendizagem e a memória sobre a história. No entanto, conclusões sobre a evidência de efeito de testagem neste programa de ensino dependem de comparação com um grupo controle que seria exposto a apenas à releitura da história, sem a oportunidade de responder questões.

O uso de questões durante a leitura de um texto também tem sido uma estratégia bastante utilizada por educadores, pais e pesquisadores interessados em compreender melhor o que e quanto o leitor ou ouvinte está compreendendo do texto lido por ele ou pelo educador. O que a literatura tem evidenciado é o potencial das perguntas como estratégia para promover uma interação mais proveitosa com os textos lidos, tanto em situações de leitura compartilhada, realizada por pais ou professores, para crianças pequenas (por exemplo, Fletcher & Reese, 2005; Medeiros & Flores, 2016; Whitehurst et al., 1988) quanto em situações mais estruturadas de ensino, como no caso do uso de programas de ensino de leitura informatizados (Layng et al., 2011). De acordo com estes autores, em um programa de ensino de leitura, as perguntas realizadas organizam a atividade do leitor e ajudam a direcionar a atenção para os aspectos centrais e mais relevantes na compreensão do texto.

Os resultados do procedimento deste estudo também podem ter sido favorecidos pelo fato do programa ter sido conduzido em uma situação motivadora para as crianças, por terem sua velocidade de aprendizagem respeitada, seus progressos reconhecidos e por terem a oportunidade de utilizar o computador dentro do ambiente escolar. Grande parte dos alunos das escolas públicas estudadas tinham reduzida ou nenhuma experiência com computadores, sugerindo a falta de acesso cotidiano a esse tipo de recurso tecnológico; observações anedóticas de suas interações na situação de ensino sugeriram bastante interesse pela atividade, por seus desafios e pelo feedback após suas escolhas das alternativas de resposta, especialmente, no caso de acertos. No entanto, mesmo crianças que possuem um computador em sua residência podem se sentir mais motivadas a realizar atividades informatizadas na escola, considerando que fora dela elas estão mais familiarizadas com a leitura de textos em plataformas eletrônicas do que em material impresso (McKenna et al., 2012; O’Brien et al., 2007).

A implementação do presente trabalho incluiu uma série de complexidades, inerentes aos trabalhos aplicados em larga escala. Por exemplo, o gerenciamento de uma equipe extensa (formada por professores do ensino básico, bolsistas de diferentes níveis e voluntários), a imensa diversidade de condições físicas e de funcionamento das escolas e o trabalho conjunto e interdisciplinar entre pesquisadores, estudantes de psicologia, professores e técnicos de informática. Para possibilitar que o produto concreto desta parceria e deste projeto seja utilizado por mais alunos, em escolas ainda maiores e mais diversas, o software ora construído será acoplado ao programa Aprendendo a Ler e a Escrever em Pequenos Passos (ALEPP), disponibilizado pela plataforma de Gerenciamento de Ensino Individualizado por Computador (GEIC; http://geic.ufscar.br:8080/site/documento?id=5). A plataforma pode ser acessada por pais, educadores, alunos ou qualquer pessoa que esteja interessada nos procedimentos de ensino disponibilizados online e gratuitamente, mediante solicitação aos pesquisadores.

Espera-se que, a longo prazo, o procedimento de ensino descrito no presente trabalho tenha sua eficácia avaliada com amostras mais amplas e, sobretudo, que possa ser efetivamente utilizado como recurso suplementar para promover a compreensão na leitura de textos e aumentar a motivação dos alunos para leitura.

REFERÊNCIAS

Adams, M. J. (1994). Beginning to read: Thinking and learning about print. Cambridge, MA: MIT Press.

Bandini, C. S. M., Bandini, H. H. M., Sella, A. C., & Souza, D. G. (2014). Emergence of reading and writing in illiterate adults after matching-to-sample tasks. Paidéia, 24(57), 75-84. DOI: 10.1590/1982-43272457201410.

Benitez, P., & Domeniconi, C. (2016). Use of a computerized reading and writing teaching program for families of students with intellectual disabilities. The Psychological Record, 1, 1-12. DOI: 10.1007/s40732-015-0158-8

Carrier, M., & Pashler, H. (1992). The influence of retrieval on retention. Memory & Cognition, 20(6), 633-642. Disponível em: https://link.springer.com/content/ pdf/10.3758%2FBF03202713.pdf

Cooper, J. O., Heron, T. E., & Heward, W. L. (2007). Applied behavior analysis. (2a ed.). Upper Saddle River, NJ: Pearson Education. Disponível em: https:// www.pearson.com/us/higher-education/program/Cooper-Applied-Behavior- Analysis-2nd-Edition/PGM94828.html

Dalben, A., & Almeida, L.C. (2015). Para uma avaliação de larga escala multidimensional. Estudos em Avaliação Educacional, 26 (61), 12-28. 2015http://dx.doi.org/10.18222/eae266103140

de Rose, J. C. C., de Souza D. G., Rossito, A. L., & de Rose, T. M. S. (1989). Aquisição de leitura após história de fracasso escolar: equivalência de estímulos e generalização. Psicologia. Teoria e Pesquisa, 5 (3), 325-346.

de Rose, J. C. (1993). Classes de estímulos: Implicações para uma análise comportamental da cognição. Psicologia: Teoria e Pesquisa, 9, 283-303. Disponível em: http://periodicos.unb.br/ojs248/index.php/revistaptp/article/ download/20489/14595

de Rose, J. C. (2005). Análise comportamental da aprendizagem de leitura e escrita. Revista Brasileira de Análise do Comportamento, 1(1), 29–50. DOI: 10.18542/rebac.v1i1.676

de Rose, J. C., de Souza, D. G., & Hanna, E. S. (1996). Teaching reading and spelling: Exclusion and stimulus equivalence. Journal of Applied Behavior Analysis, 29(4), 451-469. DOI:10.1901/jaba.1996.29-451

de Souza, D. G., & de Rose, J. C. (2006). Desenvolvendo programas individualizados para o ensino de leitura. Acta Comportamentalia, 14(1), 77-98. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S0188- 81452006000100004&lng=pt&nrm=iso

de Souza, D. G., de Rose, J. C., & Domeniconi, C. (2009a). Applying relational operants to reading and spelling. In: R. A. Rehfeldt & Y. Barnes- Holmes (Eds.). Derived relational responding: Applications for learners with autism and other developmental disabilities (pp.173-207). Oakland, CA: New Harbinger Publications.

de Souza, D. G., de Rose, J. C., Faleiros, T. C., Bortoloti, R., Hanna, E. S., & McIlvane, W. J. (2009b). Teaching generative reading via recombination of minimal textual units: A legacy of verbal behavior to children in Brazil. International Journal of Psychology and Psychological Therapy, 9(1), 19-44.

de Souza, D.G., et al. (2019). Projeto Alfatech: Implementação do Currículo ALEPP em Escolas Públicas da Rede Municipal de Ensino de Santo André- SP (2017-2018). Disponível em https://inctecce.com.br/images/arquivos/00- projeto-alfatech.pdf Consulta em 10/02/2020.

Domeniconi, C., Calcagno, S. C., Kato, O. M., Benitez, P., & Hanna, E. S. (2021). Ensino de Leitura com Compreensão para Alunos de Escolas Públicas com Baixos Escores na Prova Brasil. Em: de Melo. R. M. & Albuquerque, (Organizadoras) Contribuições da análise do comportamento para a compreensão da leitura e escrita: investigações empíricas e diálogos com outras áreas de conhecimento (Volume II).

Fletcher, K. L., & Reese, E. (2005). Picture book reading with young children: A conceptual framework. Developmental Review, 25(1), 64–103. DOI: 10.1016/j.dr.2004.08.009.

Gatti, B. A. (1994). Avaliação Educacional no Brasil: experiências, problemas, recomendações. Estudos em Avaliação Educacional, 10, 67-80. doi. http:// dx.doi.org/10.18222/eae01019942320

Gomes, C. G. S., Hanna, E. S., & Souza, D. G. de (2015). Ensino de relações entre figuras e palavras impressas com emparelhamento multimodelo a crianças com autismo. Revista Brasileira de Análise do Comportamento, Belém, 11(1), 24-36. DOI: 18542/rebac.v11i1.1975.

Hanna, E. S., Severo, J. V.B.C., Domeniconi, C., de Rose, J.C.C., & de Souza, D.G. (2021). Ensino de Leitura de Histórias Infantis. Em: de Melo. R. M. & Albuquerque, A. (Organizadoras) Contribuições da análise do comportamento para a compreensão da leitura e escrita: investigações empíricas e diálogos com outras áreas de conhecimento (Volume I).

Junqueira, S. (1985). Coleção estrelinha. São Paulo: Ática.

Keller, F. S., Bori, C. M., & Azzi, R. (1964). Um curso moderno de Psicologia. Ciência e Cultura, 16, 379-397.

Layng, T. V. J., Sota, M., & Leon, M. (2011). Thinking through text comprehension I: Foundation and guiding relations. The Behavior Analyst Today, 12 (1), 3-11. https://doi. org/10.1037/h0100706

McGuinness, D. (2004). Early reading instruction: What science really tells us about how to teach reading. Cambridge, MA: MIT Press.

McKenna, M. C., Conradi, K., Lawrence, C., Jang, B. G., & Meyer, J. P. (2012). Reading attitudes of middle school students: Results of a U.S. Survey. Reading Research Quarterly, 47(3), 283–306.

Medeiros, F. H., & Flores, E.P. (2016). Comprehension of stories after dialogic reading with questions based on narrative thematic dimensions. Psicologia: Teoria e Pesquisa, 32, p. e32ne26, 2016. doi:http://dx.doi.org/10.1590/0102- 3772e32ne26

Melchiori, L. E., de Souza, D. G., & de Rose, J. C. (2000). Reading, equivalence and recombination of units: a replication with students with different learning histories. Journal of Applied Behavior Analysis, 33 (1), 97-100.

Miura, R. K. K. (1992). Oportunidade de resposta seguida por modelo: um procedimento para o desenvolvimento de leitura em alunos com dificuldades de aprendizagem. Dissertação de Mestrado, Programa de Pós-Graduação em Educação Especial, Universidade Federal de São Carlos, São Carlos, SP.

Moreira, B. F. T., Pinto, T. S. S., Justi, F. R. R., & Jaeger, A. (2019). Retrieval practice improves learning in children with diverse visual word recognition skills. Memory, 27 (10), 1423-1437, DOI: 10.1080/09658211.2019.1668017

Nale, N. (1998). Programação de ensino no Brasil: o papel de Carolina Bori. Psicologia USP, 9, 275-301. http://dx.doi.org/10.1590/S0103- 65641998000100058.

Orlando, A., de Souza, D. G., Souza, L., Pimentel, M. G., Teixeira, C., de Rose, J.C., Golfeto, R., Hanna, E. S., & Marques, L. (2016). GEIC 0.21 (Gerenciador de ensino informatizado por computador) - Manual do usuário. http://geic. ufscar.br:8080/site/documento?id=5

Reis, T. S., de Souza, D. G., & de Rose, J. C. (2009). Avaliação de um programa para o ensino de leitura e escrita. Estudos em Avaliação Educacional, 20, 425-450. DOI: 10.18222/eae204420092038.

Sidman, M. (1971/2004). Reading and auditory-visual equivalences. Journal of Speech and Hearing Research, 14, 5-13. DOI: 10.1044/jshr.1401.05

Silveira, C. C. (2015). Mapeamento de repertórios de leitura e escrita em escolas com baixos índices na Prova Brasil. Dissertação de mestrado não publicada, Programa de Pós-Graduação em Psicologia, Universidade Federal de São Carlos, São Carlos-SP. Disponível em: https://repositorio.ufscar.br/handle/ ufscar/6060

Silveira, C., Domeniconi, C., & Hanna, E. S. (2019). Uma avaliação alternativa de compreensão de leitura para crianças. Acta Comportamentalia, 27(4), 423-435.

Silveira, C. C., Domeniconi, C., Calcagno, S. C., Kato, O. M., & Hanna, E. S. (2016). Repertório básico de leitura e escrita em escolas brasileiras com baixa avaliação do ensino fundamental. Acta Comportamentalia, 24(4), 471- 486. Disponível em: http://www.revistas.unam.mx/index.php/acom/article/ view/57978

Snow, C. E., Griffin, P., & Burns, M. S. (2005). Knowledge to support the teaching of reading: Preparing teachers for a changing world. Indianapolis, IN: Jossey- Bass, An Imprint of Wiley.

Stromer, R., Mackay, H. A., & Stoddard, L. T. (1992). Classroom applications of stimulus equivalence technology. Journal of Behavioral Education, 2(3), 225-256. doi: 10.1007/BF00948817

Teixeira Bertini, M., & Muchon de Melo, C. (2021). Avaliação de um programa informatizado para promoção do repertório de ler com compreensão. Interação em Psicologia, 25(1). doi:http://dx.doi.org/10.5380/riep.v25i1.64669.

Tizo, M. (2016). Avaliando tecnologia de ensino de leitura e escrita informatizada e adaptada para alunos de escola pública com dificuldade de aprendizagem. Tese não publicada, Programa de Pós-Graduação em Ciências do Comportamento, Universidade de Brasília, DF. Disponível em: http://www. ppg-cdc.unb.br/images/stories/PDF/TeseseDissertacoes/Doutorado/2016/ Tese_Marcileyde_Tizo.pdf

Whitehurst, G. J., Fischel, J. E., Lonigan, C. J., Valdez-Menchaca, M. C., DeBaryshe, A. D., & Caulfield, M. B. (1988). Verbal interaction in families of normal and expressive-language-delayed children. Developmental Psychology, 24(5), 690–699. https://doi.org/10.1037/0012-1649.24.5.690