1 Introdução

Na Educação Básica, o ensino de Estatística e Probabilidade tem, como um de seus objetivos, contribuir para a formação integral do sujeito, uma vez que lhe permite fazer uma leitura diferenciada de mundo e estabelecer relações para resolver problemas desses conteúdos nas mais diversas áreas do conhecimento, sendo uma ferramenta para o método científico e a tomada de decisões (CAZORLA, 2004). Apesar de ser um tema muito importante para a educação dos cidadãos, os estudantes apresentam dificuldades relativas a seu aspecto conceitual; à leitura de quadros, de tabelas e de gráficos; como também aos cálculos das médias, das porcentagens e das probabilidades.

A Base Nacional Comum Curricular (BNCC) sinaliza que, quanto às habilidades em Estatística, tais como “coletar, organizar, representar, interpretar e analisar dados em uma variedade de contextos, de maneira a fazer julgamentos bem fundamentados e tomar as decisões adequadas” (BRASIL, 2018, p. 272), os estudantes devem compreender o conceito das medidas de tendência central e ser capazes de fazer seus respectivos cálculos quando forem acionados para utilizá-los. Além disso, precisam organizar os resultados encontrados em tabelas, quadros e gráficos, fazendo as análises de seus resultados e apresentando argumentos válidos para fundamentar suas conclusões, pois, dessa forma, revelam ter uma atitude científica nessa área de conhecimento como também estabelecer inter-relações que “promovem a ampliação de significado aos tópicos matemáticos e, por outro, propiciam acesso à matemática estrutural” (BRASIL, 2018, p. 521).

Já com relação ao estudo de Probabilidade, a BNCC determina que os estudantes tenham uma “visão” acerca da importância do uso adequado de seu cálculo, como também sejam capazes de se apropriarem dos modelos probabilísticos implementados no mundo, cujo estudo situa-se nas mais diversas áreas do conhecimento.

A integração entre Probabilidade e Estatística, a Estocástica^[1], possibilita um ensino interdisciplinar desses conteúdos para desenvolver o pensamento científico, tornando os processos de ensino e de aprendizagem com significado na medida em que dados são organizados, representados e analisados a partir de uma situação problema.

Embora a Estatística e a Probabilidade sejam consideradas importantes no currículo escolar da educação básica, diversos estudos revelam que os estudantes apresentam dificuldades, evidenciadas nos resultados de diferentes avaliações internacionais, como o Programa Internacional de Avaliação de Estudantes (PISA), e nacionais, como o Sistema de Avaliação da Educação Básica (SAEB) e o Exame Nacional do Ensino Médio (ENEM). Por isso, essas avaliações são fontes importantes para que se possa identificar os erros e, a partir deles, associar as dificuldades de aprendizagem sobre os conteúdos avaliados.

O ENEM, uma avaliação da aprendizagem para os egressos do Ensino Médio, configura-se como uma “fonte significativa” para obtenção de elementos relacionados a aprendizagens e às não aprendizagens dos estudantes, os quais, supõe-se, tenham se apropriado do conteúdo proveniente de diferentes componentes curriculares e de diversas áreas do conhecimento (NÚÑEZ, 2017). Essa avaliação está inserida no conjunto do Sistema Nacional de Educação (SNE) como parte do Sistema Nacional de Avaliação da Educação Básica (SAEB) e surgiu em um contexto nacional de valorização das avaliações em alta escala, de forma padronizada, estando ligada às políticas de responsabilização e democratização de acesso a vagas nas universidades federais de ensino superior.

Na Educação Matemática, no Brasil, a análise realizada sobre o erro surgiu a partir da tendência construtivista, sendo considerada, de acordo com Fiorentini (1995), uma ação interativa/reflexiva, partindo do homem e de suas relações com o meio e com atividades. Dessa forma, ao se analisar o erro, reconhece-se a sua importância, uma vez que se prioriza o produto do conhecimento. Em situações de ensino e de aprendizagem, pretende-se que o estudante seja partícipe de sua própria aprendizagem, e esta se torne significativa, porque ele também é um agente que compreenderá o processo a partir do qual passou a entender como adquiriu o novo conhecimento.

O estudo dos erros na Matemática tem uma importância didática e metodológica para construção de uma aprendizagem sólida (CURY, 1994). Além disso, segundo Borasi (1987), a partir desse estudo, é possível diagnosticar as dificuldades de aprendizagem e sugerir estratégias para o ensino. Abrate, Pochulu e Vargas (2006) estudam os erros, buscando identificá-los, determinar suas causas e, principalmente, organizar o seu ensino levando em consideração essas informações.

Em relação aos conteúdos relativos à Estatística e à Probabilidade, diversos estudos têm sido realizados no âmbito internacional, como os trabalhos dos pesquisadores Carmen Batanero, Juan Godino e seus colaboradores, por exemplo, Errors and difficulties in understanding elementary statistical concepts^[2]. Dessa forma, evidencia-se a preocupação com os erros e as dificuldades de aprendizagem dos referidos conteúdos por serem relevantes para se repensarem as práticas pedagógicas nas escolas e, consequentemente, a aprendizagem dos estudantes.

Nessa perspectiva, considerando-se a importância de identificar os erros que os estudantes cometem durante o processo de aprendizagem, objetivamos, neste estudo, identificar os erros que os candidatos cometeram em questões das provas do ENEM, no período de 2013 a 2016, para criar hipóteses explicativas em relação às suas causas, as quais possam ajudar a organizar e desenvolver estratégias de ensino.

Assim, neste artigo, priorizou-se identificar e caracterizar não apenas os erros, mas também as dificuldades de aprendizagem que podem estar associadas aos distratores mais escolhidos pelos estudantes nas questões de Estatística e Probabilidade que tiveram o mais baixo desempenho na prova do ENEM, nos anos de 2013 a 2016.

A partir desse objetivo geral, definimos as seguintes questões de estudo:

1. ▪ Quais habilidades, conteúdos e sub-habilidades são objeto da avaliação nas questões de Estatística e Probabilidade de 2013 a 2016 dessas provas?

   ▪ Quais erros podem estar associados aos distratores mais selecionados nas questões cujo índice de desempenho foi mais baixo?

   ▪ Quais são as dificuldades de aprendizagem que podem ajudar a compreender esses erros?

2 Erros e dificuldades de aprendizagem em Estatística e Probabilidade

Pesquisas sobre os erros assumem um papel importante no ensino de Matemática, tornando-os inerentes à aprendizagem, considerando que, para alguns autores, eles podem promover o melhoramento do ensino e, assim, contribuir para a aprendizagem dos estudantes nessa disciplina. Nessa perspectiva, investiga-se o erro com o objetivo de compreendê-lo, conhecer as suas causas e promover a reflexão acerca de sua importância para a aquisição do conhecimento e, dessa forma, intervir na qualidade do ensino e da aprendizagem desse conteúdo.

De acordo com Radatz (1980, p. 16), a análise de erros é importante "ponto de partida para a pesquisa sobre o processo de ensino-aprendizagem na matemática" e vista como "estratégia de pesquisa promissora para esclarecer algumas questões fundamentais da aprendizagem matemática”.

Rico (1998) explica que o erro é uma “possibilidade” para a aquisição do conhecimento matemático, considerado parte significante para o processo de ensino e aprendizagem de matemática, sendo “um objeto de estudo para educação matemática” (p. 1).

Pochulu (2004) considera o erro como “um esquema cognitivo inadequado do aluno, podendo ser formado por experiências anteriores e não apenas por resultado de falta de conhecimento específico” (p. 2). De acordo com ele, o estudante deve refletir sobre o processo e o produto, permitindo seu desenvolvimento, o que inclui a capacidade de autoquestionamento.

No entender de Borasi (1995), os erros são como “trampolins” para o conhecimento. Ela propõe identificar e classificar os erros cometidos pelos alunos, criar estratégias para usá-los como instrumentos a fim de explorar o funcionamento da mente. Dessa forma, sob o ponto de vista didático, a análise de erros consiste em realizar essas ações.

Brousseau (1998), partindo do entendimento de obstáculo epistemológico — um conceito introduzido por Gaston Bacherlad —, pontua que o erro é o “efeito” do conhecimento prévio, e não apenas fruto da ignorância, sendo assim, considerado como o resultado de obstáculos constituídos a partir de conhecimentos adquiridos.

De acordo com Núñez (2017a), não há causalidade na aparição dos erros, mas surgem de um marco conceitual consistente, firmado em conhecimentos prévios. Conclui-se, com isso, que o ensino é potencializador de erros devido a diferentes causas. O autor pontua que “o erro pode ser definido em termos de desvio da resposta do aluno em relação ao padrão estabelecido ou modelo de atividade”, como também “uma manifestação das dificuldades de aprendizagem” (NÚÑEZ, 2017a, p. 802).

Quanto às dificuldades na aprendizagem, Sánchez (2004) as define como “algo heterogêneo”. O autor as considera como “funcionamento” com resultado “abaixo do esperado”, e heterogêneas por falta de habilidades significativas que são intrínsecas ao indivíduo.

Socas (1997, p. 127) também considera as dificuldades como Sánchez, mas acrescenta, em decorrência disso, que elas estão agrupadas em cinco grandes categorias: “objetos matemáticos, processos do pensamento, processos do ensino de matemática, conexão com os processos cognitivos dos alunos e com a falta de uma atitude racional em relação à Matemática”.

Segundo Cury (2008), as relações entre os erros e as dificuldades de aprendizagem aparecem nas atividades propostas pelos docentes, tornando-se importante investigação para que os estudantes possam se apropriar do conhecimento. Dificuldades de aprendizagem, para a autora, são evidências apresentadas nas análises feitas das respostas dos estudantes, verificadas nas atividades propostas pelos docentes, o que evidencia, então, estarem os erros e as dificuldades interligados.

De acordo com Pochulu (2004), os erros cometidos pelos alunos refletem algumas dificuldades de aprendizagem, as quais podem ser corrigidos por meio de estratégias de ensino adequadas na busca de prevenção e correção desses erros. Para este estudo, assumimos que a dificuldade de aprendizagem está inserida em uma relação dialética de essência-fenômeno, determinada como uma hipótese explicativa e compreendida como a que leva ao erro(NÚÑEZ e RAMALHO, 2012).

Nessa perspectiva, nos estudos de Coutinho (1994), quanto ao conteúdo de Estatística e Probabilidade, as dificuldades de aprendizagem nesse tema estão vinculadas à ausência de informações, chamadas de equiprobabilidade, que ocorrem logo na introdução do conceito por parte do professor. Este não fornece informações adequadas à realidade dos educandos.

Para Henry (1991), os estudantes apresentam dificuldade na construção de modelo para experimento estatístico e probabilístico a partir da observação. Essa dificuldade ocorre pela falta de um suporte matemático adequado. De acordo com Coutinho (1994), essas dificuldades são frutos dos obstáculos epistemológicos, de cuja “origem epistemológica não devemos fugir, devido ao papel construtivo no conhecimento visado” (COUTINHO, 1994, p. 26).

Alguns trabalhos, como os de Estrella (2008, 2016), Mokros e Russell (1995), Puerto, Seminara e Minnaard (2007), Mavarech (1993) e Batanero (2000), estudam as dificuldades dos estudantes no cálculo das médias. Já Moore (1990), Rubin, Bruce e Tenney (1990), Wild e Pfannkuch (1999), Reaburn (2011) e Morgado at al. (2006) pesquisam as dificuldades dos alunos em relacionar os objetos matemáticos que indicam distribuição probabilísticas.

Os estudos de Diebold e Pauly (1987), Popper (1967),BBatanero e Díaz (2015) sinalizam as dificuldades na quebra da estrutura das hipóteses de testes. Os estudos de Romero (2008), Santana (2011), Delmas et al. (2007) e Cumming (2006) apresentam as dificuldades dos alunos em eventos probabilísticos e percentuais sucessivos. Martins, Pires e Barros (2009), Falk (1986), Pollatsek et al. (1987) trazem à discussão as dificuldades de aprendizagem no pensamento dedutivo matemático e em testes de hipóteses.

3 Procedimentos metodológicos

Essa investigação é de natureza descritiva e explicativa, baseada na metodologia de análises de erros (GIL, 2008; NÚÑEZ e RAMALHO, 2012) como também na análise de desempenho, respaldada na teoria clássica de análise de itens de Spearman (1913) e detalhada por Gulliksen (1950). Fundamentando a natureza do objeto dessa investigação, adotamos uma abordagem que harmoniza as dimensões qualitativa e quantitativa para as análises dos dados.

Para esta pesquisa, utilizamos os dados dos estudantes da escola pública e privada que foram aprovados na primeira chamada do Sistema de Seleção Unificada (SISU) para ingressar na Universidade Federal do Rio Grande do Norte (UFRN), no período de 2014 a 2017, sendo um total de 5.225 para 2014; 6.348 para 2015; 6.592 para 2016; e 6.497 para 2017, totalizando 24.662 estudantes.

As questões selecionadas do ENEM 2013-2016 dizem respeito aos conteúdos específicos do tema “Conhecimentos de Estatística e Probabilidade”. Essas questões foram elaboradas tendo em vista determinada competência e habilidade presentes na Matriz de Referência do ENEM, segundo o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP (BRASIL, 2009). Para as análises quantitativas do desempenho dos estudantes, foram organizados os percentuais e as quantidades (absolutas) para cada opção de resposta (o gabarito e os quatro distratores), tomando como referência o caderno de provas amarelo.

Na identificação do grau de dificuldade das questões a serem analisadas, utilizamos o índice de desempenho (ID) ou de acerto como critério para definir as questões a serem analisadas. O ID define o percentual de candidatos que acertam o gabarito da questão bem como mede o grau de dificuldade (SPEARMAN, 1913; GULLIKSEN, 1950; PASQUALI, 2003). Para dimensionar essa categoria, utilizamos subcategorias que são fixadas a partir de níveis de desempenho dos candidatos (NÚÑEZ, 2017b), apresentados no Quadro 1.

Com base nesse índice, selecionamos as questões que apresentaram um índice de desempenho (ID) muito baixo, ou seja, aquelas cujo índice de acerto foi menor que 25%. Dessas questões, analisamos o distrator com maior percentual de escolha por parte dos estudantes.

Quadro 1
Índice de Desempenho ou de acerto

UFRN/COMPERVE (2016)

Nas análises dos erros, foi realizada a associação de cada distrator mais assinalado a um erro ou a vários e, depois, foram criadas hipóteses explicativas, em termos de dificuldades de aprendizagem. Essa identificação e caracterização do erro foram feitas a partir de um diálogo crítico com o referencial teórico, assumido nessa pesquisa. Classificamos os erros de forma sistematizada partindo de sua identificação (NÚÑEZ, 2017b).

4 Resultados do estudo

Nesse tópico, serão apresentados os resultados e as discussões referentes aos objetivos propostos e à análise dos dados sobre os conteúdos avaliados nas provas de Matemática do ENEM 2013 a 2016, relativos ao tema Conhecimentos em Estatística e Probabilidade.

Os dados que possibilitaram a realização deste estudo foram obtidos a partir das análises de nove questões distribuídas em quatro provas e explicitam os resultados de um total de vinte e quatro mil, seiscentos e sessenta e dois candidatos que foram selecionados na primeira chamada do SISU para entrar na UFRN nos anos de 2014 a 2017.

Na tabela 1, observa-se a distribuição das questões de acordo com o índice de desempenho sobre o referido tema durante esse período.

Tabela 1
Distribuição das questões de acordo com o índice de desempenho

Dados da Pesquisa

Como podemos observar, nos anos em análise, o índice de desempenho baixo apresentou uma quantidade maior de questões, 17, e, em seguida, as de desempenho muito baixo, com 9 questões. Todavia, priorizamos analisar apenas as que tiveram um desempenho muito baixo para identificar, hipoteticamente, o erro e associá-lo às dificuldades de aprendizagem.

Primeiramente, com base na primeira questão de estudo, faz-se necessário apresentar as habilidades referentes às questões avaliadas nas provas de Matemática do ENEM de 2013 a 2015, as quais foram selecionadas para a realização das análises deste estudo. Assim, de acordo com a matriz do ENEM (2009), explicitamos essas habilidades no Quadro 2.

Quadro 2
Habilidade de acordo com a Matriz do ENEM 2009 e a respectiva questão

Dados da Pesquisa

Verificamos, a partir desse quadro, que as habilidades das questões, de acordo com a matriz do ENEM (2009), fazem parte da competência 7. Nessa competência, há o esclarecimento de como dever ser compreendido o tema em análise:

Compreender o caráter aleatório e não-determinístico dos fenômenos naturais e sociais e utilizar instrumentos adequados para medidas, determinação de amostras e cálculos de probabilidade para interpretar informações de variáveis apresentadas em uma distribuição estatística (INEP, 2009).

Observamos também que as habilidades mais frequentes para essa competência é, em primeiro lugar, a H28 e a H29, definidas, respectivamente, como “Resolver situação-problema que envolva conhecimentos de estatística e probabilidade” (INEP, 2009) e “Utilizar conhecimentos de estatística e probabilidade como recurso para a construção de argumentação” (INEP, 2009); em segundo lugar, a H30, “Avaliar propostas de intervenção na realidade utilizando conhecimentos de estatística e probabilidade”; e, por último, a H27, “Calcular medidas de tendência central ou de dispersão de um conjunto de dados expressos em uma tabela de frequências de dados agrupados (não em classes) ou em gráficos” (INEP, 2009).

Ainda com base na primeira questão deste estudo, no Quadro 3, estão explícitos os números das questões selecionadas, o ano do ENEM, as sub-habilidades das questões, bem como os conteúdos específicos nelas abordados, evidenciando, de forma mais explícita, o objetivo de cada uma.

Nesse Quadro, em relação ao “conteúdo específico”, fica evidente a predominância das noções de probabilidade e medidas de tendência central em relação a outros conteúdos do tema em análise. Quanto às noções de probabilidade, destacam-se as seguintes sub-habilidades:

1. ▪ em 2013, na Q176, com 11,2%: “Calcular combinação baseado nos valores de um quadro”;

   ▪ em 2014, na Q152, com 19,5%: “Estimar as possibilidades e determinar a probabilidade de um teste terminar na quinta pergunta”;

   ▪ em 2015, na Q149, com 8,8%: “Definir a probabilidade através de valores percentuais”; na Q158, com 10%: “Estabelecer o valor percentual baseando-se em cinco propostas no corpo do texto”; e, por último, na Q175, com 24,4%: “Determinar a probabilidade para cada modo de escolha proposto”;

   ▪ em 2016, na Q147, com 23,5%: “Determinar a probabilidade para escolher um percurso de acordo com o modo proposto”.

Já nas questões sobre as “Medidas de Tendência Central”, destacaram-se as sub-habilidades a seguir: em 2014, na Q155, com 20,6%, “Calcular a média aritmética entre os reagentes de um experimento”; e, em 2015, na Q155, com 24,9%, “Calcular as porcentagens e médias baseado na análise de dados”, e, na Q166, com 20,5%, “Obter a média aritmética desde dados de um quadro”.

Quadro 3
Conteúdos, sub-habilidade e o Índice de desempenho do ENEM de 2013 – 2015

Elaboração dos Autores

Considerando a segunda questão do estudo, na Tabela 2, apresentam-se o número das questões, o ano do ENEM e os erros que foram identificados nas questões com o índice de desempenho mais baixo, aos quais podemos associar os distratores mais selecionados.

Os erros associados aos distratores, de acordo com a Tabela 2, evidenciam as dificuldades de aprendizagem que podem ajudar a compreender esses erros e a responder o terceiro objetivo específico.

Tabela 2
Erros associados às questões com índice de desempenho muito baixo

Elaboração dos Autores

Dessa forma, na Q176 de 2013, há uma situação-problema, em que se propõe calcular combinações baseadas em valores presentes em um quadro para verificar a probabilidade de dois, dos quatro apostadores, serem premiados. Essas combinações deveriam ser feitas com base em uma cartela com 60 números, cujo sorteado seria aquele que estivesse com os 6 números em uma mesma cartela, independente da ordem dos números sorteados. Nesse caso, hipoteticamente, o erro é utilizar a multiplicação entre as grandezas ao invés de fazê-lo entre as combinações.

Para Morgado et al. (2006), a dificuldade nesse tipo de questão está na utilização de forma sistemática e inadequada das técnicas de resolução de problemas relacionados à análise combinatória, não sendo possível gerar uma modelagem apropriada aos problemas de contagem. Rubin, Bruce e Tenney (1990) acrescentam que, nesse tipo de situação-problema, devem existir diferentes tipos de abordagens por meio de “técnicas” que ajudem os estudantes a aprender de forma “útil” para ter validade e solidez na resolução desse tipo de questão. Díaz, Batanero e Wilhelmi (2008) alertam para a dificuldade em “descrever um modelo matemático” específico por um ou vários parâmetros, dentro de uma situação de combinação de elementos.

Distribuições de probabilidade são importantes, ressalta Huck (2008), porque estão conectadas centralmente, por exemplo, para confidenciar intervalos que são construídos em torno de uma determinada amostragem estatística. Para Sánchez e Valdez (2013), nesse caso, o nível de raciocínio surge como uma das principais dificuldades ao resolver esse tipo de situação-problema. Nesse nível, o estudante articula definições subjetivas a partir do conceito ensinado no ambiente escolar, o que fica evidenciado nesse tipo questão.

Batanero, Godino e Navarro-Pelayo (1996) relatam que, no raciocínio combinatório, há dificuldades em distinguir combinação e permutação. Por isso, alguns estudantes usam outras alternativas, como a multiplicação, um sinal de que esses estudantes não tiveram uma explicação prévia da diferença entre seleção (conjunto de n elementos diferentes, no qual a amostra m é retirada), colocação (relação do objeto ao conceito) e partição (divisão em sub conjuntos), para realizar os procedimentos sistemáticos desse tipo de situação-problema.

Já na questão 152 do ano de 2014, avalia-se o conhecimento para estimar as possibilidades e determinar a probabilidade de um teste que terminará na quinta pergunta. Nessa questão, devem-se calcular as possibilidades de acerto/erro em um determinado teste. O psicólogo que aplica determinado teste, de acordo com a situação-problema, já sinaliza o percentual probabilístico de determinado candidato errar na quinta pergunta. O percentual desse distrator foi de 24,5%, e o erro a ele relacionado é o fato de o estudante estimar a probabilidade multiplicando as possibilidades por dois ao invés de quatro, estabelecendo a relação apenas com o percentual da resposta errada.

Para Diebold e Pauly (1987), nesse tipo de situação-problema, a dificuldade consiste na quebra da estrutura, uma vez que não vai ser utilizada uma combinação de previsões, o que seria necessário por se tratar de um modelo para chegar a um valor probabilístico entre as perguntas do teste.

Popper (1967) também sinalizava dificuldades de aprendizagem com esse tipo de situação-problema, que envolve teste de hipóteses com experimentos, observações ou comparações de padrões de dados obtidos, nesse caso, por meio de perguntas sucessivas.

A pesquisa de Batanero e Díaz (2015) considera importante esse tipo de probabilidade de hipóteses, no qual há um limite de frequência e um número de repetições independentes de um experimento de verdadeiro/falso, e têm assinalado a dificuldade para resolver questões em que há uma situação-problema com esse tema. Essas pesquisadoras também argumentam que, nesse tipo de questão, na qual há uma sequência de possibilidades, a dificuldade de aprendizagem por parte do estudante é “notar que a probabilidade de uma hipótese não terá significado em uma frequência” (BATANERO e DÍAZ, 2015, p. 136), e, por isso, ele observa apenas uma das alternativas certo/errado, ao invés de contabilizar o total de possibilidades sugerido na questão.

A situação-problema da questão 155 de 2014 exigia a avaliação de conhecimentos a respeito das medidas de tendência central. Para resolver a questão, era necessário calcular a média aritmética para cada experimento e, depois, analisar cada média com os respectivos reagentes que estavam em um quadro que fazia parte da questão. Ao comparar as médias com os reagentes dos experimentos, só interessaria, para o pesquisador citado na questão, o reagente cujos resultados estivessem acima da média encontrada para cada reagente do quadro. O percentual de estudantes que erraram ao marcar esse distrator foi de 37,6%, e o erro associado a ele se deve ao fato de o estudante determinar as médias aritméticas, escolhendo a maior dentre elas, confundindo valor com a maior quantidade.

Os estudos de Mokros e Russell (1995), como também os de Huck (2008) e Estrella (2016), têm mostrado as dificuldades dos estudantes em resolver situações com as medidas de tendência central, especialmente a “média”. Segundo esses autores, a média aritmética é um objeto matemático complexo que se esconde atrás de um algoritmo de cálculo simples, e, muitas vezes, os estudantes colocam a média “no centro do caminho da distribuição”, podendo perder o significado de representatividade que “esse parâmetro implica”.

As dificuldades relativas a essa medida da tendência central (média aritmética) são decorrentes do reconhecimento da média como valor "típico" ou "representativo dos dados" e, por isso, é colocada no centro do caminho de distribuição. Ao reconhecerem como valor representativo dos dados, os estudantes interpretam os dados numéricos e conhecem o cálculo da média sem levar em consideração o contexto (ESTRELLA, 2008, 2016). Reaburn (2011) afirma que a dificuldade dos estudantes está em relacionar a média aritmética com um número representativo em um conjunto de dados para fazer as devidas comparações, o que é exigido para resolver questões que tratem desse conteúdo.

A questão 149 de 2015 requer que o estudante determine o percentual de probabilidade de um entrevistador ser compreendido por três alunos entrevistados ao fazer uma pergunta em inglês na fase final de seleção de intercâmbio. O erro associado a distrator letra B, com porcentagem de 40,8%, é o de obter o valor da probabilidade subtraindo o total da amostra pelo valor de 70% ao invés de utilizar a multiplicação para determinar esse valor, já que são eventos independentes. Com isso, fica evidente a dificuldade de realizar o cálculo de porcentagem de 70% à $\frac{70}{100}$ e fazer a multiplicação necessária dos finalistas, que eram três, e de, em seguida, subtrair o resultado desse produto por 100, que representa os 100% do total de alunos da escola.

Coutinho (1994) ressalta que há dificuldade de aprendizagem em questões desse tipo, por ser preciso escolher um modelo matemático para “expressar sua ligação estreita com o mundo real”, como também por haver uma “complexidade de problemas da lógica combinatória”, o que leva o estudante a confundir eventos independentes com operações aritméticas sem estabelecer a “lógica combinatória”.

Para Romero (2008), existindo eventos independentes, o seu resultado dá-se pelo produto de suas probabilidades. Dessa forma, existe também dificuldade de entender a diferença entre eventos independentes e eventos mutuamente excludentes, para a resolução dessa situação-problema. Por isso, essa dificuldade de aprendizagem, segundo esse pesquisador, apresenta um distanciamento do estudante em relação ao objeto.

A questão 155 de 2015 faz referência à renda média apurada em 2010 por um total 101,8 milhões de brasileiros com 10 anos ou mais de idade. O item pede para calcular a diferença entre a renda dos 10% mais ricos pelos 10% mais pobres em relação à população e aos percentuais correspondentes a cada grupo. No distrator letra D, a porcentagem de escolha foi de 25,9%, e o erro, possivelmente, é confundir, no tocante a uma das grandezas, o percentual de rendimentos mensais com a média apurada, adicionada à porcentagem do total de rendimentos mensais dos 10% mais pobres.

A dificuldade em relacionar esses objetos matemáticos para o cálculo da média tem sido mostrada por Moore (1990), Rubin, Bruce e Tenney (1990), Wild e Pfannkuch (1999) e Reaburn (2011). De acordo com esses autores, a amostragem dessa média é influenciada pela variação presente em cada processo aplicativo de determinada situação-problema. Além disso, consideram que o erro cometido pelos estudantes pode estar associado à incapacidade de pensar na distribuição dessas amostras geradas a partir de uma população específica.

Na questão 158 de 2015, a situação problema solicita que se faça o cálculo do percentual de vacinação do público alvo para prevenir o HPV, informando que a probabilidade de o público adquirí-la é de, no máximo, 5,9%. No entanto, o distrator mais assinalado, que apresentou um percentual de 33,4%, está associado, hipoteticamente, ao erro de calcular o valor total da amostra, 100%, e subtrair do percentual do público alvo (x%), igualando a meta estabelecida de 5,9%.

Nesse caso, a principal dificuldade dos estudantes na resolução dessa situação-problema se deve ao fato de existirem percentuais diferentes e sucessíveis para a resolução do problema, na qual é necessário analisar as informações e fazer uso de raciocínio percentual para os cálculos probabilísticos. Para Santana (2011), deve-se promover o conceito fundamental de probabilidade para auxiliar a leitura desse tipo de questão.

Os estudos de Delmas et al. (2002) e Cumming (2006) fazem referência às dificuldades de os alunos estabelecerem o nível de confiança que representa esse tipo de amostra, em que há percentuais sucessivos de distribuições e intervalos percentuais de confiança a serem calculados. Já Huck (2008) ressalta que as dificuldades de aprendizagem, quanto a questões desse tipo, estão na distribuição das hipóteses da probabilidade em situações sucessivas de intervalos sem levar em conta os fatores de observação da amostra.

Quanto à questão 166 de 2015, o estudante deveria aplicar o cálculo da média aritmética para saber a ordem de classificação dos candidatos para um concurso. Portanto, era preciso adicionar as notas das cinco etapas e dividir por cinco, observando que, na segunda coluna, devia ficar a média das quatro primeiras etapas. O distrator mais apontado teve 41,9% de percentual. O erro associado a ele está em fazer a operação da média aritmética utilizando as duas grandezas do quadro ao invés de calculá-la com todos os valores da distribuição.

Nesse caso, a dificuldade dos estudantes é, hipoteticamente, o fato de não saberem que a média das quatro primeiras etapas ficaria na segunda coluna, o que evidencia a impossibilidade de identificar e estabelecer relações entre a quinta e as demais etapas do concurso. Com isso, conforme Martins, Pires e Barros, (2009), é necessária uma aprendizagem instrumental dos conceitos, fixando-se apenas na utilização e aplicação de fórmulas ou regras de cálculo.

Huck (2008) sinaliza a dificuldade em calcular a média dos subgrupos, significando um “nível de agregação”, que se deve levar em consideração para determinar a respectiva média. Rondero e Font (2015) ressaltam que a média aritmética tem contextos intra-matemáticos, os quais mostram o conhecimento de “definições, propriedades, representações etc.” relacionadas às médias, sendo necessário que os estudantes tomem ciência disso nas aulas de Matemática para diminuir a complexidade de resolução desse tipo de cálculo.

A questão 175 de 2015 faz referência a três modos distintos de escolher atletas para realizarem um exame antidoping. O erro associado ao distrator mais assinalado, com um percentual de 22,2%, é calcular as probabilidades P(II) e P(III) como soma e não como produto de eventos independentes. Nesse caso, a dificuldade de aprendizagem, segundo Falk (1986), que fez um estudo sobre essa temática, está relacionada ao fato de os estudantes não distinguirem entre uma probabilidade condicionada e a sua transposta, ou seja, entre as duas probabilidades P(A/B) e P(B/A).

Os estudos de Pollatsek et al. (1987) investigaram que os estudantes não conseguem, em relação à probabilidade, transformar um enunciado em linguagem comum em linguagem simbólica e vice-versa, caracterizando-se, então, a dificuldade apresentada por eles quanto a esse conteúdo.

Na questão 147 de 2016, há um esquema que ilustra o mapa de um parque com cinco áreas de brinquedos, assim como cinco caminhos para cada uma dessas áreas, propondo-se o seguinte questionamento: Qual a probabilidade de um adolescente, sem conhecer o parque, chegar a área IV sem passar por outras e sem retornar para a entrada. O erro relacionado ao distrator mais assinalado, que teve um percentual de 23,5%, hipoteticamente, está em determinar todas as probabilidades, utilizando apenas duas possibilidades em cada ponto do percurso e multiplicar todas essas possibilidades ao invés de adicioná-las.

De acordo com Tversky e Kahneman (1982), esse tipo de dificuldade ocorre quando se avalia a probabilidade de um evento com base na sua representatividade em relação à população. Dessa forma, essa dificuldade evidencia que o estudante estabelece as relações em cada ponto do percurso, gerando empecilhos para resolver a questão face às várias possibilidades de tomada de decisão.

Huck (2008) afirma que esse tipo de dificuldade se dá pelo “valor de possibilidades envolvidas no teste de hipóteses, comparando uma estatística de teste com uma distribuição de probabilidade apropriada” (p. 93). Com isso, a distribuição das possibilidades muda em função de eventos para cada ponto distinto, e o estudante não percebe que a probabilidade de observar um resultado correspondente à solicitada não será a probabilidade prevista no gabarito.

Das análises realizadas, podem-se sistematizar quais dificuldades estão relacionadas aos erros sobre o tema “conhecimentos em estatística e probabilidade” nas questões das provas de Matemática de 2013 a 2016 do ENEM. Tais dificuldades por questão são:

1. ▪ Q176 de 2013 — utilizar, de forma inadequada e sistemática, as técnicas de resolução de problemas relacionadas à análise combinatória;

   ▪ Q152 de 2014 — realizar teste de hipóteses com experimentos, observações ou comparações de padrões de dados obtidos, nesse caso, por meio de perguntas sucessivas;

   ▪ Q155 de 2014 — relacionar a média aritmética como um número representativo em um conjunto de dados para fazer as devidas comparações;

   ▪ Q149 de 2015 — escolher um modelo matemático para expressar sua ligação estreita com o mundo real com a complexidade de problemas da lógica combinatória;

   ▪ Q155 de 2015 — relacionar objetos matemáticos para o cálculo, verificando que, a amostragem é influenciada pela variação em cada processo aplicativo de determinada situação problema;

   ▪ Q158 de 2015 — calcular percentuais diferentes e sucessíveis, exigindo a resolução do problema, traduzindo e analisando as informações e fazendo uso de raciocínio percentual para os cálculos probabilísticos;

   ▪ Q166 de 2015 — identificar e estabelecer relações ao calcular a média dos subgrupos;

   ▪ Q175 de 2015 — transformar, no tocante às probabilidades, a linguagem comum para linguagem simbólica e vice-versa assim como distinguir as hipóteses em probabilidades condicionadas;

   ▪ Q147 de 2016 — estabelecer relações em cada ponto do percurso, gerando empecilhos para resolver a questão face às várias possibilidades de tomada de decisão.

5 Considerações

O ENEM é uma avaliação que tem, como um de seus objetivos, selecionar alunos para o ingresso no ensino superior. Sendo assim, dentre outros aspectos, é uma fonte de informações que pode auxiliar na melhoria dos processos de ensino e de aprendizagem de alguns conteúdos abordados na educação básica. As análises dos resultados quanto aos erros e às dificuldades na aprendizagem poderão ajudar a pensar, pedagogicamente, metodologias para o tratamento e superação adequada desses erros.

Os resultados apontados no tópico anterior evidenciaram que, de maneira geral, o desempenho foi muito baixo nas nove questões. Foi possível, a partir das análises feitas, identificar as dificuldades de aprendizagem, as quais, hipoteticamente, foram explicitadas a partir da identificação dos erros que estavam associados aos distratores mais assinalados pelos estudantes nas questões sobre o conteúdo de Estatística e Probabilidade da prova de Matemática 2013 - 2016.

Os erros associados aos distratores referentes a esse tema também foram identificados por Movshovitz-Hadar, Zaslavski e Inbar (1987): uso errado de dados, linguagem má interpretada e inferência logicamente inválida. Puchulu (2004) também afirmou que, além dos erros associados à aritmética, que envolve os cálculos nesse tema, há outros decorrentes de interpretações indevidas das informações provenientes de um gráfico, quadro ou tabela.

Com relação às dificuldades de aprendizagem relacionadas a esses erros, os apontamentos de Socas (1997), Cury (1994,2008), Borasi (1995), Henry (1991) e Sánchez (2004) sinalizam que, nos processos de pensamento matemático como também no processo de ensino da Matemática, os erros devem ser utilizados associando-os às respectivas dificuldades de aprendizagem. Além disso, no ensino e na aprendizagem da Matemática, essa temática pode ser inserida para ser utilizada na discussão de conceitos envolvidos criando um ambiente rico com novas estratégias para o ensino.

Assim, com base nas análises dos erros dos estudantes que fizeram o ENEM nos anos investigados, é de suma importância que o professor de Matemática do Ensino Médio considere as dificuldades apresentadas para que ocorra uma melhoria nos processos de ensino e de aprendizagem, utilizando-se desses erros com o objetivo de promover uma ação pedagógica voltada para uma aprendizagem com significado para o estudante.

Os processos de ensino e de aprendizagem de Estatística e Probabilidade precisam considerar a formação completa do educando, porque esse conteúdo promove, além da análise de dados, planejamento e sua realização, a tomada de decisão. Faz-se necessário ainda que esse processo promova o saber que forma o cidadão para a vida em sociedade, tornando-o um ser capaz de entender todos os aspectos que norteiam e influenciam a ciência contextualizada e globalizada.

Referências

ABRATE, Raquel Susana; POCHULU, Marcel David.; VARGAS, José Manuel. Errores y dificultades em Matemática: análisis de causas y sugerencias de trabajo. Buenos Aires: Universidad Nacional de Villa María, 2006.

BATANERO, Carmen. Significado y comprensión de las medidas de posición central. UNO, Barcelona, n. 25, p. 41-58, jul. 2000.

BATANERO, Carmen; DÍAZ, Carmen. Aproximación informal al contraste de hipótesis. In: JORNADAS VIRTUALES EN DIDÁCTICA DE LA ESTADÍSTICA, PROBABILIDAD Y COMBINATORIA, 2, Granada, 2015. Actas de las 2ª JVDIESPROYCO: Didáctica de la Estadística, Probabilidad y Combinatoria. Granada: Universidad de Granada, 2015, p. 135-144.

BATANERO, Carmen; GODINO, Juan Diaz; NAVARRO-PELAYO, Virginia. Razonamiento combinatorio. Madri: Sintesis, 1996.

BORASI, Raffaella. Alternative perspectives on the educational uses of errors. In: International Commission for the Study and Improvement of Mathematics Teaching, 39, 1987, Sherbrooke, 1987. Proceedings 39º CIEAEM. Sherbrooke (Canadá): CIEAEM, 1987.

BORASI, Raffaella. Using errors as springboards for the learning of mathematics: an introdution. Focus on Learning in Mathematics. v. 7, n. 3-4, p. 1-16, 1995.

BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Portaria INEP n. 109 de 27/05/2009: Estabelece a sistemática para a realização do Exame Nacional do Ensino Médio no exercício de 2009. Brasília: Diário Oficial da União, n. 100, seção 1, p. 56, 28 maio 2009.

BRASIL. Ministério da Educação. Secretaria de Educação Básica. Base Nacional Curricular Comum. Brasília: MEC/SEF, 2018.

BROUSSEAU, Guy. Théorie des situations didactiques. Textes rassemblés et préparés par Nicolas Balacheff, Martin Cooper, Rosamund Sutherland, Virginia Warfield. Grenoble: Editions La Pensée Sauvage, 1998.

CAZORLA, Irene Mauricio. Estatística na formação social do aluno na escola básica brasileira. In: ENCONTRO NACIONAL DE EDUCAÇÃO MATEMÁTICA, 8, 2004, Recife. Anais do VIII ENEM: Educação Matemática: um compromisso social. Recife: SBEM, 2004. p. 7-16.

COUTINHO, Cileda de Queiroz e Silva. Introdução ao conceito de Probabilidade por uma visão frequentista: estudo epistemológico e didático. 1994. 151f. Dissertação (Mestrado em Matemática) – Faculdade de Ciências Exatas e Tecnologias. Pontifícia Universidade Católica de São Paulo. São Paulo.

CUMMING, Geoff. Understanding replication: confidence intervals, p-values, and what's likely to happen next time. In: INTERNATIONAL CONFERENCE ON TEACHING STATISTICS, 7, 2006, Salvador. Proceedings of the ICOTS-7. Salvador: International Statistics Institute, 2006, p. 1-6.

CURY, Helena Noronha. Análise de erros: o que podemos aprender com as respostas dos alunos. 1. ed. 1. reimp. Belo Horizonte: Autêntica, 2008.

CURY, Helena Noronha. Análises de erros em demonstrações de Geometria Plana: um estudo com alunos do 3º grau. 1988. 120f. Dissertação (Mestrado em Educação) – Faculdade de Educação. Universidade Federal do Rio Grande do Sul. Porto Alegre.

CURY, Helena Noronha. As concepções de Matemática dos professores e sua forma de considerar o erro dos alunos. 1994. 277f. Tese (Doutorado em Educação) – Faculdade de Educação. Universidade Federal do Rio Grande do Sul. Porto Alegre.

DELMAS, Robert; GARFIELD, Joan; OOMS, Ann; CHANCE, Beth. Assessing students' conceptual understanding after a first course in statistics. Statistics Education Research Journal, v. 6, n. 2, p. 25-58, nov. 2007.

DÍAZ, Carmen; BATANERO, Carmen; WILHELMI, Miguel R. Errores frecuentesen el análisis de dados en Educación y Psicología. Publicaciones, n. 38, p. 9-23, 2008.

DIEBOLD, Francis X.; PAULY, Peter. Structural Change and the combination of forecasts. Journal of Forecasting, v. 6, n. 1, p. 21-40. 1987.

ESTRELLA, Soledad. Comprensión de la media por profesores de educación primaria en formación continua. Revista Electrónica de Investigación Educativa, v. 18, n. 1, p. 1-22, ene. 2016.

ESTRELLA, Soledad. Medidas de tendencia central en la enseñanza básica en Chile: análisis de un texto de séptimo año. Revista Chilena de Educación Matemática, v. 4, n. 1, p. 20-32. 2008.

FALK, Herwig. Conditional probabilities: insights and difficulties. In: INTERNATIONAL CONFERENCE ON TEACHING STATISTIC, 2, 1986, Victoria. Proceedings of ICOTS 2. Victoria: University of Victoria, 1986, p. 292-297.

FIORENTINI, Dario. Alguns modos de ver e conceber o ensino de Matemática no Brasil. Zetetike, Campinas, v. 3, n. 4, p. 1-35, jan./jun. 1995.

GIL, Antônio Carlos. Métodos e técnicas de pesquisa social. 6. ed. São Paulo: Atlas, 2008.

GULLIKSEN, Harold. Theory of mental tests. Nueva York: Wiley, 1950.

HENRY, Michel. Didactique des Mathématiques: une présentation de la didactique en vue de la formation des enseignants. Besançon: IREM de Franche-Comté, 1991.

HUCK, Schuyler W. Statistical misconceptions. New York: Routledge, 2008.

MARTINS, Cristina; PIRES, Manuel Vara; BARROS, Paula Maria. Conhecimento estatístico: um estudo com futuros professores. In: ENCONTRO DE INVESTIGAÇÃO EM EDUCAÇÃO MATEMÁTICA, XIX, 2009, Vila Real. Actas do XIX EIEM. Vila Real: APM, 2009, p. 1-12.

MAVARECH, Zemira. A deep struture model of students’ statistical misconceptions. Educational Studies in Mathematics, n.14, n. 4, p. 415-429, nov. 1983.

MOKROS, Jan; RUSSELL, Susan. Children’s concepts of average and representativeness. Journal for Research in Mathematics Education, v. 26, n. 1, p. 20-39, jan. 1995.

MOORE, David. Uncertainty. In: STEEN, Lynn Arthur. (Ed.). On the shoulders of giants: new approaches to numeracy. Washington: National Academy Press, 1990, p. 95-137.

MORGADO, Augusto Cezar de Oliveira; CARVALHO, João Bosco Pitombeira de. CARVALHO, Paulo Cezar Pinto; FERNANDEZ. Análise Combinatória e Probabilidade. 9 ed. Rio de Janeiro: SBM, 2006.

MOVSHOVITZ-HADAR, Nitsa; ZASLAVSKY, Orit; INBAR, Shlomo. An empirical classification model for errors in high school mathematics. Journal for Research in Mathematics Education, v. 18, n. 1, p. 3-14, jan. 1987.

NÚÑEZ, Isauro Beltrán. Erros e dificuldades de aprendizagem nas questões de Química do ENEM 2014. In: ENCONTRO NACIONAL DE PESQUISA EM EDUCAÇÃO EM CIÊNCIAS, 11, 2017, Florianópolis. Anais do XI ENPEC. Florianópolis: ABRAPEC, 2017a, p. 1-11.

NÚÑEZ, Isauro Beltrán. Os itens de Química do ENEM 2014: erros e dificuldades de aprendizagem. Acta Scientiae, Canoas, v. 19, n. 5, p. 799-816, set./out. 2017b.

NÚÑEZ, Isauro Beltrán; RAMALHO, Betânia Leite. Estudo de erros e dificuldades de aprendizagem: as provas de Química e de Biologia do Vestibular da UFRN. Natal: EDUFRN, 2012.

PASQUALI, Luiz. Psicometria: teorias dos testes na Psicologia e na Educação. Rio de Janeiro: Vozes, 2003.

POCHULU, Marcel David. Análisis y categorización de errores en el aprendizaje de la universidad. Revista Iberoamericana de Educación, v. 35, n. 4, p. 1-14, 2004.

POLLATSEK, Alexander; WELL, Arnold D.; KONOLD, Clifford; HARDIMAN, Pamela; COBB, George. Understanting conditional probabilisties. Organizational Behavior and Human Decision Processes, v. 40, n. 2, p. 255-269, 1987.

POPPER, Karl R. La lógica de la investigación científica. Madrid: Tecnos. 1967.

PUERTO, Silvia del; SEMINARA, Silvia; MINNAARD, Claudia. Identificación y análisis de los errores cometidos por los alumnos en Estadística Descriptiva. Revista Iberoamericana de Educación, v. 43, n. 3, p. 1-8, jun. 2007.

RADATZ, Hendrik. Error analysis in mathematics education. Journal for Research in Mathematics Education, v. 10, n. 3, p. 163-172, may 1979.

RADATZ, Hendrik. Students'errors in the mathematical learning process: a survey. For the Learning of Mathematics, v. 1, n. 1, p. 16-20, jul. 1980.

REABURN, Robyn. Students’ understanding of statistical inference: implications for teaching. 2011. 414p. Thesis (Doctor of Philosophy). University of Tasmania. Tasmania (Austrália).

RICO, Luis. Errores y dificultades en el aprendizaje de las matemáticas. En: KILPATRICK, Jeremy; GÓMEZ, Pedro; RICO, Luis. (Ed.). Educación Matemática: Errores y dificultades de los estudiantes. Resolución de problemas. Evaluación. Historia. Bogotá: Una Empresa Docente, 1998, p. 69-108.

ROMERO, Juan. Probabilidad condicional e independencia. Estadística y probabilidad II. Bogotá: Santillana, 2008, p. 95-116.

RONDERO, Carlos; Font, Vicenç. Articulación de la complejidad matemática de la media aritmética. Ensenanza de las Ciencias, v. 33, n. 2, p. 29-49, 2015.

RUBIN, Andee; BRUCE, Bertram; TENNEY, Yvette. Learning about sampling: trouble at the core of statistics. In: INTERNATIONAL CONFERENCE ON TEACHING STATISTICS, 3, 1990, Voorburg. Proceedings of the ICOTS 3. Vooburg: International Statistical Institute. 1990, p. 314-319.

SÁNCHEZ, Ernesto; VALDEZ, Julio César. La cuantificación del azar: una articulación de las definiciones subjetiva, frecuencial e clássica de probabilidade. ENCONTRO DE PROBABILIDADES E ESTATÍSTICA NA ESCOLA, 3, 2013, Braga. Atas do III EPEE. Braga: Universidade do Minho, 2013, p. 23-34.

SÁNCHEZ, Jesús-Nicasio Garcia Dificuldades de aprendizagem e intervenção psicopedagógica. Tradução de Ernani Rosa. Porto Alegre: Artmed, 2004.

SANTANA, Michaelle Renata Moraes de. O acaso, o provável, o determinístico: concepções e conhecimentos probabilísticos de professores do Ensino Fundamental. 2011. 96f. Dissertação (Mestrado em Educação Matemática e Tecnológica) – Centro de Educação. Universidade Federal de Pernanbuco. Recife.

SOCAS, Martín Manuel. Dificultades, obstáculos y errores en el aprendizaje de las Matemáticas en la educación secundaria. In: RICO, Luis. (Coord.). La Educación Matemática en la enseñanza secundaria. Barcelona: Horsori, 1997, p. 125-154.

SPEARMAN, Charles. Correlations of sums and differences. British Journal of Psychology, v. 5, n. 4, p. 417-426, mar. 1913.

TVERSKY, Amos; KAHNEMAN, Daniel. Judgment under uncertainty: heuristics and biases. In: KAHNEMAN, Daniel; SLOVIC, Paul; TVERSKY, Amos. (Ed.). Judgment under uncertainty: heuristics and biases. New York: Cambridge University Press, 1982, p. 3-20.

Universidade Federal do Rio Grande do Norte (UFRN). Comissão Permanente de Vestibular (Comperve). Núcleo Permanente de Concursos. Nata: UFRN/ Comperve, 2016.

WILD, Chris; PFANNKUCH, Maxine. Statistical thinking in empirical enquiry. International Statistical Review, v. 67, n. 3, p. 223-248, dec. 1999.

Notas

Enlace alternativo

https://www.periodicos.unimontes.br/index.php/emd/article/view/80/85 (pdf)