Minhas especulações teóricas são desenvolvidas com base em conceitos elaborados por Latour, especificamente em sua análise e explicação (2009) da filosofia de Tarde nas práticas da quantificação, e em seu estudo (1986) Visualistaion and Cognition: Drawing Things Together. Ao explicar os pontos de vista de Tarde, Latour diz que cientistas naturais são desmotivados pela distância entre eles mesmos e os objetos e "sociedades" que eles pretendem estudar. Para Tarde, segundo Latour, estrelas e bactérias e outros objetos de interesse científico eram "sociedades" (ou, na teoria ator-rede, "composições"). Seja o astrônomo observando o céu ou o biólogo analisando um microscópio, os números do mundo natural são tão impossivelmente grandes que os cientistas naturais são forçados a pensar em termos de estruturas e conjuntos, desenvolvendo leis e princípios gerais. Esta é a falha dos cientistas naturais - são forçados a negligenciar o indivíduo em favor do coletivo, no processo de aceitar uma distinção entre os dois, o que não é apropriado, segundo Latour, especialmente nas ciências sociais:

O cientista social, por outro lado, lida com números menores e não precisa sacrificar o "individual" pela "sociedade" - indivíduos e sociedades podem ser estudados ao mesmo tempo, juntos, como co-constituintes. Isso é adequado, e os "indivíduos" fazem parte da sociedade - refletem e respondem à sociedade da qual fazem parte; e a "sociedade" é constituída de indivíduos - uma ideia bem expressada pelo hífen em "ator-rede", na teoria do ator-rede.

Um dos pontos centrais de Serres com relação à quantificação é que entendemos tão pouco sobre o comportamento individual com base em regras e princípios que podemos derivar de estudos de estruturas e sistemas como um todo. Por outro lado, ele acredita que, estudando atentamente os indívuos e acumulando muitas dessas descrições, é possível desenvolver "tipos" ou tentativas de princípios de comportamento; mas, como os indivíduos e as sociedades estão sempre interagindo e se influenciando, esses "tipos" e princípios estão constantemente evoluindo juntos. Essas "regras" ou "tipos" criados pela reunião de relatos individuais não se sobrepõem nem superam os casos individuais, ditando relatos de comportamento individual.

O segundo ponto que ele defende se relaciona à influência dos nossos instrumentos e constructos de pesquisa sobre nossas descobertas e entendimentos. A "Sociedade" (ou estrutura) é criada por estatísticas, e as "sociedades" criadas por estatísticas mudam conforme o conhecimento cresce e se altera.

É por causa da ideia distorcida de que a ciência natural é ciência "real", e de que a ciência social não é adequadamente rigorosa, diz Latour, que o cientista natural foi forçado a adaptar métodos para superar a falha da distância, e os grandes números passaram a ser imitados e valorizados na ciência social. Porter também defende que as "descrições densas" do etnógrafo não ganham tanta confiança e poder quanto as "descrições finas" daqueles que lidam com números:

Avaliações internacionais comparativas de larga escala, como o PISA, cujo estudo inclui aproximadamente 70 nações, sendo a maioria de renda média e alta, parecem-se muito com o olhar do astrônomo a estrelas e galáxias distantes. Tem de ser baseado nas "classes" abstratas e padronizadas de objetos, em detrimento da luxuriante nuance dos atores individuais fornecida por um olhar mais próximo. Eles também não enxergam como vários elementos interagem entre si, ou como viajam e se misturam.

Dois conjuntos de questões surgem desses entendimentos. Primeiro, que tipos de objetos são "vistos" e registrados, armazenados no PISA, desde suas incursões (ou investidas) pelos cantos longínquos do mundo, para formar sua central de dados?

O segundo conjunto de questões, que é o ponto crucial da minha especulação, relaciona-se com as práticas da análise secundária desses dados. Quando os analistas secundários sentam-se em frente aos seus computadores e abrem o arquivos contendo objetos abstratos, agregados e mascarados, eles os olham "de perto" ou com certa distância? A base de dados do PISA contém uma mistura de dados primários e agregados. Que tipos de distorções e magnificações aparecem, e com qual consequência? A proximidade ilusória dos dados da base incentiva a falta de compreensão de que os próprios objetos, em vez de serem imagens pobres e distantes deles mesmos, estão sendo apreendidos?

Para responder o primeiro conjunto de perguntas: "Que tipos de objetos existem no PISA? Qual é seu status ontológico?", temos que conhecer brevemente alguns dos métodos do PISA e examinar a base de dados em si: os objetos da base, assim como os processos usados para que eles chegassem à base.

O objetivo do PISA é examinar a preparação para a vida de alunos de 15 anos de idade, com base em sua capacidade de aplicar o que sabem. Os questionários têm três componentes principais - testes de leitura, de matemática e ciência; o questionário do histórico do estudante, para medir "vantagem"; e o questionário sobre o histórico da escola, usado para criar descrições de escolas e sistemas educacionais.² Cada um desses componentes requer tradução e simplificações incansáveis para atingir uma grande gama de sistemas e culturas. Por exemplo, itens individuais do teste primeiro passam pela peneira de uma estrutura que garante que estão aptos para o propósito de extrair as habilidades dos alunos para aplicar o que eles conhecem. Os itens, então, são testados em um leque de contextos para garantir que se comportam da mesma maneira em diferentes culturas.

Os itens, então, são categorizados de acordo com o nível de dificuldade. O nível de dificuldade é calibrado de forma que a diferença entre um nível e o próximo seja padronizado e nivelado. Esta noção é interessante, já que a dificuldade vivenciada por diferentes alunos com o mesmo problema dificilmente será uniforme. No PISA, a "dificuldade" está dissociada do aluno e relacionada ao item do teste, ao padronizar o aluno com base na capacidade de responder tal pergunta. As perguntas podem ser definidas em "logits" por nível de dificuldade. Esta abstração garante que substituir uma pergunta por outra do mesmo nível de dificuldade não tem efeito no resultado dos estudantes. Assim, o teste torna-se independente dos itens de questões - o fato de um item específico aparecer ou não no teste não faz diferença no resultado dos alunos. Como resultado dessas dissociações, as notas dos alunos podem se tornar previsíveis ao usar técnicas como a Teoria de Resposta ao Item. Então, paradoxalmente, os níveis de performance dos alunos só se tornam calculáveis quando os alunos e os itens de questões se dissociam um do outro (GORUR, 2011).

Os próprios estudantes são abstrações na base de dados do PISA. Como amostra, eles representam o maior grupo de alunos de 15 anos do sistema.³ Os estudantes são descritos na amostra com base em alguns atributos universais, como sexo, idade e condição socioeconômica para que alunos da Alemanha, Austrália, Polônia, China ou Turquia sejam indistinguíveis - ou pelo menos descritos pelos mesmos termos. Para superar o desafio do tempo que levaria para cada estudante completar um teste com itens suficientes para torna-lo válido, um único "teste" é distribuído a vários estudantes. Então, um "estudante" na base de dados do PISA está distante de um aluno real, que completa o questionário em uma sala de aula real.

O laboratório do PISA, então, transforma entidades ontologicamente complexas em outras ontologicamente empobrecidas para facilitar a comensuração e o cálculo em larga escala. Abstrações parcimoniosas substituem as ontologias luxuriantes de crianças, escolas, famílias, comunidades e nações. Ao mesmo tempo, casas, famílias e escolas são definidas em termos padronizados. Os questionários do PISA são lançados no mundo a cada três anos e trazem mais e mais objetos empobrecidos e rasos para armazenar na base de dados.

Por si só, o fato de os objetos serem rasos não é problemático - é inerente a todos os processos de pesquisa. As coisas começam a se tornar problemáticas na base de dados do PISA, creio eu, na dificuldade de transformar os objetos rasos nos atores da vida real, tridimensionais e originais (3D) que representam. A cadeia de referência que deveria facilitar as traduções para frente e para trás (LATOUR, 1999) parece não funcionar no caso do PISA. Uma vez que os vários atores foram traduzidos para sua forma mais empobrecida, e passaram a fazer parte da base de dados do PISA, as possibilidades de sua reanimação para se tornaram objetos complexos e desenvolvidos, aparentam diminuir. Os seres empobrecidos parecem substituir suas versões complexas e luxuriantes, em vez de simplesmente tomarem seu lugar temporariamente. Em parte, eu sugiro que isso se dá não só porque os atores estão destacados de seus contextos, mas porque os contextos em si são padronizados e universalizados - descritos com parcimônia quando se trata de alguns detalhes universais.

Um grande benefício desses objetos padronizados e rasos é que eles podem ser traduzidos em inscrições. Em seus estudos de prática científica, Latour (i.e., LATOUR, 1987; LATOUR; WOOLGAR, 1979), depara-se com a dependência dos cientistas em relação às inscrições. Ele comenta o quão rapidamente ratos de laboratórios gritando e ensanguentados são abandonados por causa de tecidos em lâminas nos microscópios, para depois tornarem-se leituras em uma mesa.

Da mesma forma, para os cientistas do PISA, é um grande alívio transformar os alunos de 15 anos, as complexidades da escola e as políticas nacionais, a diversidade de salas de aula e estilos de ensino, os valores e as questões que mediam a performance dos alunos em inscrições que substituem tudo isso. Uma vez que essas traduções acontecem, a multidão de estudantes e suas complexidades pode ser trocada por números digitalmente gravados que podem, facilmente, ser transportados dos cantos distantes do mundo para um seguro "centro de cálculo" em Paris, onde todas as manipulações podem ser realizadas sem as distrações do "mundo real". Há várias vantagens em sair de objetos 3D em direção a inscrições:

As inscrições promovem maneiras para que os cientistas do PISA falem a mesma língua. Como o PISA é praticamente global, não há pequenas vantagens. Inscrições numéricas, em especial, tem a capacidade de "ultrapassar limites linguísticos e deslocar conhecimento local e informantes nativos" com facilidade (CULLATHER, 2007, p.337). Os números também mantêm os vários atores estáveis no espaço e no tempo. Os vários atores complexos - estudantes, sistemas educacionais, diretores, professores, pais e a sociedade em si - podem passar por grandes mudanças na vida real - mas, uma vez traduzidos, tornam-se estáveis como inscrições em uma base de dados. Isso também "domestica" os cientistas que estudam esses atores: como Latour explica, confrontado pelas inscrições os pesquisadores não podem mais falar sobre assuntos de forma variada ou subjetiva - estão todos sujeitos à força das inscrições.

Os atores da base de dados do PISA estão estáveis e móveis - de acordo com Latour, tornaram-se "móveis imutáveis". Livres de suas correntes, viajam no espaço e no tempo com relativamente pouca distorção, a custo zero ou muito baixo. Como cada rodada do PISA reúne esses dados de pesquisa, a base de dados aumenta com cada vez mais entidades abstratas, medidas por métricas facilmente traduzíveis e combináveis de múltiplas maneiras com outras entidades, também abstratas.

É importante dizer que os números, figuras, gráficos e tabelas que compõem a base de dados do PISA não são meras representações do mundo - também são uma apresentação da visão de mundo no qual essas representações fazem sentido. Como Latour (1986; 2009) diz, eles não só nos dizem o que ver, mas também como ver. Os instrumentos usados para gerar dados dão a eles visibilidade de maneiras específicas, tornando-os sensíveis em alguns cenários. Algumas inscrições encapsulam o mundo no qual essas entidades se tornam sensíveis e, ao mesmo tempo, descrevem as entidades que forma este mundo. Analistas secundários que pensam estar simplesmente usando algum tipo de dado neutro e sem intermediários estariam errados - os dados estão se unindo a Trojans na forma de metodologia, modelos, suposições e visões de mundo.

A abstração e mobilidade dos objetos da base de dados do PISA os torna desinibidos, então eles podem promiscuamente se relacionar e se combinar com outros objetos que, em sua forma menos empobrecida e mais luxuriante, podem não se engajar são prontamente. Estudantes, escolas e sistemas de governo no Azerbaijão e na Austrália, por exemplo, podem ser reunidos em relações de comparação em seu formato ontologicamente empobrecido, enquanto em suas formas "reais" luxuriantes esta comparação pode parecer absurda, ou requerer uma lista de qualificadores e advertências. Quando desnudos dos contextos de sua produção, esses objetos podem ser reunidos de diversas maneiras, combinando-se e recombinando-se em análises secundárias para descrever relações, promover explicações, articular problemas políticas e soluções, identificar as "melhores práticas", projetar futuros, desenhar utopias e detectar ameaças. A base de dados do PISA aproxima objetos distantes - sentado no meu escritório, hoje, posso acessar dados do mundo inteiro em questão de segundos. Se eu quisesse, poderia comparar as correlações de aspectos da escola particular com a performance de alunos na Austrália, em correlação com o Japão, Canadá, Médico e Suécia, tudo na tela do computador. Ao mesmo tempo, esta base de dados também distancia o que está próximo - é tão fácil usar esses objetos empobrecidos e alterá-los como eu quiser para criar meus relatos e explicações, e esses dados são tão agradáveis aos meus cálculos matemáticos, que eu não preciso de fato sair de casa para observar escolas, professores e alunos reais, em sua complexidade e teimosia ontológica, nem mesmo para aprender sobre as escolas do meu próprio bairro.

Esses três atributos - raso, mobilidade e promiscuidade - tornam a base de dados do PISA adequada à análise secundária, mas esses mesmos aspectos são os que podem levar os analistas ao erro.

Um investimento imenso é feito para criar a "consistência ótica" para que os sistemas com culturas sociais e políticas, práticas de ensino, escolas, crianças e vida familiar discrepantes pareçam equivalentes. Esta domesticação da diversidade, assim como o fácil acesso à abundância de dados, levou à criação de vários estudos nos quais um fenômeno é investigado pelo uso de dados de diversos países.

Paradoxalmente, em vez de prever que comparações entre países muito diferentes podem diminuir a validade dos dados, na análise secundária aparentemente há mais confiabilidade nos cálculos envolvendo dados provenientes de mais países. Um desses estudos é o Cross-country efficiency of secondary education provision: A semi-parametric analysis with non-discretionary inputs (AFONSO; AUBYN, 2006), publicado no Journal Economic Modelling . O estudo é descrito a seguir:

Do uso de dados de países tão diferentes quanto Finlândia, Coreia e Indonésia, com base na "produção" (performance, no PISA) e "recursos utilizados" ("número de professores por aluno" e "tempo gasto na escola", primeiramente "derivou-se uma teórica fronteira de produção para a educação". Os escores de eficiência dos países foram calculados como a distância de sua performance a essa fronteira. A primeira parte do estudo "determina o escore de eficiência de produção para cada país, usando a abordagem de programação matemática conhecida como DEA [Análise por Envoltória de Dados], relacionando inputs e outputs " e avaliando a nação como uma "unidade de tomada de decisão" (DMU) (AFONSO; AUBYN, 2006, p. 478). Depois, dois "fatores ambientais" - educação dos pais e riqueza dos estudantes (usando o PIB do país para verificar a riqueza) - são inseridos para amenizar os cálculos de eficiência. Os autores tomam todos os passos necessários para defender seu modelo e para tornar os cálculos transparentes. Os autores relatam:

Eles concluem, porém, que quando os efeitos dos "fatores ambientais" da riqueza e da educação dos pais são incluídos, os escores de eficiência e rankings das nações mudam substancialmente.

O que eu considero surpreendente nesses estudos é o cuidado para explicar, tornar transparente e defender cada movimento matemático, enquanto pouco esforço se faz para olhar para fora desse "mundo de números" para explorar se as "inserções" como gastos nacionais per capita em educação e o número de professores eram, de fato, os fatores certos ou suficientes, e se foi correto considerá-los em nível nacional. Modelar os cálculos dos recursos com base no "número de professores por aluno" faz pouco sentido se não considerarmos a estrutura das escolas. Na maioria dos países, a distribuição de professores não é igual - pode haver uma concentração maior de professores em áreas urbanas e em escolas particulares. As médias nacionais mascaram essas diferenças, que são bem consequenciais. Sejam professores assistentes ou pais que são voluntários nas escolas, sejam as escolas inclusivas ou exclusivas, e seja qual for o tipo de pedagogia utilizada, todos esses fatores teriam diferentes resultados para a mesma razão professor-aluno. A cultura tem um papel importante - escolas asiáticas normalmente tem salas de aula grandes, mas o comportamento disciplinado dos alunos e o respeito pelos professores significam que o tempo utilizado para manter a disciplina é muito menor do que em uma escola em uma grande cidade norte-americana.

Comparar o investimento per capita em estudantes é igualmente frágil quando analisado em conjunto. Na Austrália, por exemplo, onde aproximadamente 40% dos alunos estudam em escolas particulares, e há uma complexa mistura de financiamento federal, do estado, da igreja e da iniciativa privada, o investimento per capita em alunos consegue capturar tal complexidade? E o investimento dos pais em aulas particulares e coaching, como acontece, por exemplo, na Coreia? No mundo simplificado da base de dados do PISA, essas questões são dissolvidas. Usar o PIB para demonstrar a riqueza dos alunos também é confuso, já que a riqueza é, quase que invariavelmente, mal distribuída nos países.

Analistas que utilizam objetos empobrecidos da base de dados do PISA como ponto de partida para sua pesquisa podem estar vendo seus objetos de estudo - os dados da base do PISA - a centímetros de distância, em suas telas de computador. Porém, podem estar tão distantes quanto os observadores de estrelas de Latour, devido à toda a diferença em sua capacidade de absorver a realidade. Ignorar as diferenças entre os países e utilizar os valores agregados, assim como usar dados que sejam cegos à dinâmica de relacionamento entre os atores para gerar cálculos mais precisos e sofisticados, pode até levar a metodologias matemáticas mais plausíveis, mas as conclusões podem ser ontologicamente sem sentido.

Uma das dificuldades da análise secundária é resultado de uma quebra na "cadeia de referência" (LATOUR, 1999), por exemplo, objetos na base de dados do PISA nem sempre podem ser traçados de volta ao seu original, antes de tradução. Isso se dá por várias razões. A maioria dos dados na base do PISA vem de questionários. Cada questionário é baseado em um grupo de suposições que nem sempre estão corretas, ou não estão corretas em todos os contextos. Isso cria uma separação entre o objeto de interesse na vida real e o objeto que o representa nos dados. Enquanto essas suposições podem ser contestadas no debate da metodologia do PISA, os analistas secundários lidam com objetos que são mediados pelas suposições que nem sempre estão visíveis, como no exemplo a seguir.

Na era da transferência de responsabilidades e da governança baseada na lógica de mercado, uma política promovida pela OCDE é a autonomia com base na escola. Este tópico tem sido amplamente estudado pela análise secundária, e há tentativas de relacionar a autonomia escolar com a performance do estudante. Um desses estudos é o The Effect of School Autonomy and School Internal Decentralization on Students' Reading Literacy, de Maslowski, Schreerens, and Luyten (2007). Em sua revisão da literatura, eles examinam as diferentes teorias que sustentam diferentes análises examinando esta questão, e descobrem que alguns estudos são contraditórios. Eles sugerem que algumas das associações fortes e positivas encontradas em estudos anteriores, que levaram à defesa de mais autonomia nas escolas, podem estar erradas. Eles atribuem essas falhas ao modelo que foi base para seus cálculos. Sua própria pesquisa incluía dados sobre estudantes e escolas do PISA 2000, de 28 sistemas OCDE, envolvendo 5.269 escolas e 137.526 alunos. Concluíram que:

Mas a grande variação nos resultados dos estudos sobre os efeitos da autonomia escolar pode também ser resultado de uma falha mais profunda, envolvendo os objetos na própria base de dados, como explanado por um entrevistado:

Na tradução do mundo para o questionário, há uma distorção. Cada tradução subsequente simplesmente aumenta a distância entre o mundo e o objeto pelo qual é representado na base de dados do PISA.

Pode haver distorções causadas pelas metodologias do PISA também:

Para garantir a boa ciência, deve existir a possibilidade de viajar para frente e para trás na cadeia de referência, e não simplesmente utilizar traduções e simplificações:

A OCDE pode delegar a falta de precisão ao analista secundário, mas isso é um pouco injusto, porque a OCDE tem promovido muito o foco na liderança e na autonomia escolar.

A "consistência ótica" da base de dados do PISA facilita a colagem de dados sem a necessidade da meticulosidade em relação à escala, perspectiva ou tempo. Uma das questões que meus entrevistados identificaram tinha a ver com os deslocamentos temporais. O PISA coleta dados sobre alunos de 15 anos, que costumam estar no ensino fundamental ou médio nos Estados Unidos. Também coleta dados sobre as escolas frequentadas por esses alunos por meio do questionário aos diretores. A parte ligada ao aprendizado do estudante ocorreria em uma estrutura escolar diferente - uma escola básica P-6 ou P-8, por exemplo. Ainda assim, o PISA relaciona a performance de alunos de 15 anos à instituição que eles frequentaram somente por um pequeno período de suas vidas escolares para inferir sobre os tipos de sistemas e estruturas que podem melhorar o aprendizado, como explicado por um entrevistado:

É muito tentador para os analistas secundários juntar as coisas em padrões e figuras, porque toda peça parece se encaixar com outra peça. Não há destaques ou itens que possam alertar os analistas sobre possíveis erros.

Um dos achados mais impactantes do PISA está ligado à qualidade do professor e seu impacto no desenvolvimento do aluno. Os efeitos do professor são deduzidos com base no isolamento de outros fatores estatisticamente, usando a análise da regressão. Porém, este tipo de "isolamento" das "variáveis" só é possível estatisticamente - em salas de aula reais, as variáveis estão presente ao mesmo tempo e interagem umas com as outras de maneiras complexas:

O banco de dados do PISA aparentemente oferece um mundo tão completo e atraente que, por vezes, incentiva os pesquisadores a ignorar o que não está na base de dados:

Curiosamente, parece que o mundo descrito pelos números do PISA é tão atraente e convincente que os analistas ignoram o que sabem do mundo real. A maioria das pessoas já ouviram falar dos cursinhos na Coreia, nos quais os alunos passam quase tanto tempo quanto na escola regular. As pessoas que já moraram ou visitaram o país falam sobre o estatuto de culto de alguns professores famosos nessas escolas. Com certeza, Andreas Schleicher, responsável pelo PISA na OCDE, sabia sobre esses cursinhos. Ainda assim, os números se apresentam como um mundo completo, ignorando as realidades que já existiam no mundo real.