O último milênio marcou uma mudança decisiva nos periódicos brasileiros, que adotaram o Sistema Eletrônico de Editoração de Revistas (SEER). Junto a essa mudança estavam os ideais da Ciência Aberta, que desde 2001 conquista muitos adeptos, principalmente pela sua força de democratização do conhecimento, indo contra a corrente de grandes grupos corporativos que monetizam (e monopolizam) o conhecimento científico. Foram grandes e impactantes modificações, mas é preciso dizer que nem todos os ensinamentos da Ciência Aberta foram aprendidos

Em princípio, a aderência dos periódicos brasileiros encontra-se no primeiro e segundo pilares dessa nova forma de encarar a produção e divulgação do conhecimento. A disponibilização gratuita de textos e dados tornou-se ponto pacífico na comunidade científica brasileira, porém o terceiro pilar, a avaliação aberta, ainda gera muita desconfiança por parte de editores, avaliadores, autores e leitores.

De forma geral, os periódicos brasileiros praticam a avaliação duplo-cega, na qual nenhuma das partes conhece a identidade do outro, ou a simples-cega, em que apenas o avaliador conhece a identidade do autor antes de realizar a avaliação (OLIVEIRA, 2018). A Ciência Aberta prega uma terceira via, a avaliação aberta por pares, em que ambas as partes sabem a identidade dos envolvidos no processo de avaliação. Tal avaliação compreende uma multiplicidade de mudanças na rotina editorial dos periódicos, que vão desde a quebra do anonimato da autoria do manuscrito em avaliação e de seus revisores, passando pela abertura para a participação de leitores em comentários até a hospedagem do manuscrito em servidores preprints, como arXiv e bioRxiv (SPINAK, 2018).

A avaliação duplamente cega por pares tornou-se uma forma tradicional de os editores conduzirem as avaliações das submissões recebidas, inclusive na Esboços. Nessa perspectiva de validação do conhecimento, autores e pareceristas precisam esconder todos os dados que possam identificá-los, até mesmo aqueles presentes nos metadados dos arquivos transferidos digitalmente. Tem-se, por um lado, a premissa de que, caso o avaliador saiba o nome do autor, algo pode mudar em seu juízo sobre o texto em escrutínio. Por outro lado, caso o nome do especialista seja revelado, pode haver algum tipo de retaliação em face de uma crítica mais contundente que leve, em sua apresentação mais radical, à rejeição do manuscrito. O anonimato seria, assim, o escudo protetor tanto do parecerista quanto do autor. Ele é adotado para garantir a qualidade do processo avaliativo, que seria prejudicada caso não fosse conduzido dessa forma.

Mas, de fato, o anonimato blinda os vieses – ideológicos e teórico-metodológicos – e torna a avaliação dos manuscritos mais objetiva? O resultado não seria justamente o contrário quando estamos diante de grupos concorrentes ou com posições divergentes sobre determinada matéria? Nesses casos, o anonimato torna-se uma faca de dois gumes que em vez de proteger as partes envolvidas fragiliza uma delas. Além de seu potencial viés antiético, gerado pela liberdade do anonimato, a avaliação às cegas por pares “muitas vezes não revela equívocos e erros, e frequentemente é injusta, não sistemática e idiossincrática”. O resultado final seria um processo lento, caro, conservador, que “sufoca a inovação e os resultados controversos”. Nessa perspectiva, ressalta-se a historicidade dessa forma avaliativa lembrando que ela consolidou-se efetivamente apenas nas décadas subsequentes a Segunda Guerra Mundial. A avaliação anônima, arbitrada por editores e confidencial não está na origem dos periódicos, mas foi uma forma pensada para gerir a demanda crescente de submissões recebidas (RENNIE, 1999apudBERRY; FAGERJORD, 2017).

Existe um claro entrave para a plena realização da Ciência Aberta quando analisamos de perto a adoção da avaliação aberta por pares, principalmente no cenário brasileiro. Entre todas as revistas cadastradas no Directory of Open Access Journals (DOAJ) em junho de 2018, apenas 128 periódicos (1%) utilizavam a avaliação aberta por pares. A maioria tem como área principal as ciências da saúde/ médicas e é publicada no Reino Unido, que também possui o maior número de títulos indexados. Dessa amostragem, apenas três títulos são publicações brasileiras, sendo que o Brasil é o terceiro país com maior número de periódicos indexados no DOAJ. Verificou-se, portanto, não só a baixa adesão das revistas em acesso aberto à avaliação aberta por pares como também que a maioria (47%) adota o sistema duplo-cego (OLIVEIRA, 2018).

A preferência dos editores pelo anonimato no processo de avaliação é marcante. Em 2017, analisando as revistas cadastradas no Portal Brasileiro de Publicações Científicas em Acesso Aberto (oasisbr) com cadastro no Diretório de Políticas Editoriais das Revistas Científicas Brasileiras (Diadorim), foi constatado que a avaliação duplamente cega era considerada não só a mais eficiente (95,1%) pelos editores que responderam a pesquisa como também a mais utilizada (95,3%) pelas revistas da amostragem (VILAS BOAS, 2017).

Contudo, parece haver certo movimento, talvez muito localizado, de repensar as práticas de validação do conhecimento veiculado pelos periódicos. Isso é o que aponta a consulta feita em 2018 pelo Portal de Periódicos da Universidade Federal da Paraíba aos editores dos periódicos hospedados no Portal. Do grupo de 14 editores que responderam ao questionário aplicado (31,11%), parte significativa deles (57%) possuía interesse em adotar a avaliação aberta, principalmente por acharem que haverá maior diálogo entre as partes e que isso contribuirá para o avanço do conhecimento no campo (GARCIA; TARGINO; SILVA, 2018).

Formas mais radicais de “re-imaginar” esse modelo de revisão por pares e anônima vêm sendo colocadas em prática por plataformas abertas de publicação. “Essas plataformas empregam conceitos como moderação convidada, comentário pós-publicação, medidas pós-publicação de qualidade e impacto e revisão baseada na comunidade.” Nesse sistema, a avaliação anônima é substituída pela pública, em que o autor e os leitores podem avaliar, inclusive, a força das críticas ou dos elogios com base na reputação do comentador (PICKARD, 2012, s/p). Novas possibilidades para se pensar a construção e validação do conhecimento estão também sendo pensadas em termos de avaliação após a publicação em “um sistema de publicação aberta onde autores e leitores se envolvem em debates animados” (FITZPATRICK, 2011apudBERRY; FAGERJORD, 2017).

Outra questão central na avaliação aberta por pares é a publicação dos pareceres das submissões em separado e dos nomes dos revisores ao final de cada artigo. Um estudo conduzido em 2019 sobre os impactos da avaliação aberta por pares em cinco periódicos do grupo Elsevier indicou “que a publicação dos pareceres não influencia ou compromete o trabalho de revisão por pares”. O levantamento reuniu 9.220 artigos submetidos entre 2010 e 2017 em periódicos de diversas áreas do conhecimento, e utilizou um grupo de controle de periódicos também da Elsevier com características similares. “Os autores não puderam detectar nenhum efeito significativo na disponibilidade para realizar a avaliação, no conteúdo e teor das recomendações ou no tempo requerido para avaliar”, contrariando, inclusive, a opinião bastante difundida de que a avaliação aberta traria algum tipo de ética da responsabilidade, da cordialidade e da crítica construtiva. É de se destacar que não houve resistência dos pareceristas à publicação de suas avaliações, o que ocorreu quando o assunto foi tirá-los do anonimato. Apenas 8,1% dos pareceristas do estudo piloto aceitaram ter seus nomes revelados nos artigos que avaliaram. Talvez o anonimato seja visto pelos especialistas como “uma proteção para possível retaliação ou consequências imprevistas na esfera acadêmica, especialmente em áreas muito competitivas” (NASSI-CALÒ, 2019, s/p).

O fato é que a avaliação cega por pares se consolidou como a prática editorial considerada a mais eficiente pelos editores de periódicos brasileiros. Contudo, outras práticas que indicam maior transparência no sistema de avaliação são reconhecidas pelos editores como benéficas, mesmo que de forma bastante embrionária. Esse é o caso da publicação dos pareceres e da divulgação dos nomes dos avaliadores em listas não vinculadas à submissão avaliada (VILAS BOAS, 2017), última prática adotada pela Esboços desde 2019. Quiçá a incorporação dos pareceres aos artigos publicados possa ser um interessante início no processo de repensar formas e instrumentos de avaliação utilizados pelos periódicos do século XXI. A divulgação do parecer, trabalho de alta complexidade e responsabilidade, é também o reconhecimento público de sua real importância. Além disso, atua como elemento complementar para os leitores refletirem sobre a qualidade da publicação diante de si levando em conta que terão acesso aos comentários realizados pelos especialistas.

A avaliação por pares tornou-se pilar indiscutível da qualidade do conteúdo veiculado pelos periódicos (VILAS BOAS, 2017). Mas será que esse certificado de garantia está realmente associado ao anonimato no processo de avaliação? Quais seriam as perdas e os ganhos em repensar essa tradição seguida por grande parte dos periódicos brasileiros?

Os periódicos de ciências humanas tendem a utilizar a avaliação duplo-cega, confiando que ela produzirá uma avaliação justa, objetiva e baseada exclusivamente no mérito da pesquisa. Contudo, não raro esse processo gera pareceres apressados e descomprometidos (SPINAK, 2018). Fora que o anonimato dos autores está cada vez mais difícil de ser preservado, não só pela especialização que facilita a adivinhação da autoria, como também pela grande quantidade de informação disponível na internet. De qualquer forma, parece não existir resposta fácil a essa demanda não só da Ciência Aberta, mas também de alguns membros da comunidade científica que acreditam poder melhorar o processo de avaliação dos periódicos a partir da incorporação de mecanismos da avaliação aberta. Não podemos esquecer que formas híbridas são sempre possíveis, e que pode ser salutar deixar a responsabilidade sobre conduzir uma avaliação no anonimato ou na transparência a cargo de autores e avaliadores a partir da tomada de consciência das vantagens e desvantagens de cada prática. Não existe uma panaceia.

Este número abre um novo ciclo da Esboços com o volume 27. Nada mais apropriado neste período de renovação do que pensar nossas práticas diárias, como a avaliação dos manuscritos recebidos. Mas também é tempo de reconhecimento e, em nome de toda a equipe da Esboços, agradeço aos autores por terem confiado em nosso trabalho; aos pareceristas que leram com diligente atenção as submissões encaminhadas; e aos nossos leitores por acompanharem e escolherem a Esboços como veículo científico de qualidade.

REFERÊNCIAS

BERRY, David M.; FAGERJORD, Anders. Digital humanities: knowledge and critique in a digital age. New Jersey: John Wiley & Sons, 2017.

FITZPATRICK, Kathleen. Planned Obsolescence: Publishing, Technology, and the Future of the Academy. New York: New York University Press, 2011.

GARCIA, Joana Coeli; TARGINO, Maria das Graças; SILVA, Kleisson Lainnon. Adoção da open peer review no Portal de Periódicos da Universidade Federal da Paraíba. ConCI: Convergências em Ciência da Informação, São Cristóvão, v. 1, n. 2, ed. especial, p.168-174, maio/ago. 2018.

NASSI-CALÒ, L. Avaliação por pares aberta: a publicação dos pareceres influencia o comportamento dos pareceristas? SciELO em Perspectiva, 27 mar. 2019. Disponível em: https://blog.scielo.org/blog/2019/03/27/avaliacao-por-pares-aberta-a-publicacao-dospareceres-influencia-o-comportamento-dos-pareceristas/. Acesso em: 20 jun. 2019.

OLIVEIRA, Eloísa C. Príncipe de. Revisão por pares aberta: análise das revistas open access. In: ABEC MEETING, 2., 2018, São Paulo. Anais [...] São Paulo: Associação Brasileira de Editores Científicos, 2018. p. 1-5.

PICKARD, Thomas. The Impact of Open Access and Social Media on Scientific Research. The Journal of Participatory Medicine, Toronto, v. 4, 2012.

RENNIE, Drummond. Editorial Peer Review: its Development and Rationale. In: GOODLEE, F; JEFFERSON, T. (ed.). Peer Review in Health Sciences. London: BMJ, 1999. p. 1-13.

SPINAK, Ernesto. Sobre as vinte e duas definições de revisão por pares aberta… e mais. SciELO en Perspectiva, 2018. Disponível em: https://blog.scielo.org/blog/2018/02/28/sobre-as-vinte-e-duas-definicoes-de-revisao-por-pares-aberta-emais/#.XhPKSGRKjIU. Acesso em: 20 jun. 2019.

VILAS BOAS, Raphael Faria. A revisão por pares na visão dos editores das revistas de acesso aberto coletadas pelo Portal oasisbr. Reciis: Revista Eletrônica de Comunicação, Informação e Inovação em Saúde, Rio de Janeiro, v. 11 (sup), p. 1-11, nov. 2017.

Autor notes

Departamento de História, CFH, Bloco E, 6º andar, Campus Universitário da UFSC, Trindade, 88040970, Florianópolis, SC, Brasil.

Ligação alternative

https://periodicos.ufsc.br/index.php/esbocos/article/view/2175-7976.2020.e70909/42554 (pdf)