REVISÃO POR PARES ABERTA: UMA ANÁLISE DOS PERIÓDICOS CIENTÍFICOS INDEXADOS NO DIRECTORY OF OPEN ACCESS JOURNALS

Open peer review: an analysis of scientific journals indexed in the Directory of Open Access Journals

Francisca Clotilde de Andrade Maia clotildeandrade2009@hotmail.com

Universidade Federal do Ceará, Brazil

Maria Giovanna Guedes Farias mgiovannaguedes@gmail.com

Universidade Federal do Ceará, Brazil

A comunidade científica, constituída por pesquisadores, carrega consigo a responsabilidade pela geração e disseminação do conhecimento científico. No modelo de comunicação científica vigente, além de produzir e comunicar, os pesquisadores estão incumbidos de validar esse conhecimento, ou seja, são responsáveis por garantir que a publicação científica, seja em periódicos, livros, anais de eventos, etc., contribua para a área de estudo e que esteja adequada às boas práticas científicas. Essa validação se dá mediante o processo de revisão por pares. Trata-se de uma avaliação realizada por pesquisadores especialistas em determinada área do conhecimento, os quais julgarão se o manuscrito em questão deve ou não ser publicado. Essa avaliação influencia sobremaneira no desenvolvimento da ciência, uma vez que, nos últimos anos, as produções científicas cresceram, de modo que a revisão atua como um filtro, responsável por julgar o que deve compor o conjunto de conhecimentos denominado literatura científica.

No entanto, esse sistema de revisão recebe críticas relacionadas a fatores como demora, pareceres de má qualidade, não detecção de erros, conflito de interesse, etc. Considerando-se a relevância do princípio de revisão para a comunicação científica, faz-se importante analisar se o modelo vigente de avaliação utilizado por periódicos científicos pode ser substituído por outro modelo, que garanta a validade do conhecimento científico, esteja alinhado às práticas científicas internacionais e busque tornar o fazer científico cada vez mais transparente, objetivo e que apresente qualidade e credibilidade.

A partir disso, para analisar a aplicabilidade da revisão por pares aberta no processo de avaliação de manuscritos, indaga-se se as revistas adeptas a esse modelo, indexadas no DOAJ, contemplam as características identificadas pelo estudo de Ross-Hellauer (2017a). Ressaltamos que as características mencionadas no estudo são: identidades abertas, pareceres abertos, participação aberta, interação aberta, abertura dos manuscritos antes da revisão, revisão ou comentários após publicação e plataformas abertas. Para responder ao questionamento estabelecido, definiu-se o seguinte objetivo para nortear esta investigação: identificar o modelo de revisão adotado pelos periódicos científicos indexados no filtro open peer review do Directory of Open Access Journals (DOAJ), a fim de analisar se essas revistas contemplam as setes características apontadas por Ross-Hellauer (2017a).

No contexto da comunicação científica, a revisão por pares consiste em um princípio constituído por processos em que especialistas (pares) avaliam manuscritos submetidos para publicação na mesma temática de sua especialização. Nesse processo, o parecerista avalia o manuscrito e indica ao editor da revista se ele deve ou não ser publicado, se precisa de alterações antes da publicação ou se deve ser rejeitado. Nessa avaliação, os revisores são selecionados pelo editor a partir do assunto do manuscrito correspondente, ou, de outra forma, existem periódicos que solicitam aos autores que indiquem os revisores (AMARAL; PRÍNCIPE, 2019). Desse modo, esse processo avalia a qualidade, a originalidade e a importância do manuscrito, além de garantir a credibilidade do periódico científico (NASSICALÒ, 2015b).

A revisão é um processo basilar da comunicação científica e para Nassi-Calò (2015b) e Silva (2016) está determinada como uma das etapas mais importantes na comunicação da ciência, pois é responsável pela validação do conhecimento científico, pela manutenção do nível de qualidade da literatura científica e pela credibilidade dos periódicos científicos. Dessa forma, a revisão por pares tem um papel essencial no desenvolvimento da ciência, pois, como demonstrado pelos autores, ela atua como um mecanismo de garantia de confiabilidade e originalidade do que está disposto na literatura científica. Para Spinak (2018, não paginado) a revisão por pares é necessária para a publicação acadêmica em razão dos benefícios que ela oferece, quais sejam: a) ajuda os editores a decidir se um manuscrito merece ser publicado; b) processo rigoroso de revisão é considerado indicativo da qualidade de um periódico; c) artigo de pesquisa revisado por um especialista ajuda a identificar as principais falhas ou fraquezas na metodologia ou no argumento; d) para os autores serve como um selo de qualidade de seu trabalho.

Os modelos de revisão por pares dividem-se em modelos de pré-publicação, que correspondem ao modo tradicional, onde os manuscritos são revisados antes de serem publicados, e os modelos de pós-publicação, que correspondem às novas iniciativas de revisão. Tradicionalmente, os modelos de revisão pré-publicação são os mais empregados pelos periódicos, com destaque para o simples-cego, onde os revisores conhecem a identidade dos autores, mas os autores desconhecem a identidade dos revisores; o duplocego, onde não se identificam o autor e revisor (AMARAL; PRÍNCIPE, 2019) e o modelo triplo-cego, onde apenas o editor-chefe conhece a identidade dos autores e revisores.

Apesar de o processo de revisão por pares ser aceito pela comunidade científica, Mueller e Passos (2000) e Silva (2016) afirmam que o mesmo recebe diversas críticas. Isso é perceptível tendo em vista o aumento de estudos que discutem essa temática e revelam o fato de que uma parte considerável das críticas a respeito da revisão está baseada em evidências robustas e consistentes (SILVA, 2016). Dentre as principais críticas, Nassi-Calò (2015a) e Spinak (2018, não paginado) apontam: saturação dos revisores, tendo em vista a crescente a quantidade de publicações científicas e que não há número proporcional de pares para realizar a revisão de tais manuscritos; ausência de recompensa efetiva pelo trabalho, o que gera atrasos na revisão e torna o processo a avaliação do manuscrito uma atividade voluntária; pareceres fraudulentos ou de má qualidade, problemas de integridade, preconceito e falta de profissionalismo do parecerista.

Tendo em vista a relevância e influência da revisão por pares no desenvolvimento da ciência e da sociedade, e a necessidade de garantir que se dê de forma justa e transparente, novos modelos de avaliação de produções científicas são avaliados para garantir a evolução da ciência em consonância com as boas práticas científicas, e um desses modelos é a revisão aberta, cuja proposta tem sido discutida não apenas na Ciência da Informação (CI), mas em diversas áreas do conhecimento.

2.1 Revisão por pares aberta

O crescente uso de tecnologias de informação e comunicação (TIC) na sociedade ao longo dos últimos anos possibilitou modificações nas mais diversas dinâmicas sociais, bem como na ciência e nas tendências já consolidadas da comunicação científica (SILVA, 2016). As TIC fazem com que os processos já estabelecidos de produção, avaliação e divulgação do conhecimento científico sejam repensados em busca de otimização, transparência e objetividade nos procedimentos.

A partir disso, novos processos de avaliação por pares são desenvolvidos e analisados, em vista de buscar um modelo capaz de validar o conhecimento científico, com a possibilidade de redução de vieses e conflitos, além de estar sintonizado com as boas práticas científicas. Destarte, um dos modelos discutidos na literatura durante os últimos anos e que busca cumprir as características mencionadas é modelo de revisão por pares aberta.

Sobre essa temática, Ross-Hellauer (2017a) desenvolveu uma pesquisa intitulada “What is open peer review? A systematic review”. Neste trabalho o autor investiga por meio de uma análise bibliométrica a evolução dos estudos sobre a temática, os anos em que os conceitos de revisão aberta foram mais discutidos na literatura, etc. Segundo o autor, foi a partir da década de 90 que o assunto tomou impulso no meio acadêmico, demonstrando uma rápida ascensão, com um pico de definições no ano de 2015. Nesse mesmo estudo, Ross-Hellauer (2017a) conclui que não há uma definição específica para o termo ‘revisão por pares aberta’, e que na realidade, há uma sobreposição de conceitos, e identifica 122 possíveis definições dos termos “revisão aberta por pares” ou “revisão aberta”, das quais 110 incluem o conceito de identidades abertas, 72 estão relacionadas aos relatórios abertos, 39 dizem respeito à participação aberta, 29 significam a abertura prévia dos manuscritas antes da revisão, 25 abordam a interação aberta, seis são referentes à versão final do manuscrito aberta a comentários e duas são relativas a plataformas abertas. A partir da análise dessas definições, o autor define sete características, que serão apresentadas no quadro abaixo:

Quadro 1
Características da revisão por pares aberta

Fonte: Adaptado e traduzido de Ross-Hellauer (2017a).

A partir das características apresentadas no quadro, Ross-Hellauer (2017a) afirma que o conceito de revisão aberta não está restrito à uma característica, ou seja, um periódico pode optar por esse modelo de revisão e definir que utilizará apenas a característica de identidades abertas ou a união entre outras características como pareceres abertos e participação aberta, entre outras.

Dessa forma, entende-se que não há um consenso absoluto entre o conceito de Open Peer Review (OPR), e que esse pode ser a união de uma ou até mesmo de outras características não exploradas nesta pesquisa. Caso o editor decida adotar a revisão aberta, deverá definir quais características se adequam à revista em questão, levando em considerações os seus autores, revisores e leitores. Em relação às vantagens da OPR, Bezjak et al. (2018, não paginado) apontam que: fomenta maior responsabilidade dos revisores e reduz as possibilidades de vieses ou conflitos de interesse; contribuem para aumentar a qualidade das revisões, pois o fato de ter o seu nome publicamente associado ao artigo incentiva os revisores a serem mais minuciosos; permitem que os revisores sejam reconhecidos pelo seu trabalho de revisão, incentivando esta atividade e permitindo que o trabalho de revisão seja citado em outras publicações e em atividades ligadas à progressão na carreira.

Como mencionado acima, os autores estimam que a abertura das identidades pode contribuir para fazer com que o revisor tenha mais responsabilidade na avaliação e elabore pareceres mais claros, justos e amadurecidos, além de diminuir a possibilidade de haver conflito de interesses que outrora não eram revelados na revisão às cegas. Os relatórios abertos fomentam a maior qualidade do manuscrito, permitindo que a comunidade acompanhe a evolução do material, perceba como se deu o processo de revisão, e leitores que estudam determinadas temáticas podem aprender também com o feedback dos revisores (BEZJAK ET AL., 2018).

Apesar das vantagens expostas, como todo processo, a revisão aberta está vulnerável a riscos, como: desencorajar os revisores a tecerem críticas, especialmente em relação a colegas mais prestigiados; maior probabilidade de os potenciais revisores recusarem fazer a revisão; autores e revisores devem assumir postura civilizada e garantir que a revisão reflete apenas a qualidade do manuscrito, e não retratam outros aspectos sociais ou institucionais (BEZJAK ET AL., 2018).

Como apresentado, há a possibilidade de desencorajar e inibir revisores menos experientes a serem críticos na avaliação de manuscritos de pesquisadores mais reconhecidos e prestigiados na área. Além disso, a retirada do anonimato faz com que os revisores reflitam no momento de elaboração do parecer, uma vez que seu nome estará exposto na revisão e que o processo de realizar críticas pode estar relacionado a conflitos emocionais e subjetivos, de modo que não se sabe como o autor lidará com os comentários e se terá uma reação exacerbada. Destarte, como o processo de dar e receber críticas é repleto de aspectos emocionais, faz-se importante que todos participantes atuem de modo civilizado nas discussões e que os revisores garantam que o parecer aponte tão somente o rigor da pesquisa.

No entanto, apesar das desvantagens apresentadas, o modelo de revisão aberta já vem sendo adotado pelos periódicos científicos nacionais e internacionais. Ele já é “realidade em revistas científicas publicadas por editores como Copernicus, Frontiers, BioMed Central (BMC), eLife e F1000research.” (BEZJAK ET AL., 2018, não paginado).

Abrir o processo de revisão não é uma iniciativa inédita, tendo em vista que conforme Silva (2016) as primeiras intenções de abrir o processo de revisão remontam à década de 80, e foram as revistas da área de ciências médicas as pioneiras nesse processo de abertura da revisão por pares. Silva (2016) afirma ainda que a comunidade médica levou em consideração a perspectiva de aumento de credibilidade, transparência e redução de concorrência e conflitos de interesse.

Em 2015, a Nature Communications anunciou que realizaria um teste ao adotar uma revisão por pares mais transparente. Destarte, passaram a publicar as avaliações e cartas de contestação de autores. A intenção é abrir o processo de revisão e fornecer informações sobre as avaliações que embasaram à tomada de decisão editorial. Além disso, as avaliações atuam como pano de fundo para fundamentar o mérito da pesquisa e ilustrar a discussão entre os autores e revisores.

De acordo com os resultados do teste, 60% dos autores optaram por publicar o histórico de avaliação de seu artigo. Em vista disso, a revista acredita que este é um resultado positivo, principalmente em razão da miríade de conteúdo e áreas de pesquisa. (NATURE COMMUNICATIONS, 2016, tradução nossa).

Sobre a publicação dos relatórios, a revista se mostrou satisfeita com o experimento e fará da revisão transparente um recurso permanente. Além disso, afirmam esperar que no futuro, cada vez mais autores, leitores e revisores possam usufruir dos benefícios de ter os arquivos de revisão publicados (NATURE COMMUNICATIONS, 2016, tradução nossa). No contexto brasileiro, na área de Ciências Sociais Aplicadas há a revista Encontros Bibli, Qualis A2, na área de Comunicação e Informação, vinculada ao Programa de Pósgraduação em Ciência da Informação (PPGCI) da Universidade Federal de Santa Catarina (UFSC), e que deu início ao projeto “Encontros Bibli em favor da Ciência Aberta”. Neste projeto, a revista sorteia e publica anonimamente os pareceres dos artigos cujos revisores permitiram sua publicação. No arquivo publicado é possível visualizar os comentários de avaliação e a decisão sugerida pelo revisor. Acredita-se que a iniciativa tomada pela Encontros Bibli é pioneira no âmbito das revistas brasileiras, atuando como um passo primordial para estabelecer os primeiros contatos com os princípios da ciência e da revisão aberta, que visam o desenvolvimento de uma ciência mais justa e transparente.

O modelo aberto representa transformações na prática científica de avaliar manuscritos, oferece oportunidades de recompensar revisores, de divulgar feedbacks e proporcionar que todos os leitores aprendam com um parecer que permaneceria arquivado durante um período indeterminado nos arquivos do editor, além de caminhar rumo a uma ciência cada vez mais aberta, transparente e objetiva, diminuindo vieses e possíveis conflitos. Para Foster (2018) a abertura do processo de revisão não reflete em uma solução total e definitiva para todas as dificuldades oriundas do sistema tradicional de avaliação por pares. Acredita-se que a revisão aberta surge como uma alternativa para aprimorar o processo de revisão por pares, tentando propor soluções que resultem em melhorias fundamentais ao desenvolvimento do conhecimento científico e, consequentemente, da sociedade.

Esta pesquisa segue os pressupostos metodológicos da abordagem quantiqualitativa e exploratória quanto aos seus objetivos. Utilizou-se como método e técnica de coleta de dados a pesquisa documental, tendo em vista que “são considerados documentos não apenas os escritos utilizados para esclarecer determinada coisa, mas qualquer objeto que possa contribuir para a investigação de determinado fato ou fenômeno.” Realizou-se também uma entrevista não-estruturada com dois editores (que aceitaram participar da pesquisa), pois, nessa modalidade de entrevista as perguntas são mais abertas e podem ser respondidas em um diálogo informal (MARCONI; LAKATOS, 2003).

Para desenvolver os alicerces teóricos desta investigação, elaborou-se a revisão de literatura com base em bibliografia disposta no Portal de Periódicos da Capes, na Scientific Electronic Library Online (Scielo), em matérias do blog Scielo em Perspectiva e em apresentações e e-books oriundos do ABEC Meeting 2018 e 2019. O campo de pesquisa para a coleta documental foi o DOAJ, diretório online lançado em 2003, na Suécia, que indexa e disponibiliza o acesso a periódicos de alta qualidade, de acesso aberto e revisados por pares.

A coleta de dados teve início no dia 28 de janeiro de 2020 e foi encerrada no dia 05 de fevereiro do mesmo ano. Nesse período, estavam inseridas no DOAJ 14.250 revistas, onde 133 revistas estavam indexadas sob o filtro ‘open peer review’. Para a identificação das revistas fez-se a busca pelo filtro ‘Advanced Search’ na página inicial do diretório, em seguida foi selecionada a opção ‘Journals’, e dentro do filtro ‘peer review’ restringiu-se ‘open peer review’.

Após a constatação da quantidade de revistas, realizou-se o download dos metadados disponibilizados pelo DOAJ, para ter acesso otimizado às revistas e seus dados descritivos: origem, editora, idioma, Article Processing Charges (APC), assunto e processo de revisão da revista, que é o foco desta pesquisa.

A partir disso, fez-se a visita, observação e leitura do website, especialmente das seções ‘Sobre’ ou ‘Editorial’ de cada periódico, para identificar informações que explicavam o fluxo do processo de revisão da revista. Nesse momento, buscava-se reconhecer e analisar a adoção das sete características de OPR apontadas por Ross-Hellauer (2017a).

A análise dos dados abordou um tratamento quantitativo para as características descritivas e a adoção da técnica análise de conteúdo de Bardin (2011) para as características do modelo de revisão aberta e para os relatos de entrevista. A análise de conteúdo visa classificar elementos em categorias, para estabelecer uma investigação do que há em comum entre cada um deles e “[...] o que vai permitir o seu agrupamento é a parte comum existente entre eles.” (BARDIN, 2011, p. 148).

Utilizando essa técnica, estabeleceu-se a categoria: Transparência, a partir da junção das sete características apresentadas por Ross-Hellauer (2017a), quais sejam: identidades abertas; pareceres abertos; participação aberta; interação aberta; abertura dos manuscritos antes da revisão; revisão ou comentários após publicação; e plataformas abertas, as quais visam promover a transparência no processo de revisão e publicação científica.

Durante a coleta foram identificadas 11 revistas que, após a leitura, foram desconsideradas da análise por demonstrarem não utilizar a OPR. Destarte, após a remoção, a quantidade de periódicos analisados é 122. A partir dos dados coletados, é possível apontar as características descritivas analisadas quantitativamente a seguir:

Quadro 2
Características identificadas nos periódicos científicos

Fonte: Dados de pesquisa, 2020.

De acordo com o quadro, percebe-se a expressiva atuação do Reino Unido, com a publicação de 84 títulos em OPR. Apesar de o Brasil ser o terceiro país no ranking com mais revistas indexadas no DOAJ, um total de 1.458 (PEREIRA; FURNIVAL, 2020), as revistas brasileiras em OPR correspondem a menos de 5% do total de revistas OPR do diretório.

A quantidade considerável de revistas de origem no Reino Unido possui uma relação estreita com a editora inglesa BioMed Central (BMC), que possui 64 revistas inseridas no DOAJ. Acredita-se que a BMC gerencia um número significativo de revistas OPR por ter adotado o esse modelo em 1999, além de demonstrar estar comprometida com alternativas inovadoras no processo de revisão, como a revisão sem resultados e a revisão por pacientes (BIOMED CENTRAL, 2020, tradução nossa).²

Sobre o idioma, 114 revistas publicam em inglês. Tal predominância pode ser apontada pelo fato de 84 revistas serem oriundas do Reino Unido, além do inglês ter se tornado universalmente aceito na academia para a comunicação científica (CARLOTTI JÚNIOR, 2019).

Sobre a APC, taxa de processamento de artigos, uma cobrança que subsidia custos relacionados a processos editoriais, está presente em 90 revistas da amostra. Os valores cobrados demonstram ser variáveis e, de acordo com o estudo de Pereira e Furnival (2020), não foram encontrados em revisão bibliográfica qualquer dado que demonstre padronização, referência ou metodologia para orientar o cálculo que estabelece o valor da APC. Tais informações devem estar dispostas em literatura cinzenta, nas editoras ou em dados inacessíveis ao público (PEREIRA; FURNIVAL, 2020).

Sobre a área de conhecimento das revistas, identifica-se 85 periódicos publicando na área de Ciências da Saúde (CS), com uma diferença significativa para as outras áreas. Destarte, assume-se que a área de CS é atualmente a mais adepta à OPR, corroborando com a ideia de Targino, Garcia e Silva (2019) ao afirmarem que esse modelo de avaliação está mais presente nesses periódicos. Silva (2016) alega haver vanguardismo por essas revistas ao adotar a OPR, em razão da perspectiva de aumento de credibilidade, transparência e redução de conflitos de interesse.

Em seguida à análise das características descritivas, identificou-se também a ocorrência de cada uma das características de revisão nos periódicos, de modo a identificar a quantidade de revistas que utilizam cada uma, apresentando-as no quadro 3 a seguir:

Quadro 3
Quantidade de revistas que utilizam cada característica

Fonte: Dados de pesquisa, 2020.

As características apresentadas podem ser utilizadas de diferentes formas pelos periódicos, de modo que o mesmo pode optar por aderir à apenas uma característica, ou decidir por abrir ainda mais o fluxo editorial e adotar quatro ou cinco características. Isso demonstra a pluralidade de configurações do que pode ser entendido como OPR, conceito esse que não está restrito há uma característica ou especificação única, mas que pode ser adaptado à realidade escolhida pelo editor.

Após a apresentação dos dados acima, tratou-se da análise de conteúdo com base na categoria transparência, que contempla as sete características de Ross-Hellauer (2017a) e versam sobre a possibilidade de viabilizar maior transparência aos processos de comunicação científica.

A característica Identidades abertas objetiva tornar as identidades dos revisores e autores visíveis entre si e para a comunidade, onde 120 das 122 revistas utilizam essa característica, ou seja, 98,3% das revistas permitem que os autores e revisores conheçam a identidade uns dos outros. Dessa forma, os dados coletados corroboram com o pensamento de Ford (2013) ao afirmar que essa característica é a mais comum dentre todas revistas que afirmam utilizar a OPR.

Nesta fase da análise dos dados, utilizou-se também os relatos das entrevistas nãoestruturadas realizadas com um editor-chefe (E1) de um periódico adepto da característica de identidades abertas. Essa entrevista foi realizada por meio do perfil da revista na mídia social Facebook. Já o segundo entrevistado foi um editor (E2), responsável por um periódico adepto das características identidades abertas e pareceres abertos, nesse caso a entrevista ocorreu por e-mail.

Ao explicar a E1 sobre a temática da pesquisa, o mesmo proferiu breve relato da experiência vivenciada por ele e pelo periódico:

Fazemos revisão editorial para todos os manuscritos e revisão por pares - assinada, nomes do revisor e do autor conhecidos entre si. Mas decidimos não publicar os comentários dos revisores (embora estes sejam, obviamente, compartilhados com os autores), e damos aos revisores a opção de serem anônimos na publicação final, mas normalmente nomeamos os editores do periódico e revisores em todas as publicações. (E1, tradução nossa).

E1 ainda afirma não publicar os pareceres de avaliação, e dá a opção ao avaliador de permanecer anônimo na publicação do manuscrito, mas reitera que comumente os editores e avaliadores estão identificados em todas as publicações. Ainda sobre a experiência do periódico com esse modelo de revisão, ele afirma que:

Demorou um pouco para convencer e ainda temos ocasionalmente alguns revisores surpresos, mas na maioria, todos ficam felizes, pois resulta em revisões melhores, muito menos negativas e não construtivas, e é um meio (um pouco como Publons) de valorizar o trabalho voluntário dos revisores e nossos editores (que são todos voluntários). (E1, tradução nossa, grifo nosso).

De acordo com E1, ainda há alguns revisores surpresos com essa modalidade de revisão, mas que, em sua experiência, os revisores ficam felizes por acreditarem que essa modalidade resulta em revisões melhores e mais construtivas. O que está em consonância com as vantagens da revisão aberta apontadas por Bezjak et al. (2018), ao afirmar que a revisão aberta contribui para aumentar a qualidade das revisões, pois o fato de ter o seu nome publicamente associado ao artigo ou de ver a sua revisão publicada, incentiva os revisores a avaliarem de forma mais minuciosa e atenta.

Além disso, o editor afirma que a revisão aberta é um meio de valorizar o trabalho voluntário dos revisores, o que corrobora com a ideia dos mesmos autores Bezjak et al. (2018) que são assertivos ao afirmarem que as revisões abertas permitem que os avaliadores sejam reconhecidos pelo seu trabalho de revisão, incentivando esta atividade. Ademais, o editor cita o Publons, que será apresentado na característica de plataformas abertas, como uma ferramenta que possibilita a valorização do árduo trabalho desempenhado pelos revisores e editores.

Por fim, ao perguntar sobre a ocorrência de conflitos em virtude da revisão aberta e o acontecimento de possíveis represálias, o editor respondeu que “Algumas vezes houve revisores chateados, mas logo explicava o argumento ético para a revisão aberta. Nunca houve represálias” (E1, tradução nossa). De acordo com o editor, alguns revisores mostravam-se indecisos, no entanto, ao estabelecer o diálogo e explicar as vantagens e os argumentos existentes que tratam dos aspectos éticos da revisão aberta, os revisores entendiam e aceitavam realizar a revisão. Além disso, o editor alega não ter havido represálias.

Em relação aos pareceres abertos, que tratam da característica que visa publicar o parecer emitido pelo autor junto ao artigo, das 122 revistas 89, ou seja, 72,9% publicam nessa modalidade. Além de reconhecer o papel e a importância do revisor, a publicação do parecer atua como um guia para a formação de novos avaliadores, que podem aprender com as informações lá dispostas. Ademais, torna o processo mais transparente e objetivo, de modo que os revisores são imbuídos a tecerem críticas mais construtivas, de modo a evitar possíveis reveses (ROSS-HELLAUER, 2017b).

Segundo E2, a experiência na revista em que é editor demonstra que “tivemos um bom sucesso com esse modelo, em termos de qualidade do manuscrito e da revisão, desde o início da revista, em 2006. Sinta-se livre para ler as revisões substantivas incluídas no final de cada artigo publicado - para avaliar por si mesma.” (tradução nossa, grifo nosso). Em seguida E2 afirmou que esse é o modelo padrão utilizado pela revista há 14 anos, e ao questionar o editor sobre a experiência do periódico e eventuais conflitos, ele respondeu que só teve problemas em persuadir alguns revisores sobre as vantagens versus desvantagens desse modelo, e logo complementou:

A preocupação mais comum citada por possíveis revisores tem sido a hesitação em ser sincero devido à falta de anonimato. Perdi alguns revisores em potencial dessa maneira - mas apenas cerca de cinco em mais de 100. Em cada caso, pedi ao revisor que fosse tão rigoroso e justo com sua revisão como normalmente, e garanti a eles que, se eles forneceram uma revisão justa e honesta, o editor defenderia seu trabalho, caso surgissem conflitos. Também assegurei a um possível revisor muito hesitante, que é um acadêmico altamente respeitado na Journal of Severe Storms Meteorology e que tentava um cargo de professor, que sua revisão poderia servir como um exemplo de ensino. Em outras palavras: faça uma revisão registrada com a alta qualidade habitual e você poderá usá-la para mostrar aos seus alunos como fazer uma excelente revisão científica, como um exemplo próprio. Ele adorou a ideia e finalmente concordou com a revisão. (E2, tradução nossa, grifo nosso).

A primeira desvantagem apontada pelo editor se refere ao receio de alguns revisores de serem completamente sinceros devido à ausência de anonimato, o que vai de encontro às desvantagens elencadas por Bezjak et al. (2018), ao ressaltar que a supressão do anonimato pode subverter o processo, ao desencorajar os revisores a fazer críticas, principalmente no que diz respeito a colegas mais prestigiados.

Além disso, E2 reconhece que perdeu alguns avaliadores em potencial, mas que não foi uma perda significativa, cerca de cinco em mais de 100. O fato de haver a possibilidade de perder revisores corresponde com a desvantagem apresentada por Bezjak et al. (2018), que afirma existir maior probabilidade de os potenciais revisores recusarem fazer a revisão.

Porém, apesar das desvantagens, o editor certifica que já lidou com casos de resistência dos revisores, e que contornou a situação ao apresentar aos revisores as vantagens e desvantagens e garantir que, se o revisor redigir uma avaliação rigorosa e justa, como faria se estivesse no anonimato, o editor defenderia a avaliação.

Além disso, E2 cita o caso de um avaliador importante em sua área e que estava relutante em revisar o manuscrito de forma aberta. O editor encorajou-o, garantindo que, caso o revisor fizesse uma avaliação de qualidade e publicasse-a, poderia servir como modelo de ensino para seus estudantes e pesquisadores que estejam começando a revisar manuscritos.

Dessa forma, acredita-se que as práticas apontadas por esse editor minimizam as desvantagens comumente apontadas, a possibilidade de o revisor recusar-se a realizar a avaliação, e faz com que os revisores se tornem mais receptíveis a aceitarem essa proposta de abertura das avaliações.

A Participação aberta ou crowd-sourced review (FORD, 2013) é compreendida como a possibilidade de a comunidade participar do processo de revisão. Foram identificadas 14 revistas que utilizam essa característica e proporcionam a participação aberta em suas publicações. Em alguns casos, há a oportunidade de qualquer pessoa contribuir com a revisão do manuscrito ou do periódico definir algum critério para tal. Das revistas analisadas, a ScienceOpen Research é a única adepta a essa característica que impõem um critério. Sua política define que os comentários só podem ser realizados por pessoas com perfil cadastrado no ORCID (Open Researcher and Contributor ID) e que tenham no mínimo cinco artigos publicados. O ORCID é um código identificador único utilizado para pesquisadores que possibilita a diferenciação entre outros acadêmicos com nomes semelhantes (TONZANI, 2013, tradução nossa), de modo que cada pesquisador poderá também vincular suas produções e publicações ao seu ORCID. Entende-se que essa restrição colocada pela revista objetiva garantir que os comentários sejam feitos por pessoas que tenham conhecimentos científico suficiente para avaliar as pesquisas.

No caso da Interação aberta, também conhecida por disclosed review (FORD, 2013), o objetivo é estabelecer uma relação direta entre o autor e o revisor em prol da melhoria do manuscrito, o que no modelo de revisão tradicional não acontece, tendo em vista que nesse processo o diálogo é intermediado pelo editor. Dos 122 periódicos analisados, 84 proporcionam esse tipo de interação, sendo 62 vinculadas à editora BMC, que além de estimular a interação aberta, disponibiliza mediante solicitação no e-mail da editora, as versões anteriores do manuscrito e as respostas dadas pelos autores aos questionamentos apontados na avaliação.

Em relação à Abertura dos manuscritos antes da revisão ou pre-publication review (FORD, 2013) significa que haverá a publicação de manuscritos em repositórios antes do processo de revisão formal. A plataforma PrePubMed afirma ser cada vez maior o número de preprints indexados em sua base, além de ser cada vez maior a quantidade de repositórios de preprints nas diversas áreas do conhecimento, como arXiv, bioRxiv, medRxiv, chemRxiv, SocArXiv, PsyArXiv e EarthArXiv (SEVER ET AL., 2019).

Esse tipo de publicação garante a prioridade do autor ao discutir determinada temática e a rápida divulgação do manuscrito. Destarte, “[...] em alguns casos, autores que compartilharam os primeiros resultados por meio de servidores de pré-impressão foram abordados diretamente por periódicos interessados em publicar seus trabalhos.” (FOSTER, 2018). Pesquisas apontam que a maioria dos estudos depositados em repositórios como preprints são publicados em periódicos, como demonstrado no bioRxiv:

Nossos algoritmos de correspondência descobriram que ~70% das pré-impressões no bioRxiv são publicadas por periódicos dentro de dois anos, um período suficiente para que a maioria dos artigos tenha passado por ciclos de revisão e revisão até a aceitação (SEVER et al., 2019, tradução nossa).

A citação demonstra que uma das desvantagens mais elencadas a respeito da publicação em preprint, que trata da possibilidade de o estudo apresentar resultados incorretos ou inconclusivos é reduzida, tendo em vista que uma parcela significativa deste tipo de publicação, quando depositados em repositórios, são também submetidos, avaliados e publicados em periódicos. Diante disso, sugere-se uma leitura que explore com maior profundidade a temática a rigor das publicações preprints.³ No entanto, essa tendência não foi identificada na amostra, em razão do fato de que apenas 10 revistas analisadas demonstram disponibilizar os manuscritos como preprint.

A característica menos identificada nas revistas foi a Revisão ou comentários após publicação definida como post-publication review (FORD, 2013), com apenas cinco periódicos, os quais demonstraram realizar a revisão ou disponibilizar espaço para comentários após a publicação. No entanto, a baixa adesão dos periódicos à essa característica não é proporcional à contribuição ao processo de revisão, uma vez que RossHellauer (2017a) cita o caso da Pubpeer, uma plataforma adepta dessa característica que recebeu inúmeros comentários apontando erros em um artigo publicado pela Nature sobre células STAP. “Os comentários dos jornais no PubPeer atraíram cerca de 40000 espectadores. Não é de surpreender que tenham percebido problemas que três árbitros sobrecarregados e alguns editores não conseguiram.” (PUBPEER BLOG, 2014).

No caso das Plataformas abertas, as quais realizam uma avaliação independente ou contribuem de alguma forma com o processo de revisão, como propor recompensas para os revisores, foram identificados 39 periódicos que utilizam esse tipo de plataforma. Dentre os 39, há 35 adeptos dos serviços oferecidos pela Research Square, associada às revistas da editora BMC, há três revistas que empregam o uso da plataforma Publons e uma que utiliza a rOpenSci.

A Research Square identifica revisores para fornecer pareceres a fim de evitar atrasos (BMC NUTRITION, 2020) e apesar de atuar como uma plataforma aberta por facilitar o processo de revisão tradicional, a mesma acontece de forma duplo-cego, ou seja, os pareceres não serão identificados e as identidades serão desconhecidas, a menos que o revisor opte por assinar o relatório. O que demonstra que o significado de OPR não está relacionado apenas a identidades ou pareceres abertos, mas também a outras características e aspectos aqui apresentados.

O Publons funciona como um perfil onde é possível pode acompanhar suas publicações, métricas, revisões e outras atividades acadêmicas. Além disso, é uma plataforma automatizada desenvolvida pela Web of Science e ORCID, dessa forma tem a capacidade de importação de dados (PUBLONS, 2020).

A rOpenSci é uma plataforma que valoriza a pesquisa aberta e reproduzível e atua no desenvolvimento de ferramentas em código aberto que visa a rápida recuperação de dados científicos (ROPENSCI, [2020]).

No artigo intitulado Defining and Characterizing Open Peer Review: A Review of the Literature de Ford (2013) é citada a Atmospheric Chemistry and Physics (ACP) como exemplo proeminente de revista adepta da OPR. Porém, ao buscar a revista no DOAJ, foi constatado que a mesma está inserida no diretório, mas não está indexada no filtro de OPR. Isto posto, faz-se crer que o número de revistas que utilizam a revisão aberta no DOAJ é maior, porém, por não estarem indexadas no filtro apropriado não são recuperadas no processo de busca.

Destarte, diante dos dados apresentados e dos relatos de experiências dos editores, percebe-se que cada vez mais novos periódicos optam, mesmo que em fase de teste, por conhecer o modelo aberto, seja por meio da adoção de uma, duas ou três características e suas variações. Com isso, os periódicos visam também estar em consonância com os princípios da Ciência Aberta, que objetivam proporcionar um fazer científico mais aberto, social e reprodutível.

A revisão por pares é um dos pilares do processo de produção da ciência. Ela é responsável por validar o que é produzido enquanto conhecimento científico, e garantir que tal produção possa agregar e contribuir com o corpus teórico e empírico da ciência. No entanto, a revisão por pares, como toda atividade realizada por seres humanos, enfrenta vieses e percalços que podem subverter o processo. Em vista disso, desenvolvem-se estudos que buscam propor alternativas de modelos de revisão que possam contribuir com a evolução e melhoria desse processo. Um desses modelos é a revisão por pares aberta, que ganha destaque em razão do crescimento das pautas que discutem práticas para uma ciência mais aberta. Não se tencionou nesta pesquisa apontar a revisão aberta como a solução para as dificuldades enfrentadas pelo modelo tradicional de revisão. De fato, apresenta-se nesta pesquisa um dos diversos modelos alternativos de avaliação, que está sendo discutido na literatura internacional com o objetivo de aprimorar a revisão por pares, um processo fundamental no meio científico.

Compreende-se que as revistas indexadas no DOAJ adeptas da revisão aberta contemplam e corroboram com as características identificadas por Ross-Hellauer (2017a). Algumas revistas congregam mais características do que outras, o que se pode entender como revistas que já possibilitam um nível de abertura maior no seu processo de revisão. Além disso, os relatos dos dois editores entrevistados apontam suas vivências com a OPR, mostrando os resultados obtidos com esse modelo, focalizando para as vantagens e desvantagens percebidas por eles e comparando com o que está disposto na literatura, visando apresentar como eles se sobrepujam diante das dificuldades enfrentadas.

Para quem deseja aderir a um processo de revisão mais transparente, é preciso levar em consideração o contexto de cada periódico, seus revisores e leitores. Além disso, demonstra ser pertinente levar em consideração os breves relatos de experiência dos editores aqui apresentados, os quais afirmam utilizar esse modelo há um tempo considerável e evidenciam estratégias para desvencilharem-se das desvantagens mais comumente apontadas e usufruir das vantagens oportunizadas por esse modelo de revisão.

Acredita-se que uma pesquisa de campo que alcance mais editores de periódicos adeptos da OPR e focalizem suas experiências possa elucidar ainda mais as vantagens e também desvantagens do processo. Uma vez que, se há periódicos científicos optando por esse modelo, em oposição há um modelo tradicional já consolidado, deve ser em razão de boas experiências vivenciadas e dos resultados apresentados pelo modelo aberto.