Artigo

NÃO SINTA FALTA DE FOUCAULT: ESTRATÉGIAS PARA AVALIAÇÃO DE ARTIGOS ACADÊMICOS

DON’T MISS FOUCAULT: STRATEGIES FOR ACADEMIC PAPERS EVALUATION

NO EXTRAÑES A FOUCAULT: ESTRATEGIAS PARA LA EVALUACIÓN DE TRABAJOS ACADÉMICOS

Pablo Antonio Lago
Faculdade de Direito da UFMG, BR

NÃO SINTA FALTA DE FOUCAULT: ESTRATÉGIAS PARA AVALIAÇÃO DE ARTIGOS ACADÊMICOS

Revista Opinião Jurídica, vol. 22, núm. 40, pp. 122-136, 2024

Centro Universitário Christus

Recepción: 05 Enero 2024

Aprobación: 26 Septiembre 2024

RESUMO

Objetivo: A comunidade científica espera publicações de qualidade em revistas acadêmicas. Nesse contexto, a tarefa dos pareceristas, em especial nos sistemas de revisão por pares às cegas (blind review), mostra-se fundamental. Mas como elaborar um bom parecer? Este trabalho busca responder a essa questão, apresentando diferentes parâmetros e estratégias que podem ser observados por pareceristas em suas atividades.

Metodologia: Análise de bibliografia dedicada ao tema, em especial de língua inglesa, em estudo descritivo, qualitativo, do tipo relato de experiência.

Resultados: A pesquisa culminou em uma série de parâmetros que podem ser observados por pareceristas no exercício de suas funções, desde aceitar ou não avaliar um artigo acadêmico, até a redação e envio do parecer para o editor.

Contribuições: Ao apresentar dicas e estratégias para avaliação adequada de artigos acadêmicos, este trabalho facilita as atividades de pareceristas e editores e supre uma importante lacuna na formação de muitos pesquisadores.

Palavras-chave: Revisão acadêmica+ parecerista+ estratégias para avaliação.

ABSTRACT

Objective: The scientific community expects high-quality publications in academic journals. In this context, the role of peer reviewers, especially in blind peer review systems, proves to be crucial. But how to craft a good review? This work answers this question by presenting various parameters and strategies that peer reviewers can consider in their activities.

Methodology: Analysis of literature dedicated to the topic, especially in English, in a descriptive, qualitative study, on author’s experience report kind.

Results: The research presents some criteria that peer reviewers can consider in performing their duties, ranging from the acceptance to review an academic paper to drafting and submitting the review to the editor.

Contributions: By providing tips and strategies for the proper evaluation of academic papers, this work facilitates the tasks of peer reviewers and editors, addressing a significant gap in the training of many researchers.

Keywords: Academic review, peer reviewer, evaluation strategies.

RESUMEN

Objetivo: La comunidad científica espera publicaciones de calidad en revistas académicas. En este contexto, el papel de los revisores, especialmente en sistemas de revisión por pares a ciegas, resulta fundamental. Pero, ¿cómo redactar una buena revisión? Este trabajo busca responder a esta pregunta, presentando diversos parámetros y estrategias que los revisores pueden tener en cuenta en sus actividades.

Metodología: Análisis de bibliografía dedicada al tema, especialmente en inglés, en un estudio descriptivo, cualitativo, del tipo relato de experiencia.

Resultados: La investigación ha culminado en una serie de criterios que los revisores pueden considerar al desempeñar sus funciones, desde aceptar o rechazar la revisión de un artículo académico hasta redactar y enviar la revisión al editor.

Contribuciones: Al proporcionar consejos y estrategias para la evaluación adecuada de artículos académicos, este trabajo facilita las tareas de los revisores y editores, abordando una brecha significativa en la formación de muchos investigadores.

Palabras clave: Revisión académica, revisor, estrategias de avaliación.

1 INTRODUÇÃO

“Como é difícil publicar na sua área”, disse-me um amigo, doutor em Biologia Marinha. Sua fala teve lugar quando comentei que tivera um artigo rejeitado por uma revista acadêmica. Enquanto um dos pareceres, elogioso ao trabalho, sugeria apenas a inclusão de mais autores brasileiros, o outro se limitou à frase “senti falta de Foucault neste debate”. Aparentemente, também houve um terceiro parecer – mas não tive acesso ao seu conteúdo, já que o campo correspondente aos comentários veio em branco no e-mail Fora isso, nenhum motivo que fundamentasse, de fato, a rejeição, ou considerações que pudessem ser úteis para o aprimoramento do trabalho.

Situações como esta são relativamente comuns, notadamente quando se trata de trabalhos teóricos e baseados em revisão bibliográfica. Certamente, ninguém fica feliz em receber um parecer negativo, mas alguns pareceres (ou a falta deles) são potencialmente desestimulantes. Por um lado, colocamo-nos a refletir sobre as agruras pelas quais passam os pesquisadores em geral, subjugados pela lógica do “publique ou pereça” (publish or perish). Podemos criticar “o sistema”, que na forma como está estabelecido é contraproducente em muitas áreas de pesquisa, como tem se mostrado a área jurídica1. Em contrapartica, é possível pensar sobre o papel e as responsabilidades dos pareceristas e dos editores de periódicos, que podem contribuir para a perpetuação do lado negativo deste modelo.

Meu objetivo com este texto está centrado neste segundo ponto, em especial, nos cuidados que devem ser observados pelos pareceristas. É preciso que haja clareza sobre as métricas adotadas, para que o resultado da avaliação seja justo e construtivo. Aponto, portanto, alguns dos parâmetros que considero mais relevantes, considerando, em especial, a bibliografia dedicada ao tema e a minha experiência com publicações na área jurídica. As visões aqui apresentadas também podem ser úteis para outras áreas das ciências sociais e humanas. Há, em todas elas, significativo risco de subjetivismos e discricionariedade por parte dos pareceristas.  

É interessante observar como muitos pareceristas, embora pressuponham para que serve a avaliação2, nunca foram ensinados a realizar essa tarefa. Aprende-se na prática: avaliando, ainda que de forma intuitiva, os trabalhos de terceiros, ou então estudando as avaliações feitas sobre os próprios trabalhos3. Daí a importância de se refletir acerca dos parâmetros de uma boa avaliação. Sem essa reflexão, perpetuam-se visões contraproducentes para a própria comunidade científica.

Ter um padrão adequado de avaliação de artigos acadêmicos não é importante apenas para pareceristas e editores, mas para pesquisadores em geral. Saber os parâmetros pelos quais seu trabalho será avaliado lhe permite ser seu próprio “avaliador inicial” – de forma análoga ao advogado que, tradicionalmente, é considerado o “primeiro juiz da causa”. Em última análise, os elementos analisados pelos pareceristas constituem o que se entende por um bom ou mau trabalho acadêmico.

Divido este trabalho em cinco partes. Na primeira, analiso os fatores que devemos levar em consideração antes de aceitarmos avaliar um artigo (como ter clareza sobre as finalidades de uma revisão, o tempo disponível para a tarefa, dentre outros). Na segunda e terceira partes, trato da avaliação do artigo e da redação do parecer, com observações que variam da leitura inicial do texto à recomendação final (como aceitação, aceitação com alterações, ou rejeição do artigo). Em um quarto momento, exploro o papel dos editores, que podem fornecer subsídios importantes aos pareceristas, bem como feedbacks a partir da própria decisão editorial. Por fim, examino algumas questões éticas referentes à avaliação de artigos acadêmicos, como o tratamento que deve ser dispensado aos autores, situações de conflito de interesses e o dever de confidencialidade.

2 ACEITANDO OU NÃO A TAREFA DE AVALIAR UM ARTIGO ACADÊMICO

Avaliar um artigo é se comprometer com a realização de uma análise bem-feita e dentro de certos prazos. Logo, antes mesmo de iniciar esta tarefa, é preciso atentar ao tempo que será despendido. Editores têm consciência de como a vida dos pareceristas pode ser atribulada4; contudo não são capazes de adivinhar a efetiva disponibilidade de cada um. Disso se segue que, ao receber o convite para avaliar um artigo, o parecerista deve verificar sua disponibilidade e avisar o quanto antes ao editor, aceitando ou não a tarefa. Assim, evitam-se demoras desnecessárias e se garante maior agilidade na busca por outros pareceristas. Não é demais reforçar que, caso tenha aceitado a tarefa, é preciso submeter o parecer dentro do prazo fixado pelos editores. Se não foi fixado um prazo, vale se perguntar quanto tempo gostaria que outros pareceristas levassem para analisar os próprios trabalhos acadêmicos.

Os convites para a avaliação de artigos, em regra, são acompanhados do texto completo ou, no mínimo, de seu resumo. Isso permite ao parecerista verificar se tem o domínio do tema necessário para realizar a tarefa. Mas quanto deve dominar o tema? Esta é uma questão um tanto pessoal. Podemos imaginar situações paradigmáticas em que a avaliação não deveria ser feita – dificilmente um jurista, por exemplo, estaria em condições de avaliar um estudo de medicina. Contudo, por vezes, uma boa compreensão do campo em que é feita a pesquisa, aliada ao conhecimento das regras metodológicas pertinentes, são mais que suficientes5.

Isso significa que é fundamental ter clareza sobre o que deve ser avaliado antes de aceitar elaborar um parecer. Talvez o parecerista não domine com tanta profundidade um ou outro expoente teórico do trabalho; ainda assim, pode apresentar considerações valiosas do ponto de vista estrutural ou metodológico. A comunidade científica espera que o trabalho esteja bem construído (indicando claramente suas perguntas e hipóteses), que traga algum tipo de contribuição ao campo da pesquisa e que observe os critérios metodológicos e argumentativos necessários para enfrentar as questões analisadas (Gross, 2020, p. 7-8). Ter consciência do objetivo da avaliação é muito importante, e fica evidente que ela não pode ocorrer de modo “instintivo”. Em outras palavras, não se trata de um “gostar” ou não do trabalho, não sendo relevante a concordância pessoal do parecerista com as conclusões apresentadas pelo autor.

A avaliação é uma tarefa pessoal e, em especial nos casos de blind review, deve-se respeitar algumas regras de confidencialidade. Tais regras serão analisadas mais adiante, porém vale ressaltar, desde já, que a pessoalidade e a confidencialidade limitam a possibilidade de delegar a tarefa para terceiros. Se, por diferentes razões, não for possível avaliar o texto, o parecerista indicado não deve passar a tarefa para outra pessoa. Não se pode, por exemplo, solicitar a orientandos que façam a avaliação e, então, remeter o parecer ao editor. Contudo, nada impede que, ao redigir a recusa, o parecerista indique possíveis nomes e contatos para a realização da tarefa. Em qualquer caso, a escolha dos pareceristas compete sempre ao editor.

3 LENDO O ARTIGO

Só é possível revisar adequadamente um trabalho que tenha sido lido, e dividir a leitura em diferentes etapas pode ser particularmente útil ao parecerista – até mesmo para determinar a profundidade do parecer.

A primeira etapa corresponde a algo similar à chamada leitura inspecional, como apresentada por Mortimer Adler e Charles Van Doren em sua clássica obra Como Ler Livros: o guia clássico para a leitura inteligente (Adler; Van Doren, 2010, p. 51-62). Em certa medida, o parecerista já teve um primeiro contato com o trabalho antes mesmo de aceitar revisá-lo (terá, no mínimo, lido o resumo). Nesse momento, é importante se ter uma noção geral da forma como o trabalho está estruturado – o que envolve uma sondagem sistemática do texto, como verificar o título, a extensão, a quantidade de partes em que está dividido, a adequação às normas da revista, dentre outros.

A leitura inspecional, enquanto sondagem sistemática do texto, é útil porque pode indicar questões prejudiciais à publicação. Se, por exemplo, o texto tem 60 páginas e a revista tem como regra editorial publicar artigos de até 30 páginas, o texto deve ser rejeitado de plano. O autor deverá ou reescrever o texto e o resubmeter, adequando-o às regras de publicação, ou então procurar outra revista. Particularmente, é durante a leitura inspecional que verifico outras questões, como a adequação do trabalho à linha editorial, ou até mesmo se o trabalho já foi publicado pelo autor em outra revista. Pesquisar o título ou trechos do trabalho no Google pode revelar que a publicação não é inédita, o que impede sua publicação na maioria das revistas acadêmicas, que exigem o ineditismo. Essa investigação pode até mesmo indicar a ocorrência de plágios, que são ainda mais problemáticos, dadas as questões de integridade acadêmica envolvidas. Em geral, todos esses pontos já são verificados pelos editores antes de encaminhar o texto para revisores, mas considerando o volume de trabalhos recebido, pode ocorrer de alguns problemas passarem despercebidos.

Além da sondagem sistemática, a leitura inspecional também envolve uma leitura superficial do texto. Como ressaltam Adler e Van Doren (2010, p. 55), o “superficial” não deve ser compreendido de forma negativa, mas sim como um momento que também demanda atenção do leitor. Ela envolve uma importante regra de leitura, frequentemente esquecida: “ao encarar um livro difícil pela primeira vez, leia-o sem parar, isto é, leia-o sem se deter nos trechos mais espinhosos e sem refletir nos pontos que ainda permanecem incompreensíveis para você” (Adler; Van Doren, 2010, p. 55). A lógica por trás dessa regra se aplica à leitura de qualquer texto. Se, a todo momento, paramos a leitura para verificar expressões desconhecidas no dicionário, ou então ficamos relendo cada frase para garantir sua “plena compreensão”, corremos o risco de terminar a leitura sem um entendimento do texto como um todo6. Mas por quais razões tal regra pode ser útil aos pareceristas de trabalhos acadêmicos?

Essa regra é especialmente relevante por três razões. A primeira, e mais evidente, é que ela permite uma visão do texto como um todo – indicando, desde logo, eventuais ajustes estruturais que poderão ser feitos, ou até mesmo partes que poderiam ser eliminadas sem prejuízo do sentido ou dos objetivos geral e específicos do trabalho7.

A segunda razão diz respeito à clareza e à correção do texto. O parecerista pode chegar à conclusão, após esta leitura inspecional superficial, que o texto apresenta tantos erros gramaticais ou problemas de redação que prejudicam sua compreensão geral. É claro que um ou outro equívoco pode ser indicado pelo parecerista; contudo, quando o texto como um todo não está claro, é preciso indicar esse fato no parecer, rejeitando o artigo e sugerindo que a redação seja revista antes de nova submissão. Nesse caso, não basta afirmar que o texto está “mal escrito”, o que seria muito vago. É importante indicar ao menos algumas passagens que ressaltem os problemas de redação ou de gramática e como eles interferem no entendimento do trabalho8.

Vale ressaltar que apontamentos sobre a clareza ou correção do texto não se confundem com questões referentes ao estilo da escrita, que é algo muito pessoal e, por vezes, até mesmo intencional. Não simpatizar com determinado estilo não significa que o texto deva ser rejeitado ou mesmo modificado. É o caso de trabalhos jurídicos, nos quais é comum encontrar o mesmo estilo adotado por juristas no meio profissional. Algumas expressões, como “direito alienígena”, “remédio heroico”, “sentença vergastada”, dentre outras extravagâncias do meio forense, podem ser apontadas pelo parecerista e nada impede que, justificadamente, seja recomendada a alteração. Algo semelhante ocorre com a adoção da primeira pessoa na redação do trabalho, questão até hoje controvertida. Talvez não seja a mais apropriada em algumas ocasiões, como trabalhos de matemática, física ou biologia, mas pode ser até mesmo recomendada em outras, como trabalhos argumentativos, nos quais o autor se posiciona sobre determinadas questões9.

A terceira razão para uma leitura inspecional por parte do parecerista envolve questões de inovação e maturidade do trabalho. Este é um ponto particularmente interessante em trabalhos jurídicos. Não é incomum encontrar trabalhos que se resumam a “tratar” de certo tema, em um estilo manualístico. O trabalho se mostra excessivamente plano e, muitas vezes, com pouca maturidade acadêmica. Imagine um trabalho que pretenda “abordar a prisão civil do devedor de alimentos”. Trata-se de tema sobre o qual já se escreveu muita coisa, que poderia muito bem constar em inúmeros manuais de Direito Civil ou Processual Civil. Se o texto não traz nada de inovador, limitando-se a um compilado do que já foi escrito em outros trabalhos, não há o que justifique sua publicação. A situação é diferente se o tema, ainda que de estudos frequentes, é analisado sob um novo viés – se o autor, por exemplo, analisa alguma divergência teórica relevante, posiciona-se justificadamente sobre certas questões, ou traz uma nova interpretação. Nesses casos, talvez seja necessário recomendar algumas alterações na redação, visando esclarecer os objetivos do texto e evitar a amplitude do “tratar sobre tal tema”. Seja como for, essa primeira leitura traz alguns esclarecimentos sobre a inovação ou não do trabalho, e até que ponto ele é capaz de contribuir com outros debates em curso dentro de uma área de pesquisa.

Há, portanto, boas razões para realizar uma leitura inspecional do texto a ser revisado. Finda a leitura inspecional, na forma de uma sondagem sistemática e de uma leitura rápida, o parecerista terá uma ideia inicial da profundidade do parecer a ser redigido. Se o texto não cumpre com regras editoriais, não está claro, não contribui com a área de estudo ou apresenta sérias dificuldades metodológicas, torna-se desnecessário apontar todos os problemas encontrados ao longo texto, ou mesmo realizar uma segunda leitura mais aprofundada. Nesse caso, basta tratar (sempre justificadamente) das questões que levam à rejeição do trabalho. Alguns apontamentos poderão ser feitos paralelamente à leitura inspecional do texto; o ponto é não se prender excessivamente em minúcias que só farão sentido caso o trabalho esteja minimamente apto para eventual publicação.

Não encontrando problemas que levam à rejeição “de plano” do trabalho e tendo agora uma visão do todo, o parecerista pode realizar uma segunda leitura – desta vez, avaliando outras questões e elaborando, concomitantemente, as observações que comporão seu parecer. Essa segunda leitura se aproxima do que Adler e Van Doren denominam nível de leitura analítica, que visa a uma compreensão mais aprofundada do texto10. Transpondo esse nível de leitura para a tarefa da avaliação, é nessa fase que o parecerista se concentrará em aspectos do texto que não ficaram tão evidentes na primeira leitura. É a partir dela que serão feitas sugestões de melhoria ao trabalho, seja na redação, seja na sua estrutura, seja em matéria de conteúdo. O parecerista poderá ir além, recomendando leituras ou novas ideias que contribuam com as pesquisas realizadas pelo autor, o que se aproxima de uma etapa “comparativa” da leitura – que Adler e Van Doren compreendem como leitura sintópica11. Ressalte-se que vale sempre o bom-senso do parecerista, ao entender que está avaliando um trabalho realizado por outra pessoa e que não necessariamente corresponde a um trabalho que ele mesmo faria. Dessa forma, a indicação de leituras ou acréscimos deve fazer sentido dentro da estrutura e da metodologia do próprio trabalho avaliado, e não pode ser reflexo de suas predileções pessoais ou teóricas.

Não posso deixar de encerrar este tópico com uma dica tão óbvia quanto fundamental, que antecede a própria leitura do texto ou da redação do parecer: não o faça se estiver de mau humor (Ahmed, 2018). Não é correto descontarmos nossas insatisfações no trabalho alheio. Na dúvida, vale a regra de ouro: trate o trabalho alheio como gostaria de que o seu fosse tratado.

4 REDIGINDO O PARECER

Em geral, começamos a fazer alguns apontamentos sobre o texto que estamos revisando à medida que vamos avançando na leitura. Mas o parecer não corresponde à mera transposição desses apontamentos para uma caixa de texto, sem mais cuidados. O parecer deve ser construído de forma clara e deve sempre ser bem fundamentado. Mesmo um parecer pela aceitação do artigo, sem alterações, deve apresentar suas razões – indicando, por exemplo, o que o texto e a pesquisa trazem de inovador. É preciso ter em mente que o parecer visa, também, a auxiliar o trabalho do editor (que precisa selecionar, dentre inúmeros trabalhos, os que irão para publicação). Dessa forma, um parecer ao estilo “excelente trabalho! Para publicação” é tão irrelevante quanto um no modelo “trabalho ruim, deve ser rejeitado” (Starck, 2017, p. 31).

Divido o parecer em ao menos três partes. Na primeira, costumo fazer um resumo de como compreendi o trabalho – indicando o que, após as leituras, entendi como sendo o tema, os objetivos, a metodologia adotada e as conclusões. Tal resumo deve ser redigido pelo parecerista em suas próprias palavras e, além de revelar o cuidado despendido na tarefa, ajuda o autor a compreender como terceiros interpretam seu texto. Por si só, o resumo já indica ao autor aquilo que eventualmente precisará ser mais bem esclarecido no trabalho12.

Na sequência, em um grande bloco, incluo as observações feitas ao longo das leituras. É muito importante que as observações, sobretudo se forem sugestões de alteração, sejam as mais exatas possíveis. Podem indicar, por exemplo, a página e o parágrafo em que fora localizado algum erro. Afirmações muito genéricas, como “aprofundar os argumentos”, não dizem muita coisa. Afinal, pressupõe-se que, se o autor encaminhou o trabalho para publicação, é porque entende que está adequado para essa finalidade. A utilidade e pertinência de um parecer são inversamente proporcionais à sua vagueza.

É na terceira e última parte que incluo o parecer propriamente dito, com as recomendações e as justificativas para a publicação, realização de alterações ou rejeição do trabalho. Entendo que não há trabalho tão ruim que não tenha ao menos um aspecto positivo: mesmo quando o parecer é pela rejeição, busco ressaltar algo de bom no trabalho, nem que seja a escolha do tema ou o esforço empreendido em sua realização e na busca pela publicação. Isso é particularmente interessante nas revisões às cegas, nas quais não sabemos quem é o autor do trabalho, se está iniciando a vida acadêmica, ou se contou com boas orientações em sua trajetória até então. A revisão deve ser construtiva, e nunca destrutiva.

Isso não quer dizer que o parecerista não deva ser rigoroso com o texto. O ponto é que esse rigor deve estar direcionado ao trabalho, e não à pessoa de seu autor13. A revisão deve ser sempre objetiva, tendo como alvo o que foi efetivamente escrito. Fazer inferências sobre o caráter, postura ou o conhecimento do autor é profundamente inadequado, para não dizer antiético. Mesmo em situações sérias, como plágios, o mais correto é alertar o fato ao editor e indicar a fonte que não fora referenciada, rejeitando a publicação do trabalho.

Há quem trabalhe com outras formas de divisão do parecer. É possível separar comentários e observações de cunho metodológico em uma parte, incluir pontos de gramática ou redação em outra, ou mesmo separar um espaço para ressaltar interpretações distintas sobre autores citados ao longo do trabalho. Independentemente da “natureza” dos comentários, é mais simples e objetivo fazer com que sigam a própria estrutura do texto apresentada pelo autor.

No texto The Task of a Referee, Smith (1990) apresenta diferentes questões que podem ser consideradas pelo parecerista. De todas as indicadas, uma é particularmente importante: o que o leitor pode aprender com este trabalho? Se o trabalho não permite ao leitor aprender qualquer coisa, então não é publicável (Smith, 1990, p. 4). Se algo pode ser aprendido, é importante que conste no parecer – até porque constitui uma justificativa relevante para a publicação. Não é demais reforçar que, mesmo quando consideramos um trabalho excepcional e recomendamos a sua publicação, é preciso que essa recomendação ocorra de forma justificada.

A recomendação final pode assumir algumas formas. As mais comuns são:

  1. a) aceitar;

  2. b) aceitar, com alterações menores;

  3. c) aceitar, com alterações maiores;

  4. d) rejeitar e ressubmeter e;

  5. e) rejeitar o artigo.

Não há uma “receita de bolo” que indique, de antemão, o que constitui alterações menores, maiores ou quais as hipóteses de ressubmissão de um trabalho. Particularmente, na ausência de mais considerações dentro das políticas das próprias revistas, levo em consideração o tempo e a energia que deverão ser gastos pelo autor nas correções. Há casos paradigmáticos de alterações menores, como equívocos gramaticais ou de redação. Alterações maiores podem se relacionar com questões estruturais do texto e demandariam mais tempo para serem ajustadas. Já a rejeição e a ressubmissão indica ao menos duas coisas: ou que o trabalho pode ser submetido para outra revista (considerando, por exemplo, questões de escopo)14, ou então que as alterações são tão profundas e que levariam tempo para serem realizadas, o que justifica a abertura de novo processo de submissão, eventualmente na mesma revista.

É importante atentar ao fato de que algumas revistas trabalham com fichas ou checklists, na forma de questões de múltipla escolha. Deve-se manter a coerência entre o que é indicado nessas fichas e o texto da revisão. De qualquer modo, o ideal é que o parecerista não se contente apenas com esse checklist – as escolhas feitas precisam, de alguma forma, ser justificadas. É comum que, além dessa ficha, conste ao menos uma caixa de texto no qual o parecer possa ser incluído. Se não constar, ou se entender que há algum descompasso entre a ficha e o texto de sua revisão, o parecerista pode alertar o editor na caixa de mensagens confidenciais ou outra forma de contato que encontrar disponível.

Não é demais lembrar que, antes de submeter o parecer, é importante revisá-lo e corrigir eventuais erros. Uma boa estratégia é revisar e submeter o parecer apenas no dia seguinte, com a mente descansada.

5 EDITOR: COMO AUXILIAR NAS TAREFAS DO PARECERISTA?

O foco deste trabalho está nas tarefas do parecerista. Contudo, os editores das revistas podem, de diferentes maneiras, facilitar sua missão. Há ao menos três maneiras pelas quais esse apoio pode ocorrer.

Junto ao pedido de avaliação, além do resumo do trabalho (e, eventualmente, do texto completo), é interessante que o editor alerte o parecerista sobre o que gostaria de que fosse avaliado e o escopo da própria revista. Pode, para esse fim, incluir links no e-mail para as páginas correspondentes da revista, incluir exemplos de pareceres que foram úteis ao trabalho editorial, dentre outros. Em última análise, ao indicar o que gostaria de que fosse avaliado, o editor apresenta um guia ao parecerista e facilita o trabalho de todos os envolvidos.

Além disso, o editor também pode dar diferentes retornos ao parecerista. De um lado, pode dar um retorno direto sobre o parecer, indo além de agradecimentos e incluindo eventuais sugestões – pode, inclusive, solicitar complementações ou esclarecimentos. De outro lado, pode encaminhar aos pareceristas o parecer editorial, incluindo os demais pareceres eventualmente elaborados sobre o trabalho15. Nesse último caso, o parecerista tem um retorno particularmente rico, pois estará em contato com o trabalho feito por outros pareceristas e terá clareza sobre o impacto da sua própria avaliação.

Por fim, vale a pena vincular a revista às plataformas e aos sistemas que, de algum modo, reconheçam o trabalho feito por pareceristas. Sabe-se que a revisão de artigos acadêmicos é uma tarefa demandante e, na maioria das vezes, feita gratuitamente. Não sem razão, qualquer tipo de reconhecimento pode motivar o parecerista a seguir com seu bom trabalho ou aprimorá-lo16.

6 APONTAMENTOS SOBRE A ÉTICA DA AVALIAÇÃO

Há várias regras éticas que permeiam o processo de avaliação de um artigo acadêmico. A “regra de ouro”, como mencionado, envolve analisar o artigo como gostaria de que seus trabalhos fossem analisados. Essa regra não se aplica apenas ao trabalho, mas também ao seu autor – trate-o como gostaria de ser tratado17. Isso não significa que o parecer não deva, em hipótese alguma, ser rude ou cruel. É possível ser rígido, mantendo a cordialidade e tendo a consciência de que, do outro lado, há alguém que, assim como você, passa pelas mesmas dificuldades da vida acadêmica. Mas, além dessa regra, há dois pontos que merecem especial atenção: a confidencialidade e os conflitos de interesse.

O parecerista não deve compartilhar com terceiros informações ou dados que constem no trabalho que está avaliando, mantendo o sigilo sobre tudo aquilo que for sensível em sua tarefa. Nisso consiste a confidencialidade. Até porque eventuais ideias e argumentos utilizados no texto sob avaliação podem ser indevidamente utilizados por outros pesquisadores.

Já os conflitos de interesse podem aparecer de diferentes formas. O mais comum é quando somos amigos, orientadores ou parentes do autor. Mesmo nos casos em que a avaliação ocorre às cegas, há situações nas quais se descobre a identidade do autor – como pelo estilo de escrita, ou na hipótese em que alguém comenta ter submetido um artigo cujas características batem exatamente com as do trabalho que aguarda nossa avaliação. Nesses casos, o parecerista deve informar ao editor a ocorrência deste conflito.

Há outros tipos de conflitos de interesses, como no caso em que o parecerista trabalhe em alguma empresa ou projeto que estejam envolvidos no artigo sob análise – situação mais comum em outros campos, como das indústrias médicas e farmacêuticas (Wager; Godlee; Jefferson, 2002, p. 10). Outra forma de conflito de interesses versa sobre questões políticas e/ou ideológicas, como nos casos em que guardamos profunda divergência com as ideias abordadas no texto (Hames, 2007, p. 166). Assim, por exemplo, alguém contrário ao abortamento, por razões morais ou religiosas, poderá se considerar insuficientemente imparcial para avaliar um artigo que defenda diferentes contextos para sua ocorrência. 

7 CONCLUSÃO

Nem toda pesquisa está apta a ser publicada. No contexto científico, a tarefa realizada por pareceristas envolve filtrar os trabalhos que serão divulgados para a comunidade acadêmica, viabilizando debates e novas pesquisas. Mas não é só: um bom parecer também contribui em nível individual, apresentando ao autor do artigo diferentes pontos de vista e sugestões de melhoria. Pareceres podem impactar, positiva ou negativamente, nas pretensões acadêmicas de muitos pesquisadores.

Isso significa que o parecer deve observar alguns critérios mínimos de qualidade. A mera aceitação ou rejeição do artigo, sem mais justificativas (ou com justificativas insatisfatórias), em nada contribui. Na realidade, além de dificultar a vida de editores e desanimar autores, pareceres ruins favorecem uma situação conhecida como “revisões em cascata” (cascading peer review) – diante de um parecer negativo, muitos autores sequer buscam a melhoria do trabalho, apresentando-o para outras revistas até conseguir a aceitação. Como resultado, um mesmo trabalho pode ser avaliado múltiplas vezes, sendo encaminhado, eventualmente, mais de uma vez para o mesmo parecerista (Starck, 2017, p. 35-36). Certamente, outros fatores alimentam esse estado de coisas que vem assombrando a realidade editorial; mas não quer dizer que pareceristas estejam isentos de qualquer responsabilidade.

Ao longo deste texto, apresentei uma série de orientações e estratégias para a elaboração de pareceres sobre artigos acadêmicos. Cedo ou tarde, todo pesquisador é chamado a avaliar trabalhos de terceiros. Contudo, poucos foram educados nessa tarefa – muitos aprenderam na prática, considerando suas próprias experiências como autores ou pareceristas, replicando-as indefinidamente. A clareza sobre o que deve ser feito e a disposição para empreender adequadamente essa função são fundamentais. Sistematizar diferentes modelos e critérios para a elaboração de pareceres revela-se útil, em especial para os que iniciam a vida acadêmica e se deparam, pela primeira vez, com a importante missão de revisar um trabalho científico. Logo, não sinta falta de Foucault ou outros autores nos trabalhos alheios – mas, se preciso for, exponha essa carência de modo fundamentado.

REFERÊNCIAS

ADLER, Mortimer J.; VAN DOREN, Charles. Como Ler Livros: o guia clássico para a leitura inteligente. São Paulo: É Realizações, 2010.

AHMED, Bestoun. Tipes and advice when you review a scientific paper. Elsevier, 2018. Disponível em: https://www.journals.elsevier.com/applied-soft-computing/news/tips-and-advice-when-you-review-a-scientific-paper. Acesso em: 23 dez. 2023.

GROSS, Clarissa. O parecerista: protagonista anônimo da qualidade. Revista Direito GV, São Paulo, v. 16, n. 2, p. 1-9, ago. 2020.

HAMES, Irene. Peer review and manuscript management in scientific journals: guidelines for good practice. Oxford: Blackwell Publishing, 2007.

OLIVEIRA, Luciano. Sua excelência o comissário e outros ensaios de sociologia jurídica. Rio de Janeiro: Letra Legal, 2004.

PAIN, Elisabeth. How to review a paper. Science, 2016. Disponível em: https://www.science.org/content/article/how-review-paper. Acesso em: 23 dez. 2023.

PRYOR, James. Guidelines on writing a philosophy paper, 6 set. 2012. Disponível em: http://www.jimpryor.net/teaching/guidelines/writing.html. Acesso em: 23 dez. 2023.

SMITH, Alan Jay. The Task of the Referee. Computer, v. 23, n. 4, p. 65-71, abr. 1990.

STARCK, Matthias. Scientific peer review: guidelines for informative peer review. Wiesbaden: Springer Spektrum, 2017.

VARELLA, Marcelo Dias; ROESLER, Claudia Rosane. Dificuldades de avaliação de publicações na área de Direito. Revista Brasileira de Pós-Graduação, Brasília, v. 9, n. 18, p. 663-701, dez. 2012.

WAGER, Elizabeth; GODLEE, Fiona; JEFFERSON, Tom. How to survive peer review. Londres: BMJ Books, 2002.

Notas

1 Marcelo Varella e Claudia Rosane Roesler sintetizam o estado da arte na avaliação de publicações nesta área: “Com efeito, as metodologias de avaliação de publicações na área de Direito, aplicadas nos últimos anos, dificilmente podem ser consideradas adequadas. Em geral, cuida-se de uma mera importação dos critérios de outras áreas de conhecimento, que não se adaptam à área de Direito, ou então de critérios pouco claros, inclusive para os próprios avaliadores. O sistema não é adequado, sobretudo, porque não valoriza os trabalhos realmente utilizados pelos estudantes de mestrado e doutorado e pelos pesquisadores da área. Além disso, gera efeitos negativos sobre a própria área, que busca produzir textos apenas para atingir os critérios propostos e, assim, obter melhor avaliação, mas que serão pouco lidos pelos pares” (Varella; Roesler, 2012, p. 665).
2 Para Starck (2017, p. 11), (tradução livre), “A revisão por pares foi estabelecida como uma ferramenta para reconhecer as melhores pesquisas, e para filtrar da ciência aquelas que foram mal concebidas, mal executadas ou mal interpretadas. […] Hoje, a revisão por pares é o padrão industrial que garante que a pesquisa foi conduzida de acordo com os princípios científicos, que a metodologia e a documentação corretas foram aplicadas e que as interpretações estão solidamente baseadas nos resultados”. Sobre as origens da avaliação de trabalhos acadêmicos (o peer review), o mesmo autor afirma que “A revisão por pares tem sido feita desde 1731, quando a Sociedade pela Melhoria do Conhecimento Médico (Society for the Improvement of Medical Knowledge), que posteriormente se tornou a Real Society de Edimburgo, encaminhou comunicações científicas para serem comentadas por experts no mesmo campo de conhecimento. Certamente, naquele tempo não havia qualquer padrão de revisão, e levou séculos de desenvolvimento para se estabelecer um processo de revisão formalizado e padronizado. […]  A revisão por pares, como conhecemos hoje, estabeleceu-se apenas durante os anos que se seguiram à Segunda Guerra Mundial, e foi institucionalizada em meados de 1980. […] Hoje, coexistem muitas versões dos processos de revisão, cada um favorecendo diferentes aspectos formais da comunicação de revisões com os autores; mas seu núcleo intelectual, a revisão, é notadamente o mesmo em todos os sistemas” (Starck, 2017, p. 13-14, tradução livre).
3 É um pouco parecido com o “aprender a dar aulas” em alguns cursos universitários, como é o caso do Direito. Alguns professores, notadamente durante a pós-graduação, tiveram contato com monitorias ou outras práticas pedagógicas. Contudo, muitos docentes ou tiveram um contato superficial com estas práticas, ou mesmo nenhum contato. Isso faz com que se inspirem naqueles professores que consideraram “bons” em sua própria formação – os quais, não necessariamente, teriam sido bons professores para outros alunos ou em outros contextos.
4 Como afirma Gross (2020, p. 5-6), “a vida acadêmica no Brasil pode ser bastante demandante. O acadêmico brasileiro normalmente está dividido entre a preparação e consecução das aulas (e tudo que a condução de um curso envolve), atividades de pesquisa e, muitas vezes, também de gestão nas instituições em que atua. Somam-se a isso a organização e a participação em eventos, a orientação de alunos de iniciação científica, mestrado e doutorado, a participação em bancas de avaliação de trabalhos de graduação e pós-graduação, e a participação em bancas de concursos”. A autora chama a atenção, ainda, para a ausência de mais incentivos aos pareceristas, o que faz com que priorizem atividades que revertam positivamente para a avaliação das instituições às quais estão vinculados (Gross, 2020, p. 6). Algo semelhante ocorre no contexto internacional, como afirma Starck (2017, p. 47), (tradução livre), “Com a industrialização da ciência, o aumento exponencial do número de manuscritos submetidos e as múltiplas submissões em cascata para periódicos, todos estão sobrecarregados de trabalho, o benefício mútuo é menos óbvio, e muitos colegas minimizam as tarefas de avaliação, pois não é reconhecida para sua carreira”.
5 Não é incomum que alguns editores escolham pareceristas de áreas distintas, mas que ainda assim tenham experiência com pesquisa e possam fazer observações relevantes ao trabalho, como forma de complementar a revisão feita por alguém da área. Alguém da Psicologia, por exemplo, pode ter considerações interessantes a fazer em um trabalho jurídico sobre alienação parental.
6 Adler e Van Doren trazem como exemplo a leitura do livro A Riqueza das Nações, de Adam Smith: “[...] se insistir em tentar entender tudo na primeira leitura, você não irá longe. Embrenhando-se nos trechos difíceis, você não conseguirá captar os pontos-chave da obra de Smith sobre os fatores que contribuem para a determinação do custo das coisas, como salários, rendimentos, lucros, juros, o papel dos mercados, o malefício dos monopólios, as razões em favor do livre mercado etc. Você se apegará às árvores sem se ater à floresta. Você não vai ler bem em nenhum nível” (Adler; Van Doren, 2010, p. 57).
7 É o caso de boa parte dos tópicos “históricos” que aparecem em muitos trabalhos jurídicos. Não é incomum que estudiosos do Direito, visando a transmitir certa erudição ou mesmo por cacoete acadêmico, incluam apontamentos históricos em seus trabalhos. O problema é que muitas vezes o tópico não guarda qualquer relação com os objetivos do trabalho. É o caso de trabalho com o qual me deparei recentemente, cujo tema era cyberbullying e que trazia inúmeros apontamentos sobre direito romano. Trata-se de problema não apenas estrutural, mas vício metodológico que aparece em muitos trabalhos acadêmicos. Para mais apontamentos sobre metodologia do trabalho jurídico, recomendo o texto Não Fale do Código de Hamurábi!, de Oliveira (2004, p. 137-167).
8 Não é demais reforçar que não é obrigação do parecerista corrigir a gramática dos trabalhos que avalia, até porque se pressupõe que o trabalho fora redigido de acordo com a linguagem mais apropriada. Como afirma Starck (2017, p. 31, tradução livre): “um parecerista não precisa corrigir os detalhes de linguagem ou mesmo editar o texto. A edição da linguagem pode ser feita como uma cortesia aos autores, mas não é esperada ou necessária. É responsabilidade do autor submeter o manuscrito em uma linguagem clara, concisa e compreensível, e é responsabilidade do editor realizar a edição do texto”.
9 Nesse sentido, James Pryor menciona as vantagens da adoção da primeira pessoa em ensaios filosóficos. Dentre outras razões, a primeira pessoa permite contrastar com clareza as ideias do próprio autor daquelas que são oriundas de outros autores citados ao longo do trabalho (Pryor, 2012).
10 A leitura analítica é a leitura propriamente dita, isto é, a leitura completa, plena – a melhor leitura possível. [...] É digno de nota que a leitura analítica é sempre intensamente ativa. Nesse nível, o leitor adquire o livro – a metáfora é bem apropriada – e imiscui-se nele até que o livro efetivamente lhe pertença. [...] Ler um livro analiticamente significa mastigá-lo e digeri-lo” (Adler; Van Doren, 2010, p. 39-40).
11 “Este nível também poderia ser chamado de leitura comparativa. A leitura sintópica implica a leitura de muitos livros, ordenando-os mutuamente em relação a um assunto sobre o qual todos versem. Mas comparar não é o bastante. A leitura sintópica é mais sofisticada do que a mera comparação. Com os livros em mãos, o leitor sintópico estará apto a desenvolver uma análise que talvez não esteja em nenhum dos livros. Está claro, portanto, que a leitura sintópica é a mais ativa e trabalhosa de todas” (Adler; Van Doren, 2010, p. 40).
12 Elizabeth Wager, Fiona Godlee e Tom Jefferson, em How to Survive Peer Review, também ressaltam a relevância de um breve resumo do trabalho: “Comece com um breve resumo do artigo. Isso mostra ao autor e ao editor que você entendeu o artigo” (Wager; Godlee; Jefferson, 2002, p. 18, tradução livre).
13 Nesse sentido, Bestoun Ahmed afirma: “Não seja tão severo. Ser duro, às vezes, é ok, mas não seja rude. Costumo ser duro em algumas situações específicas, como quando o autor não parece saber o que está fazendo, e apenas ‘joga’ algumas palavras, ou quando o método é errado do começo ao fim, ou quando pega partes de trabalhos de outros pesquisadores sem citação. Certamente, seja duro (ou mesmo severo) quando encontrar plágios” (Ahmed, 2018, tradução livre).
14 Matthew Starck chama a atenção para a prática adotada por algumas revistas internacionais: a “portabilidade de pareceres” (portable review). A partir dela, manuscritos com méritos científicos comprovados, que, por alguma razão, não possam ser aceitos em uma dada revista, são transferidos junto aos pareceres para outras revistas que possam estar interessadas no artigo (Starck, 2017, p. 36).
15 Nesse sentido, Irene Hames (2007, p. 139, tradução livre) afirma que “Pareceristas devem ser agradecidos por seus pareceres, recebendo retornos sobre o resultado do processo de avaliação. Idealmente, deveriam receber os comentários ao autor feitos por todos os demais pareceristas (de forma anônima, a menos que se trate de revisão aberta) e qualquer outro material relevante”.
16 Este é um ponto importante, considerando que a tarefa de revisão de artigos acadêmicos dificilmente estará na lista de prioridades dos pesquisadores – notadamente quando pensamos nos critérios utilizados em avaliações de desempenho institucionais. Como lembra Clarissa Gross, a elaboração de pareceres não é computada na avaliação da área do Direito pela Capes, e a valorização dessa atividade poderia incentivar a elaboração de bons pareceres a médio e longo prazo: “A pontuação dos pareceres em si criaria um incentivo para que mais acadêmicos aceitassem os convites à elaboração deles e os enviasse às equipes editoriais dos periódicos. É verdade que, a curto prazo, essa regra de pontuação de pareceres não solucionaria por si mesma o problema da elaboração de bons pareceres. Isso porque a regra contabilizaria a quantidade de pareceres emitidos, mas não incorreria em controle de sua qualidade. A médio ou longo prazo, no entanto, a regra poderia auxiliar também nesse ponto por meio de um mecanismo reputacional: um editor comprometido com a qualidade da avaliação, ao receber um parecer mal elaborado, evitará pedir um novo parecer para o mesmo parecerista. Isso, para o parecerista, em um cenário de valorização da elaboração de pareceres, seria prejudicial pela diminuição de convites por parte dos editores” (Gross, 2020, p. 6). Em nível internacional, há iniciativas que merecem destaque, como o Web of Science Reviewer Recognition Service (anteriormente conhecido como Publons). Trata-se de sistema que conecta diferentes pareceristas e revistas, com indicadores quantitativos e qualitativos relacionados aos pareceres produzidos.
17 Em matéria publicada em setembro de 2016 pela revista Science, Elisabeth Pain entrevistou uma série de pesquisadores sobre como revisar um artigo acadêmico. Em um trecho, Dana Boatman-Reich, professora de neurologia na Escola de Medicina da Universidade Johns Hopkins, sugere a adoção de um “teste de identidade”: “Antes de submeter um parecer, pergunto a mim mesma se me sentiria confortável em ter minha identidade como parecerista revelada aos autores. Passar por esse ‘teste de identidade’ ajuda a garantir que meu parecer está suficientemente equilibrado e justo” (Pain, 2016, tradução livre).

Notas de autor

Editora responsável: Profa. Dra. Fayga Bedê

https://orcid.org/0000-0001-6444-2631

HTML generado a partir de XML-JATS por