Servicios
Descargas
Buscar
Idiomas
P. Completa
O impacto da sociologia: cultura de citações e modelos científicos
Antonio da Silveira Brasil Jr.; Lucas Correia Carvalho
Antonio da Silveira Brasil Jr.; Lucas Correia Carvalho
O impacto da sociologia: cultura de citações e modelos científicos
The impact of sociology: citation culture and scientific models
Revista Brasileira de Sociologia, vol. 8, núm. 20, pp. 248-269, 2020
Sociedade Brasileira de Sociologia
resúmenes
secciones
referencias
imágenes

Resumo: O artigo discute alguns dos problemas envolvidos na utilização de métricas tradicionais de impacto da produção científica quando aplicadas às ciências sociais e, sobretudo, à sociologia. Aliando técnicas cientométricas com a abordagem sociológica, analisamos algumas das variáveis que permitem problematizar o uso universal dessas métricas, chamando a atenção para as especificidades das áreas do conhecimento e dos diferentes contextos científicos nacionais. Em perspectiva comparada, o artigo sugere que 1) artigos de um mesmo contexto nacional tendem a um perfil próximo de citação (“culturas de citação”); 2) temáticas relacionadas a questões nacionais não é um padrão exclusivo da sociologia brasileira.

Palavras-chave:culturas de citaçãoculturas de citação,cientometriacientometria,teorias das citaçõesteorias das citações.

Abstract: The article discusses some of the problems involved in using traditional metrics of impact of scientific production when applied to social sciences and, above all, to sociology. Combining scientometric techniques with the sociological approach, we analyzed some of the variables that make it possible to problematize the universal use of these metrics, drawing attention to the specificities of the areas of knowledge and the different national scientific contexts. In a comparative perspective, the article suggests that 1) articles from the same national context tend to have a close citation profile (“citation cultures”); 2) themes related to national issues are not an exclusive pattern of Brazilian sociology.

Keywords: citation cultures, impact factor, citation theory.

Carátula del artículo

Artigos

O impacto da sociologia: cultura de citações e modelos científicos

The impact of sociology: citation culture and scientific models

Antonio da Silveira Brasil Jr.
Universidade Federal do Rio de Janeiro, Brasil
Lucas Correia Carvalho
Universidade Federal Fluminense, Brasil
Revista Brasileira de Sociologia, vol. 8, núm. 20, pp. 248-269, 2020
Sociedade Brasileira de Sociologia

Recepción: 04 Junio 2020

Aprobación: 10 Octubre 2020

A expansão do campo de pesquisa em cientometria – voltado, grosso modo, para a mensuração da produção de artigos e revistas, suas práticas de citação e o uso de indicadores nas políticas científicas – tem, em certa medida, revolucionado as formas de observação da ciência. A existência de bases indexadoras, especialmente de artigos científicos – incluindo os seus “índices de impacto” – e a recente proliferação de ferramentas computacionais vêm permitindo levar em consideração um volume de informações até pouco tempo atrás inacessível. As ciências sociais brasileiras estão refletindo ativamente sobre esse processo. Em 2018, houve uma mesa redonda no encontro anual da Associação Nacional de Pós-Graduação e Pesquisa em Ciências Sociais (Anpocs) dedicada ao gênero “balanço bibliográfico” em que essas transformações nas formas de auto-observação científica foram debatidas, salientando suas potencialidades e limites. Pouco tempo depois, os seminários organizados pela Revista Brasileira de Informação Bibliográfica em Ciências Sociais (BIB) novamente trouxeram o tema à tona, refletindo-se nos artigos publicados em seus últimos números dedicados ao mapeamento da produção científica brasileira na sociologia, na antropologia e na ciência política. Ao que tudo indica, as ferramentas trazidas pela cientometria, cada vez mais populares e com menores barreiras de acesso aos usuários não especializados, estão chegando para ficar como um dos instrumentos – entre vários outros disponíveis – por meio dos quais os cientistas sociais procuram cartografar suas respectivas áreas de conhecimento. Combinações entre distant reading, para usarmos o termo de Franco Moretti, e close reading, o método de leitura mais habitual entre nós, serão cada vez mais frequentes.

O que estamos pretendendo sugerir é que a cientometria, campo inter ou transdisciplinar que possui afinidades evidentes com certas áreas das ciências sociais, ao interagir com as últimas, pode e deve produzir “irritações” produtivas nos modos pelos quais sociólogos, antropólogos e cientistas políticos observam e avaliam sua produção científica. Parece-nos evidente que reduzir os estudos cientométricos à mera identificação do número de citações dos artigos produzidos em determinados períodos de tempo implica um claro reducionismo, além de fazer tábula rasa das especificidades que regem as culturas de publicação e de citação nas ciências sociais, bem como de seus padrões de reputação. Neste breve ensaio, gostaríamos de discutir as possibilidades abertas pela cientometria para as ciências sociais de forma geral e a sociologia, em particular, de duas maneiras. Primeiro, chamando a atenção para a existência de um amplo debate sobre os problemas de cobertura das bases indexadoras para o conjunto das humanidades, bem como sobre os problemas que isso acarreta para qualquer avaliação do impacto da sociologia. Segundo, por meio de uma rápida exploração comparativa da produção científica brasileira com a de outros contextos, o que pode ajudar a deslocar a percepção de nosso suposto “provincialismo”, argumento às vezes acionado como peça explicativa do “baixo” fator de impacto da sociologia aqui produzida.

As grandes bases indexadoras e seu problema de cobertura

Conforme o debate recente que a cientometria vem levantando (Hammarfelt, 2016; Velez-Cuartas, Lucio-Arias, & Leydesdorff, 2015), é patente que as grandes bases indexadoras, como a tradicional Web of Science (WoS) e sua principal concorrente Scopus, possuem uma cobertura relativamente baixa da produção científica nas ciências sociais e humanas. Ora, esse problema crônico de cobertura leva a uma grave consequência: qualquer observação de suas dinâmicas – e sobretudo de seu “impacto” – feita de maneira exclusiva por meio dessas bases tornará invisível grande parte do que se produz nessas áreas.

É claro que toda base indexadora é necessariamente seletiva, posto que o critério de pertencimento de uma revista à base depende do cumprimento de uma série de exigências quanto à qualidade e à execução dos protocolos científicos consensuados. A seleção é inevitável, mas seus critérios não podem estar acima de qualquer discussão. A despeito dos esforços tanto da Scopus quanto, em menor medida, da Web of Science em aumentar a cobertura de revistas para além das ciências naturais e biomédicas, os dados mais recentes mostram que elas não chegam a cobrir nem 25% da publicação científica mundial disponível nas ciências sociais e nas humanidades. Dito de outro modo, como demonstram Mongeon & Paul-Hus (2016), em ambas as bases indexadoras os periódicos das áreas de “ciências sociais” e “artes e humanidades” são sub-representados.

Vale dizer ainda que essa sub-representação não atinge igualmente todas as áreas e/ou correntes das ciências sociais. Pelo contrário, os vieses de seleção das bases tendem a privilegiar particularmente certo modelo de pesquisa empírica quantitativa muito frequente nas ciências sociais anglófonas (Moksony, Hegedűs, & Császár, 2014). Como está exposto explicitamente no Manifesto de Leiden (Hicks, Wouters, Waltman, de Rijcke, & Rafols, 2015), que guia as boas práticas de observação e de avaliação da ciência na cientometria, a adoção acrítica e descontextualizada dos “fatores de impacto” leva a este efeito colateral fortíssimo nas ciências sociais: a redução da pluralidade dos modos de se conceber a teoria e a pesquisa empírica. Pluralidade esta que, como não podemos deixar de salientar, é sempre igualmente cognitiva e política, posto que os problemas científicos nas ciências sociais – e nas ciências de forma geral – não se fazem desacompanhados (conscientemente ou não) de valores culturais e políticos mais amplos[1].

No atual estado da pesquisa cientométrica, em que bases muito mais abrangentes que as duas “tradicionais” – Scopus e Web of Science – começam a se tornar acessíveis à pesquisa empírica, como Dimensions, Semantic Scholar, CrossRef, Microsoft Academic, isso sem falar nas gigantescas coleções da Google (Google Books e Google Scholar), a escolha acrítica de uma única base com baixa cobertura não pode ser sustentada. Cada uma delas apresenta formas de indexação e métricas de citação distintas entre si (Harzing & Alakangas, 2016). Não à toa, estudos recentes tentam mensurar as diferenças de cobertura entre as novas e as antigas bases, como este de Martín-Martín e colaboradores (2020) que, partindo de um conjunto de 2.515 artigos muito citados (seed articles) de todas as áreas do conhecimento, busca rastrear suas mais de três milhões de citações em várias bases (Martín-Martín, Thelwall, Orduna-Malea & López-Cózar, 2020). O resultado abaixo é eloquente em relação às diferenças nos documentos que citam os seed articles rastreáveis em cada indexador e, portanto, aos índices de citação que se podem criar a partir deles. Para as ciências sociais, a Scopus cobre apenas 40% de todos os documentos que citam os seed articles, ao passo que o Google Scholar chega a 88%. Usando outra metodologia, pesquisadores do CWTS/Leiden, da Holanda, também encontraram diferenças consideráveis na cobertura para as diferentes áreas do conhecimento (Visser, van Eck, & Waltman, 2020).


Figura 1
Porcentagem de citações em cada base indexadora relativa ao total de citações por áreas do conhecimento
Fonte: Retirado de (Martín-Martín et al., 2020, p. 13).

Vale lembrar ainda de bases regionais, como SciELO, que, além de disponibilizarem os metadados dos documentos de sua coleção, oferecem uma boa cobertura para a área das ciências sociais produzidas na América Latina. Aliás, desde 2014, a SciELO está integrada como uma das bases regionais da Web of Science, o que, em certa medida, poderá ampliar o alcance possível da nossa produção nas ciências sociais, uma vez que todo item indexado na base desde 2002 se encontra agora ao alcance dos motores de busca da mais tradicional base indexadora do mundo. Porém, é preciso mais tempo para averiguar se e como se produzirá esse processo.

Essa ampliação das bases consultadas é decisiva para o caso das ciências sociais e das humanidades, já que a noção de core journals, que foi tão importante para Eugene Garfield construir o Science Citation Index – ele havia descoberto que a grande maioria da literatura científica se distribuía em um pequeno número de revistas (Garfield, 1976) –, não se aplica do mesmo modo nessas áreas. Pelo contrário, parte expressiva de sua produção se dispersa em revistas locais, livros e capítulos de livros e teses e dissertações (Sivertsen & Larsen, 2012). Para o caso brasileiro, uma análise das bases de dados de pós-graduação (Plataforma Sucupira) e de currículos (CV-Lattes) permitiria analisar com relativa segurança os padrões de concentração/dispersão da produção sociológica em distintos canais de publicação.

Associada ao problema de cobertura das ciências sociais nas grandes bases internacionais, bem como à dificuldade de indexar a diversidade do material bibliográfico disponível nessas áreas, está a diversidade das culturas de citação. A figura abaixo, retirada da pesquisa de Björn Hammarfelt, que procura pensar alternativas para a cientometria na análise das humanidades, ilustra bem o problema. Coletando informações de diferentes estudos disponíveis, Hammarfelt construiu o gráfico abaixo, que mostra uma gradação na proporção das citações a livros e a artigos em alguns campos do conhecimento. Se a linguística e a própria bibliometria (e ciências da informação) chegam a citar uma quantidade expressiva de artigos científicos em seus artigos, as áreas da religião e filosofia citam basicamente livros. No caso da sociologia, vê-se um claro predomínio da citação de livros (72%).


Figura 2
Porcentagem de livros e artigos citados de acordo com os campos das humanidades e das ciências sociais (dados de 1995)
Fonte: Retirado de Hammarfelt (2012a, p. 31)

Ainda não se dispõe de dados relativos à cultura de citação predominante na produção sociológica brasileira, mas certamente ela cairia no caso discutido por Hammarfelt: os sociólogos publicam em sua maioria artigos científicos, mas citam livros – o que faz com que a sobreposição entre citar e ser citado numa coleção de artigos em sociologia possa ser consideravelmente baixa. Os dados disponíveis no último relatório sobre as Ciências Humanas, Sociais, Sociais Aplicadas, Letras, Linguística e Artes produzido em parceria pelo Centro de Gestão e Estudos Estratégicos (CGEE) e o Fórum CHSSALLA do CNPq mostra que, em termos relativos, vem crescendo a proporção dos artigos científicos em relação aos demais itens de produção intelectual registrada nos CV-Lattes dos pesquisadores brasileiros. No último quadriênio (2012-2016) por exemplo, os artigos respondiam por aproximadamente 26% do total da produção bibliográfica total, ao passo que livros e capítulos de livro respondiam por em torno de 22% do total (cf. CGEE, 2020, p. 78). Processo que pode tanto apontar para uma maior “internalização” de uma cultura científica, mas também para uma menor penetração das ciências sociais e humanas no debate público e cultural mais geral – é digno de nota, por exemplo, que a quantidade de textos em jornais ou revistas não especializadas vem caindo. De todo modo, ainda é cedo para saber se o volume crescente de artigos publicados se refletirá na mudança da cultura de citação presente nas ciências sociais em geral, que faz do livro o item citável por excelência.

Culturas de citação e fator de impacto

Um índice aproximado que podemos construir é a contabilização de quantas referências bibliográficas possuem o seu DOI disponível. Como sabemos, artigos publicados em bases indexadoras geralmente recebem o seu “Identificador de Objeto Digital” (Ferreira, Führ, Lima, Araújo, & Pereira, 2015), embora a atribuição de um DOI não se limite obviamente aos artigos científicos. Portanto, em registro apenas experimental, a contagem do número de referências citadas com DOI no interior do total de referências citadas pode oferecer uma mensuração aproximada da proporção de artigos em relação aos demais tipos de itens citáveis nas nossas bibliografias. Usando como exemplo os últimos 2.000 artigos publicados nas revistas Lua Nova, Sociedade e Estado e Revista de Sociologia e Política[2], encontramos somente 6.438 referências indexadas com DOI no interior de um total de 53.856 referências, ou aproximadamente 12%. Em comparação, nos últimos 2.000 artigos das revistas Annual Review of Sociology, American Sociological Review e American Journal of Sociology, todas publicadas nos Estados Unidos[3], das 89.337 referências citadas, 47.080 possuem o registro do DOI, ou aproximadamente 53%. É claro que não podemos saber se os documentos com DOI se referem exclusivamente a artigos (muito provavelmente a sua maioria), mas a discrepância dos valores sugere que a sociologia feita no Brasil cita muito menos artigos comparativamente à sociologia norte-americana. Ora, essas diferentes culturas de citação criam feedbacks negativos e positivos, respectivamente, para os seus respectivos fatores de impacto.

É preciso ainda destacar que as diferentes bases indexadoras utilizam métricas próprias para aferir o fator de impacto dos periódicos. O número de citações não é a única métrica possível e tampouco a sua utilização para avaliação de desempenho acadêmico é consensual entre os especialistas. Mesmo quando se toma o fator de impacto em sua conceitualização clássica (por exemplo, a razão do número de citações dos dois últimos anos pelo número de artigos de um determinado periódico no mesmo período), o resultado varia de acordo com as bases, afinal, o cálculo de citações é feito com as revistas disponíveis em determinada base. Somente para ficarmos com alguns exemplos, o Journal Citation Reports da Clarivate informa, além dos tradicionais fatores de impacto medido em 2 ou 5 anos, o Immediacy index, Eigenfactor Score, Article Influence Score, Cited Half Life, entre outros. A Scopus também fornece outras métricas, como a CiteScore, SCImago Journal Rank (SJR) e Source-normalized Impact per Paper (SNIP). Google Scholar também é responsável pelo h5-index. Esses dados são fornecidos nos portais das respectivas bases.

Vale destacar ainda que um dos grandes problemas do fator de impacto, ao menos quando mensurado levando em conta somente as citações em um período curto de tempo, é que desconsidera as diferentes taxas de obsolescência da literatura de acordo com as áreas do conhecimento (Leydesdorff & Milojević, 2015; Stephan, Veugelers, & Wang, 2017). Conforme demostra Strehl (2005), em áreas como as de humanidades, ciências sociais, engenharias e computação, há alta proporção de artigos que não são citados nos imediatos cinco anos após sua publicação. Os artigos dessas áreas precisam de certo tempo para que sejam citados entre seus pares. Ao contrário, em áreas sobretudo relacionadas à física (atômica e molecular, por exemplo) essa proporção se inverte, com alto índice de artigos que são citados nos cinco anos após a publicação.

Provincializando a sociologia produzida nos Estados Unidos

Em geral, quando se discute casos bem-sucedidos de impacto de citação nas ciências sociais costuma-se recorrer aos periódicos norte-americanos e ingleses como exemplos mais destacados. Como em outras questões relacionadas à produção do conhecimento na periferia, não raro os “modelos” de organização científica costumam ser buscados nos países do centro, como se expressassem uma excelência que nos falta, ou ainda, como se o que fizéssemos não tivesse o mesmo rigor teórico-metodológico (Alatas, 2016; Beigel, 2018). Contudo, cabe-nos perguntar se esses modelos e índices, a exemplo do impacto de citação, também não carregam seus vieses. Coletamos dados de três das revistas sociológicas mais conceituadas dos EUA indexadas na base Web of Science entre 2012 e 2019: Annual Review of Sociology, American Sociological Review e American Journal of Sociology. A tabela 1 mostra a filiação institucional dos autores, o número de artigos publicados, total de citações e a média de citações. Lembrando que cada artigo pode ter mais de um autor e, portanto, o mesmo artigo pode ser contabilizado mais de uma vez a depender da nacionalidade da filiação institucional dos autores. Os dados nos ajudam a observar a importância de alguns fatores relacionados ao número de citações dos artigos, entre eles, a participação de autores com filiação institucional estrangeira na média de citações por artigo e como a participação de autores com filiação institucional norte-americana tem forte ressonância no total de citações.

Tabela 1
Citações de artigos de revistas norte-americanas (2012-2019)

Fonte: Web of Science

No total de 2.011 artigos publicados entre 2012 e 2019, é significativa a presença de artigos de autores com filiação institucional no próprio EUA, 1.683 (83,69%) ao todo. Mas é também revelador que artigos com participação de autores com filiações institucionais fora dos EUA sejam importantes na composição das citações. Vide sobretudo os casos de artigos com coautoria de autores com filiação institucional alemã e holandesa com publicações relativamente baixas (44 e 27 artigos, respectivamente), mas com altas taxas de citação (23,09 e 17,81). Por outro lado, em todos os casos analisados na tabela acima, autores com filiação institucional norte-americana ocupam a segunda posição (exceto, claro, o próprio EUA). No caso da Alemanha, dos 44 artigos, 14 (31,81%) têm coautoria com autores de filiação institucional nos EUA; no da Holanda, 5 artigos (18,51%); no da China, 10 artigos (43,47%); no da Inglaterra, 21 artigos (21,42%); e, no do Canadá, 33 artigos (34,37%). Seria preciso trabalhar com mais dados, mas parece que ter um dos coautores com filiação institucional no próprio EUA é um fator relevante para que um artigo tenha mais chances de ser citado.

Outra forma de identificar o grau de endogenia para esse mesmo conjunto de periódicos norte-americanos indexados na base Web of Science, é levantar as filiações institucionais de quem cita esses artigos. Foram contabilizados 20.061 artigos citantes até maio de 2020, dos quais 12.269 (60.5%) com autores com filiação institucional norte-americana, 1.877 (9.2%) inglesa, 1.347 (6.6%) canadense, 1.319 (6.5%) alemã, 835 (4.1%) holandesa, para mencionar somente os primeiros países. Mesmo quando observamos a recepção dos artigos citados, os dados sugerem expressiva presença entre os artigos citantes de coautores com filiação institucional norte-americana, revelando um padrão em grande medida endógeno.

Ora, isso é ainda mais perceptível quando analisamos os temas dos artigos, conforme o Quadro 1 ao final deste artigo. Dos 50 artigos mais citados nas revistas selecionadas, 27 utilizam como fonte de pesquisa dados que têm exclusivamente como referência os EUA, enquanto 1 utiliza dados dos EUA e Europa, 1 artigo países da Europa Ocidental, 3 de vários países, 1 a China, 1 a Alemanha e 1 a Malásia. Quinze artigos foram classificados como “não se aplica” pois se dedicam a uma revisão bibliográfica ou a um ensaio teórico. Outros dados podem auxiliar a perceber como a endogenia na produção e circulação do conhecimento científico não é algo particular ao Brasil: entre os 7.286 artigos que citam os 50 artigos mais citados listados no Quadro 1, 4.253 têm autores com filiação institucional norte-americana (62,96%), 635 inglesa (9,40%), 442 alemã (6,54%) e 427 canadense (6,32%).

Com esse levantamento, não estamos sugerindo que a base empírica na qual se baseia um artigo defina sua relevância teórica para outras comunidades científicas – embora pareça inegável que, quando bem realizada, a teoria sociológica deva permitir que dados empíricos diversos interpelem e questionem os seus pressupostos. Apenas chamamos a atenção para o fato de que, na produção recente das revistas de sociologia norte-americana, os EUA são ainda o grande foco empírico de preocupação dos cientistas. A questão é que a endogenia de lá, EUA, se revela enquanto universalidade, e aqui, no Brasil, aparece enquanto provincianismo. Aliás, esse ponto já se discute há bastante tempo e não escapou aos sociólogos daquele país (Armer, 1987, 1990; Kurien, 2016)

Por fim, vale dizer que, de acordo com os dados da WoS, dos 2.011 artigos publicados entre 2012 e 2019 nas três revistas norte-americanas selecionadas, 1.158 artigos não têm citação (57,58%), 801 artigos (39,83%) receberam de 1 a 98 citações e 52 artigos (2,58%) de 102 a 312 citações, colhidas até hoje, maio de 2020. E entre os mais citados, não se pode ignorar a alta variação das citações, conforme demonstrado no Gráfico 1. Chama a atenção a alta concentração de citações em poucos artigos em relação ao universo total da produção, fazendo com que o número de citações também esteja concentrado nesses poucos artigos. Embora, nos rankings internacionais, os artigos publicados nas revistas norte-americanas possuam um impacto relativo mais alto que os artigos publicados em outros países, aqui tampouco se escapa a essa regularidade presente no sistema científico: sempre há enorme quantidade de artigos que jamais são citados (“Are 90% of Academic Papers Really Never Cited?”, 2014).


Gráfico 1
Citações recebidas por artigo de revistas norte-americanas selecionadas na base WoS (2012-2019)

A produção sociológica brasileira em perspectiva comparada

Quando se trata de fator de impacto da produção científica brasileira, em particular a de ciências sociais, uma série de ressalvas, algumas tratadas acima, fazem-se necessárias para um melhor tratamento dos dados. Se entre essas ressalvas está a própria necessidade de uma melhor avaliação das especificidades e do contexto da produção dos centros de produção científica no mundo (daí a importância de “provincializar” seus dados), é porque ela permite qualificar melhor a comparação entre realidades nacionais distintas. Não raro, as análises das ciências sociais brasileiras rastreiam o sentido de sua dinâmica relacionando-a à adoção de outros modelos nacionais, seja apontando a “americanização” de sua agenda de pesquisa (Vianna, Carvalho, Melo, & Burgos, 1998; Werneck Vianna, Carvalho, & Melo, 1994), seja destacando uma suposta influência duradoura do modelo francês que esteve na base de sua institucionalização (Hermes-Lima & Gordon, 2020).

Pois bem, no caso da comparação entre Brasil e França, país cujo modelo científico, segundo alguns autores, supostamente copiaríamos, é fundamental frisar que ambos os contextos não seguem a mesma cultura de citação “centrada no artigo” que é tão pronunciada na sociologia anglófona. O que torna, nos dois países, inverossímil medir seu impacto somente pelos artigos e periódicos, ou, o que é mais delicado, medir o impacto dos artigos pelos periódicos nos quais são publicados (Leydesdorff & Milojević, 2015). Especificamente no caso da sociologia francesa, indicar seu pouco impacto científico, como apontado por alguns pesquisadores (Hermes-Lima & Gordon, 2020), implica esquecer o papel de modelagem fundamental que autores franceses, clássicos e contemporâneos, tiveram no que se entende por sociologia. Como desconsiderar, apenas para darmos um exemplo, o autor que em quase todo levantamento é o mais citado nas ciências sociais? Estamos falando, é claro, de Pierre Bourdieu (Santoro, 2008). As pesquisas de Marco Santoro (2008), Gisèle Sapiro e Maurício Bustamante (2009), por exemplo, mapeiam a impressionante difusão mundial dos livros desse autor. Portanto, uma discussão de “impacto” por países que desconsidere a presença recorrente de autores franceses em todas as listas de autores mais citados nos artigos da disciplina certamente está caindo muito longe de seu alvo. Se se contabilizasse a citação de livros, tomando um período mais longo de publicação como critério, certamente o “modelo francês” seria um caso-modelo para elevar o nosso fator de impacto.

Mas, indo além das diferenças nas culturas de citação, podemos novamente levantar alguns dados. Estaríamos mais próximos de um modelo francês ou americano? Usando como recorte os últimos 2.000 artigos de cada país (Brasil, França e Estados Unidos) e tomando como parâmetro as três revistas de sociologia (excluindo-se as mais identificadas com a ciência política) com melhor avaliação no índice Scimago 2018, podemos tentar identificar o nível de similaridade formado por esse conjunto de artigos[4]. Uma técnica muito comum usada na bibliometria é o acoplamento bibliográfico, que modela uma matriz de relações de acordo com o grau de compartilhamento de referências bibliográficas (Boyack & Klavans, 2010). Quanto maior a interseção das referências de dois artigos, maior será o peso de suas relações – e mais eles se aproximam no espaço topológico da rede de acoplamento por eles formada. Essa técnica, ao permitir a visualização de similaridades no nível das práticas de citação, talvez revele melhor a questão aqui em jogo. O que a rede de relações abaixo sugere é algo muito trivial: as sociologias de cada país se parecem basicamente consigo mesmas. Dito de outro modo, há claramente três comunidades formadas pelos artigos de revistas publicadas em cada país – no Brasil em amarelo, na França em azul e nos Estados Unidos em vermelho.


Figura 3
Componente principal da rede de acoplamento bibliográfico formada por artigos publicados em revistas brasileiras, francesas e norte-americanas selecionadas
Fonte: Web of Science. Visualização: VOSViewer e Gephi.

Mesmo assim, há algumas zonas de interseção. Elas seriam mais pronunciadas, no caso dos artigos publicados em revistas brasileiras, com os artigos saídos na França ou nos Estados Unidos? Uma forma simples de calcular isso é medir o grau médio ponderado das relações entre os artigos, isto é, medir a média da intensidade do compartilhamento de referências usando como referência os artigos de cada país. Por exemplo, nas relações entre os artigos publicados no Brasil e nos Estados Unidos, o grau médio ponderado é de 5,4; já entre os artigos publicados no Brasil e na França, o grau médio ponderado cai para apenas 1,7 – o que significa que, em média, cada artigo publicado no Brasil possui alguma relação significativa de compartilhamento de referências com menos de dois artigos publicados na França. Por fim, entre os artigos veiculados em periódicos franceses e norte-americanos, este valor sobre para 8,1. Estes dados sugerem múltiplas interpretações, mas pelo critério relativamente objetivo de semelhança pelo grau de acoplamento de referências – “objetivo” porque está inscrito nas práticas efetivas de citação, e não nas autoimagens cultivadas pelos autores –, não há nada que sugira que sigamos um modelo “francês”. Pelo contrário, ele mostra que as comunidades nacionais de sociologia conseguem de certo modo criar um grau interno de adensamento no compartilhamento de referências, a despeito do poder “gravitacional” exercido pelo peso da sociologia norte-americana na sociologia mundial. Apenas para tomarmos nota, o grau médio ponderado nas relações entre artigos das revistas brasileiras é de 11,8; no caso das revistas francesas, de 11,5; e, no caso das revistas norte-americanas, o valor sobre para incríveis 54,6.

Antes de fecharmos, precisamos tocar em mais dois pontos sobre a discussão do impacto da produção científica das ciências sociais brasileiras. Um deles, bastante óbvio, é que o espaço da produção científica, ainda mais o dos índices de citação, é estruturado por desigualdades muito pronunciadas. Aqui estamos no terreno por excelência daquilo que Robert K. Merton (1968) denominava de “efeito Mateus”: um processo de reforço crescente na desigualdade. Como vários autores já demonstraram, entre eles recentemente o teórico de redes Albert-László Barabási, o mundo da citação científica segue um padrão de distribuição do tipo “lei de potência”, isto é, poucos artigos recebem um número impressionante de citações e a grande maioria recebe pouca ou mesmo nenhuma citação (conforme, inclusive, o gráfico 1 com o número de citação dos artigos de revistas norte-americanas) (Barabási, Song, & Wang, 2012; Wang, Song, & Barabási, 2013). O reforço crescente das desigualdades se dá porque as revistas com alto fator de impacto são as mais cobiçadas e as mais consultadas, de um lado, e de outro porque os mecanismos de busca acabam por localizar preferencialmente (a depender dos critérios utilizados) os documentos com mais citações. É difícil imaginar que as revistas científicas brasileiras possam competir no mesmo patamar com o seleto grupo das principais revistas de sociologia localizado nos Estados Unidos. No entanto, continua sendo decisivo apoiar e cultivar um sistema pujante de editoração de artigos para as ciências sociais no Brasil para que os temas e as questões que nos interessam como sociólogos – e à sociedade brasileira em geral – possam passar pelo escrutínio rigoroso dos pares, bem como para contemplar a pluralidade constitutiva de nossas abordagens teórico-metodológicas.

O último ponto diz respeito à própria noção de “impacto”. Com o exposto anteriormente, esperamos ter deixado claros os limites de se trabalhar com fator de impacto tomando apenas uma base indexadora ou mesmo uma única forma de produção, por exemplo, os artigos. Essa forma de medir o impacto no interior de uma disciplina é mais adequada quando há um conjunto relativamente consensual de core journals e o artigo científico é o meio por excelência de comunicação científica entre pares. Como vimos, na sociologia isso está longe de ser a norma. O predomínio dos livros como o principal material citável assinala ainda o entrecruzamento entre os circuitos internos de editoração científica e os canais mais gerais da circulação cultural, pois, à exceção dos livros mais especializados, quase sempre eles se encontram à venda nas livrarias e os de maior destaque são com frequência resenhados em suplementes e cadernos culturais etc. O tipo de impacto “extracientífico” produzido no plano cultural mais amplo, se assim pudermos colocar o problema, é difícil de ser mensurado, mas suas consequências estão longe de ser residuais. Como vários sociólogos já apontaram, há um processo constitutivo de “reflexividade” do conhecimento sociológico, que dizer, os achados das pesquisas sociológicas participam de modo decisivo nos modos de aprendizado social, alterando a própria matéria investigada. As chamadas sociedades modernas não seriam viáveis sem as formas de auto-observação propiciadas pelo estoque de conhecimento acumulado pelas ciências sociais. Estimular a pesquisa científica em sociologia em países como Brasil, organizando um sistema robusto de editoração e publicação, é fundamental para que essas formas de auto-observação possam se ajustar continuamente aos problemas específicos colocados pela sociedade brasileira. Como os nossos melhores exemplos demonstraram, foi por meio da pesquisa sistemática a respeito da sociedade brasileira que conseguimos alcançar uma relevância teórica “universal” para a nossa sociologia.

Quadro 1
Artigos mais citados Revistas Norte-Americanas (2012-2019)

* United States, Great Britain, Canada, South Africa, Germany, Sweden, Australia, Indonesia, and Norway

Material suplementario
Referências
Alatas, Syed F. (2016). Academic Dependency and the Global Division of Labour in the Social Sciences: Current Sociology. https://doi.org/10.1177/00113921030516003
Are 90% of academic papers really never cited? Reviewing the literature on academic citations. (2014, abril 23). Recuperado 11 de maio de 2020, de site da Impact of Social Sciences: https://blogs.lse.ac.uk/impactofsocialsciences/2014/04/23/academic-papers-citation-rates-remler/
Armer, J. Michael (1987). Provincialism and Internationalism in Contemporary American Sociology. International Sociology, 2(3), 315–324. https://doi.org/10.1177/026858098700200308
Armer, J. Michael (1990). The Deparochialization of American Sociology. In Sven Groennings, & David Wiley (eds.) Group Portrait: Internationalizing the Disciplines. (pp. 228-239). New York: American Forum, ERIC.
Barabási, Albert-László, Song, Chaoming, & Wang, Dashun (2012). Handful of papers dominates citation. Nature, 491(7422), 40–40. https://doi.org/10.1038/491040ª
Beigel, Fernanda (2018, setembro 5). Las relaciones de poder en la ciencia mundial. Un anti-ranking para conocer la ciencia producida en la periferia [Blog]. Recuperado 21 de junho de 2020, de site da SciELO en Perspectiva: https://blog.scielo.org/es/2018/09/05/las-relaciones-de-poder-en-la-ciencia-mundial-un-anti-ranking-para-conocer-la-ciencia-producida-en-la-periferia/
Boyack, Kevin W., & Klavans, Richard (2010). Co-citation analysis, bibliographic coupling, and direct citation: Which citation approach represents the research front most accurately? Journal of the American Society for Information Science and Technology, 61(12), 2389–2404.
Centro de Gestão e Estudos Estratégicos - CGEE (2020). Diagnóstico das Ciências Humanas, Sociais Aplicadas, Linguística, Letras e Artes (CHSSALLA) no Brasil. Recuperado de https://www.cgee.org.br/documents/10195/734063/CGEE-2020-CHSSALLA.pdf
Ferreira, Elisabete, Führ, Fabiane, Lima, Karolayne C.R. de, Araújo, Paula Carina de, & Pereira, Suzana Z. (2015). Digital Object Identifier (DOI): o que é, para que serve, como se usa? AtoZ: novas práticas em informação e conhecimento, 4(1), 5–9. https://doi.org/10.5380/atoz.v4i1.42369
Garfield, Eugene (1976). Significant journals of science. Nature, 264(5587), 609–615. https://doi.org/10.1038/264609a0
Hammarfelt, Björn (2016). Beyond Coverage: Toward a Bibliometrics for the Humanities. In Michael Ochsner, Sven E. Hug, & Hans-Dieter Daniel (orgs.), Research Assessment in the Humanities: Towards Criteria and Procedures (p. 115–131). https://doi.org/10.1007/978-3-319-29016-4_10
Harzing, Anne-Wil, & Alakangas, Satu (2016). Google Scholar, Scopus and the Web of Science: a longitudinal and cross-disciplinary comparison. Scientometrics, 106(2), 787–804. https://doi.org/10.1007/s11192-015-1798-9
Hermes-Lima, Marcelo, & Gordon, Cesar (2020, janeiro 13). O baixo impacto das publicações brasileiras de sociologia. Recuperado 6 de maio de 2020, de site da Gazeta do Povo: https://www.gazetadopovo.com.br/educacao/o-baixo-impacto-das-publicacoes-brasileiras-de-sociologia/
Hicks, Diana, Wouters, Paul, Waltman, Ludo, de Rijcke, Sarah, & Rafols, Ismael (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature News, 520(7548), 429. https://doi.org/10.1038/520429a
Kurien, Prema (2016). Sociology in America or a Sociology of America. ISA.e-Forum, 6.
Leydesdorff, Loet, & Milojević, Staša (2015). The Citation Impact of German Sociology Journals: Some Problems with the Use of Scientometric Indicators in Journal and Research Evaluations (SSRN Scholarly Paper N. ID 2541908). https://doi.org/10.2139/ssrn.2541908
Martín-Martín, Alberto, Thelwall, Mike, Orduna-Malea, Enrique, & López-Cózar, Emilio D. (2020). Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. arXiv:2004.14329 [cs]. Recuperado de http://arxiv.org/abs/2004.14329
Merton, Robert K. (1968). The Matthew Effect in Science: The reward and communication systems of science are considered. Science, 159(3810), 56–63. https://doi.org/10.1126/science.159.3810.56
Moksony, Ferenc, Hegedűs, Rita, & Császár, Melinda (2014). Rankings, research styles, and publication cultures: a study of American sociology departments. Scientometrics, 101(3), 1715–1729. https://doi.org/10.1007/s11192-013-1218-y
Mongeon, Philippe, & Paul-Hus, Adèle (2016). The journal coverage of Web of Science and Scopus: a comparative analysis. Scientometrics, 106(1), 213–228. https://doi.org/10.1007/s11192-015-1765-5
Santoro, Marco (2008). Putting Bourdieu in the Global Field. Introduction to the Symposium. Sociologica, (2/2008). https://doi.org/10.2383/27719
Sapiro, Gisèle, & Bustamante, Mauricio (2009). Translation as a Measure of International Consecration. Mapping the World Distribution of Bourdieu’s Books in Translation. Sociologica, (2-3/2009). https://doi.org/10.2383/31374
Sivertsen, Gunnar, & Larsen, Birger (2012). Comprehensive bibliographic coverage of the social sciences and humanities in a citation index: an empirical analysis of the potential. Scientometrics, 91(2), 567–575. https://doi.org/10.1007/s11192-011-0615-3
Stephan, Paula, Veugelers, Reinhilde, & Wang, Jian (2017). Reviewers are blinkered by bibliometrics. Nature, 544- Comment, 411-412. Recuperado 6 de maio de 2020, de https://www.nature.com/news/reviewers-are-blinkered-by-bibliometrics-1.21877
Strehl, Letícia (2005). O fator de impacto do ISI e a avaliação da produção científica: aspectos conceituais e metodológicos. Ciência da Informação, 34(1).
Velez-Cuartas, Gabriel, Lucio-Arias, Diana, & Leydesdorff, Loet (2015). Regional and Global Science: Latin American and Caribbean publications in the SciELO Citation Index and the Web of Science. arXiv:1510.02453 [cs]. Recuperado de http://arxiv.org/abs/1510.02453
Vianna, Luiz W., Carvalho, Maria Alice R. de, Melo, Manuel P.C., & Burgos, Marcelo B. (1998). Doutores e Teses em Ciências Sociais. Dados, 41(3). https://doi.org/10.1590/S0011-52581998000300001
Visser, Martijn, van Eck, Nees J. & Waltman, Ludo (2020). Large-scale comparison of bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic. arXiv:2005.10732 [cs]. Recuperado de http://arxiv.org/abs/2005.10732
Wang, Dashun, Song, Chaoming, & Barabási, Albert-László (2013). Quantifying Long-Term Scientific Impact. Science, 342(6154), 127–132. https://doi.org/10.1126/science.1237825
Werneck Vianna, Luiz, Carvalho, Maria Alice R. de, & Melo, Manuel P. C. (1994). Cientistas sociais e vida pública: o estudante de graduação em ciências sociais. Dados, 37(3).
Notas
Notas
[1] O trecho do Manifesto de Leiden a que fizemos referência: “This pluralism and societal relevance tends to be suppressed to create papers of interest to the gatekeepers of high impact: English-language journals. The Spanish sociologists that are highly cited in the Web of Science have worked on abstract models or study US data. Lost is the specificity of sociologists in high-impact Spanish-language papers: topics such as local labour law, family health care for the elderly or immigrant employment5. Metrics built on high-quality non-English literature would serve to identify and reward excellence in locally relevant research” (Hicks, Wouters, Waltman, de Rijcke, & Rafols, 2015)
[2] Essas revistas aparecem como as três principais no ranking Scimago de 2018, que usa dados da base Scopus, na categoria “Sociologia e Ciência política”. Como o nosso foco aqui é a sociologia, não consideramos a primeira revista do ranking, Opinião Pública, basicamente voltada para a ciência política.
[3] Usando o mesmo critério usado para a seleção das revistas brasileiras, essas são as revistas de sociologia dos Estados Unidos mais bem avaliadas no ranking Scimago 2018.
[4] As revistas são: American Journal of Sociology, American Sociological Review, Annual Review of Sociology, Revista de Sociologia e Política, Sociedade e Estado, Lua Nova, Sociologie du Travail, Politix e Revue Française de Sociologie. Nossa amostra possui, portanto, um total de 6.000 artigos.

Figura 1
Porcentagem de citações em cada base indexadora relativa ao total de citações por áreas do conhecimento
Fonte: Retirado de (Martín-Martín et al., 2020, p. 13).

Figura 2
Porcentagem de livros e artigos citados de acordo com os campos das humanidades e das ciências sociais (dados de 1995)
Fonte: Retirado de Hammarfelt (2012a, p. 31)
Tabela 1
Citações de artigos de revistas norte-americanas (2012-2019)

Fonte: Web of Science

Gráfico 1
Citações recebidas por artigo de revistas norte-americanas selecionadas na base WoS (2012-2019)

Figura 3
Componente principal da rede de acoplamento bibliográfico formada por artigos publicados em revistas brasileiras, francesas e norte-americanas selecionadas
Fonte: Web of Science. Visualização: VOSViewer e Gephi.
Quadro 1
Artigos mais citados Revistas Norte-Americanas (2012-2019)

* United States, Great Britain, Canada, South Africa, Germany, Sweden, Australia, Indonesia, and Norway
Buscar:
Contexto
Descargar
Todas
Imágenes
Visor de artículos científicos generados a partir de XML-JATS4R por Redalyc