Introdução

Avaliar as Ciências Humanas, em especial a Sociologia, exclusivamente a partir de quantidade de publicações de artigos, livros e demais produções ou, ainda, propor-se apreciar, através do volume de citações, a relevância do conhecimento publicado, em prol de uma suposta auditoria de desempenho do campo acadêmico, dos atores e das instituições, pode, como bem compreendem Brasil Jr. e Carvalho (2020, p.250), causar “irritações produtivas nos modos pelos quais sociólogos observam e avaliam sua produção científica”. Em outros termos, o desconforto do pesquisador sobre a avaliação da ciência feita por terceiros ou por avaliadores de fora da área do conhecimento. O quantitativismo cego e generalista orientado à avaliação da ciência tem o potencial de induzir a comunidade acadêmica – como um todo – a assumir o lema publish or perish (Merton, 1942; Garfield, 1996; Cabanac, 2018), em que o avanço e reconhecimento acadêmico dependem da contribuição dos cientistas para a literatura publicada de seu campo, reduzindo a atividade científica à publicação (Van Dalen, 2021).

Embora o processo de avaliação da ciência baseada em cientometria possa gerar “desconfortos” nos pesquisadores das Humanidades, a verificação da atividade científica, seja ela quantitativa ou qualitativa, pode apontar tendência de crescimento, evolução temática ou mesmo mudanças de trajetórias de pesquisa, sendo cada vez mais utilizada por instituições de gestão e financiamento de pesquisa como métrica para concessão de verbas para pesquisa, bolsas de estudo e como instrumento de avaliação de Programas de Pós-Graduação e de (des)credenciamento de docentes. A Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), por exemplo, afere como medida de “qualidade” de teses e dissertações, para a área de Sociologia, o número de publicações de artigos, livros e capítulos de livros derivados daquelas primeiras (Adorno e Ramalho, 2018, p.37). O mesmo acontece no Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), ao avaliar solicitações de financiamento de projetos e bolsas de pesquisa.

A produção científica publicada não é um problema; pelo contrário, compõe parte daquilo que se espera de um cientista e pode servir, inclusive, como uma resposta da Ciência a dado problema ou questão. Velho (1997, p.17) entende que, do ponto de vista da sociologia da ciência, são considerados de fato cientistas aqueles que submetem seus resultados a escrutínio de outros pesquisadores e que “textos que sobrevivem ao mecanismo de julgamento pelos pares são transformados em artigos”. Vessuri (1987, p.124), por sua vez, é mais enfática, ao afirmar que “a ciência que não é publicada não existe”. Se a ciência depende da publicação para existir e esta última é condição sine qua non para a formação de cientistas, então, analisar a produtividade e as trajetórias dos atores envolvidos é, consequentemente, apresentar e discutir a própria ciência e seus circuitos, dinâmicas, orientações e discursos.

Embora Shinn e Ragouet (2008, p.41-42) afirmem, apropriadamente, que “a ciência não é redutível à produção científica”, remetendo também a um número importante de atividades, tais como avaliação de manuscritos, a procura de financiamentos, a organização de colóquios, seminários ou grupos de pesquisa e outras baseadas no cotidiano acadêmico, cabe ressaltar que o objeto fundamental dos estudos que utilizam o método cientométrico são as comunicações dos resultados científicos publicadas nas formas de artigos, livros, capítulos de livros, trabalhos completos em anais de eventos, cartas, resenhas e revisões, ou seja, são “produtos da ciência publicada” que permitem o rastreamento e mapeamento das informações intrínsecas aos documentos e que, consequentemente, viabilizam o desenvolvimento de indicadores científicos sobre as obras e seus autores.

A cientometria, enquanto mecanismo que possibilita um tipo específico de avaliação da ciência a nível quantitativo (Hayashi, 2012), cumpre com a finalidade de averiguar a atividade científica como um fenômeno humano e social, a partir da criação de indicadores baseados em modelos matemáticos (Parra et al., 2019). A metodologia cientométrica seleciona e analisa a ciência como um todo na tentativa de observar padrões de produção e relacionamento científicos, isto é, os resultados contemplados normalizam o desempenho da ciência a partir de conjuntos de indicadores, tornando-os passíveis de serem confrontados entre si, entre áreas, entre campos.

O problema mais evidente em sua utilização é que essa padronização não leva em conta as distinções entre as áreas do conhecimento, ou seja, as Ciências Humanas e Sociais se comportam e se reproduzem de formas diferentes das Ciências Exatas, Biológicas e da Saúde.  Da mesma forma, estas três últimas áreas também possuem suas especificidades que as distinguem umas das outras. E, mesmo internamente às Humanidades, as subáreas e campos científicos funcionam de maneira sui generis, sendo pouco comparáveis mutuamente. Assim sendo, de que modo podemos capturar as particularidades de uma dada área do conhecimento e propor uma avaliação que possa ser mais adequada à natureza daquela ciência?

A proposta deste artigo é a de explorar, para fins metodológicos, as “boas práticas da cientometria” postuladas pelo Leiden Manifesto (Hicks et al., 2015) – que explica o uso mais adequado desse arcabouço para avaliação do progresso da ciência (Silva e Bianchi, 2001) –, com foco nas investigações sobre o campo científico da Sociologia no Brasil. Partindo de observações quantitativas e apresentando características de coleta e análise de registros bibliográficos de bases de dados nacionais comparadas às internacionais, o artigo busca também apresentar a construção de alguns indicadores que possam refletir melhor as especificidades da Sociologia no Brasil.

O campo observado

O escopo deste artigo foi definido considerando o levantamento de identificação de docentes vinculados aos Programas de Pós-Graduação (PPGs) realizado pela CAPES e disponibilizado pelo Sistema de Disseminação de Informações (SDI), coletado em 2020. Desse levantamento, foram selecionados todos os 55 PPGs avaliados na área de Sociologia. Desse montante foi resgatado um total de 1.310 docentes ativos1 em suas funções. O campo considerado está apresentado nas Figuras 1 e 2.

Figura 1

Objetos: Programas de Pós-Graduação, IES e quantidade de docentes avaliados na área de Sociologia

Fonte: Elaboração própria a partir de Sistema de Disseminação de Informações da CAPES (SDI, 2020).Nota * Status jurídico de universidade: Federal (Fed.); Estadual (Est.); Particular (Part.).Nota ** Foi considerado o número total de docentes vinculados aos Programas e não apenas os permanentes, uma vez que um mesmo docente pode integrar-se a mais de um Programa de Pós-Graduação em distintas Universidades.Nota *** Foram considerados apenas os Programas de Pós-Graduação avaliados pela CAPES na área de Sociologia.Nota **** O Programa de Pós-Graduação de Sociologia da Universidade Federal do Amazonas (PPGS-UFAM) foi descredenciado na Avaliação CAPES realizada no quadriênio de 2013-2016. Entretanto, este Programa continuou como parte integrante do banco de dados do SDI CAPES até 2020 (tendo o ano base de 2019). No banco de dados o PPGS da UFAM possuía conceito 2. No momento da coleta de dados este PPGS ainda estava disponível e, por isso, foi considerado.

Figura 2

Objetos: Programas de Pós-Graduação avaliados na área de Sociologia

Fonte: Elaboração própria a partir de Sistema de Disseminação de Informações da CAPES (SDI, 2020). Mapa elaborado no Excel-365/2019 a partir de dados do SDI (2020).Nota * O Programa de Pós-Graduação de “Sociologia em Rede Nacional” é considerado apenas como um único Programa pela CAPES, identificado com o código 2501601639P8. Possui 120 docentes vinculados e distribuídos em nove Instituições de Ensino (IES), sendo cinco IES do Nordeste, três do Sul e um do Sudeste.

O entendimento de “campo científico da Sociologia” adotado considera as instituições – e seus docentes vinculados – avaliadas na área de Sociologia pela CAPES. Trata-se, portanto, de um recorte. Entretanto, é relevante destacar que, em termos conceituais, a definição de campo presente na pesquisa que originou este artigo segue os pressupostos de Pierre Bourdieu (1983).

Bourdieu (1983) define “campo” não como um lugar físico, mas como um espaço da vida ou prática social que possui uma estrutura própria e alguma autonomia em relação a outros espaços, e afirma que o “campo científico” é igual, em definição, a qualquer outro, mas com suas disputas, suas lutas e relações de força e monopólio. O que o distingue de outros campos é a atuação dos atores que, no caso da ciência, concorrem por um capital específico: o da legitimidade ou autoridade científica (Garcia, 1996).

É importante destacar que propostas de análise de resultados científicos ou de avaliação da ciência orientadas às áreas do conhecimento, ou a recortes dessas, oferecem oportunidades e limites. De um lado, há vantagens, porque favorecem o entendimento das relações científicas entre os atores e instituições observados, dos tipos de conhecimentos publicados, da evolução científica e tecnológica e das pesquisas realizadas, seja nas análises de tendências temáticas, seja na recuperação da trajetória científica e acadêmica da área. De outro, há prejuízos, porque confinam as interpretações e análises ao próprio escopo selecionado, isto é, a construção e análise de indicadores científicos ficam limitadas ao conjunto de informações disponíveis no banco de dados. Além disso, os softwares orientados à metodologia e análise cientométrica possuem limitações técnicas que não permitem inserções de novos conjuntos de dados posteriores à coleta inicial.2

Para uma discussão metodológica, é indispensável ter clareza do objeto e de seus significados em relação ao todo, sobretudo quando o objetivo principal é o de capturar as especificidades de uma dada área e apresentá-las em indicadores científicos obtidos via cientometria. Assim, compreender o objeto dentro do arcabouço teórico do “campo científico” permite se localizar na discussão do problema e auxiliar na definição das particularidades que compõem e distinguem aquele campo.

A cientometria, per se, não captura as disputas de força entre os atores pertinentes ao campo observado, uma vez que essa informação só pode ser coletada e analisada em sistemáticas qualitativas. Porém, a partir daquela, é possível mapear a diversidade temática das rotinas de pesquisa e dos próprios pesquisadores e instituições por meio de análises das redes de conhecimento e de colaboração científica. Em outras palavras a cientometria, mesmo limitada a determinadas compreensões quantitativas do funcionamento do campo científico, tem o potencial de capturar parte do próprio capital de legitimidade ou autoridade científica, o que é obtido, sobretudo, pelas medidas e métricas das redes promovidas no campo.

As “boas práticas” da cientometria: um breve histórico

A cientometria não é um método tradicional da Sociologia ou das Ciências Sociais, mas um arcabouço técnico e teórico interdisciplinar para mapear e analisar o conhecimento e desenvolvimento científico a partir de abordagens quantitativas sobre a ciência enquanto disciplina ou atividade econômica (Silva et al., 2011, p.114). Davyt e Velho (2000) consideram que o início do interesse em conhecer a dinâmica da atividade científica mais profundamente está atrelado ao Estado e aos governos no contexto pós-Segunda Guerra Mundial. A “ciência da ciência”, como a cientometria foi denominada por Derek de Solla Price, surge como um conjunto de ferramentas para estudar a própria atividade científica, tendo componentes metodológicos oriundos da Sociologia, da Biblioteconomia (Price, 1986), da História (Davyt e Velho, 2000) e da Ciência da Informação (Wyatt et al., 2015).

Assim, surgido no final dos anos 1960, com influência dos estudos de Robert Merton, especialmente suas análises que levaram à criação do conceito de “Efeito Mateus3” (Merton, 2013), o método cientométrico esteve inicialmente voltado às investigações das citações e ao reconhecimento da influência de pesquisadores na comunidade científica. Antes, em 1964, os estudos métricos da ciência haviam ganhado impulso com a criação do Science Citation Index (SCI),4 uma plataforma criada por Eugene Garfield que centralizava dados de mais de 8 mil revistas científicas. Price (1965, p.510) fez uso dessa plataforma para medir as redes de citação de trabalhos científicos indexados no SCI, empregando os primeiros procedimentos da área cientométrica. Já outros pesquisadores, de acordo com Wyatt et al. (2015), utilizaram a plataforma para desenvolver medidas de citação e cocitação no intuito de entender o surgimento, crescimento e declínio de especialidades científicas e a difusão de ideias. Naquele momento de uso inicial do ferramental cientométrico, o interesse nessas análises pairava sobre a função simbólica das relações científicas, e não essencialmente na quantificação que qualificaria da ciência.

Ao longo do tempo, a área de estudos métricos da ciência evoluiu atingindo novos padrões de análise. Spinak (1998, p.142) compreende que os tópicos de interesse da cientometria incluem o crescimento quantitativo da ciência, o desenvolvimento de disciplinas e subdisciplinas, a relação entre ciência e tecnologia, a obsolescência dos paradigmas científicos, a estrutura de comunicação entre os cientistas, a produtividade e criatividade dos pesquisadores, a relação entre desenvolvimento e crescimento econômico e outros relacionados às interações entre ciência e sociedade. Davyt e Velho (2000, p.7) ainda destacam que a “área de cientometria desenvolve seus métodos, seus instrumentos, seus meios de comunicação, sua própria comunidade”, compreendendo as análises quantitativas dos recursos e resultados dos processos científicos, “sem observação direta da atividade de pesquisa”.

Entretanto, Wyatt et al. (2015, p.15) compreendem que “o mapa cientométrico é performativo porque parece ser objetivo”. Mas as suposições estão ocultas em escolhas de parâmetros que podem levar a efeitos de interação que não são facilmente acessíveis aos leitores. Assim, o status é o de uma máquina de leitura da literatura em estudo que não deve ser reificada como “objetiva” ou “intersubjetiva”, pois os construtos cientométricos permanecem alicerçados em decisões discursivas sobre como melhor representar estruturas latentes nos dados.

Essa observação crítica pela não objetividade da interpretação do resultado do método cientométrico recai, portanto, na definição dos critérios e parâmetros que orientam as análises. Em vista dessa condição, foi postulado, em 2015, o Leiden Manifesto – um guia com dez princípios sobre as “boas práticas” da cientometria – que norteia a investigação da área cientométrica (Hicks et. al., 2015), insistindo em que as observações e análises dos resultados alcançados nos estudos métricos devam ser oriundas da própria ciência avaliada e que a cientometria seja apenas um instrumento de investigação, evitando assim o domínio dessa área do conhecimento sobre quaisquer outras. Os dez princípios do Leiden Manifesto (Hicks et al., 2015) em favor das boas práticas cientométricas são:

• Avaliação quantitativa deve dar suporte à avaliação qualitativa;

• Medir o desempenho de acordo com a missão da instituição, do grupo ou do pesquisador;

• Proteger a excelência da pesquisa localmente relevante;

• Manter a coleta de dados e o processo analítico abertos, transparentes e simples;

• Permitir que os avaliados verifiquem os dados e análises;

• Considerar as diferenças entre áreas nas práticas de publicação e citação;

• Basear a avaliação de pesquisadores individuais de acordo com o julgamento qualitativo de sua carreira acadêmica;

• Evitar a solidez mal colocada e a falsa precisão;

• Reconhecer o efeito sistêmico da avaliação e dos indicadores;

• Examinar e atualizar os indicadores regularmente.

Nesse ponto, é importante salientar que a construção metodológica cientométrica mais adequada ao entendimento e análises dos resultados científicos do campo da Sociologia brasileiro precisa, desde sua raiz, considerar particularidades das formas de reprodução dessa ciência. Velho (1997, p.21) identificou que a produção científica brasileira das áreas de exatas e biológicas está mais bem representada na forma de artigos, enquanto as áreas das humanidades em livros.5 Ainda a autora (p.23) evidencia que as diferenças entre as áreas do conhecimento também podem ser encontradas no idioma e local geográfico da publicação, sendo que os pesquisadores das ciências exatas e biológicas priorizam línguas e veículos estrangeiros (p.23). Já os das ciências humanas concentram-se em publicações nacionais e documentos escritos, no caso brasileiro, sobretudo em português, “devido ao objeto de estudos das ciências humanas e sociais fazerem parte da realidade da vida diária” e os “resultados da pesquisa dessas áreas [serem], muitas vezes, de interesse para um público muito mais amplo que a comunidade acadêmica”.

Nesse sentido, as análises cientométricas mais adequadas ao entendimento do campo sociológico são aquelas que atendem e respeitam as especificidades dessa ciência. Considerar, por exemplo, a utilização de um banco de dados nacional, como a Plataforma Lattes para discutir e analisar a produção bibliográfica e a trajetória acadêmica dos docentes selecionados significa, per se, um esforço de investigação pautado na alteridade, em que o campo é “medido e debatido” a partir de sua própria natureza, qualidades e discursos.

Em síntese, o esforço do Leiden Manifesto não apenas orienta caminhos para o uso mais adequado do ferramental dos estudos métricos da ciência, como também expõe os limites e oportunidades dos próprios resultados alcançados a partir dessa metodologia, reforçando o caráter técnico e de apoio ao entendimento da própria atividade científica e de sua dinâmica.

Seleção das bases de dados e softwares: oportunidades e limites

A seleção das bases de dados é o segundo6 e o mais determinante passo para o processo de mensuração da atividade científica promovida pelo método da cientometria. Nesta seção apresenta-se duas plataformas de consulta e coleta de dados bibliográficos e seus limites e oportunidades, sendo elas: a base internacional de dados Scopus e o Currículo Lattes, plataforma brasileira.

O método da cientometria apenas pode ser utilizado caso haja disponível um banco de dados estruturado que organize, no mínimo, as coleções de produção bibliográfica e técnica dos atores selecionados, identificando metadados7 intrínsecos ao conjunto de informação obtido. Brasil Jr. e Carvalho (2020, p.251) realçam que as bases de dados bibliográficas mais conhecidas como a Web of Science e a Scopus têm mecanismos de seleção que restringem o volume de indexação de revistas científicas e, devido a isso, apresentam uma cobertura relativamente baixa da produção científica nas Ciências Sociais e Humanas. Para os autores, as análises de impacto – constituídas pelo volume de citação mapeada – com base nos poucos registros bibliográficos disponíveis realizadas a partir dessas bases, podem tornar invisível grande parte daquilo que se produz nessas áreas.

Comparando o volume de produção bibliográfica de artigos, capítulos de livros e livros dispostos na base Scopus e no Currículo Lattes – realizada a partir da coleta exclusiva de registros bibliográficos oriundos dos docentes selecionados do campo da Sociologia no Brasil, até 2020 – é possível perceber a discrepância de informações disponíveis entre ambas as plataformas (Gráfico 1).

Gráfico 1
Comparações entre a base Scopus e a Plataforma Lattes (Currículos Lattes)
Fonte: Elaboração própria, a partir de dados de pesquisa.

Contudo, porque utilizar a Scopus ou a Web of Science se elas possuem menos dados bibliográficos que a Plataforma Lattes e, em tese, seriam de menor importância para análises e mensurações da produção científica brasileira das Ciências Humanas? A justificativa não está na quantidade de informações, mas na qualidade da estrutura de metadados vinculados ao conjunto de registros disponíveis.

A partir da Scopus é possível resgatar o conjunto de até 42 categorias/variáveis bibliográficas para cada registro coletado, isto é, em único registro de publicação é possível adquirir dados sobre o título do artigo, o nome do periódico, o ano de publicação, o(s) nome(s) do(s) autor(es), a origem institucional do(s) mesmo(s), as palavras-chave indexadas e não-indexadas (termos chave indicados pelos autores), o ISSN do periódico, número de citações que o artigo recebeu até o momento da coleta, as referências bibliográficas do artigo, o resumo, o idioma do artigo, o(s) país(es) do(s) autor(es), entre outras informações que são relacionáveis e analisáveis, dependendo do objetivo a ser atingido.8 É por meio das bases internacionais de dados bibliográficos que há a possibilidade de mapear as mudanças temáticas do campo observado, com medidas que relacionam a ocorrência de termos chave ao longo do tempo, bem como o desenvolvimento de redes de colaboração científica (entre pesquisadores, instituições e países). Também há o mapeamento histórico do conhecimento, técnica baseada em acoplamentos bibliométricos e outras análises e mensurações.

Já a Plataforma Lattes, por meio do Currículo Lattes, é um repositório online e público de informações curriculares de pesquisadores que atuam no Brasil, organizado e gerido pelo Conselho Nacional de Desenvolvimento Científico e Tecnológica (CNPq). O Currículo Lattes apresenta um layout de curriculum vitae orientado ao passado e presente acadêmico do pesquisador e o preenchimento dessas informações é de responsabilidade do próprio cientista.

O CNPq permite que os dados contidos no currículo sejam baixados e analisados por terceiros desde que a finalidade do uso da informação seja para o desenvolvimento de indicadores e/ou aprofundamentos de políticas científicas e tecnológicas (CNPq, 2019).9 O Quadro 1 sintetiza vantagens e desvantagens em utilizar o Currículo Lattes como banco de dados bibliográfico.

Quadro 1

Vantagens e desvantagens do Currículo Lattes como banco de dados

Fonte: Elaboração própria.Nota * Por dados intrínsecos entende-se aqueles que compõem o registro bibliográfico, tais quais dados de palavras-chave; identificação de coautores e de idiomas do trabalho; acesso ao resumo; acesso às referências bibliográficas; estatísticas de citação externa; entre outros.

Ainda que a Plataforma Lattes possua desvantagens como a não verificação do conteúdo pelo CNPq, o currículo é boa fonte de informação para compreensão da trajetória acadêmica e profissional de pesquisadores que atuam no Brasil (Nascimento et al., 2021) e permite, via desfragmentação do conjunto de dados baixados, a construção de indicadores que podem localizar temas de interesse do campo observado.

Os Softwares: “ScriptLattes”, “R” e “Gephi”

Os softwares adequados para análises cientométricas e construção e análise de grafos de colaboração científica são os estatísticos e bibliométricos. Neste subitem serão apresentados os limites e oportunidade de três softwares comumente utilizados para finalidades cientométricas: ScriptLattes, R e Gephi, que se complementam em suas funções. Trata-se de programas livres, ou seja, gratuitos (não onerando o analista e/ou a instituição) e que possuem licenças de uso abertas aos usuários. O Quadro 2 sintetiza o conjunto de informações sobre as ferramentas tecnológicas dedicadas à cientometria.

Quadro 2

Linguagens e Programação e Softwares utilizados

Fonte: elaboração própria a partir de Silva (2018).Nota * Pacotes, quando associados às linguagens de programação, são agrupamentos de funções que organizam algoritmos.

É importante destacar que os softwares cientométricos são, em sua maioria, no idioma inglês – exceto o pacote “getLattes” do R e o ScriptLattes que são adaptados, desde a origem, a dados nacionais (Plataforma Lattes). Isso ocorre porque a Web of Science e Scopus possuem a maior parte de seus registros bibliográficos indexados naquele idioma. O pacote “Bibliometrix” do R, por exemplo, para realizar o reconhecimento léxico-semântico de um texto, para compor uma análise de Rede Semântica, exige – pelo algoritmo – que o registro bibliográfico esteja escrito em inglês (todos os demais indicadores e análises podem ser realizados em qualquer idioma).

Os indicadores: uma perspectiva geral

Indicadores científicos, análises de redes sociais e análises de redes semânticas podem ser agrupadas no escopo da abordagem metodológica cientométrica. Esses indicadores e tipos de análises são construídos a partir de dados e informações intrínsecas aos registros bibliográficos. A cientometria analisa as conexões internas da ciência e tecnologia e identifica os princípios que as governam, tendo como objetivo estudar a atividade científica como fenômeno social mediante indicadores e modelos matemáticos (Hayashi et al., 2012). Os indicadores que situam a avaliação da ciência são: os de atividade, os relacionais e os de mobilidade (Faria, 2015).

Os indicadores de atividades são aqueles que apresentam informações baseadas em cálculo de frequência ao longo de um determinado tempo selecionado. São esses indicadores derivados dos cálculos totais da produção bibliográfica, produção técnica, orientações, projetos de pesquisa, prêmios e títulos, participação em eventos e organização de eventos e podem ser associados a uma única pessoa ou a grupos e instituições.

Os indicadores de mobilidade são aqueles específicos dos membros pesquisados, como as trajetórias e realizações acadêmicas (doutorado, mestrado, graduações, pós-doutorado e as instituições dessas titulações) e o local de atuação profissional atual (indicadores específicos dos PPG, como o tempo de funcionamento e volume de docentes vinculados).

Os indicadores relacionais são aqueles de coocorrência, ou seja, que estabelecem vínculos entre os pesquisadores coletados (coautoria de artigos) ou entre termos específicos (palavras-chave, por exemplo). Esse indicador é base para formação de redes sociais (grafos) entre os atores e dão condições para análises estatísticas dos grafos (métricas de centralidade que calculam a “força” dos nós e conexões dentro de uma rede).

Considerações cientométricas para a Sociologia

Tem-se como premissa: números e indicadores importam, desde que a interpretação de seus significados esteja ajustada às trajetórias do objeto a ser analisado ou avaliado e seja compatível com essas. Partindo de medidas tidas como mainstream (Meadows, 1999; Faria, 2015) no universo da avaliação quantitativa da ciência, e passando por propostas de desfragmentação e reconfiguração de dados bibliográficos obtidos na base Lattes, apresenta-se e discute-se um conjunto de indicadores que podem ser considerados mais adequados à interpretação, análise e avaliação do campo científico da Sociologia no Brasil.

Os indicadores científicos mais tradicionais, orientados à avaliação da ciência, sobretudo à identificação e apreciação de impacto da pesquisa, são os que estabelecem medidas baseadas em (redes de) citações de artigos. Meadows (1999, p.89) confirma que o método “mais simples” para se medir a qualidade de uma ciência é mensurar o interesse de outros pesquisadores nas pesquisas de seus pares. No entanto, como também compreende Meadows (1999), tal verificação não dá conta de captar integralmente os interesses dos pesquisadores nessas citações ou mesmo a relevância do conteúdo do trabalho científico, isto é, as motivações que levam pesquisadores a citar um ou outro registro bibliográfico não podem ser observadas exclusivamente em números. Um exemplo, demonstrado pelo mesmo autor (1999, p.89), é o do artigo sobre “fusão a frio” que “obteve centenas de citações, na sua maioria por parte de pessoas que acreditavam que ele estava errado”.

No caso dos registros bibliográficos do campo da Sociologia do Brasil coletados a partir da base de dados Scopus, eles experimentam limites semelhantes aos identificados em Meadows (1999). O Quadro 3 demonstra a qualidade da ciência do campo selecionado medida a partir do volume de citações “globais”,10 isto é, são registros bibliográficos citados por pesquisadores que não compõem a coorte de pesquisadores selecionados na pesquisa que origina este artigo.

Quadro 3

Os 20 registros bibliográficos* mais citados globalmente dos docentes do campo da Sociologia no Brasil, até 2020

Fonte: elaboração própria a partir de resultados da pesquisa. Dados coletados na base Scopus.Nota * São registros bibliográficos: os artigos publicados em periódicos, livros e capítulos de livros.Nota ** A coluna “Documento” apresenta o registro bibliográfico considerando o nome de citação do primeiro autor, o ano de publicação do artigo e o título de periódico.Nota *** A “citação local” trata dos artigos que foram citados pelos próprios autores (docentes) que compõem o banco de dados da pesquisa. A citação local, entretanto, é uma informação controversa, pois pode, também, representar a autocitação (quando o autor se cita em diferentes artigos). A autocitação não é problemática, porém para os estudos métricos da ciência os cálculos não capturam as distinções. Nota ****: As Instituições de Ensino e Pesquisa (IES) correspondem à origem profissional e acadêmica do docente, em 2020, de acordo com SDI/CAPES (2020).

Como referido anteriormente, os bancos de dados internacionais estão longe de captar a totalidade de registros bibliográficos indexados em suas bases. Nesse caso específico da Sociologia, a coorte de docentes selecionada deste possui apenas 13% dos artigos totais já produzidos até o ano de 2020 (ver Gráfico 1 acima), quando comparada ao total de publicações obtidas a partir do currículo Lattes desses mesmos docentes no mesmo período. A partir dessas considerações, é possível compreender que não há como generalizar o comportamento do campo olhando exclusivamente para as teias de citação coletadas das bases internacionais.

Entretanto, o indicador de citação – mesmo limitado a um dado número de registros – apresenta resultados que sugerem tópicos de interesses da área do conhecimento examinada. A partir do cálculo de frequência de termos-chave dos autores dos artigos selecionados, é possível observar a proeminência de temas de pesquisa. Analisando especificamente o conjunto de registros bibliográficos mais citados globalmente, disponíveis no Quadro 3, foi possível identificar que o tema “agroecology” (agroecologia) é o mais recorrente, seguido de “social movements” (movimentos sociais), e que podem ser visualizados no Grafo 1.

Grafo 1
Termos centrais e conectados dos 20 artigos mais citados globalmente (até 2020)
Fonte: elaboração própria a partir de dados da pesquisa. O resultado faz referência direta ao Quadro 3, deste mesmo artigo.

O Grafo 1 apresenta os componentes conectados e centrais exclusivos da rede temática dos 20 artigos mais citados globalmente do campo da Sociologia, disponíveis no Quadro 3. As arestas (linhas) representam as conexões entre os termos, as cores são os clusters ou comunidades (formados pelos termos que mais frequentemente se relacionam) e o tamanho do nó (círculo) representa a quantidade de vezes que o termo (ele único) aparece nos registros bibliográficos observados.11 Nesse caso, o termo “agroecology” possui frequência de 4 e o “social movements” aparece com frequência de 2 – todos os outros nós que compõem o grafo aparecem apenas uma vez.

As boas práticas da cientometria observam que os resultados quantitativos, per se, pouco informam se não analisados dentro ou a partir de um contexto definido (Hicks et al., 2015). No caso dos resultados alcançados no Quadro 3 e Grafo 1, a análise pode ser completada considerando-se a origem institucional e as identidades acadêmicas (Silva e Souza, 2020)12 dos docentes responsáveis desses conhecimentos, a fim de compreender de quais subáreas da Sociologia estes documentos mais bem citados globalmente podem estar vinculados. O Quadro 4 apresenta as identidades acadêmicas dos docentes responsáveis pelos artigos citados globalmente.

Quadro 4

Identidade acadêmica dos autores dos 20 artigos mais citados globalmente

Fonte: elaboração própria a partir dos resultados da pesquisa.Nota * Duas justificativas: ou a identidade acadêmica não foi revelada ou o CV Lattes não existe.

O resultado evidencia uma multiplicidade de identidades acadêmicas, sugerindo, por um lado, a diversidade científica associada ao campo da Sociologia e, por outro, a preeminência da subárea de Sociologia Rural dentre os artigos mais bem colocados a nível internacional – dentro do escopo da base de dados Scopus e a partir do parâmetro da citação.

Scalon e Miskolci (2018) já haviam confirmado a tendência positiva da internacionalização da produção científica sociológica ao longo do tempo, a partir de análises da plataforma Scival, vinculada à base Scopus. Para os autores (2018, p.128) a internacionalização, em termos de publicação, está relacionada ao processo de divulgação do trabalho acadêmico em veículos com conselhos, políticas editoriais e audiências efetivamente globais. O resultado deste artigo concorda com os achados de Scalon e Miskolci (2018) e avança na identificação das temáticas – de interesse internacional – que ocupam patamares de destaque no meio sociológico brasileiro. Com base nessa observação das publicações mais globalmente citadas, a subárea da Sociologia Rural e temas correlatos à agroecologia e agroeconomia despontam nesse cenário internacional.

Construção de microdados a partir da Plataforma Lattes

Uma segunda proposta metodológica de análise da dinâmica do campo da Sociologia no Brasil, no bojo dos estudos métricos da ciência, trata da desfragmentação e reorganização dos dados obtidos a partir da coleta de currículos Lattes dos docentes vinculados ao campo observado.

De acordo com Mena-Chalco e Cesar Junior (2013), os currículos Lattes são considerados um padrão nacional de avaliação, representando um histórico das atividades científicas, acadêmicas e profissionais de pesquisadores cadastrados na Plataforma Lattes. Os autores (2013) entendem que os currículos foram projetados para mostrar informações públicas e individuais e salientam que a compilação de produções bibliográficas de grupos de usuários “requer um grande esforço manual suscetível a falhas”. O pacote getLattes (Souza e Sabino, 2020), vinculado ao software R, permite o processamento e análise de currículos Lattes previamente baixados. O Quadro 5 sintetiza e categoriza todos os resultados que podem ser alcançados a partir do uso da ferramenta “getLattes”.

Quadro 5

Descrição dos resultados alcançados a partir do pacote getLattes do software R (composição dos microdados)

Fonte: elaboração própria a partir de Souza e Sabino (2020).

Os resultados alcançados pelo pacote getLattes ainda permitem que as listas geradas possam ser desfragmentadas – via a utilização de outros pacotes tecnológicos disponíveis no software R – para a composição de novos conjuntos de microdados (como análises de frequências de palavras-chave contidas nos títulos dos documentos), ou seja, é possível atingir níveis de mensuração da atividade e dinâmica científica ainda mais específicos sobre o conteúdo observado.

Assim, utilizando o arcabouço técnico associado aos procedimentos de compilação e análise dos currículos Lattes presentes no pacote getLattes, é possível obter indicadores de atividades científicas como, por exemplo, o volume da produtividade bibliográfica de artigos científicos do campo da Sociologia ao longo do tempo (Gráfico 2) e a distribuição dessa mesma produção a níveis regional e estadual (Gráficos 3 e 4, respectivamente).

Gráfico 2
Produção de artigos no tempo (1980 a 2020) – selecionados a partir da coorte de docentes ativos do campo da Sociologia no Brasil
Fonte: elaboração própria a partir de dados da pesquisa.

Gráfico 3
Distribuição dos artigos por regiões do Brasil (1980 a 2020) – selecionados a partir da coorte de docentes ativos do campo da Sociologia no Brasil
Fonte: elaboração própria a partir de dados da pesquisa.

Gráfico 4
Distribuição dos artigos por estados do Brasil (1980 a 2020) – selecionados a partir da coorte de docentes ativos do campo da Sociologia no Brasil
Fonte: elaboração própria a partir de dados da pesquisa.

Os Gráficos 2, 3 e 4 apresentam a mesma informação: artigos publicados em periódicos (entre 1980 e 2020) pela coorte de docentes do campo da Sociologia selecionados, porém categorizados e demonstrados de formas distintas. Aqui é importante esclarecer que a origem geográfica do artigo foi baseada na localização da instituição de ensino e pesquisa a que o docente estava vinculado no ano de 2020.

Ainda que esse conjunto de indicadores não explore características intrínsecas dessa produção, pode-se perceber, por exemplo, algumas qualidades que são representativas da composição histórica desse mesmo campo. O destaque produtivo da região Sudeste, especialmente os estados de São Paulo e Rio de Janeiro, que juntos representam 41% de toda a produção científica de artigos (ou 12.432 artigos) – da coorte de docentes selecionada do campo da Sociologia – está relacionado à própria consolidação de uma estrutura acadêmica e científica na segunda metade do século XX.

Sobre isso, Florestan Fernandes, na década de 1950, destacava a relevância e notoriedade da Faculdade de Filosofia, Ciências e Letras da Universidade de São Paulo (USP) para o ensino e pesquisa das ciências sociais, que tinha “alcançado grande progresso em ambas as direções”, concluindo que as ciências sociais se encontravam com grandes possibilidades de desenvolvimento autônomo naquela instituição (1980, p.45-46).

Ainda que o universo do campo da Sociologia brasileira, observado neste artigo, esteja distante do relatado por Florestan Fernandes, o argumento primordial está na construção dos espaços e instituições que abrigam a Sociologia no Brasil. Nesse quesito, Meucci (2000), destacou o Nordeste como berço produtivo dos primeiros manuais de Sociologia no Brasil, já nos primeiros anos do século XX, mas que, “a partir dos anos 1920 houve a transferência radical dos centros de produção cultural do Nordeste para os estados do Sudeste, particularmente Rio de Janeiro e São Paulo” (2000, p.13). No que tange à formação, expansão e composição dos Programas de Pós-Graduação na área da Sociologia, Lima (2019, p.29) observa que os estados do Rio de Janeiro e São Paulo mantiveram a concentração da produção no Sudeste, detendo o maior número desses programas no país.

Em síntese, os indicadores construídos a partir dos microdados coletados e analisados da Plataforma Lattes permitem compreender: como é (ou está) configurado o campo da Sociologia a partir da identificação de seus atores e instituições; a distribuição do conhecimento em território nacional; as atividades científicas e disciplinares em prol da reprodução da ciência sociológica; como e quando o campo é financiado por agências de fomento e quais temáticas recebem aportes; a trajetória e mobilidade acadêmica dos atores do campo e a influência desse movimento no próprio fazer sociológico; os efeitos e impactos geográficos na construção e constituição dos conhecimentos da área; a relevância e impacto do trabalho docente no ambiente acadêmico; a identificação dos casos de interesse sociológico e outros. Todo esse esforço quantitativo tem, ainda, o potencial de possibilitar discussões, para auxílio de análises qualitativas, em benefício de reflexões sobre a própria formação e manutenção do campo da Sociologia no Brasil e suas relações, interesses e disputas com as estruturas políticas, econômicas e sociais vigentes.

Considerações finais

Os estudos métricos da ciência – a cientometria – mesmo limitados às análises e interpretações quantitativas da ciência, via investigação da produção bibliográfica e trajetória acadêmica, conseguem apontar tendências temáticas, bem como auxiliar na identificação do circuito do conhecimento pertencente ao próprio do campo científico observado. Wyatt et al. (2015) vão além e entendem que a metodologia cientométrica tem a capacidade de ser, ela própria, uma ferramenta de política pública, a partir da construção de mapas da ciência que podem servir para justificar o investimento em dadas áreas do conhecimento.

A utilização da  cientometria para caracterizar o campo da Sociologia demonstra que esse campo pode ser acessado a partir dos resultados científicos (produção bibliográfica) e acadêmicos (trajetórias acadêmicas e profissionais dos indivíduos e instituições observados), a fim de compreender o que Florestan Fernandes (1980, p.50-76) chamou de “padrão de trabalho científico dos sociólogos”, que pode ser examinado à luz das “obrigações, dos procedimentos e dos ideais que possuem caráter universal”, ou seja, sem as determinações externas promovidas pelas instituições às quais os profissionais estão vinculados. Entendemos aqui que a produção científica seja, ela própria, a representação desses ideais de caráter universal e que, quando mapeada, oferece uma compreensão das potencialidades e diversidades do campo sociológico.

Entretanto, a um aprofundamento necessário, seguindo inclusive os resultados de Fernandes (1980), caberá identificar e analisar a (possível) interferência do meio na produtividade e, consequentemente, na própria rotina científica. O autor (1980, p.51) reconhece que as “condições sociais ambientes exercem uma influência ativa e contínua na organização e funcionamento das instituições científicas, bem como na formação do horizonte intelectual do cientista”.

Devemos considerar que a institucionalização da área veio acompanhada por políticas públicas de expansão do ensino superior e de apoio à ciência, com uma vinculação das verbas para pesquisas e bolsas de estudo à produção materializada na difusão dos conhecimentos produzidos através das publicações. Isso não apenas no Brasil, mas globalmente. Com isso, indicadores, indexadores e outros instrumentos foram criados para medir essa produtividade. Sua utilização incorpora as lutas do campo científico de uma forma geral, no qual o embate entre as ciências “duras” e as Humanidades é permanente, com forte hegemonia das primeiras, o que pode explicar alguns excessos na metrificação da produção, desconsiderando as especificidades das diversas áreas e ciências.

Para efeito mais exploratório da dinâmica do campo sociológico brasileiro, a metodologia cientométrica é uma ferramenta importante para medir e possibilitar uma maior compreensão do desenvolvimento da área, sua institucionalização, produção e, mesmo, os prováveis impactos do conhecimento produzido no país como um todo e em suas diversas regiões.  O exemplo da “Agroecologia”, como área mais presente nas citações internacionais em sociologia e ciências sociais, é ilustrativo de um parâmetro de qualidade obtido através de indexadores, assim como de seus limites. Os diversos bancos de dados e indexadores, possibilitam entradas, acesso a informações que isoladas são insuficientes, mas que em conjunto permitem um painel de como a ciência sociológica se desenvolve entre nós.

Referências

Adorno, Sergio, & Ramalho, João R. (2018). A pós-graduação em Sociologia e a experiência de avaliação da CAPES. Revista Brasileira de Sociologia, 6(13), 27-57. https://doi.org/10.20336/rbs.257

Aquino, Jackson A. (2014). R para cientistas sociais. Editus.

Aria, Massimo, & Cuccurullo, Corrado. (2017). Bibliometrix: An R-tool for comprehensive science mapping analysis. Journal of Informetrics, 11(4), 959-975. https://doi.org/10.1016/j.joi.2017.08.007

Bastian, Mathieu, Heymann, Sebastien, & Jacomy, Mathieu. (2009). Gephi: an open source software for exploring and manipulating networks. In Third international AAAI conference on weblogs and social media.

Bourdieu, Pierre. (1983). O campo científico. In R. Ortiz (org.), Sociologia (pp. 122-155). Ática, 1983.

Brasil Jr., Antônio S. & Carvalho, Lucas C. (2020). O impacto da sociologia: cultura de citação e modelos científicos. Revista Brasileira de Sociologia, v. 08, n. 20, p.248-269, set/dez.

Cabanac, Guillaume. (2018). What is the primordial reference for...?—Redux. Scientometrics, 114(2), 481-488. https://doi.org/10.1007/s11192-017-2595-4

Campos, Luiz Fernando de B. (2007). Metadados digitais: revisão bibliográfica da evolução e tendências por meio de categorias funcionais. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, 12(23), 16-46.

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). (2019). Termo de Adesão e de Condições de Uso Sistema de Currículos da Plataforma Lattes. Disponível em https://wwws.cnpq.br/cvlattesweb/pkg_cv_estr.termo

Davyt, Amilcar, & Velho, Lea. (2000). A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro? História, Ciências, Saúde-Manguinhos, 7, 93-116. https://doi.org/10.1590/S0104-59702000000200005

Faria, Leandro I. L. (2015). Bibliometria [Apostila]. Universidade Federal de São Carlos.

Fernandes, Florestan. (1980). A sociologia no Brasil: contribuição para o estudo de sua formação e desenvolvimento. Vozes.

Garcia, Maria M. A. (1996). O campo das produções simbólicas e o campo científico em Bourdieu. Cadernos de pesquisa, (97), 64-72.

Garfield, Eugene. (2007). The evolution of the science citation index. International microbiology, 10(1), 65. http://dx.doi.org/10.2436/20.1501.01.10

Garfield, Eugene. (1996). What is the primordial reference for the phrase ‘publish or perish’? [commentary]. The Scientist, 10(12), 11.

Hayashi, Maria C. P. I. (2012). Sociologia da ciência, bibliometria e cientometria: contribuições para a análise da produção científica. In Seminário de Epistemologia e Teorias da Educação.

Hicks, Diana, Wouters, Paul, Waltman, Ludo, De Rijcke, Sarah, & Rafols, Ismael. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature News, 520(7548), 429. https://doi.org/10.1038/520429a

Lima, Jacob C. (2019). A reconfiguração da sociologia no Brasil: expansão institucional e mobilidade docente. Interseções. Revista de Estudos Interdisciplinares, 21(1). https://doi.org/10.12957/irei.2019.42300

Meadows, Arthur J. (1999). A comunicação científica. Briquet de Lemos.

Mena-Chalco, Jesus P., & Cesar Jr., Roberto M. (2013). Prospecção de dados acadêmicos de currículos Lattes através de scriptLattes. In M. Hayashi & J. Leta (org.), Bibliometria e cientometria: reflexões teóricas e interfaces (pp. 109-128). Pedro & João.

Merton, Robert K. (2013). Ensaios de sociologia da ciência (A. Marcovich & Terry Shinn, org. e posfácio). Editora 34.

Merton, Robert K. (1942). Science and technology in a democratic order. Journal of legal and political sociology, 1(1), 115-126.

Meucci, Simone. (2000). A institucionalização da sociologia no Brasil: os primeiros manuais e cursos. [Dissertação de Mestrado, Universidade Estadual de Campinas].

Nascimento, Dandara. S. A.; Souza, Roney. F.; Silva Junior, Jaim. J.; Silva, Lucas. R. (2021). Projeções exponenciais da ciência brasileira: modelos e análises quantitativas da produção científica nacional publicada nos últimos 30 anos. Informação & Informação, 26(1), 53-73. https://doi.org/10.5433/1981-8920.2021v26n1p53

Parra, Mauricio R., Coutinho, Renato X., & Pessano, Edward F. C. (2019). Um breve olhar sobre a cienciometria: origem, evolução, tendências e sua contribuição para o ensino de ciências. Revista Contexto & Educação, 34(107), 126-141. https://doi.org/10.21527/2179-1309.2019.107.126-141

Patrus, Roberto, Shigaki, Helena B., & Dantas, Douglas C. (2018). Quem não conhece seu passado está condenado a repeti-lo: distorções da avaliação da pós-graduação no Brasil à luz da história da Capes. Cadernos EBAPE. BR, 16, 642-655. https://doi.org/10.1590/1679-395166526

Price, Derek S. (1963). Little Science, Big Science. Columbia University Press.

Price, Derek S. (1965). Networks of scientific papers. Science, 149(3683), 510-515. https://doi.org/10.1126/science.149.3683.510

Price, Derek S. (1986). Little science, big science... and beyond. Columbia University Press.

Scalon, Celi, & Miskolci, Richard. (2018). Internacionalização: balanço e desafios para a sociologia brasileira. Revista Brasileira de Sociologia, 6(13), 122-135. https://doi.org/10.20336/rbs.261

Shinn, Terry, & Ragouet, Pascal. (2008). Controvérsias sobre a ciência: por uma sociologia transversalista da atividade científica. (Tradução de Pablo Rubén Mariconda e Sylvia Gemignani Garcia). Editora 34.

Silva, José A.D., & Bianchi, Maria D.L.P. (2001). Cientometria: a métrica da ciência. Paidéia, 11(20), 5-10. https://doi.org/10.1590/S0103-863X2001000200002

Silva, Lucas R. (2018). Evolução do campo acadêmico de engenharia naval e oceânica no Brasil. [Tese de Doutorado, Universidade Estadual de Campinas].

Silva, Lucas R. & Souza, Roney F. (2020). Covid-19: uma análise da diversidade científica e acadêmica brasileira. Boletim informativo: DPCT/Covid-19.

Silva, Marcia R. da, Hayashi, Carlos R. M., & Hayashi, Maria C. P. (2011). Análise bibliométrica e cientométrica: desafios para especialistas que atuam no campo. InCID: revista de ciência da informação e documentação, 2(1).

Sistema de Disseminação de Informações (SDI). (2020). Programas da Pós-Graduação Stricto Sensu no Brasil 2019/2020 [Dados Abertos – CAPES].

Souza, Roney F. & Sabino, Winicius. (2020). getLattes: Read and process data from Lattes currriculum platform. Zenodo. http://doi.org/10.5281/zenodo.3782764

Spinak, Ernesto. (1998). Indicadores cienciométricos. Ciência da informação, 27(2). https://doi.org/10.18225/ci.inf..v27i2.795

Van Dalen, Hendrik P. (2021). How the publish-or-perish principle divides a science: the case of economists. Scientometrics, 126, 1675-1694. https://doi.org/10.1007/s11192-020-03786-x

Velho, Léa. (1997). A ciência e seu público. Transinformação, 9(3), 16-32.

Vessuri, Hebe. (1987). La revista científica periferica. El caso de Acta Científica Venezolana. Interciencia, 12(3), 124-134.

Wyatt, Sally, Milojevi?, Staša, Park, Han, & Leidesdorf, Loet. (2015). Quantitative and qualitative STS: the intellectual and practical contributions of scientometrics. SSRN. http://dx.doi.org/10.2139/ssrn.2588336

Notas

Autor notes