Ultrapassando as barreiras de conversão e tratamento de dados: indicadores de produção científica dos programas de pós-graduação em engenharia de materiais e metalúrgica

Overcoming the conversion barriers and processing of data: scientific production indicators of the post-graduation program in materials and metallurgical engineering

Este trabalho está sob uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

O sistema de pós-graduação do Brasil contribui para a formação de recursos humanos de alto nível e para a construção de um retrato mais fiel da realidade nacional, graças à sistematização e à institucionalização da prática científica de investigação, ao mesmo tempo em que forma novas gerações de professores e pesquisadores (SEVERINO, 2006). É possível afirmar que o Sistema Nacional de Pós-graduação (SNPG) é um fator estratégico para o processo de desenvolvimento socioeconômico e cultural da sociedade brasileira (SANTOS; AZEVEDO, 2009).

O reconhecimento do SNPG como uma iniciativa de sucesso, por parte da comunidade científica nacional e internacional, deve-se ao formato e à seriedade que as políticas públicas para a pós-graduação tomaram em termos de definições e das ações voltadas para esse setor, o que se expressou, em grande medida, pela sua expansão contínua e com qualidade nos últimos 40 anos. Esse sucesso se traduz em números e estatísticas, frutos do rígido processo de avaliação criado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e realizado por pares vinculados a instituições de ensino superior das diferentes regiões do país (CURY, 2005; SANTOS; AZEVEDO, 2009).

A Capes, vinculada ao Ministério da Educação (MEC), desempenha papel fundamental na expansão e consolidação da pós-graduação stricto sensu em todos os estados da Federação. Sua atuação pode ser agrupada nas seguintes linhas de ação: a) avaliação da pós-graduação stricto sensu; b) acesso e divulgação da produção científica; c) investimentos na formação de recursos humanos de alto nível no país e exterior; d) promoção da cooperação científica internacional; e e) indução e fomento da formação inicial e continuada de professores para a Educação Básica nos formatos presencial e a distância (COORDENAÇÃO..., 2016).

Criado em 1976, o Sistema de Avaliação da Pós-graduação da Capes tem por objetivo avaliar e acompanhar criteriosamente o desempenho da pós-graduação e da pesquisa científica e tecnológica no Brasil. Outros objetivos incluem autorizar e reconhecer os cursos com base em padrões pré-estabelecidos, impulsionar por meio de metas e desafios o SNPG, contribuir para o aprimoramento e eficiência de cada programa de pós-graduação e subsidiar políticas de desenvolvimento e ações de fomento (COORDENAÇÃO..., 2016).

O Sistema de Avaliação da Pós-graduação da Capes, continuamente aperfeiçoado, serve de instrumento para a comunidade universitária na busca de um padrão de excelência acadêmica para os cursos de mestrados e doutorados nacionais. A avaliação é feita em dois processos alicerçados em um mesmo conjunto de princípios e normas, sendo conduzida por comissões de consultores de alto nível, vinculados a instituições das diferentes regiões do país. O primeiro processo avalia anual e trienalmente o desempenho dos programas de pós-graduação (PPG) que integram o SNPG e como resultados são atribuídas notas (escala de 1 a 7) que fundamentam a renovação de reconhecimento pela Capes para o triênio subsequente. O segundo processo avalia a admissão de cursos novos de pós-graduação, no qual é verificada a qualidade das propostas e o atendimento aos critérios para sua incorporação no SNPG (COORDENAÇÃO..., 2016). Os resultados da avaliação são externalizados em números e estatísticas sobre os programas avaliados, como por exemplo: número de alunos, número de titulados, composição do corpo docente; número de publicações de artigos por estrato QUALIS, número de patentes; número de livros e capítulos, dentre outros. Essas informações são disponibilizadas à sociedade, em acesso público, na forma de relatórios das avaliações trienais, por meio do site da Capes (COORDENAÇÃO..., 2016), atendendo à Lei 12.527 de 18 de novembro de 2011 de Acesso à Informação (LAI), na qual a Administração Pública responde a pedidos de informação do cidadão.

Segundo Dowbor (2004), a informação é um recurso precioso e um poderoso racionalizador das atividades sociais. Preciosa também é a nossa limitada capacidade de atenção, hoje inundada por gigantescas quantidades de informações que, por vezes, nos desorienta. Apesar das iniciativas da Capes em dotar o país de um eficiente banco de dados sobre a situação e evolução da pós-graduação, há uma subutilização das informações pelos atores envolvidos no Sistema Nacional de Pós-graduação devido à forma e ao volume de dados disponibilizados. Na ausência de informações articuladas, o comportamento dos atores se orienta em função da vantagem individual e do curto prazo, perdendo-se a função racionalizadora da informação sistêmica.

Essa subutilização pode ser constatada, por exemplo, ao se acessar o Relatório de Avaliação Trienal (COORDENAÇÃO..., 2016) sobre a área do conhecimento classificada como Engenharias II, pertencente à Grande Área das Engenharias, composta por programas de pós-graduação nas seguintes subáreas: Engenharia Química, Engenharia Nuclear, Engenharia de Materiais, Engenharia Metalúrgica e Engenharia de Minas. O relatório da área apresenta de forma desagregada informações gerais sobre o número de programas em relação ao conceito, totais de publicações (periódicos, congressos) e totais de titulados. Assim, essas informações não possibilitam a identificação e comparação dos desempenhos individuais entre os programas avaliados. Como contraexemplo, pode-se citar o site da National Science Foundation (NSF) (NATIONAL...2016), que viabiliza a análise comparativa de desempenho entre as unidades que compõem o seu SNPG.

Outra limitação na apresentação das informações está relacionada à falta de indicadores com base nas publicações científicas e na produção intelectual discriminadas nas coletas da Capes. Por exemplo, os relatórios, apesar de trazerem informações bibliográficas sobre as publicações, não possibilitam a identificação dos principais mecanismos de divulgação utilizados pelos pesquisadores dessa área. As informações apresentadas sobre os diversos cursos da área (Engenharias II) não viabilizam o suporte necessário, principalmente aos dirigentes dos PPG, para tomar decisões e poder agir com base nos resultados das avaliações individuais dos diversos PPG. Apesar das iniciativas atuais da Capes com a implementação da Plataforma Sucupira, o desafio que se apresenta é o da organização da informação sobre o SNPG, na forma de indicadores, que respondam às necessidades práticas dos atores sociais que intervêm no processo de desenvolvimento do SNPG e colaborem na elaboração de políticas públicas em ciência e tecnologia.

Visando contribuir para o avanço do conhecimento sobre o SNPG e de metodologias para a elaboração de indicadores bibliométricos, o presente estudo teve como objetivo a elaboração e análise de indicadores baseados em dados do SNPG, a partir de dados presentes nos Cadernos de Indicadores dos Cursos Recomendados e Reconhecidos pela Capes. Esse conjunto de dados foi selecionado para permitir a identificação e comparação de eventuais diferenças nas culturas de investigação científica dos diversos programas de pós-graduação e a respectiva avaliação da evolução desses programas. Espera-se que os resultados e a discussão deste estudo contribuam para o aprimoramento das iniciativas compreendendo a elaboração de indicadores de produção científica e tecnológica do Brasil, consequentemente para o aperfeiçoamento do SNPG, ao proporcionar uma melhor compreensão das dinâmicas de atuação dos programas e pesquisadores.

Os indicadores de produção científica vêm se aprimorando e ganhando importância crescente como instrumentos para análise da atividade científica e das relações com o desenvolvimento econômico e social. A construção de indicadores quantitativos, também chamados bibliométricos, tem sido incentivada por órgãos internacionais e nacionais de fomento à pesquisa como meio para se obter compreensão mais acurada da orientação e da dinâmica da ciência, de forma a subsidiar o planejamento de políticas científicas e avaliar seus resultados. Os indicadores de produção científica têm contribuído de forma definitiva para a análise do desempenho e melhoria da eficiência dos sistemas nacionais de ciência, tecnologia e inovação (GREGOLIN et al., 2005)

No Brasil, o Ministério da Ciência e Tecnologia e Inovação (MCTI) e a Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) têm liderado estudos importantes sobre indicadores de ciência e tecnologia, incluindo os de produção científica (FUNDAÇÃO..., 2005, 2011; MINISTÉRIO..., 2015). Nos EUA, a NSF está na 9ª atualização de seus Science and Engineering Indicators (NATIONAL..., 2016) e na Europa o Directorate-general for Research realiza estudos para subsídio às políticas públicas europeias (EUROPEAN..., 2016.

Os indicadores de produção científica são dados estatísticos usados para revelar aspectos simplificados de uma realidade complexa. Eles são elaborados com a técnica de bibliometria, a partir da contagem de registros bibliográficos de publicações extraídos de bases de dados. Há indicadores de produção, de citação e de ligação (ou colaboração/cooperação) (CALLON; COURTIAL; PENAN, 1993; OKUBO, 1997). Os indicadores de produção revelam características dos resultados de pesquisa e são construídos pela contagem de número de publicações por ano, instituição, país, área do conhecimento etc. O indicador básico é o número de publicações, mas são usadas também distribuições percentuais, taxas de crescimento, cálculos de produtividade e outros. Os indicadores de citação de publicações baseiam-se na contagem das citações recebidas por ano, publicação, instituição, país etc. Eles refletem o impacto das publicações junto à comunidade científica, mas não devem ser entendidos como indicadores de qualidade das publicações. O indicador básico é o número de citações recebidas, sendo muito usado pela comunidade científica o indicador Fator de Impacto (FI) do Journal of Citation Reports (JCR/ISI). Os indicadores de ligação são baseados em coocorrência de elementos numa mesma publicação. São úteis para a análise de colaborações científicas, redes de relacionamento e mapeamento do conhecimento. Os indicadores básicos de ligação são os números de coautorias, de cocitações e de coocorrências de palavras-chave (FARIA; GREGOLIN; HOFFMANN, 2007).

Nos últimos anos, os indicadores de colaboração científica têm despertado significativo interesse dos pesquisadores e agências de fomento. A FAPESP, por exemplo, procurou ampliar a cobertura dada aos indicadores de colaboração científica no capítulo de indicadores bibliométricos da edição de 2008 dos Indicadores de Ciência e Tecnologia em São Paulo em relação à edição anterior (GREGOLIN et al, 2005). Esse interesse deveu-se a diversos fatores: a) a crescente complexidade das atividades relativas à pesquisa científica, exigindo a combinação de competências múltiplas que são encontradas em grupos de pesquisadores trabalhando em colaboração (CASTRO, 2005); b) a existência de políticas públicas voltadas para a formação de redes de pesquisa no país, como os Programas Biota e Genoma, a rede Recope e o Fundo Verde e Amarelo; c) o avanço ocorrido nas tecnologias de informação e comunicação que favorecem a interação entre pesquisadores de diferentes localidades, instituições e comunidades científicas (FARIA; GREGOLIN; HOFFMANN, 2007); e d) o avanço ocorrido nas metodologias e na disponibilização de ferramentas bibliométricas e para análise de redes sociais atraiu o interesse de diversos pesquisadores para o seu uso na análise da colaboração científica (BALANCIERI et al, 2005; VANZ, STUMPF, 2008).

Há várias iniciativas compreendendo a elaboração de indicadores de produção científica como os já citados por Gregolin et al (2005); em especial na área de Engenharia II e correlatas, pode-se citar como exemplo os trabalhos de Faria (2001), Porter et al. (2007), Kostoff, Koytcheff e Lau (2008), Youtie, Shapira e Porter (2008), Kay e Shapira (2008), Oliveira (2012) e Milanez et al. (2013). Esses trabalhos contribuíram, em especial, para uma melhor compreensão da área e para a elaboração de políticas de Ciência e Tecnologia. A principal limitação desses trabalhos aqui apresentados e que representam as principais iniciativas na elaboração de indicadores é que eles foram elaborados a partir da análise bibliométrica dos dados referenciais recuperados junto às bases de dados multidisciplinares, como por exemplo, ISI Web of Knowledge, selecionadas pelo seu rigor metodológico na indexação de periódicos e documentos de patente.

Segundo Okubo (1997), não existe uma base de dados com abrangência mundial que incorpore todas as publicações (artigos, livros, capítulos, relatórios) de uma área. Nesse sentido, as bases de dados comumente utilizadas na elaboração de indicadores não retratariam a real situação dos programas de pós-graduação no Brasil, por não abranger todas as publicações das áreas e pela dificuldade em identificar a publicação em relação ao programa de pós-graduação em que foi realizada. Essa limitação das bases de dados não permite realizar comparações de desempenho entre os programas de pós-graduação brasileiros. O desafio colocado é a identificação de uma base de dados que apresente as publicações das áreas do conhecimento e, ainda que possibilite identificar as publicações em relação aos programas de pós-graduação dos quais elas são oriundas. Isso possibilitaria, com base nos estudos bibliométricos, comparar o comparável (POLL, 2008).

Devido às características do problema pesquisado, foi utilizada a abordagem de pesquisa quantitativa (BRYMAN, 1989; CRESWELL, 1994). O método utilizado foi o estudo de caso exploratório (YIN, 2001). A unidade caso foi a área de Engenharias II: subárea Engenharia de Materiais e Metalúrgica, ligada ao estudo, ao desenvolvimento, à produção e à utilização de materiais com aplicação tecnológica (ISHIKAWA, 2010, p. 13). "A Engenharia de Materiais caracteriza-se pela geração e aplicação de conhecimentos que relacionam a composição dos materiais, bem como o processamento, suas propriedades e aplicações" (LIBARDI, 2010, p. 18). O profissional formado em Engenharia de Materiais pode atuar em diversas áreas dentro da indústria aeronáutica, petroquímica, siderúrgica, vidros, pisos, entre outras, e também prosseguir na área acadêmica em PPG em Engenharia de Materiais ou áreas correlatas (ISHIKAWA, 2010). A justificativa para a escolha dos PPGs em Engenharia de Materiais e Metalúrgica se justifica pela importante dimensão que essa área representa para a competitividade internacional, ao prover investigação sobre materiais e processos aplicados a diversos domínios tecnológicos (OBSERVATOIRE..., 2010).

A estratégia de coleta de dados foi do tipo documental, pois os dados foram coletados junto aos Cadernos de Produção Bibliográfica dos 26 PPGs atuantes na Engenharias II, subárea Engenharia de Materiais e Metalúrgica, relativos aos triênios 2007-2009 e 2010-2012. Os Cadernos de Produção Bibliográfica estão disponíveis no site da Capes em arquivos Portable Document Format (PDF). Foi necessário, inicialmente, recuperar os arquivos em formato PDF sobre a produção bibliográfica, e, em seguida convertê-los para o formato de Texto Acessível (.txt). Para a conversão foi utilizado o software Adobe Acrobat.

Os Cadernos de Produção Bibliográfica contêm informações relacionadas à produção científica dos PPGs. Optou-se por utilizar as informações relacionadas aos artigos científicos publicados em periódicos devido a sua relevância no processo de comunicação da ciência e também pela importância dada pela Capes. A partir dessa coleta inicial, foi necessário um processo de limpeza dos dados para identificar e eliminar um conjunto de informações excedentes nos arquivos em formato text (.txt), como por exemplo, informações sobre os trabalhos científicos publicados em anais de congresso, informações sobre o cabeçalho ou número de páginas dos Cadernos de Produção Bibliográfica. Esse processo de “limpeza” dos arquivos inicialmente foi realizado de forma manual, o que onerava em termos de recursos, e ainda, o tornava trabalhoso e pouco confiável. Visando automatizar o processo de limpeza, com a identificação e exclusão de informações desnecessárias, e também, identificar o estrato Qualis (A1, A2, B1, B2, B3, B4, B5 e C) dos artigos científicos por ano, foi desenvolvido pela equipe do Núcleo de Informação Tecnológica em Materiais (NIT/Materiais) sob a coordenação do senhor Vitor H. Milanez, o software livre LimpezaArquivo. Esse software foi desenvolvido na linguagem Java IDE NetBeans versão 1.7 da ORACLE (2016) e IDE NetBeans versão 8.0 (NETBEANS, 2016). , e encontra-se disponível no site NIT/Materiais (NÚCLEO... 2016).

Na sequência, com o apoio do software VantagePoint, a bibliometria foi empregada como técnica de análise de informação para elaboração dos indicadores bibliométricos, priorizando os indicadores de publicação e de ligação (cooperação) (VANZ; STUMPF, 2008). Após a realização do processo de “limpeza” e remoção de registros duplicados e de outras inconsistências, foram identificados 5364 registros bibliográficos referentes à produção científica (artigos de periódicos) dos 26 PPGs nos dois triênios analisados: 2007-2009 e 2010-2012. Através da aplicação de tesauros foram incorporadas novas informações aos registros bibliográficos, sobre áreas de conhecimento científico, para os artigos e indexados na base de dados Web of Science. Os procedimentos metodológicos empregados nesta pesquisa na elaboração de indicadores bibliométricos envolveram as etapas apresentadas no Quadro 1 e sintetizadas na Figura 1.

Quadro 1
Procedimentos metodológicos para elaboração de indicadores bibliométricos

Fonte: Elaborado pelos autores.

Figura 1
Síntese dos procedimentos metodológicos
Fonte: Elaborado pelos autores.

Após o tratamento dos dados apresentados nesta pesquisa, foi possível ter acesso às 5364 referências bibliográficas dos artigos científicos publicados pelos 26 PPGs analisados, como por exemplo, nomes dos autores, título do artigo, periódico científico, ano de publicação, e ainda, instituições de origem, a relação do artigo publicado com o PPG, o estrato Qualis do periódico e as áreas de conhecimento dos periódicos indexados na Base de dados Web of Science, com base no ISSN das publicações, dentre outras informações bibliográficas. Assim, com o tratamento realizado e apresentado desta forma, os dados têm inúmeras vantagens sobre as bases de dados comumente utilizadas como fontes de informações para a elaboração de indicadores (COSTA, 2012; VANZ; STUMPF, 2008). Por exemplo, é possível identificar toda a produção científica dos autores dos PPGs, pois essa fonte de informação contempla informações específicas para cada um dos PPGs, não importando a área de conhecimento, o que poderá viabilizar a comparação de desempenho entre áreas similares. As informações bibliográficas presentes nos Cadernos de Produção Bibliográfica são fornecidas diretamente pelos PPGs o que pode legitimar as comparações entre os PPGs de mesma área, algo muito complexo de se realizar com as atuais bases de dados utilizadas nos estudos métricos. Além da relação direta entre artigos e PPG, os Cadernos de Produção Bibliográfica compreendem várias outras tipologias de publicações científicas, e ainda contemplam a classificação dos periódicos (Qualis).

A importância de investigar os indicadores de colaboração científica está relacionada à necessidade de se conhecer o comportamento dos pesquisadores dos PPGs. Por exemplo, muitos autores tratam a colaboração internacional na produção científica como forma de aumentar o prestigio acadêmico da instituição e do próprio pesquisador (SILVA, 2012). Para autores como Baumgarten (2004) se faz necessário conhecer a colaboração nacional, as universidades públicas, por exemplo, localizadas em regiões com melhores condições econômicas e culturais, pois estas conseguiam mais facilmente financiamento para a pesquisa formando centros de excelência principalmente na região Sudeste. Já para Velho e Sousa-Paula (2008) a política de ciência e tecnologia busca atender a descentralização das atividades de produção e uso do conhecimento, desenvolvimento regional e local que promovem os sistemas regionais e locais de inovação e a criação de programas e instrumentos que visam estimular a interação entre atores do sistema nacional de inovação (setor público e setor produtivo) e criar condições favoráveis para que o setor empresarial invista em inovação. A colaboração também evitaria a duplicação de esforços e em especial a duplicação de infraestrutura, desta forma, conhecer como se ocorre a colaboração no contexto nacional é muito relevante para a definição de políticas públicas de C&T.

Na amostra analisada foi possível identificar 5119 artigos científicos publicados sem colaboração entre os PPGs e 245 artigos publicados em colaboração, desses 226 artigos apresentam colaboração entre dois PPGs e 19 registros colaboração entre três PPGs. Ao comparar a quantidade de artigos que foram publicados em colaboração com a quantidade sem colaboração, observa-se que, em média, 4% das publicações da área analisada foram em colaboração. Segundo Schwartzman (2008), na América Latina, a pesquisa é principalmente acadêmica e ocorre em departamentos dentro das universidades que são voltadas à formação profissional, com vínculos fracos com a economia e a sociedade em geral. Para criar esse vínculo, muitos países estão implementando leis e fazendo inovações institucionais, enquanto que grupos de pesquisa estão descobrindo seus vínculos e desenvolvendo sua capacidade de inovação. Porém, conforme demonstrado na Figura 2, observa-se que a produção científica ainda é muito setorizada em grupos de pesquisa departamentais nas universidades, no qual cada grupo tende a produzir de acordo com as necessidades locais e regionais havendo pouca colaboração entre os PPGs. Para Baumgarten (2004), a falta de colaboração científica pode representar uma dificuldade para a implementação das políticas de C&T, pois as produções estão setorizadas. O grande desafio seria realizar ações que estimulem a iniciativa e criatividade dos pesquisadores que atuam em pós-graduação e ao mesmo tempo estabelecer um vínculo entre a pesquisa científica com as necessidades do país (MOREIRA; VELHO, 2008).

A colaboração científica externalizada na produção de artigos em coautoria entre os docentes dos PPGs pode ser visualizada por meio do indicador bibliométrico de duas dimensões, construído a partir do cruzamento das publicações entre os PPGs, representado na Figura 2, com o auxílio do software Gephi (2016), com base na análise de redes. O tamanho da esfera representa o número total de publicações do PPG, as linhas representam as colaborações entre eles e as espessuras das linhas representam a intensidade das colaborações. Assim, quanto maior for a esfera maior será o número de publicações acumulado e quanto maior for a espessura da linha, ligando uma esfera na outra, maior será o número de publicações em colaboração entre os PPGs. É possível observar que há PPG sem relação com os demais, como é o caso dos PPGs CEM/UNIFAL, PPG EM/IFPI e PPG CEM/UNESC. Esses três PPGs foram criados a partir do segundo triênio da pesquisa (2010-2012) e apresentam nota 3 na avaliação da Capes, o que poderia justificar a ausência de colaboração com os demais programas. Os PPGs que apresentaram as maiores quantidades de publicações foram o PPG CEM/UFSCar e PPG EMMM/UFRG e ambos mantiveram nota 7 nos dois triênios analisados. Já os PPGs que tiveram o maior número de colaborações entre eles foram PPG EEMM/UFRJ e o PPG CEM/FUFSE com nota 6 e 4 respectivamente. Em relação aos PPGs que tiveram maiores quantidades de publicações pode se justificar pelo tempo de criação do PPG e pela infraestrutura disponível. O PPG CEM/UFSCar, por exemplo, é um PPG consolidado na área. Na UFSCar, em 1970, foi criado o primeiro curso de graduação na América Latina de Engenharia de Materiais, em 1978, o curso de mestrado e, em 1986, o de doutorado.

Figura 2
Indicador de duas dimensões da colaboração entre os PPGs na somatória dos triênios 2007-2009 e 2010-2012.
Fonte: Elaborado pelos autores com a utilização do software Gephi. A partir da análise da amostra que compreendeu 5364 registros bibliográficos distribuídos entre os estratos Qualis A1, A2, B1, B2, B3, B4 e B5, referentes à produção dos PPGs nos dois triênios 2007-2009 e 2010-2012.

A maior parte dos artigos publicados pelos PPGs das Engenharias II ocorre em periódicos indexados na base de dados Web of Science (WOS). Publicar em revistas indexadas na WoS tem impacto direto no resultado da avaliação dos PPGs, pois o Sistema de Avaliação da Capes faz uso do indicador bibliométrico índice Fator de Impacto (FI) do Journal of Citation Reports (JCR/ISI). Conhecer o desempenho dos PPGs da Área das Engenharias II: subárea Engenharia de Materiais e Metalúrgica, em publicações indexadas pela WoS, poderia auxiliar os gestores dos PPGs na sensibilização dos pesquisadores para optarem por publicar em periódicos indexados na WoS, visando contribuir para uma melhor avaliação do PPG.

Outro indicador importante para os tomadores de decisão, em especial para os que atuam na elaboração de políticas de C&T, é o nível de internacionalização. Segundo Fiorin (2007), o grau de internacionalização da produção científica é um dos critérios considerados mais relevantes para apreciar o mérito dessa produção, sendo a inserção global que indica a participação de um país na produção científica mundial, e a participação brasileira na produção científica mundial tem crescido de maneira significante em periódicos internacionais. Para Baumgarten (2004), as características específicas da área das ciências exatas permitem um alto nível de internacionalização em sua produção científica, caso semelhante ao de áreas biológicas e biomédicas, já outras áreas são mais voltadas para questões nacionais e locais.

Para a elaboração do indicador de internacionalização das publicações científicas são utilizados os dados bibliográficos da base WoS, devido a sua abrangência e reconhecimento internacional (FUNDAÇÃO..., 2011). Portanto, é possível afirmar que se o PPG não publica em revistas indexadas pela WoS não terá bom desempenho nos indicadores de internacionalização, pois o que mensura os resultados da pesquisa é o número de artigos publicados nas revistas internacionais e o seu impacto é determinado pela quantidade de citações recebidas (FIORIN, 2007).

O indicador sobre a evolução das publicações dos PPGs indexadas na WoS poderá auxiliar os tomadores de decisão na gestão dos PPGs, ao prover insights para a sensibilização dos pesquisadores sobre a importância das publicações, para o desempenho do PPG no Sistema de Avaliação da Capes e para a imagem internacional do pesquisador, do PPG e da instituição, de publicarem em revistas indexadas na WoS. Também poderia contribuir para os gestores dos PPGs fazerem comparações dos desempenhos dos diferentes PPGs da sua área de atuação, e assim, realizar correções de percurso, se necessário, caso o comportamento de publicação de seu PPG esteja destoando dos demais, ou ainda, que esse comportamento possa prejudicá-lo em futuras avaliações.

Para a elaboração do indicador de evolução das publicações dos PPGs (Figura 3) indexadas na WoS e em outras bases de dados no período analisado (triênios 2007-2009 e 2010-2012), foi utilizada a amostra de 5356 registros bibliográficos distribuídos dos estratos Qualis A1, A2, B1, B2, B3, B4 e B5, a diferença de registros bibliográficos da amostra utilizada para identificar a colaboração científica entre os PPGs (5364) foi de 8 registros que indicam que foram publicados pelo menos em dois periódicos diferentes. O processo de limpeza removeu os registros duplicados da amostra que apresentavam Qualis e ano de publicações diferentes, porém, apesar dos esforços, ficaram 8 registros que apresentam no campo ISSN a indicação de até três diferentes periódicos, ou seja, que o artigo foi publicado em três diferentes journals, normalmente um em formato completo (papel), outro na forma de resumo e o terceiro em formato digital. Optou-se por mantê-los devido à dificuldade de tratamento e baixa influência na análise dos resultados.

Figura 3
Evolução das publicações dos PPGs indexadas na WoS e outras bases nos triênios de 2007-2009 e 2010-2012.
Fonte: Elaborado pelos autores a partir da análise da amostra que compreendeu 5356 registros bibliográficos distribuídos entre os estratos Qualis A1, A2, B1, B2, B3, B4 e B5, referentes à produção dos PPGs nos dois triênios 2007-2009 e 2010-2012.

Pode-se observar na Figura 3 a evolução das publicações científicas dos PPGs na subárea Engenharia de Materiais e Metalúrgica, indexadas na WoS e em outras bases de dados. As curvas, tanto das publicações científicas indexadas na WoS quanto em outras bases de dados, apresentam o mesmo comportamento, ou seja, durante o triênio de 2007-2009 sofreram uma queda das publicações científicas e durante o triênio de 2010-2012 houve um aumento considerável. A curva das publicações indexadas na WoS aumentou de aproximadamente 450 publicações em 2009 para 700 publicações em 2012, já a curva de publicações indexadas em outras bases de dados aumentou desde 2009 de aproximadamente 190 publicações para 600 publicações. O aumento da curva de publicações indexadas em outras bases de dados foi muito mais significativo em relação à curva da WoS. Aparentemente, as curvas tendem a se encontrarem nas avaliações futuras da Capes. Uma hipótese para o aumento das publicações indexadas em outras bases de dados é explicada por diversos autores, como Baumgarten (2004) e diz respeito à forma de atuação de algumas áreas do conhecimento, em que suas ações de estudo estão voltadas para questões nacionais e locais, sendo que este fato antes não ocorria com a área das Engenharias. Os pesquisadores, portanto, começam a estabelecer um vínculo entre a pesquisa científica com as necessidades do país, visando fortalecer a produção e a aplicação dos conhecimentos científicos e tecnológicos (MOREIRA; VELHO, 2008).

O indicador de representatividade dos PPGs (Figura 4) apresenta o percentual de participação dos PPGs no desenvolvimento do corpo de conhecimento da subárea Engenharia de Materiais e Metalúrgica. Quanto às políticas públicas de C&T, o indicador de representatividade poderá ajudar os gestores a verificar a concentração de esforços existentes em determinadas regiões. Por exemplo, as universidades públicas localizadas em regiões com melhores condições econômicas e culturais conseguem mais facilmente financiamento para a pesquisa, formando centros de excelência principalmente na região Sudeste (BAUMGARTEN, 2004). Esse indicador também viabiliza a comparação da participação de cada um dos PPGs no desenvolvimento do corpo de conhecimento da área, e assim, fornece insights sobre a contribuição do PPG para a área.

A amostra utilizada para elaborar o indicador de representatividade correspondeu a um total de 4083 registros bibliográficos distribuídos nos estratos Qualis A1, A2, B1 e B2, referentes à produção dos PPGs nos dois triênios 2007-2009 e 2010-2012. A amostra analisada apresentou uma diferença de 221 registros bibliográficos entre o tamanho da amostra analisada e o total apresentado na somatória dos totais de cada um dos PPGs, isso ocorreu devido à colaboração entre os PPGs. Na análise optou-se por utilizar apenas os periódicos classificados no estrato Qualis A1, A2, B1 e B2, pois são periódicos classificados no JCR/ISI e, portanto, recebem o maior peso na atribuição das notas do Sistema de Avaliação da Capes, sendo 100%, 85%, 70% e 50% respectivamente. Os estratos Qualis B3, B4 e B5 não foram considerados, pois esses estratos contêm os periódicos que não foram classificados no JCR/ISI ou não foram indexados na base de dados Scielo e nem publicados por associações. Além de apresentar pouca relevância na avaliação trienal da Capes por apresentar pesos 20%, 10% e 5% para as publicações científicas nos estratos B3, B4 e B5, respectivamente. Alguns PPGs que aumentaram a sua representatividade no total de publicações no período de 2010-2012 foram: PPG CEM/UFSCar, PPG CEM/UFCG, PPG CTP/UFRJ, PPG ECM/UENF, entre outros. O PPG CEM/UFSCar no primeiro e no segundo triênio de avaliação recebeu nota 7, o PPG CEM/UFCG recebeu nota 4 na avaliação do primeiro triênio e nota 5 na avaliação do segundo, o PPG CTP/UFRJ recebeu nota 6 na avaliação do primeiro triênio e nota 7 na avaliação do segundo e, por fim, o PPG ECM/UENF no primeiro e no segundo triênio de avaliação recebeu nota 4. Observa-se, portanto, que o aumento na concentração de publicações de um determinado PPG aumentou ou manteve a nota de avaliação da Capes. Os PPGs podem despender esforços em publicações no sentido de melhorar o resultado de sua avaliação, ao priorizar a publicação em periódicos classificados no JCR/ISI, que recebem um peso maior no momento da avaliação.

Figura 4
Representatividade dos PPGs na amostra em função dos artigos mais bem avaliados nos Triênios 2007-2009 e 2010-2012.
Fonte: Elaborado pelos autores a partir da análise da amostra que compreendeu 4083 registros bibliográficos distribuídos entre os estratos Qualis A1, A2, B1 e B2, referentes à produção dos PPGs nos dois triênios 2007-2009 e 2010-2012.

A Capes como organismo público cumpre o seu papel segundo a LAI, ao promover acesso público às informações referentes ao desempenho dos PPGs no seu Sistema de Avaliação, disponibilizando em seu site planilhas, documentos, gráficos entre outras informações. Porém, há uma série de deficiências para que esta informação chegue ao cidadão na forma adequada para apoiar ações de planejamento e de tomada de decisão, como por exemplo: 1) inconsistência dos dados apresentados entre os múltiplos formatos disponibilizados pela Capes, 2) formatos que inviabilizam o tratamento e a análise do desempenho dos diferentes PPGs. Com isso, ao mesmo tempo em que a Capes disponibiliza as informações referentes aos PPGs, essas informações não permitem visualizar comparações de desempenho entres os próprios PPGs. Dessa forma, o cidadão, em especial os tomadores de decisão que atuam junto aos PPGs e/ou na elaboração de políticas públicas, tem acesso à informação pública a respeito do desempenho dos PPGs, mas não sabe tirar proveito desse fato, pois essa informação não está organizada na forma de indicadores.

A metodologia utilizada no desenvolvimento desta pesquisa compreendeu uma sistemática necessária à manipulação, controle dos dados, tratamento e análise na forma de indicadores dos dados bibliográficos disponíveis pela Capes por meio dos Cadernos de Indicadores de Produção Bibliográfica em formato PDF, que se consolidam como uma significativa fonte de informações para a elaboração de indicadores de produção científica, pois foi possível nesta pesquisa ter acesso à referência bibliográfica completa dos artigos publicados pelos PPGs da área de Engenharias II, subárea Engenharia de Materiais e Metalúrgica, como por exemplo: nomes dos autores, instituições, título do artigo, nome, ISSN e estrato Qualis do periódico científico, ano de publicação, entre outras

A elaboração e análise de indicadores de produção científica para os PPGs de uma área específica, a partir das informações presentes nos Cadernos de Indicadores da Capes, pode contribuir para a tomada de decisão mais racional e sustentável a respeito da gestão dos PPGs e implementação e manutenção de políticas públicas de C&T. Na presente pesquisa foi possível elaborar uma série de indicadores que possibilitam analisar e comparar o desempenho dos PPGs na área de Engenharias II: subárea Engenharia de Materiais e Metalúrgica, entre eles: 1) Indicador de colaboração que permitiu identificar a coautoria entre os PPGs nas publicações científicas, contribuindo para os gestores dos PPGs desenvolverem parcerias entre PPGs e para subsidiar os tomadores de decisão que atuam em políticas públicas a ampliarem o desenvolvimento regional e a criação de programas e instrumentos que visem estimular a interação entre os atores do sistema nacional de inovação; 2) Indicador de crescimento e evolução das publicações científicas com o intuito de sensibilizar gestores e a comunidade dos PPGs a desenvolverem esforços para ampliar suas publicações em periódicos indexados na base de dados WoS, devido a sua relevância para a avaliação do PPG e para a internacionalização e visibilidade do PPG; e 3) O indicador de representatividade do PPG permitiu identificar o percentual de contribuição de cada PPG para a criação do corpo de conhecimento da subárea Engenharia de Materiais e Metalúrgica, consequentemente evidenciando a concentração da pesquisa científica nesta área.

Conclui-se que os Cadernos de Indicadores da Capes consolidam-se como uma fonte de informação pública, nacional e disponível, a respeito da produção científica, que viabiliza a construção de indicadores adequados ao processo de tomada de decisão para o desenvolvimento e aperfeiçoamento dos PPGs e também na orientação das políticas públicas de educação, ciência e tecnologia, desde que as barreiras de conversão e tratamento dos dados possam ser vencidas, por meio da aplicação de ferramentas especialistas para o uso e análise da informação.