1 Introdução

O monitoramento e avaliação da ciência se tornaram práticas recorrentes no mundo inteiro a partir dos anos de 1960. O número cada vez maior de cientistas e os escassos recursos destinados à Ciência e Tecnologia (C&T) favoreceram a implementação de uma avaliação com perspectiva mais objetiva para medir o desempenho dos cientistas, das instituições e dos países (LETA, 2011; GINGRAS, 2016). Neste contexto, a Bibliometria e a Cientometria se tornaram metodologias de referência de análise quantitativa da ciência e do desenvolvimento científico (SOLLA PRICE, 1986; GLÄNZEL, 2003). Seus indicadores (produção, colaboração e impacto) são utilizados para analisar a ciência como um processo de informação e de comunicação, cujos resultados têm contribuído nas tomadas de decisões e nas definições de políticas científicas (GLÄNZEL, 2003; LETA, 2011).

No Brasil, os Programas de Pós-Graduação (PPGs), principais promotores do desenvolvimento científico e tecnológico, também são avaliados pela produtividade e pelo impacto. Os padrões de qualidade são estabelecidos pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), fundação vinculada ao Ministério da Educação, responsável pela avaliação, certificação e reconhecimento dos PPGs no país. Os resultados da avaliação compõem diretrizes para a formulação de políticas públicas e de fomento à área de Pós-Graduação (PG); as notas atribuídas aos PPGs (um a sete, sendo que três é a nota mínima) indicam a qualidade do seu desempenho e a sua posição relativa no contexto de sua respectiva área no Sistema Nacional de Pós-Graduação (SNPG) (CAPES, 2018).

Para Dias Sobrinho (2010), “A avaliação é a ferramenta principal da organização e implementação das reformas educacionais.” (DIAS SOBRINHO, 2010, p. 195). Por estar diretamente relacionada às transformações desejadas pelos órgãos governamentais (plano macro), principal fonte de financiamento da pesquisa no Brasil, a avaliação produz mudanças no contexto da universidade. A busca pela certificação de qualidade, com base nas metas propostas, gera impactos, induzindo as instituições a fazerem reformas/mudanças (plano micro) (TRIGUEIRO, 2003; LEITE, 2005) que podem ocorrer tanto nos processos de gestão e na estruturação dos currículos, como também nas prioridades da pesquisa, nas noções de pertinência e na responsabilidade social (DIAS SOBRINHO, 2010).

Manter-se no SNPG, portanto, requer dos PPGs constante reflexão sobre o desempenho recomendado pelas respectivas áreas/CAPES e sobre o desempenho alcançado nos processos avaliativos. Informações sobre o estado da arte dos PPGs colaboram de modo substancial no planejamento de suas atividades e nas tomadas de decisões. Nesta perspectiva, este artigo objetiva apontar novos indicadores e novos procedimentos que poderiam contribuir para aprimorar as políticas de avaliação da CAPES nos Quesitos três (Corpo Discente, Teses e Dissertações), que versa sobre a formação de recursos humanos, e cinco (Inserção Social), que trata do impacto e da inserção do PPG na sociedade, ambos descritos nas Fichas de Avaliação da Plataforma Sucupira. A partir de um Monitoramento e Avaliação de desempenho nos três últimos períodos avaliativos ‒ Trienais 2010 e 2013 e Quadrienal 2017 ‒, tendo o Programa de Pós-Graduação em Ciências Biológicas: Bioquímica, da Universidade Federal do Rio Grande do Sul (UFRGS), como um estudo de caso, o presente estudo buscou:

a) analisar o desempenho do PPG com base nas diretrizes da Área Ciências Biológicas II (CBII);

b) avaliar a inserção social do PPG através da nucleação de egressos nas Instituições de Ensino Superior;

c) identificar as medidas corretivas implementadas;

d) e avaliar o impacto e a viabilidade das Portarias (Portarias dos 8) que recomendam no máximo oito discentes por docente através da produção científica.

1.1 Sistema de avaliação da CAPES

A avaliação do SNPG, composto por 49 áreas, busca a certificação da qualidade da PG e a identificação de assimetrias regionais e de áreas estratégicas do conhecimento para orientar ações de indução no aprimoramento, na criação e na expansão da PG no território nacional. Os itens que compõem os processos avaliativos, no âmbito da formação de recursos humanos e da inserção social, foco deste estudo, estão expressos na Ficha de Avaliação, através do Quesito três - Corpo Discente, Teses e Dissertações e do Quesito cinco - Inserção Social[1] (CAPES, 2017a). O Quesito três possui peso de 35% e analisa o número de teses e dissertações defendidas no período, o equilíbrio nas distribuições das orientações concluídas, a qualidade das teses e das dissertações e o tempo de formação de mestres e doutores (CAPES, 2016). Já o Quesito cinco, com peso de 10%, avalia a inserção e o impacto do PPG em âmbito regional e/ou nacional. Este Quesito, apesar de ter um peso menor comparado aos demais, tem a nucleação (incorporação dos egressos) como um dos pilares para a concessão das notas seis e sete, as mais elevadas:

O segundo critério, “nucleação”, é o de reconhecimento de consolidação e liderança nacional do Programa como formador de pessoal altamente qualificado para a pesquisa e a pós-graduação, contribuindo para a implantação de outros, o que é chamado de “Nucleação”. Assim, este item será avaliado comparativamente para os programas candidatos às notas 6 e 7 pela consolidação do programa como formador de recursos humanos e não apenas como importante centro de produção de pesquisa e pela liderança nacional na nucleação de programas de pós-graduação e de grupos de pesquisa. O desempenho, os destaques e a empregabilidade dos egressos nas suas diferentes facetas deverão ser objeto de cuidadosa análise. Elemento central para a análise deste item será a detecção de egressos que participam ativamente ou contribuíram na criação e consolidação de novos programas, com ênfase na atividade nucleadora dos últimos 10 anos. Adicionalmente poderão ser avaliados neste item os egressos que estabeleceram grupos de investigação consolidados em empresas. (CAPES, 2016, p. 36).

1.2 Justificativa

O PPG em Bioquímica, do Departamento de Bioquímica, do Instituto de Ciências Básicas da Saúde, da UFRGS, foi criado em 1968, com a oferta de mestrado. Em 1992, o PPG passou a oferecer doutorado, tendo como objetivo formar recursos humanos para a pesquisa e para a docência associado à produção intelectual (UFRGS, 2016). Na grande área Ciências Biológicas (CB) da UFRGS, o PPG é reconhecido por ter um quadro de pesquisadores que estão entre os mais produtivos da Universidade (SANTIN, 2013) e, no âmbito da avaliação da CAPES, insere-se na categoria de PPG consolidado e com inserção internacional ao obter notas sete durante as/a Trienais/Quadrienal 2001, 2004, 2007, 2010 e 2017 e nota seis na Trienal 2013 (a nota atribuída neste período ocorreu pelo baixo desempenho na Produção Intelectual).

A realização desta pesquisa se justifica, também, pela preocupação da Área CBII em uma avaliação que permita acompanhar os PPGs em percursos mais longos (CAPES, 2016). A dificuldade apontada por esta área está relacionada a problemas operacionais da Plataforma Sucupira (ferramenta on-line de gestão de informação da PG). A referida Plataforma, apesar de ser reconhecida pelos avanços proporcionados à CAPES e aos PPGs (transparência, confiabilidade, controle, facilidade na análise dos dados, dentre outros avanços) (CAPES, 2014a), mostra-se insuficiente para analisar certas variáveis que são importantes para mensurar o impacto dos PPGs na sociedade, por exemplo: “[...] a de permitir percursos mais longos e derivações nucleadoras como seria o do acompanhamento dos egressos [...]” (CAPES, 2016, p. 17).

Outro ponto importante que motivou analisar o impacto das políticas adotadas é a diretriz recomendada na Portaria nº 1/2012, Art. 2 (CAPES, 2012) e na Portaria nº 174/2014 (CAPES, 2014), Art. 5º: onde os PPGs foram orientados a ter um limite máximo de oito discentes (orientandos) por docente (orientador). Entretanto, na Portaria nº 81/2016 (CAPES, 2016a), Art. 5º, que revoga as Portarias citadas anteriormente, não é estipulado o número de discente por docente, cabendo aos PPGs atenderem às orientações previstas pelo Conselho Técnico e Científico da Educação Superior (CTC-ES) e pela Área (CAPES, 2016a). Contudo, no último Documento de Área CBII (CAPES 2016), não há qualquer menção sobre tal recomendação. Por isso, compreender o impacto sob o ponto de vista da produção científica pode agregar conhecimento à área e incidir na própria política que foi adotada pela CAPES através das “Portarias dos 8” (nomenclatura para se referir às Portarias citadas).

Este estudo vai ao encontro das propostas do PNPG (CAPES, 2010) e da Área CBII (CAPES, 2016), que estabeleceram o princípio da indução estratégica dos PPGs, a fim de aprimorarem os processos de avaliação institucional e obterem informações que permitam avaliar as suas trajetórias – sua evolução diante dos critérios propostos pela área, as medidas corretivas implementadas –, apreciar as suas metas e projetar o seu futuro (informações que não são possíveis de obter diretamente na Plataforma Sucupira através de seus dados brutos, sendo necessária a realização de um Monitoramento e Avaliação (M&A) de desempenho mais aprimorado). Para Sousa (2013), M&A se trata de um:

[...] conjunto de atividades – articuladas, sistemáticas e formalizadas – de produção, registro, acompanhamento e análise crítica de informações geradas na gestão de políticas públicas, de seus programas, produtos e serviços. (SOUSA, 2013, slide 2).

2 Material e métodos

Trata-se de um estudo metodológico descritivo, com uma abordagem qualitativa e quantitativa. Gabriel Junior (2014), que também propõe novos indicadores, aponta que o estudo metodológico se caracteriza pela “[...] averiguação de métodos e procedimentos adotados como científicos, empregados para o desenvolvimento de procedimentos técnicos e operacionais para obtenção dos objetivos”. (GABRIEL JUNIOR, 2014, p. 65). A abordagem qualitativa, aplicada no contexto da Análise Documental (BARDIN, 2009), é considerada uma atividade sistemática que busca compreender os fenômenos educativos e sociais, bem como contribuir com as tomadas de decisões, com o descobrimento e o desenvolvimento de conhecimentos (ESTEBAN, 2010). Esta abordagem “[...] não se preocupa com representatividade numérica, mas, sim, com o aprofundamento da compreensão de um grupo social, de uma organização, etc.” (GOLDENBERG, 1997, p. 34) e “[...] trabalha com o universo de significados, motivos, aspirações, crenças, valores e atitudes [...] dos processos e dos fenômenos que não podem ser reduzidos à operacionalização de variáveis.” (MINAYO, 2002, p. 21-2). Já a abordagem quantitativa, aplicada na perspectiva dos estudos bibliométricos/cientométricos (SOLLA PRICE, 1986; GLÄNZEL, 2003), se vale de dados quantificáveis, por isso, “[...] recorre à linguagem matemática para descrever as causas de um fenômeno, as relações entre variáveis.” (FONSECA, 2002, p. 20). Neste trabalho, ambas as abordagens são utilizadas de modo que uma complementa a outra, possibilitando compreender os fenômenos de uma forma mais abrangente e aprofundada (MINAYO; SANCHES, 1993; GRAMSCI, 1995; FONSECA, 2002).

Aplicaram-se duas metodologias para a realização do M&A do desempenho recomendado pela Área CBII/CAPES e do desempenho alcançado pelo PPG: Análise Documental e análise Bibliométrica/Cientométrica, como demonstrado na Figura 1. A análise corresponde aos três últimos períodos avaliativos da CAPES: Trienais 2010, que compreende os anos de 2007 a 2009, e 2013, 2010 a 2012, e Quadrienal 2017, 2013 a 2016. A Análise Documental é definida como “uma operação ou um conjunto de operações visando representar o conteúdo de um documento sob uma forma diferente da original, a fim de facilitar, num estado ulterior, a sua consulta e referenciação” (CHAUMIER, 1988[2] apud BARDIN, 2009, p. 47), ou seja, “[...] permite passar de um documento primário (em bruto) para um documento secundário (representação do primeiro).” (BARDIN, 2009, p. 47). A Bibliometria é uma disciplina da Ciência da Informação e trata do estudo dos aspectos quantitativos da produção, da dispersão e do uso da informação registrada (TAGUE-SUTCLIFFE, 1992). A Cientometria, segmento da Sociologia da Ciência, é definida como o estudo dos aspectos quantitativos da ciência enquanto uma disciplina ou atividade econômica (TAGUE-SUTCLIFFE, 1992).

Figura 1
Esquema metodológic
Fonte: Elaborado pelos autores.

A Análise de Conteúdo foi aplicada para facilitar a consulta e a referenciação do conteúdo expresso nos documentos do Sistema de Avaliação da Área CBII e o desempenho do PPG nos Quesitos três (Corpo Discente, Teses e Dissertações) e cinco (Inserção Social). Documentos analisados: Documentos de Área Ciências Biológicas II (CAPES, 2010a; CAPES, 2013; CAPES, 2016), Relatórios de Avaliação (CAPES, 2010b; CAPES, 2013a; CAPES, 2017) e Fichas de Avaliação do PPG em estudo (CAPES, 2010c; CAPES, 2013b; CAPES, 2017a). Alicerçados nas Leis, nas Portarias e no PNPG, estes documentos fornecem informações sobre: estado atual da área, características e perspectivas, metas, recomendações, diretrizes e o desempenho de cada PPG (CAPES, 2018). E a análise Bibliométrica/Cientométrica foi aplicada para identificar o quantitativo da atividade científica no que tange aos insumos/inputs (número de docentes permanentes e colaboradores, de discentes, de mestres e de doutores titulados/egressos) e aos produtos/outputs (número de teses, de dissertações e de produção intelectual/produção científica).

A partir das informações do M&A, apontam-se os seguintes procedimentos para mensurar a nucleação, o perfil da formação dos egressos e identificar as medidas corretivas:

a) nucleação - acompanhamento das atividades profissionais dos egressos (doutores). Para isso foram criadas quatro categorias: (1) Docente em Instituição de Ensino Superior (IES); (2) Pós-Doutorado; (3) Outras atuações profissionais; e (4) Currículo Lattes não encontrado ou desatualizado há mais de dois anos/Emprego atual não informado;

b) perfil da formação dos egressos - levou-se em conta a graduação e o Doutorado Sanduíche;

c) medidas corretivas - identificaram-se, pela Análise Documental, as estratégias do PPG para dar conta às recomendações e metas da Área CBII.

Aponta-se também o indicador de coautoria Discente/Docente para avaliar a viabilidade e o impacto das Portarias dos 8. Tais Portarias foram analisadas para avaliar se o número de discentes por docente afeta a produção científica por discente (média). O indicador de coautoria é aplicado para mensurar a colaboração científica em nível nacional e internacional (MACIAS-CHAPULA, 1998; GLÄNZEL, 2003). No presente estudo, a coautoria Discente/Docente reflete a autoria principal do discente em colaboração com o seu orientador. Considerou-se produção intelectual com coautoria Discente/Docente quando:

a) a última autoria é do docente permanente do PPG e a primeira é do discente;

b) a publicação ocorreu entre a Data de Ingresso do discente no PPG e a Data de Defesa mais um ano.

O número de discentes (mestrado e doutorado) corresponde ao do período de 2007 a 2016, classificados por semestres (data de ingresso e data defesa; há casos de discentes com o curso em andamento). Desse modo, criaram-se dois grupos para avaliar as Portarias dos 8: Grupo um, até oito discentes (docentes que tiveram menos de oito discentes em todos os semestres); e Grupo dois, mais de oito discentes (docentes que tiveram mais de oito discentes em um ou mais semestres). Para identificar se houve diferença significativa entre os dois grupos, foi aplicado o Teste t (T-Test) através do SPSS; o gráfico foi feito no GraphiPad 6.

Fontes de coleta de dados:

a) documentos - acesso público, disponíveis no site da CAPES;

b) produção intelectual - publicações declaradas à CAPES, pelo PPG, nos processos avaliativos, obtidas através da Coleta CAPES e Plataforma Sucupira. O Qualis utilizado corresponde ao dos períodos avaliados. Consultou-se a Web of Science (WoS)/Journal Citation Reports (JCR) para ver as publicações indexadas;

c) número de docentes permanentes, docentes colaboradores, discentes, mestres e doutores titulados - coleta CAPES, Plataforma Sucupira e Secretaria do PPG;

d) atuação profissional e perfil (Formação e Doutorado Sanduíche) dos egressos - Currículo Lattes, coleta em janeiro de 2017. Foi considerada a última graduação e atuação profissional.

3 Resultados e discussão

Os resultados e discussão deste estudo são apresentados em duas seções. Na primeira, apresenta-se o desempenho do PPG em Bioquímica em relação às diretrizes da Área CBII nos Quesitos três e cinco. A seguir, apontam-se os procedimentos adotados para ampliar os parâmetros de avaliação: inserção social pela nucleação, perfil da formação dos egressos e medidas corretivas. Na segunda seção, são apresentados os resultados da aplicação do indicador de coautoria Discente/Docente para avaliar a viabilidade e o impacto das Portarias dos 8.

3.1 Desempenho do PPG em Bioquímica na formação de recursos humanos e na inserção social

O PPG titulou, de 2007 a 2016, 227 mestres e 210 doutores. Do conjunto de mestres titulados, 209 (92%) deles foram orientados por docentes permanentes, e 18 (8%) por docentes colaboradores. Já dentre os doutores titulados, 171 (81%) foram orientados por docentes permanentes, e 39 (19%) por docentes colaboradores (Figura 2).

Figura 2
Número de mestres e doutores titulados pelo Programa (por Docentes permanentes e colaboradores) e corpo docente permanente

Legenda: do total acima descrito, os docentes colaboradores tiveram a seguinte participação em orientações concluídas: Trienal 2010 (2007-2009) foram 12 mestrados e 24 doutorados, representando, sobre o total, 19,3% e 33,8% respectivamente; Trienal 2013 (2010-2012) foram dois mestrados e 15 doutorados, 2,5% e 26,7%; Quadrienal 2017 (2013-2016): quatro mestrados e zero doutorados, 4,6% e zero.

Fonte: Elaborado pelos autores

O desempenho do PPG em relação às avaliações realizadas pela CAPES nas Trienais 2010 e 2013 e na Quadrienal 2017, no Quesito três - Corpo Discente, Teses e Dissertações, que tem peso de 35%, foi de parecer Muito Bom (MB) para todos os itens, Quadro 1. A Comissão de Avaliação deu destaque à exigência de publicação dos resultados de pesquisa, em periódicos indexados no JCR, pelos discentes em conjunto com seus respectivos orientadores: “O fato dos estudantes publicarem em periódicos indexados mostra que seus resultados estão sendo avaliados e aprovados por pares internacionais [...]” (CAPES, 2010c, p. 3).

Contudo, na Trienal 2010, a Comissão questiona o papel dos docentes colaboradores envolvidos nas orientações. Mas, na Trienal 2013, no Quesito um: Proposta do Programa, os avaliadores reconhecem o esforço do PPG em diminuir gradativamente a participação dos docentes colaboradores nas orientações. Na Quadrienal 2017, observa-se que o PPG acatou as recomendações da Comissão, pois o número de titulados por docentes colaboradores foi ínfimo em comparação com as Trienais 2010 e 2013 (Figura 2): apenas quatro mestres foram titulados por esta categoria.

Os índices da relação entre o número de dissertações e teses defendidas em relação ao corpo docente permanente do PPG (Quadro 1, item 3.1) são semelhantes nos três períodos e estão acima das metas da Área CBII. Em 2010, o índice foi de 4,36; em 2013, foi de 4,70, e, na Quadrienal 2017, o índice foi de 4,84, com índice ponderado de 7,32. Já a relação entre o total de teses e de dissertações defendidas pela dimensão do corpo discente do PPG resultou nos seguintes índices: 1,58 (2010) e 1,10 (2013).

Quadro 1
Pareceres e índices referentes ao Quesito 3 emitidos pela CAPES nas Fichas de Avaliação do Programa de Pós-Graduação em Ciências Biológicas: Bioquímica/UFRGS e Referencial da Área CBII: Trienais 2010 e 2013 e Quadrienal 2017

Legenda: Fórmula utilizada pela Área: Item 3.1, ∑[Dissertações + (2 x teses)]/número médio de docentes permanentes no triênio e ∑[Dissertações + (2 x teses)]/número médio de alunos no triênio. Item 3.3, ∑ dos trabalhos publicados com coautoria discente/∑ das dissertações e teses no triênio.

Fonte: Adaptado de CAPES (2010b; 2010c; 2013a; 2013b; 2017a; 2017b).

Ao analisar a distribuição das orientações de teses e de dissertações defendidas no período, em relação ao corpo docente do PPG (Quadro 1, item 3.2), observou-se que, nas Trienais (2010 e 2013), nem todos os docentes permanentes titularam mestres e doutores (Figura 2). Na Trienal 2010, o percentual de docentes permanentes que tiveram orientações concluídas (M e D) foi de 84,8% e, na Trienal de 2013, foi de 70,0%. Neste último período, visto que o PPG ficou abaixo da meta da área (Quadro 1, item 3.2), a Comissão de Avaliação criticou o desequilíbrio existente na distribuição de orientações concluídas (OC). Porém, tal desempenho foi reconsiderado, tendo em vista o vínculo recente de alguns docentes do PPG . Na Quadrienal 2017, observa-se um aumento neste percentual: 90%. Segundo a Comissão,

Os índices quantitativos da análise mostram números bastante expressivos: A Média de Orientações por Docente Permanente no Mestrado foi de 2,12 e de 2,48 no Doutorado, com média geral de 4,84 Orientações (M/D) por Docente Permanente. (CAPES, 2017a, p. 4)

A distribuição das orientações concluídas (OC) por docente permanente pode ser visualizada na Figura 3. Na Trienal 2013, período que o PPG ficou abaixo da meta, Figura 3 (B), observa-se que há concentração maior de orientações em somente alguns docentes. Como medida corretiva, o PPG buscou, na Quadrienal 2017, atender às recomendações da Comissão de Avaliação, elevando para 90% a distribuição, 10% a mais da meta exigida pela área. O impacto da recomendação de manter no máximo oito discentes por docente será discutido na seção 3.2.

Figura 3
Distribuição das Orientações Concluídas (OC) por docente permanente nas Trienais 2010 (A) e 2013 (B) e na Quadrienal de 2017 (C)
Fonte: Elaborado pelos autores.

Nos três períodos, o PPG superou as metas exigidas pela área em termos de produção com discente e/ou egresso (Quadro 1, item 3.3). Obteve na Trienal 2010 um índice de 3,49 artigos, com autoria discente e/ou egresso, publicados em periódicos classificados nos estratos ≥B2. Já na Trienal 2013, o índice de artigos publicados com discentes ou egressos, em periódicos classificados nos estratos ≥B1, foi de 2,5. O índice se mostrou inferior comparado com a Trienal 2010, porque o parâmetro adotado foi diferente. Neste último, o ponto de corte foi a partir do estrato B1. Conforme apontam os avaliadores, “[...] cerca de 90% da produção científica inclui pelo menos um discente do PPG que [está como coautor] em 75% dos artigos publicados no estrato A1. Esses dados evidenciam a qualidade das teses e dissertações [...]” (CAPES, 2013b, p. 10). E na Quadrienal 2017, o índice de produtividade, em relação às teses e dissertações defendidas, foi de 3,68 (total de artigos/total Teses+Dissertações). A qualidade pode ser observada através do elevado percentual (82%) dessas publicações classificadas nos estratos mais elevados (A1 a B1).

Na Tabela 1, tais índices foram refeitos com base nos dados da produção intelectual (dos Docentes Permanentes) declarada à CAPES nos três períodos/número de Dissertações e Teses defendidas, e os resultados se mostram em consonância com os da Comissão. E, diante da política do PPG em estimular a publicação em periódicos indexados, observa-se que quase a totalidade das publicações, 96% (1.375) estão indexadas na WoS/JCR. Outra questão que não é avaliada pela CAPES é a produção por discente como primeiro autor e último o seu orientador, que será discutida na seção 3.2.

Tabela 1
Índice da Comissão de Avaliação e índice revisado: produção intelectual/número de Dissertações e Teses defendidas pelo corpo docente permanente

Legenda: Os estratos (Qualis) correspondem ao do período avaliado, conforme Fator de Impacto de referência: Trienal 2010 (A1≥4,70; A2≥3,25; B1≥2,30; B2≥1,35; B3≥1,00; B4≥0,40 e B5<0,40); Trienal 2013 (A1≥5,0; A2≥3,36; B1≥2,26; B2≥1,34; B3≥0,9; B4≥0,45 e B5<0,45) e Quadrienal 2017 (A1≥4,60; A2≥3,531; B1≥2,481; B2≥1,65; B3≥1,096; B4≥0,728 e B5<0,728).

Fonte: Elaborado pelos autores.

Em relação ao tempo de formação de mestres e doutores (Quadro 1, item 3.4), foi considerado adequado em ambas as avaliações trienais. Na Trienal 2010, o tempo médio de titulação para mestrado foi de 23,94 meses, e de 50,37 meses para o doutorado. Já na Trienal 2013, o mestrado atingiu 23,5 meses e, o doutorado, 48,8. Percebe-se que, na trienal de 2013, o tempo para a conclusão de doutorado foi menor. Para o PPG, sem dúvida, a conclusão de ambos os níveis no tempo estabelecido, sem descuidar da formação e da produção científica, é fundamental, pois garante que mais discentes possam ocupar as vagas. Na Quadrienal 2017, o PPG se encontra dentro dos prazos estabelecidos pela área: 25,5 meses para mestrado e 52,3 meses para doutorado.

O conjunto de valores apontados nas Fichas de Avaliação nas Trienais 2010 e 2013 e Quadrienal 2017, Quesito três, é considerado adequado e condizente à estrutura do PPG. A Comissão de Avaliação destaca positivamente a exigência adotada pelo PPG em que os discentes devem publicar, em periódicos indexados no JCR, os resultados das teses e das dissertações, bem como estabelecer colaboração nas publicações com seus respectivos orientadores. A estratégia adotada pelo PPG vai ao encontro dos critérios adotados pela Área CBII (CAPES, 2016), onde é estimulada a publicação em periódicos com alcance internacional e a coautoria entre docentes e discentes. Sem dúvida, esta política contribui para o crescimento e a divulgação da ciência brasileira.

Apesar de obter bom desempenho no Quesito três, identificaram-se duas importantes observações feitas pela Comissão nas Trienais 2010 e 2013. A primeira diz respeito ao papel dos docentes colaboradores nas orientações. E a segunda, ao desequilíbrio na distribuição de discentes por orientador. Conforme orientações da Área CBII, a porcentagem de colaboradores em relação ao conjunto do corpo docente não poderá ser superior a 30%, e as atividades de ensino, orientação e pesquisa devem ser desenvolvidas, majoritariamente, por docentes permanentes (CAPES, 2017). Por isso, é importante a compreensão dos papéis de cada categoria docente, conforme dispõe a Portaria nº 81, de 3 de junho de 2016 (CAPES, 2016a). A Área CBII recomenda, ainda, que as orientações sejam distribuídas de maneira proporcional, evitando uma concentração maior de discentes somente em alguns docentes.

Mesmo que os números de mestres e de doutores titulados e suas relações com o corpo docente e a produção científica expressem a qualidade do PPG (em termos de formação de recursos humanos e de difusão do conhecimento científico), outros parâmetros agregados a esses indicadores é que vão indicar a sua excelência. Conforme apontam Gazzola e Fenati (2010), a excelência de um PPG está, também, associada aos indicadores de solidariedade, ou seja, quando este estende ou irradia a sua excelência para outras instituições ou campos do conhecimento. A expansão do Ensino Superior e a redução de assimetrias regionais estão entre as metas apontadas no PNPG 2011-2020 (CAPES, 2010). Por isso, a nucleação se tornou, ao longo das mudanças ocorridas no Sistema de Avaliação, um dos parâmetros para medir a inserção e o impacto regional e/ou nacional dos PPGs (CAPES, 2010).

Nos três períodos, o PPG foi avaliado como “Muito Bom” em todos os itens que compõe o Quesito cinco - Inserção Social. No item 5.1, que trata da inserção e do impacto regional e/ou nacional, as considerações da Comissão de Avaliação foram positivas. Destacaram que o PPG em Bioquímica contribuiu para a nucleação em IES nos estados do Rio Grande do Sul e de Santa Catarina, dando ênfase à nucleação na Universidade Federal de Santa Maria (UFSM), na Universidade Federal de Santa Catarina (UFSC), na Universidade do Vale do Rio dos Sinos (Unisinos) e no Departamento de Bioquímica da UFRGS. Na Quadrienal 2017, há o reconhecimento de nucleação em âmbito internacional. Entretanto, as informações expressas nas Fichas de Avaliação do PPG não apresentaram dados numéricos sobre quantos titulados foram incorporados nas IES. Desse modo, na seção 3.1.1 é apresentado o resultado do acompanhamento dos 210 doutores titulados pelo PPG no período de 2007 a 2016.

3.1.1 Contribuições do PPG em Ciências Biológicas: Bioquímica/UFRGS para a nucleação de egressos em IES no país

A partir da identificação das atividades profissionais seguidas pelos egressos do PPG, apresentadas no Tabela 2, foram criadas quatro categorias: (1) Docente em Instituição de Ensino Superior (IES): com 42% (88) egressos atuando como docentes em diversas IES no Brasil e no Exterior, demonstrando uma grande contribuição do PPG para a nucleação de docentes para além das IES citadas nas Fichas de Avaliação (Figura 4); (2) Pós-Doutorado: com 26% (54); (3) Outras atuações profissionais: com 20% (42) exercendo atividades ligadas à área da saúde, do meio ambiente e da pesquisa; e (4) Currículo Lattes não encontrado ou desatualizado há mais de 2 anos/Emprego atual não informado: com 12% (26).

Tabela 2
Atuação profissional dos egressos do Programa de Pós-Graduação em Ciências Biológicas: Bioquímica/UFRGS (2007-2016).
Fonte: Elaborado pelos autores.

Na Quadrienal 2017, identificou-se um número expressivo de egressos pelo PPG (42) realizando Pós-Doutorado. Segundo Viotti (2010), é comum que os recém-doutores deem seguimento à sua formação e às suas atividades científicas através do pós-doutorado. A obtenção de emprego logo após a titulação é, muitas vezes, demorada, justamente por se tratar de uma qualificação específica, altamente qualificada e com oportunidades reduzidas. O relatório elaborado pelo Centro de Gestão e Estudos Estratégicos reforça os achados neste estudo ao apontar que os doutores titulados na área CB demoram mais tempo para serem inseridos no mercado de trabalho:

A taxa de emprego formal da grande área do conhecimento de ciências biológicas (66,1%) é a que apresenta o mais elevado desvio da média entre todas as grandes áreas (75,5%), ou seja, 9,4 pontos percentuais a menos [do] que a média [...] (CGEE, 2016, p. 140).

al comportamento, segundo o relatório, merece ser estudado. Contudo, há que se levar em conta o incremento de bolsas financiadas pela CAPES através do Programa Nacional de Pós-Doutorado (PNPD) (CAPES, 2013c).

Na Figura 4, é apresentada a distribuição das IES onde os egressos estão atuando como docentes. São 47 egressos atuando em IES brasileiras de caráter público e 38 em IES de caráter privado. Há três egressos que estão exercendo a docência no exterior (University of Toronto/Canadá, Yale University/Estados Unidos e University of St Andrews/Escócia). As contribuições da administração pública (Federal, Estadual e Municipal) para o aumento do emprego de 2014/2009 foram de 77,8%. E das entidades empresariais privadas/sem fins lucrativos foram de 19,2% (CGEE, 2016). Neste estudo, a incorporação ocorreu de forma equilibrada entre ambas as autarquias.

Por distribuição regional brasileira, observa-se que, na sua maioria, os egressos foram incorporados às IES localizadas na região Sul (77), reforçando o papel do PPG na qualificação da educação e no desenvolvimento da ciência e da tecnologia em âmbito regional. Em seguida, aparecem nucleações nas regiões Sudeste (quatro), Nordeste (dois) e Centro-Oeste (dois).

Tal comportamento, segundo o relatório, merece ser estudado. Contudo, há que se levar em conta o incremento de bolsas financiadas pela CAPES através do Programa Nacional de Pós-Doutorado (PNPD) (CAPES, 2013c).

Na Figura 4, é apresentada a distribuição das IES onde os egressos estão atuando como docentes. São 47 egressos atuando em IES brasileiras de caráter público e 38 em IES de caráter privado. Há três egressos que estão exercendo a docência no exterior (University of Toronto/Canadá, Yale University/Estados Unidos e University of St Andrews/Escócia). As contribuições da administração pública (Federal, Estadual e Municipal) para o aumento do emprego de 2014/2009 foram de 77,8%. E das entidades empresariais privadas/sem fins lucrativos foram de 19,2% (CGEE, 2016). Neste estudo, a incorporação ocorreu de forma equilibrada entre ambas as autarquias.

Por distribuição regional brasileira, observa-se que, na sua maioria, os egressos foram incorporados às IES localizadas na região Sul (77), reforçando o papel do PPG na qualificação da educação e no desenvolvimento da ciência e da tecnologia em âmbito regional. Em seguida, aparecem nucleações nas regiões Sudeste (quatro), Nordeste (dois) e Centro-Oeste (dois).

Figura 4
Distribuição geográfica das Instituições de Ensino Superior onde os egressos pelo Programa atuam como docentes.
Fonte: Elaborado pelos autores.

Diante da demora na inserção dos egressos no mercado de trabalho, como visto neste estudo e no realizado pelo CGEE (2016), políticas emergentes se fazem necessárias para acolher esses profissionais. A incorporação de mestres e de doutores nos setores empresarial e industrial se constitui como um grande desafio para o país, pois a maior parte desses profissionais é absorvida pela academia, mais especificamente pelas universidades públicas (CAPES, 2010). Os dados apresentados pelo CGEE (2016), sobre a empregabilidade de doutores nos anos de 2010 e 2014, afirmam essa prerrogativa ao identificar que as seções da Classificação Nacional de Atividades Econômicas (CNAE) que mais contribuíram para o crescimento do emprego no país foram a Educação (48,1%) e as Atividades profissionais, científicas e técnicas (16,6%), totalizando 64,7%. Enquanto que as contribuições da Indústria de Transformação (engloba atividades relacionadas à Fabricação de produtos farmoquímicos e farmacêuticos e à Fabricação de produtos químicos) foram de apenas 8,4%. Neste contexto, o PNPG 2011-2020 (CAPES, 2010) enfatiza três importantes estratégicas que foram implementadas, em nível de política pública, para estimular a absorção de mestres e de doutores nas empresas: Programa RHAE ‒ Recursos Humanos em Áreas Estratégicas (Pesquisador na Empresa), Financiadora de Estudos e Projetos (FINEP) e os Núcleos de Inovação Tecnológica (NIT). O Programa RHAE ‒ Pesquisador na Empresa, uma parceria do Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC) e do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), por exemplo, fomenta a inserção de mestres e de doutores em empresas privadas, através da disponibilização de bolsas para atuar com atividades de pesquisa e desenvolvimento (CNPq, 2018). Apesar dos avanços obtidos através deste Programa, com a absorção de 312 mestres e doutores em 2009, os setores mais contemplados restringem-se à Tecnologia da Informação e Comunicação, à Biotecnologia e à Nanotecnologia (CAPES, 2010). Quanto às ações da FINEP e dos NITs, também buscam estimular a cooperação entre universidade e empresa. Em âmbito estadual, recentemente, a Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul (FAPERGS) e a CAPES, em parceria com o Serviço Brasileiro de Apoio às Micro e Pequenas Empresas (SEBRAE), firmaram acordo de cooperação para viabilizar o Programa Doutor Empreendedor, que visa fomentar, através de bolsas, o empreendedorismo de base tecnológica. Segundo a FAPERGS, “[...] a criação de novas empresas inovadoras neste setor tem o potencial de gerar grandes avanços tecnológicos, econômicos e sociais, contribuindo para a soberania e o desenvolvimento do país.” (FAPERGS, 2018, doc. não paginado).

As estreitas oportunidades no mercado não acadêmico e a não renovação dos quadros docentes nas IES, que poderá se dar em consequência da Emenda Constitucional nº 95 (Altera o Ato das Disposições Constitucionais Transitórias, para instituir o Novo Regime Fiscal, e dá outras providências) (BRASIL, 2016), podem vir a comprometer a concretização da nucleação, refletindo nos processos avaliativos dos PPGs. A incorporação desses profissionais, portanto, depende não apenas da formação qualificada proporcionada pelos PPGs, mas também de condições de empregabilidade advindas do governo e da sociedade. Transferir aos PPGs a completa responsabilidade da efetivação ou não da nucleação, ou seja, diminuir a nota ao serem avaliados neste quesito, exime o governo de seu compromisso para com as políticas de desenvolvimento científico e tecnológico do país.

A partir deste estudo, sugere-se que o PPG em Bioquímica amplie suas atividades em parceria com o PPG em Educação em Ciências/Departamento de Bioquímica, da UFRGS, a fim dos discentes se envolverem com temas como ensino de ciências, currículo, didática e filosofia da ciência. Contudo, reconhece-se que as atividades que estão sendo desenvolvidas pelo PPG como incentivos à realização de estágio docente e ações de fomento à educação e à difusão em ciência junto às escolas públicas de Porto Alegre e à comunidade – Instituto Nacional de Ciência e Tecnologia em Excitotoxicidade e Neuroproteção (INCT-EN), Seminários, Ciência sem Porteiras e a disciplina Conectando o PPG Bioquímica ao Ensino Básico: dos Laboratórios à Escola –, contribuem para a formação dos pós-graduandos. Estas experiências contribuem para a formação de profissionais envolvidos com o ensino e vai ao encontro dos compromissos adotados pela CAPES e pela Área CB II no que tange à inserção e à incidência dos PPGS na Educação Básica e na sociedade (CAPES, 2016).

Ao analisar a graduação dos egressos, identificou-se que os que estão atuando como docentes em IES (Categoria um) apresentam semelhança em comparação com os demais titulados pelo PPG (Categorias dois, três e quatro), Figura 5. Na sua maioria, os egressos são oriundos dos cursos de Farmácia (93; 44,3%), Ciências Biológicas (53; 25,2%) e Biomedicina (19; 9,0%). Essas informações podem contribuir para se repensar os currículos e os planos de ensino das áreas predominantes a fim de suprir necessidades futuras para a docência, refletindo na qualidade da educação e da ciência do país.

Figura 5
Formação dos egressos por atividade profissional

Legenda: Um Currículo Lattes não foi encontrado.

Fonte: Elaborado pelos autores.

Desse conjunto de egressos, identificou-se que quem obteve o maior número de bolsas de Doutorado Sanduíche foram os egressos inseridos nas categorias um e dois, ou seja, aqueles que estão atuando como docentes (15 bolsas) e aqueles que estão no pós-doutorado (13), representando 80% das 35 bolsas disponibilizadas pelo PPG. A maior parte do intercâmbio ocorreu em instituições localizadas nos Estados Unidos (oito), no Canadá (sete) e em Portugal (quatro). Desse modo, é importante ampliar as bolsas de intercâmbio internacional a fim de colaborar na formação, na interação com a comunidade científica internacional e no estabelecimento de futuras parcerias, contribuindo, assim, para a inserção internacional do PPG, que é condição sine qua non para a concessão das notas seis e sete (CAPES, 2016).

3.1.2 Medidas corretivas implementadas

O PPG buscou, ao longo dos três períodos analisados, cumprir as metas e as recomendações da Área CBII. Para isso, algumas medidas corretivas foram implementadas: (1) Estímulo à publicação em periódicos indexados no JCR pelos discentes: resultou na visibilidade da produção em âmbito internacional, pois 96% das publicações estão indexadas na WoS/JCR; tal medida encontra-se registrada no Regimento Interno do PPG, por isso constitui-se também como uma política interna (UFRGS, 2016); (2) Redução do número de orientações concluídas pelos docentes colaboradores: o PPG diminuiu gradativamente a participação de docentes colaboradores nas orientações concluídas. Tal mudança/medida corretiva se deu pela recomendação da Área CBII; (3) Equilíbrio na distribuição de orientações concluídas pelos docentes permanentes: após a recomendação da CAPES na Trienal 2013, o PPG elevou a distribuição para 90% na Quadrienal 2017, 10% a mais da meta exigida.

As medidas corretivas implementadas pelo PPG estão relacionadas à visibilidade internacional das publicações científicas e ao cumprimento das recomendações da Comissão de Avaliação. Conforme salienta Trigueiro (2003), é no plano interno das instituições que se processam as mudanças propostas no nível macro, ou seja, no plano governamental: “[...] caso as unidades não desejem proceder [às] mudanças necessárias, tudo tende a permanecer do mesmo modo como estava antes da avaliação; sem qualquer alteração [...]” (TRIGUEIRO, 2003, p. 31).

Para permanecer no SNPG, os PPGs devem estar atentos aos resultados por desempenho e às diretrizes da Área. Medidas corretivas se tornam inevitáveis diante do desempenho alcançado. Caso não ocorram mudanças que são essenciais para um bom desempenho, as futuras avaliações podem ficar comprometidas e refletir negativamente na nota atribuída.

3.2 Indicador de coautoria discente/docente e Portarias dos 8

Durante o período de 2007 a 2016, o PPG teve um total de 47 docentes permanentes envolvidos com orientações de mestrado e doutorado, 1.425 publicações e 490 discentes/orientandos. Ao aplicar o indicador de coautoria Discente/Docente, identificou-se um conjunto de 586 publicações, 41% do total. A partir destes dados, analisou-se a viabilidade das Portarias dos 8, vista sob a perspectiva de se o número de discentes por docente afeta a produção científica por discente. Os resultados apresentaram diferença significativa (p=0.046) entre os docentes (36) que tiveram até oito discentes em todos os semestres (Grupo um) e os docentes (11) que tiveram mais de oito discentes em um ou mais semestres (Grupo dois), Figura 6. Quanto maior o número de discentes por docente, maior é a média de publicações por discente. Portanto, o número de discentes por docente não afeta a produção científica por discente. A média de produção científica por discente do Grupo um foi de 0,79, com SD= 0,64; já no Grupo dois, a média foi de 1,26, com SD= 0,74.

Figura 6
Número de discentes por docente versus produção média por discente (2007-2016)
Fonte: Elaborado pelos autores.

O Grupo dois, além de obter maiores índices na produção por discente, foi responsável pela maior parte das orientações e das publicações no seu valor total e nos estratos mais elevados. O Grupo um orientou/orienta 43,5% (213) dos discentes no período, e o Grupo dois 56,5% (277). Das 586 publicações com coautoria Discente/Docente, 201 (34%) foram produzidas pelo Grupo um e 385 (66%) pelo Grupo dois; a quantidade total de publicações nos estratos A1+A2 (mais elevados) foi de 146 (25%), observando que o Grupo um publicou 56 (10%) e, o Grupo dois, publicou 90 (15%).

As Portarias dos Oito, avaliadas sob o viés da coautoria Discente/Docente, mostram-se inadequadas no contexto do PPG em Bioquímica da UFRGS; sua implementação poderá prejudicar substancialmente o crescimento da produção científica do PPG, pois quanto mais discentes por docente, maior é a média de produção científica por discente. Considerando que este trabalho é um estudo de caso, as políticas de avaliação da CAPES devem ser entendidas dentro de questões funcionais particulares. No PPG em estudo, por exemplo, muitas das pesquisas são realizadas em grandes grupos e lideradas por docentes com ampla trajetória em pesquisa e com laboratórios consolidados.

4 Considerações finais

Este estudo possibilitou a realização de um M&A de desempenho de um PPG consolidado e com inserção internacional, trazendo informações adicionais à avaliação realizada pela CAPES sobre a sua trajetória na formação de recursos, no seu impacto na sociedade e na produção de conhecimento num percurso de dez anos.

As informações adicionais obtidas deram-se mediante a utilização de um novo indicador e a aplicação de procedimentos que possibilitaram obter elementos consistentes sobre a gestão e as atividades científicas. Além dos indicadores já utilizados pelo Sistema de Avaliação da CAPES, apontou-se um novo indicador que contribuiu para avaliar o impacto de uma política adotada pela CAPES: Coautoria Discente/Docente: A partir deste indicador, avaliou-se o impacto e a viabilidade das Portarias dos 8 na produção científica por discente. Neste caso específico do PPG em estudo, tal política se mostrou inadequada, pois o número de discentes por docente não afeta a produção científica por discente. Certamente, o impacto desta política numa outra perspectiva metodológica deve ser estudado, a fim de observar, por exemplo, se a atenção e a infraestrutura dispensadas no processo de formação e de pesquisa para cada discente são adequadas.

Quanto aos três procedimentos aplicados: (1) Avaliação da nucleação a partir do acompanhamento profissional dos egressos pelo Currículo Lattes: possibilitou identificar que a contribuição do PPG para a incorporação de docentes nas IES é superior às citadas nas Fichas de Avaliação; permitiu observar, ainda, que há uma demora na incorporação de egressos no mercado acadêmico e não acadêmico. Contudo, este procedimento não permite identificar por que isso vem ocorrendo na grande área Ciências Biológicas, sendo necessária a aplicação de novas metodologias; (2) Identificação do perfil da formação (Graduação e Doutorado Sanduíche) dos egressos: possibilitou identificar a predominância das áreas de formação dos egressos e o número de bolsistas de Doutorado Sanduíche. Tais informações podem subsidiar o PPG para desenvolver ações que possibilitem ampliar a formação dos egressos para a profissão docente e refletir sobre a sua política de inserção em outros países; (3) Identificação das medidas corretivas implementadas: as mudanças em busca de melhorias de desempenho frente ao Sistema de Avaliação representam os efeitos provocados pelos processos avaliativos da CAPES na gestão acadêmica.

Tanto os procedimentos como o indicador aplicado neste estudo podem ser utilizados para aprimorar a Avaliação Institucional de outros PPGs. Vê-se, também, que este M&A é importante para potencialmente validar as medidas adotadas pela CAPES nos processos avaliativos, pois as recomendações estão permitindo que o PPG, no seu caráter institucional, cumpra com os seus objetivos. Além disso, este estudo pode auxiliar no planejamento das próximas avaliações e contribuir para a constituição de uma Avaliação Participativa (SANTOS, 2011; LEITE, 2005) que busque compreender as complexidades da educação e do fazer ciência de forma coletiva a partir de critérios adicionais e robustos à avaliação externa.

Os princípios de autogestão, autolegislação e autovigilância tornam possível que os processos de avaliação sejam também processos de aprendizagem política e de construção de autonomias dos atores e das instituições. (SANTOS, 2011, p. 103).

Os indicadores bibliométricos/cientométricos têm contribuído de modo substancial para se compreender a comunicação e o desempenho científico da PG brasileira. Contudo, a aplicação de novas metodologias é indispensável para ampliar as discussões sobre a formação de recursos humanos e a inserção social dos PPGs.

Agradecimentos

Profa. Dra. Jandyra Maria Guimarães Fachel do Núcleo de Assessoria Estatística (NAE)/UFRGS e CAPES.

Referências

BARDIN, L. Análise de conteúdo. Lisboa: Edições 70, 2009.

BRASIL. Presidência da República. Casa Civil. Emenda Constitucional nº 95, de 15 de dezembro de 2016. Altera o Ato das Disposições Constitucionais Transitórias, para instituir o Novo Regime Fiscal, e dá outras providências. Diário Oficial da União: seção 1, Brasília, n. 241, p. 2, 2016.

CAPES. Caracterização do Sistema de Avaliação da Pós-Graduação. Brasília, 2018. Disponível em: http://www.webcitation.org/78W8lM5QT. Acesso em: 5 jun. 2018.

CAPES. Ficha de avaliação do programa, Ciências Biológicas (Bioquímica) UFRGS. Brasília, 2017a. Disponível em: http://www.webcitation.org/78WBq9kjZ. Acesso em: 5 jun. 2018.

CAPES. Relatório de avaliação 2013-2016 quadrienal 2017: Ciências Biológicas II. Brasília, 2017. Disponível em: http://www.webcitation.org/78WCM1nPW. Acesso em: 21 set. 2017.

CAPES. Portaria nº 81, de 3 de junho de 2016. Diário Oficial da União: seção 1, Brasília, n. 106, p. 14, 6 jun. 2016a. Disponível em: http://www.webcitation.org/78WCk85wr. Acesso em: 2 jun. 2017.

CAPES. Documento de Área: Ciências Biológicas II. Brasília, 2016. Disponível em: http://www.webcitation.org/78WD6VbD0. Acesso em: 2 jun. 2017.

CAPES. Plataforma Sucupira. Brasília, 2014a. Disponível em: http://www.webcitation.org/78W9wTvcA. Acesso em: 10 fev. 2017.

CAPES. Portaria nº 174, de 30 de dezembro de 2014. Define, para efeitos de enquadramento nos programas e cursos de pós-graduação e das avaliações, as categorias de docentes dos programas desse nível de ensino. Diário Oficial da União: seção 1, Brasília, n. 253, p. 86, 31 dez. 2014.

CAPES. Documento de Área 2013: Ciências Biológicas II. Brasília, 2013. Disponível em: http://www.webcitation.org/78WDRaotB. Acesso em: 10 fev. 2017.

CAPES. Relatório de avaliação 2010-2012 trienal 2013: Ciências Biológicas II. Brasília, 2013a. Disponível em: http://www.webcitation.org/78WHr8aTh. Acesso em: 7 jun. 2016.

CAPES. Ficha de Avaliação do Programa: Ciências Biológicas (Bioquímica) UFRGS. Brasília, 2013b. Disponível em: http://www.webcitation.org/78WIIArPA. Acesso em: 7 jun. 2016.

CAPES. Portaria nº 086, de 03 de julho de 2013. [S.n.]: Brasília, 2013c. Disponível em: http://www.webcitation.org/78WHPB6nQ. Acesso em: 28 ago. 2017.

CAPES. Portaria nº 1, de 4 de janeiro de 2012. Diário Oficial da União: seção 1, Brasília, p. 27, 2012. Disponível em: http://www.webcitation.org/78WHBjp7H. Acesso em: 10 jun. 2018.

CAPES. Documento de área 2010: Ciências Biológicas II. Brasília, 2010a. Disponível em: http://www.webcitation.org/78WGkwwfo. Acesso em: 10 jun. 2018.

CAPES. Relatório de avaliação 2007-2009 trienal 2010: Ciências Biológicas II. Brasília, 2010b. Disponível em: http://www.webcitation.org/78WGZCuir. Acesso em: 10 jun. 2018.

CAPES. Ficha de avaliação do programa: Ciências Biológicas (Bioquímica) UFRGS. Brasília, 2010c. Disponível em: http://www.webcitation.org/78WFzbKED. Acesso em: 7 jun. 2016.

CAPES. Plano Nacional de Pós-graduação: PNPG 2011-2020. Brasília: CAPES, 2010.

CGEE. Mestres e doutores 2015: estudos da demografia da base técnico-científica brasileira. Brasília: CGEE, 2016.

CNPQ. RHAE: apresentação. Brasília: CNPq, 2018.

DIAS SOBRINHO, J. Avaliação e transformações da educação superior brasileira (1995-2009): do Provão ao SINAES. Avaliação, Sorocaba, v. 15, n. 1, p. 195-224, mar. 2010.

ESTEBAN, M. P. S. Pesquisa qualitativa em educação: fundamentos e tradições. Porto Alegre: AMGH, 2010.

FAPERGS. FAPERGS e CNPq firmam acordo de cooperação. Porto Alegre: PROCERGS, 30 nov. 2018. Disponível em: http://www.webcitation.org/78WFYxi2Z. Acesso em: 28 dez. 2018.

FONSECA, J. J. S. Metodologia da pesquisa científica. Fortaleza: UEC, 2002.

GABRIEL JUNIOR, R. F. Geração de indicadores de produção e citação científica em revistas de Ciência da Informação: estudo aplicado à base de dados BRAPCI. 2014. Tese (Doutorado em Ciência da Informação) – Faculdade de Filosofia e Ciências, Universidade Estadual Paulista, Marília, 2014.

GAZZOLA, A. L.; FENATI, R. A PG brasileira no ano de 2020. In: BRASIL. Ministério da Educação. CAPES. Plano nacional de pós-graduação: PNPG 2011-2020. Brasília: CAPES, 2010. v. 2.

GINGRAS, Y. Os desvios da avaliação da pesquisa: o bom uso da bibliometria. Rio de Janeiro: UFRJ, 2016.

GLÄNZEL, W. Bibliometrics as a research field: a courseon theory and application of bibliometric indicators. [S.l.]: Course Handouts, 2003.

GOLDENBERG, M. A arte de pesquisar. Rio de Janeiro: Record, 1997.

GRAMSCI, A. Concepção dialética da história. Rio de Janeiro: Civilização Brasileira, 1995.

LEITE, D. Reformas universitárias: avaliação institucional participativa. Petrópolis: Vozes, 2005.

LETA, J. Indicadores de desempenho, ciência brasileira e cobertura das bases informacionais. Revista Universidade de São Paulo, São Paulo, v. 89, p. 62-77, mar./maio 2011.

MACIAS-CHAPULA, C. A. O papel da informetria e da cienciometria e sua perspectiva nacional e internacional. Ciência da Informação, Brasília, v. 27, n. 2, p. 134-140, maio/ago. 1998.

MINAYO, M. C. S. (org.). Pesquisa social: teoria, método e criatividade. 21. ed. Petrópolis: Vozes, 2002.

MINAYO, M. C. S.; SANCHES, O. Quantitativo-qualitativo: oposição ou complementaridade? Cadernos de Saúde Pública, Rio de Janeiro, v. 9, n. 3, p. 239-262, jul./set. 1993.

SANTIN, D. M. Internacionalização da produção científica em Ciências Biológicas da UFRGS: 2000-2011. 2013. Dissertação (Mestrado em Comunicação e Informação) – Programa de Pós-Graduação em Comunicação e Informação, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2013.

SANTOS, B. de S. A universidade no século XXI: para uma reforma democrática e emancipatória da universidade. 3. ed. São Paulo: Cortez, 2011.

SOLLA PRICE, D. J. Little science, big science... and beyond. New York: Columbia University Press, 1986.

SOUSA, M. F. Conceitos básicos em monitoramento e avaliação. [S.l.]: ENAP, 2013. no 26 diapositivos online, color. Disponível em: http://www.webcitation.org/78WETKTtz. Acesso em: 17 set. 2017.

TAGUE-SUTCLIFFE, J. An introduction to informetrics. Information Processing and Management, Tarrytown, v. 28, n. 1, p. 1-3, 1992.

TRIGUEIRO, M. G. S. Reforma universitária e mudanças no ensino superior no brasil. [S.l.]: IESALC, 2003.

UFRGS. Instituto de Ciências Básicas da Saúde. Programa de Pós-Graduação em Ciências Biológicas: Bioquímica. Regimento. Porto Alegre, 2016. Disponível em: https://www.ufrgs.br/ppgbioq/. Acesso em: 7 jun. 2018.

VIOTTI, E. B. V. Doutores 2010: estudos da demografia da base técnico-científica brasileira. In: CGEE. Doutores 2010: estudos da demografia da base técnico-científica brasileira. Brasília: CGEE, 2010. cap. 1.

Notas

Autor notes