Artigo original

O TAMANHO DO EFEITO APLICADO À AVALIAÇÃO DA PRODUÇÃO CIENTÍFICA DE PROGRAMAS DINTER EM CIÊNCIA DA INFORMAÇÃO NO BRASIL

The Effect Size Applied to Scientific Production Evaluation of Dinter Programs in Information Science in Brazil

Rafael Gutierres Castanha
Universidade Estadual Paulista, Brazil

O TAMANHO DO EFEITO APLICADO À AVALIAÇÃO DA PRODUÇÃO CIENTÍFICA DE PROGRAMAS DINTER EM CIÊNCIA DA INFORMAÇÃO NO BRASIL

Encontros Bibli, vol. 26, Esp., e78467, 2021

Universidade Federal de Santa Catarina

Recepção: 26 Novembro 2020

Aprovação: 13 Agosto 2021

RESUMO

Objetivo: analisar o efeito dos programas de Doutorado Interinstitucional (DiInter) em Ciência da Informação sobre a produção científica dos doutorandos (docentes) envolvidos.

Método: o cálculo do tamanho do efeito utiliza o parâmetro d de Cohen seguido do teste T de student aplicado à produção científica dos participantes (doutorandos) dos dois programas Dinter em Ciência da Informação - entre a Universidade Estadual Paulista (Unesp) e Universidade Federal do Ceará (UFC) (2010 - 2014) e entre a Universidade de Brasília (UnB) e a Universidade Federal do Espírito Santo (UFES) (2012 - 2016) - antes, durante e após o período de doutoramento.

Resultado: o cálculo do tamanho do efeito do Dinter entre Unesp e UFC constata diferenças e crescimentos significativos entre a produção científica dos docentes nos períodos analisados. Ambos os efeitos foram classificados como grandes. Já a relação entre UnB e UFES, o tamanho do efeito entre o período pré-Dinter e DINTER foi classificado como grande, enquanto o segundo cálculo, entre o período Dinter e pós-Dinter resultou em um efeito pequeno. A partir da aplicação do teste T. A análise constatou um aumento significativo com relação ao primeiro período e não significativo com relação ao segundo período analisado.

Conclusões: o cálculo do tamanho do efeito aponta, segundo sua escala de classificação, a diferença (e crescimento) significativo entre os períodos analisados e capta a diferença não significativa entre o período Dinter e pós-Dinter dos docentes da UFES, tal fato acarretado também, pela não inserção da maioria dos docentes em programas de pós-graduação.

PALAVRAS-CHAVE: Bibliometria+ Doutorado Interinstitucional - Dinter+ Produção Científica+ Tamanho do Efeito.

ABSTRACT

Objective: this paper analyzes the effect of the Interinstitutional Doctorate (Dinter) programs in Information Science and the scientific production of the doctoral students (professors) involved.

Method: to calculate the effect size, Cohen's d parameter was used followed by the Student’s t-test applied to the scientific production of the participants (doctoral students) of the two Dinter programs in Information Science - between Unesp and UFC (2010 - 2014) and between UnB and UFES (2012 - 2016) - before, during and after the doctoral time range.

Results: after calculating the size of the Dinter effect between Unesp and UFC, it was possible to notice significant differences and growth between the scientific production of professors in the analyzed time range. Both effects were classified as large. Regarding the relationship between UnB and UFES, the effect size between the before-Dinter and Dinter time range was classified as large, while the second calculation, between the Dinter and post Dinter time range resulted in a small effect. From the application of the t-test, a significant increase was found regarding the first time range and not significant regarding the second time range.

Conclusions: the calculation of the effect size points, according to its classification scale, a significant difference (and growth) between the time range and captures the non-significant difference between the Dinter and after-Dinter of UFES professors, this fact also caused due to the non insertion of the majority of professors in graduate programs.

KEYWORDS: Bibliometrics, Interinstitutional Doctorate, Dinter, Scientific Production, Effect Size.

1 INTRODUÇÃO

Tendo em vista a notória necessidade, por parte dos governos e da comunidade científica, do fomento à produção de indicadores quantitativos de avaliação em Ciência, Tecnologia e Inovação (CT&I), pode-se apontar que o desenvolvimento científico e tecnológico do país se alinha à disposição de meios para definição de diretrizes, alocação e planejamento de investimentos e recursos e à elaboração de programas avaliativos relacionados à CT&I (MUGNAINI; JANNUZZI; QUONIAM, 2004).

Um meio consolidado de análise do progresso científico é baseado na produção científica das mais diferentes comunidades científicas ao redor do mundo. Dessa maneira, analisar a produção científica de comunidades, instituições, disciplinas, áreas do conhecimento e países auxilia na identificação e visualização de seus comportamentos, explicitando suas respectivas elites científicas, frente de pesquisa e temáticas mais relevantes, assim como as ligações entre esses setores. Desde sua formulação, a bibliometria ganhou papel fundamental nesse contexto, ao desenvolver e propor indicadores destinados à análise científica. (ALMEIDA; GRÁCIO, 2019).

Dentre os diversos domínios científicos passíveis de avaliação e análise, é possível apontar o projeto de Doutorado Interinstitucional (Dinter), que é composto por docentes de uma determinada instituição - receptora -, que são apadrinhados por uma outra instituição - promotora -, a fim de prover o título de doutor a esses docentes. O Dinter se utiliza da estrutura de programas de pós-graduação avaliados, pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), com nota maior ou igual a 5 e devidamente reconhecidos pelo Conselho Nacional de Educação (CNE), do Ministério da Educação (MEC), para, por meio de parceria firmada entre duas instituições, propiciar a formação doutores fora das regiões mais consolidados em termos de ensino e pesquisa (UNIVERSIDADE DE SÃO PAULO, 2019).

O Dinter surgiu em 2007 visando ampliar a comunidade brasileira da pós-graduação, além do desejo de capacitar ainda mais o corpo docente das regiões consideradas “novas fronteira”, sempre respeitando e impulsionando os critérios de qualidade presentes na formação de docentes do ensino superior. Ao oficializar uma proposta de Dinter, forma-se uma única turma a ser vinculada a um programa de pós-graduação reconhecido pelo Sistema Nacional de Pós-graduação (SNPG) (PIOTTO, 2016).

Desse modo, o Dinter prevê:

  1. 1. Viabilizar a formação de mestres e doutores fora dos centros consolidados de ensino e pesquisa para atuação na docência e/ou na pesquisa;
  2. 2. Subsidiar a criação de novos programas de pós-graduação stricto sensu, reduzindo assimetrias regionais;
  3. 3. Auxiliar no fortalecimento de grupos de pesquisa;
  4. 4. Qualificar recursos humanos para atuação no mercado de trabalho;
  5. 5. Atender demandas sociais, profissionais, técnicas e tecnológicas das organizações públicas ou privadas;
  6. 6. Contribuir para o aumento da produtividade e competitividade das organizações brasileiras;
  7. 7. Promover a cooperação entre instituições acadêmicas e/ou não acadêmicas. (BRASIL, 2019).

Com relação à área de Ciência da Informação, é possível destacar dois projetos Dinter já finalizados: o projeto em que a Universidade Estadual Paulista Júlio de Mesquita Filho (Unesp), campus Marília (SP), apadrinhou a Universidade Federal do Ceará (UFC) no período que compreendeu os anos de 2010 e 2014, e o projeto em que a Universidade de Brasília (UnB) apadrinhou a Universidade Federal do Espírito Santo (UFES) entre os anos de 2012 e 2016. Outros quatro projetos no âmbito da Ciência da Informação se destacaram no banco de dados Sucupira (CAPES, 2021), a saber:

  1. 1. Entre o campus de Marília da Unesp e a Universidad De La Habana (descontinuado em 2016);
  2. 2. Entre a Universidade de São Paulo (USP) e Universidade de Rondônia (UNIR), iniciado em 2017 e previsto para finalização em 20211;
  3. 3. Entre a Universidade de Brasília (UnB) e Universidade Federal do Amazonas (UFAM), iniciado em 2020 e previsto para término em 2023;
  4. 4. Entre a Unesp de Marília e a Escola Superior de Jornalismo (ESJ) de Moçambique.

Ao compreender a importância de projetos como os supracitados, não só para a área da Ciência da Informação, mas para as outras diversas áreas do conhecimento, questiona-se: qual o efeito de programas Dinter em Ciência da Informação sobre a produção cientifica dos docentes doutorandos participantes?

Dessa maneira, esta pesquisa objetiva analisar o efeito dos programas Dinter em Ciência da Informação quanto à produção científica dos docentes envolvidos. Para isso, será utilizado o cálculo de Tamanho do Efeito (TDE) enquanto proposta metodológica de avaliação científica, tendo por base a produção científica dos doutorandos participantes dos programas interinstitucionais.

Para o cálculo do Tamanho do Efeito (TDE), é utilizado o parâmetro d de Cohen (1988, 1992), seguido do teste T de student. A medida de Cohen tem aplicabilidade, principalmente nas áreas que envolvem ciências da saúde, e busca analisar o efeito de algum fenômeno entre dois grupos, em geral entre o grupo controle e experimental ou antes e depois de algum determinado teste ou intervenção.

Nessa pesquisa, a utilização do TDE aplicado à produção científica dos docentes envolvidos nos programas Dinter compreende o ciclo de doutoramento dos participantes como período de suma importância para cada um dos envolvidos e para a instituição à que são vinculados. Assim sendo, é possível calcular, por meio das respectivas produções científicas, o tamanho do efeito do programa para cada docente, além do reflexo desse período para a instituição apadrinhada, visto que uma das premissas do Dinter é fomentar a produção acadêmica e as instituições envolvidas.

2 FUNDAMENTAÇÃO TEÓRICA

O processo de doutoramento via Dinter junto à Capes prevê o cumprimento, por parte da instituição promotora, de alguns requisitos, como a oferta integral do curso de pós-graduação - nesse caso, o doutorado -, a obrigatoriedade de estágio dos doutorandos na universidade promotora e a nota mínima ou igual a 5 do programa promotor na avaliação dos programas de pós-graduação da Capes. Ainda, a parte promotora deve garantir a boa qualidade das atividades de ensino, pesquisa e formação profissional a serem desenvolvidas no cerne de seu programa de pós-graduação (BRASIL, 2019).

A Capes aponta, ainda, que as turmas de Mestrado Interinstitucional (Minter) e Dinter destinam-se às regiões mais distantes dos maiores centros da pesquisa nacional, a fim de promover uma melhor qualificação profissional, com vistas à formação de novos mestres - no caso do Minter - e doutores - Dinter (BRASIL, 2019). No caso dos processos de Minter, o programa de pós-graduação promotor deve ter nota mínima igual 4. Além disso, os programas visam fomentar a criação de novos programas de pós-graduação stricto sensu, fortalecer grupos de pesquisas e incentivar a cooperação entre universidades.

Nesse sentido, Sidone, Haddad e Mena-Chalco (2016) apontam que a produção científica compartilhada entre diversos centros de pesquisa pode desempenhar papel primordial para avaliação de políticas de Ciência, Tecnologia e Inovação (CT&I), visto que a descentralização regional pode fomentar o aumento da qualidade da produção científica, além de agregar valor econômico aos resultados gerados. Entretanto, os autores afirmam que a disseminação e/ou criação do conhecimento são processos geograficamente localizados e que essa concentração facilita a interação para o desenvolvimento e transmissão do conhecimento.

Dada a importância de conhecimento para o desenvolvimento científico-tecnológico do país e da sociedade, a composição geográfica da ciência produzida como um todo terá papel fundamental nesse desenvolvimento e, assim, a produção e a disseminação do conhecimento científico e das atividades tecnológicas refletirão, também, na esfera econômica (SIDONE; HADDAD; MENA-CHALCO, 2016).

Um dos pontos centrais da atividade científica é a publicação de seus resultados, que permite disseminação de novos conhecimentos científicos, e um conjunto de publicações é denominada produção científica. Sebo e Lucia (2020) afirmam que a análise da produção científica de pesquisadores é essencial para compreender aspectos relacionados à política científica. Sob essa ótica, Witter e Pascoal (2010, p. 135), ao discorrerem sobre a importância da análise da produção científica, manifestam que “quer por seu custo financeiro e em recursos humanos, quer pelo impacto que tem na sociedade, quer ainda pelas próprias características do saber científico e pela ética científica, é imprescindível a avaliação da produção científica”. Ainda segundo as autoras, essa avaliação é voltada para tomadas de decisão, definição de prioridades de pesquisas, políticas científicas e para o desenvolvimento científico e tecnológico da área analisada.

A análise sobre a produção científica de diferentes domínios do conhecimento deve levar em conta especificidades de seu contexto histórico e social. É nesse sentido que a análise da produção científica, somada a indicadores socioeconômicos e de CT&I, pode contribuir de maneira significativa para a avaliação do desempenho dos sistemas nacionais de CT&I e para a compreensão dos objetivos da pesquisa científica, das estruturas da comunidade científica, do seu impacto social, político e econômico. (PRADO; CASTANHA, 2020).

A produção científico-acadêmica dos docentes participantes do Dinter terá reflexo nas avaliações de suas respectivas instituições, visto que esse programa de doutorado só admite docentes vinculados à universidade apadrinhada e as universidades, como um todo, estão sob constante avaliação. Ajiferuke e Wolfram (2010) apontam que a avaliação da produtividade e influência da pesquisa é um componente importante da bibliometria avaliativa, e o impacto de pesquisas produzidas por um autor é atrelado ao número de artigos publicados em periódicos e citações recebidas.

É possível constatar que boa parte do desenvolvimento científico e tecnológico do país se concentra no âmbito das universidades públicas, sobretudo nos programas de pós-graduação stricto sensu de mestrado e doutorado. Assim, esses programas são responsáveis não só pela maior parte da produção científica do país, mas também pela formação de novos recursos humanos, como pesquisadores.

Moraes (2019) aponta em sua análise que, por meio do Dinter, foi possível constatar que o processo de doutoramento influenciou a criação de novos programas de pós-graduação, corroborando com um dos objetivos supracitados estabelecido pela Capes, não só pela formação de doutores, mas pelo intercâmbio estabelecido entre instituições promotoras e receptoras e por meio do compartilhamento do corpo docente. Assim, o efeito desse período de doutoramento irá reverberar durante toda a carreira do docente, seja em sua nova titulação, seja em sua produção acadêmica.

3 METODOLOGIA

A fim de analisar o efeito da produção científica dos docentes envolvidos no Dinter por meio do parâmetro d de Cohen, essa medida tornou-se, como apresentado por Lindenau e Guimarães (2012), um importante complemento a testes de significância, uma vez que é possível observar o efeito de uma intervenção por meio da medida de tamanho do efeito (desprezível, pequeno, médio ou grande). Ainda, é possível que existam análises não significativas e de grande efeito ou pequeno efeito, porém, significativo.

Assim, sob a ótica de um teste de hipóteses, cuja hipótese nula (H0) prevê a não existência de diferenças significativas entre os grupos analisados e a hipótese alternativa (H1) corresponde à existência de diferenças significativas, o cálculo do TDE irá apontar o efeito para além da significância do teste, isto é, apontará, segundo a classificação mencionada, para a mensuração do efeito de determinado fenômeno.

Em consenso, Lindenau e Guimarães (2012) e Espírito-Santo e Daniel (2017) afirmam a necessidade de conhecer o contexto em que a análise é proposta e realizada, visto que efeitos considerados pequenos podem ser possíveis indicadores ou diretrizes do desenvolvimento do fenômeno estudado.

Especificamente com relação a esse estudo, em que se verifica o efeito do Dinter sobre as produções científicas dos docentes doutorandos envolvidos, um grande efeito, acrescido de crescimento significante, pode apontar para o cumprimento dos objetivos propostos pelo programa de doutorado, principalmente com relação ao fomento da produção acadêmica e fortalecimento da instituição receptora.

O cálculo de tamanho do efeito dos dois programas Dinter (Unesp e UFC e UnB e UFES) aplicado à produção científica foi realizado a partir da coleta de dados dos portais eletrônicos das universidades promotoras e receptoras a fim de reunir informações a respeito do período de doutoramento e os nomes dos docentes que cursaram o Dinter.

Com relação ao Dinter entre Unesp e UFC, foram selecionados dez docentes da UFC para cursar o Programa de Pós-Graduação em Ciência da Informação da Unesp (PPGCI), com início de atividades em 01 de setembro de 2010. Desses dez docentes, nove tornaram-se doutores. O programa realizado entre UnB e UFES também contou com dez docentes, com início de atividades em 02 de abril de 2012 e titulando todos os dez participantes da UFES.

Assim sendo, para o cálculo de tamanho do efeito, tendo como base a produção científica de cada um dos docentes envolvidos, foi recuperada, via Plataforma Lattes, o número de artigos, capítulos de livros e livros publicados antes, durantes e após o período de doutoramento do Dinter.

4 RESULTADOS

Como período pré-doutoramento, compreendeu-se toda a produção dos docentes até a véspera do início das atividades do Dinter, ou seja, para análise dos docentes da UFC, até 31 de agosto de 2010, e, para os docentes da UFES, até 01 de abril de 2012. Já o período de doutoramento compreendeu o período de quatro anos após o início das atividades previstas em edital. Assim sendo, para os docentes da UFC, delimitou-se o intervalo entre 01 de setembro de 2010 e 01 de setembro de 2014 e, para os docentes da UFES, entre 02 de abril de 2012 e 02 de abril de 2016. Como último período de análise, tem-se, para os docentes da UFC, os quatro anos subsequentes ao término do período do Dinter, entre 02 de setembro de 2014 e 02 de setembro de 2018, e, para os docentes da UFES, entre 03 de abril de 2016 e 03 de abril de 2020. Dessa maneira, apresenta-se o Quadro 1, com as respectivas produções dos nove docentes da UFC e dos dez docentes da UFES.

Quadro 1
Produção científica dos docentes da UFC e UFES durante os períodos analisados
Produção científica dos docentes da UFC e UFES durante os períodos analisados
Fonte: elaboração do autor.

O Quadro 1 apresenta as respectivas produções de artigos, livros e capítulos de livro dos docentes da UFC e UFES que cursaram o Dinter. Para o cálculo do tamanho do efeito, é considerada a soma das publicações de cada docente em cada período, gerando três conjuntos numéricos - antes, durante e após o Dinter -, como mostra o Quadro 2. Dessa maneira, aplica-se o cálculo de tamanho do efeito entre os períodos pré-Dinter e o período de doutoramento e entre o período do Dinter e período após a titulação.

Para isso, é apresentado, junto à soma das produções - artigos, capítulos de livro e livro -, o cálculo do total da produção por período, a média de documentos produzidos por docente e a variância dos três conjuntos numéricos analisados. Em valores absolutos e médios, é possível observar crescimento período a período em ambos os programas analisados (UFC e UFES).

Quadro 2
Produções totais, médias e variância durante os períodos analisados
Produções totais, médias e variância durante os períodos analisados
Fonte: elaboração do autor.

Para o cálculo de tamanho do efeito, como mencionado, foi utilizado o parâmetro d de Cohen (1992), dado por:


Em que 𝑀 1 e 𝑀 2 são as médias dos pares de grupos analisados e 𝑉𝑎𝑟 1 e 𝑉𝑎𝑟 2 são as variâncias. Por conseguinte, é possível apresentar a classificação para o tamanho do efeito proposto por Cohen (1988; 1992) como: 𝑑<0,2 (desprezível), 0,2≤𝑑<0,5 (pequeno), 0,5≤𝑑<0,8 (médio) e 𝑑≥0,8 (grande).

Ressalta-se que, assim como apresentam Espírito-Santo e Daniel (2017), o cálculo de TDE complementa a análise de testes estatísticos para diferenças - relações - significativas ou não entre grupos segundo um determinado p-valor, como no teste T de student, entre outros. Ou seja, como apresentado, uma não significância não resulta, necessariamente, em um “não efeito”, e, com o intuito de observar essa possível relação (ou não), apresenta-se o Quadro 3 com os valores dos tamanhos dos efeitos calculados e os respectivos p-valor.

Quadro 3
Tamanho do efeito e classificação
Tamanho do efeito e classificação
Fonte: elaboração do autor.

Nesse contexto, ao calcular o tamanho do efeito do Dinter entre a Unesp e a UFC, tem-se, entre o período pré-Dinter e Dinter, 𝑑=1,18 e, entre o período de Dinter e pós-Dinter, 𝑑=1,38. É possível notar diferenças e crescimentos significativos entre os períodos analisados. Ambos os efeitos podem ser classificados como grandes, suscitando notória influência do programa na formação acadêmica e científica dos docentes envolvidos.

Com relação ao teste T de student, foi constatado um crescimento significativo - a nível de 5% de significância - com relação às produções científicas dos docentes participantes do Dinter em ambos os períodos 𝑝=0,018<0,05;𝑝=0,007<0,05 . Assim, o grande efeito seguido de aumento significativo dessas produções sugere o sucesso do programa em termos de fomento à produção acadêmica e fortalecimento da instituição receptora.

Apesar do período de doutoramento de um pós-graduando representar um momento de consolidação científica do acadêmico, ressalta-se a importância do programa, visto que todos os doutorandos já possuíam vínculo com a UFC e contribuíram significativamente para o fomento da produção da instituição, gerando relevância e notoriedade para ela. Ademais, os tamanhos de efeito classificados como grande apontam não só o crescimento, mas a manutenção da produtividade acadêmica dos docentes envolvidos.

Destaca-se, ainda, que, em 2016, foi inaugurado o curso de pós-graduação em Ciência da Informação, a nível de mestrado, na UFC, com a contribuição desses docentes, alinhando-se às premissas do Dinter supracitadas. Atualmente, cinco dos nove docentes participantes do Dinter compõem o quadro permanente de professores desse programa de pós-graduação, reforçando a importância e influência do Dinter para os docentes e para a instituição. Dos outros quatro docentes, apenas um não é, atualmente, docente de programas de pós-graduação, enquanto os três são docentes permanentes de programas de pós-graduação acadêmico em ciência da informação (2) e profissional (1).

Quanto ao programa entre UnB e UFES, o tamanho do efeito entre o período pré-Dinter e Dinter foi 𝑑=0,91, e entre o período Dinter e pós-Dinter, 𝑑=0,37. Nesse caso, apesar do crescimento em valores absolutos e médios da produção científica analisada, destaca-se apenas o efeito no primeiro período analisado - 𝑑=0,91 - classificado como grande, enquanto o segundo cálculo resultou em um efeito pequeno.

Nesse sentido, é possível observar um aumento da produção entre o período anterior ao Dinter e durante o programa. Tal fato aponta a importância do programa para os docentes da UFES, corroborando os resultados anteriores e atendendo também à fomentação da produção científica dos docentes e da universidade a qual estão vinculados.

Assim, mesmo que já docentes universitários, o Dinter contribuiu de maneira expressiva para o aumento de suas produções. Entretanto, ao observar o período pós-Dinter, percebeu-se um crescimento da produção considerado pequeno (𝑑=0,37).

A partir da aplicação do teste T de student, foi observado, a nível de 5% de significância, o aumento significativo em relação ao período pré-Dinter e o período de doutoramento 𝑝=0,008<0,05 , ratificando o tamanho do efeito classificado como grande. Já o período pós-Dinter resultou em aumento não significativo (𝑝=0,329>0,05) de acordo com o teste, mesmo com o aumento em valores absolutos e médios.

Além disso, de maneira similar à UFC, a UFES inaugurou, em 2019, as atividades de seu programa de pós-graduação em Ciência da Informação, também em nível mestrado, contando com três dos nove docentes permanentes do programa oriundos do Dinter. Ressalta-se que, em relação aos demais participantes, um é docente permanente de outro programa de pós-graduação, enquanto os seis restantes não estão inseridos como docentes de programas de mestrado e/ou doutorado.

Tal fato pode justificar o tamanho do efeito classificado como pequeno quando comparados os períodos do Dinter e pós-Dinter, tendo em vista a situação contrária apontada anteriormente ao analisar a relação entre Unesp e UFC. É importante salientar que uma das principais atividades desenvolvidas pelos docentes de programas de pós-graduação é a produção científica.

A fim de visualizar a produção dos docentes durante os períodos analisados e relacioná-la como o cálculo do tamanho do efeito, foi construído o gráfico box plot com os respectivos períodos e universidades, apresentado na Figura 1.

Box plot relativo à produção científica dos docentes envolvidos no Dinter
Figura 1
Box plot relativo à produção científica dos docentes envolvidos no Dinter
Fonte: elaboração do autor via software SPSS

A Figura 1 apresenta o gráfico de box plot - ou diagrama de caixas -, que é composto pelos três quartis - primeiro quartil (Q1), segundo quartil ou mediana (Q2) e terceiro quartil (Q3) - nas caixas, além dos limites2 superior e inferior, representados pelas linhas verticais e os pontos outliers - discrepantes; extremos - da distribuição dos dados da produção científica dos docentes/doutorandos.

É possível observar, graficamente, com relação aos docentes, tanto da UFC quanto da UFES, o crescimento da produção científica de ambos os grupos dado aos maiores valores das medianas (Q2) e topos e fundos ascendentes dos diagramas, com exceção ao limite inferior da comparação entre o período Dinter e pós-Dinter da UFES

Destaca-se, ainda, dois outliers ou dois docentes com produções discrepantes com relação aos demais. Os docentes UFC 8 (período pré-Dinter) e UFES 5 (período pós-Dinter) divergiram do conjunto de observações, com respectivas 9 e 19 produções. Ainda que não excedam os limites superiores, os docentes UFC 4 e UFC 7 apresentam notória evolução de produção científica no período pós-Dinter.

Assim, a Figura 1 confirma o tamanho do efeito classificado como grande e o aumento significativo da produção científica dos docentes envolvidos no Dinter, reforçando a importância dessa modalidade de doutoramento, sobretudo pelos doutorandos comporem, atualmente, o corpo docente de programas de pós-graduação.

5 CONSIDERAÇÕES FINAIS

Esta pesquisa apresentou um estudo referente ao cálculo de tamanho de efeito enquanto proposta metodológica para avaliação científica e aplica tal método aos programas Dinter em Ciência da Informação já finalizados. Para isso, contou com a análise da produção científica dos docentes envolvidos no programa em três períodos diferentes: antes, durante e após o doutoramento via Dinter.

Foi possível apontar a importância de programas como o Dinter e o Minter e seu efeito gerado, em termos de produção científica, para a carreira dos docentes e para a universidade à qual estão vinculados, visto que todos matriculados no Dinter já são docentes de alguma universidade.

Assim sendo, o cálculo do tamanho do efeito aponta, segundo sua escala de classificação, a diferença - e crescimento - significativa entre os períodos analisados e capta a diferença não significativa entre o período Dinter e pós-Dinter dos docentes da UFES, tal fato acarretado, também, pela não inserção da maioria dos docentes em programas de pós-graduação, algo que pode ser alvo de futuras pesquisa.

Em complemento ao cálculo de tamanho do efeito, aplicou-se o teste T de student a fim de observar se um tamanho do efeito considerado grande, com relação à produção científica dos docentes analisados, suscita um aumento significativo desta produção. Foi constatado que os tamanhos do efeito classificados como grande em relação à UFC também resultou em crescimento significativo das produções recuperadas.

De maneira similar, ao aplicar o teste sobre as produções dos docentes da UFES, constatou-se um crescimento significativo em relação ao primeiro período analisado, corroborando o tamanho do efeito classificado como grande. Com relação ao período pós-Dinter da UFES, observou-se um tamanho do efeito classificado como pequeno e um crescimento não significativo, apontado pelo teste T, da produção científica dos docentes/doutorandos da instituição.

Cabe salientar que o cálculo do TDE pode ser comprometido pela não atualização, por parte dos pesquisados, dos respectivos currículos registrados na Plataforma Lattes, visto que a extração dos dados foi feita com base somente nos registros presentes na plataforma. Sugere-se como trabalhos futuros a aplicação do método a projetos de cooperação entre instituições de outras áreas do conhecimento sob a ótica bibliométrica e cientométrica. Ademais, o levantamento da produção científica no período indicado não levou em consideração a qualificação dessas publicações, aferida por indicadores como o Qualis Capes, Scimago Journal Ranking ou Journal Citation Report (fator de impacto), sendo, também, portanto, uma indicação para futuras pesquisas.

Por fim, é possível concluir que houve um efeito positivo, grande e significativo do Dinter com relação à produção científica dos docentes envolvidos. indo ao encontro das premissas e objetivos do Dinter de viabilizar a formação de mestres e doutores do quadro permanente de docentes de instituições receptoras, distantes dos grandes centros de ensino e pesquisa, além de fomentar a produção acadêmica das universidades e a criação de novos cursos de pós-graduação stricto sensu.

REFERÊNCIAS

ALMEIDA, Cátia Candido; GRACIO, Maria Claudia Cabrini. Produção científica brasileira sobre o indicador “Fator de Impacto”: um estudo nas bases SciELO, Scopus e Web of Science. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, v. 24, n. 54, p. 62-77, 2019.

AJIFERUKE, Isola; WOLFRAM, Dietmar. Citer analysis as a measure of research impact: Library and information science as a case study. Scientometrics, [s. l.], v. 83, n. 3, p. 623-638, 2010.

BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Portaria nº 243, de 5 de novembro de 2019. Brasília, DF: Capes, 2019. Disponível em < Disponível em http://cad.capes.gov.br/ato-administrativo-detalhar?idAtoAdmElastic=2822#anchor > Acesso em 27/07/2021.

COHEN, Jacob. A power primer. Psychological bulletin, v. 112, n. 1, p. 155-159, July, 1992.

COHEN, Jacob. Satatistical Power Analysis for the behavioral sciences. Edição nº 2. Hillsdale: Routledge, 1988.

MORAES, Flávia Melissa de Souza. Projetos DINTER: contribuição para a expansão do Sistema Nacional de Pós-Graduação. 2019. Tese (Doutorado em Educação em Ciências) − Universidade Federal do Rio Grande do Sul, Porto Alegre, 2019.

MUGNAINI, Rogério; JANNUZZI, Paulo de Martino; QUONIAM, Luc. Indicadores bibliométricos da produção científica brasileira: uma análise a partir da base Pascal. Ciência da informação, Brasília, v. 33, n. 2, p. 123-131, 2004.

ESPÍRITO SANTO, H.; DANIEL, F. Calcular e apresentar tamanhos do efeito em trabalhos científicos: as limitações do p < 0, 05 na análise de diferenças de médias de dois grupos. Revista Portuguesa de Investigação Comportamental e Social, Coimbra, v. 1, n. 1, p. 3-16, 2017.

LINDENAU, Juliana Dal-Ri; GUIMARÃES, Luciano Santos Pinto. Calculando o tamanho de efeito no SPSS. Clinical & Biomedical Research, Porto Alegre, v. 32, n. 3, 2012.

PIOTTO, Hayslla Boaventura. O doutorado interinstitucional: ação Novas Fronteiras (DINTER/NF) como política pública para formação de pessoal de nível superior. 2016. Dissertação (Mestrado em Educação em Ciências) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2016.

PLATAFORMA SUCUPIRA. Projetos de Cooperação entre Instituições. 2021. Disponível em: https://sucupira.capes.gov.br/sucupira/public/consultas/coleta/minterDinter/listaMinterDinter.jsf

PRADO, Marcos Aparecido Rodrigues; CASTANHA, Renata Cristina Gutierres. Indicadores: conceitos fundamentais e importância em CT&I. In: GRÁCIO, Maria Cláudia Cabrini. Tópicos da bibliometria para bibliotecas universitárias. Marília: Oficina Universitária: Cultura Acadêmica, 2020. p. 50-71.

SEBO, Paul; LUCIA, Sylvain. Evaluation of the productivity of hospital-based researchers: comparative study between the h-index and the h (fa)-index. Scientometrics , [s. l.], v. 126, p. 7087-7096, 2021.

SIDONE, Otávio José Guerci; HADDAD, Eduardo Amaral; MENA-CHALCO, Jesús Pascual. A ciência nas regiões brasileiras: evolução da produção e das redes de colaboração científica. Transinformação, Campinas, v. 28, n. 1, p. 15-32, 2016 .

UNIVERSIDADE DE SÃO PAULO. Instituto de Psicologia. Minter/Dinter - Mestrado e Doutorado Interinstitucional. 2019. Disponível em: Disponível em: http://www.ip.usp.br/site/minterdinter-mestrado-e-doutorado-interinstitucional/. Acesso em: 10 jan. 2019.

WITTER, Geraldina Porto; PASCHOAL, Giovana Ardoino. Produção científica na área educacional: realização acadêmica na adolescência. Revista Psicologia em Pesquisa, Juiz de Fora, v. 4, n. 2, 2010.

NOTAS

1 Esta pesquisa foi finalizada antes do fim desse projeto.
2 Limite superior = Q3+1,5(Q3-Q1) e limite inferior = Q3-1,5(Q3-Q1).
CONJUNTO DE DADOS DE PESQUISA Todo o conjunto de dados que dá suporte aos resultados deste estudo foi publicado no próprio artigo.
LICENÇA DE USO Os autores cedem à Encontros Bibli os direitos exclusivos de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution (CC BY) 4.0 International. Estra licença permite que terceirosremixem, adaptem e criem a partir do trabalho publicado, atribuindo o devido crédito de autoria e publicação inicial neste periódico. Os autores têm autorização para assumir contratos adicionais separadamente, para distribuição não exclusiva da versão do trabalho publicada neste periódico (ex.: publicar em repositório institucional, em site pessoal, publicar uma tradução, ou como capítulo de livro), com reconhecimento de autoria e publicação inicial neste periódico.
PUBLISHER Universidade Federal de Santa Catarina. Programa de Pós-graduação em Ciência da Informação. Publicação no Portal de Periódicos UFSC. As ideias expressadas neste artigo são de responsabilidade de seus autores, não representando, necessariamente, a opinião dos editores ou da universidade.
EDITORES Enrique Muriel-Torrado, Raymundo N. Machado, Valdineia Barreto Ferreira, Kátia de Oliveira Rodrigues, Susane Barros e Genilson Geraldo.

Autor notes

CONTRIBUIÇÃO DE AUTORIA Concepção e elaboração do manuscrito: R. G. Castanha

Coleta de dados: R. G. Castanha

Análise de dados: R. G. Castanha

Discussão dos resultados: R. G. Castanha

Revisão e aprovação: R. G. Castanha

HMTL gerado a partir de XML JATS4R por