
Recepción: 11 Junio 2021
Aprobación: 20 Agosto 2021
DOI: https://doi.org/10.19132/1808-5245282.115453
Resumo: Objetiva mapear e analisar a produção científica de artigos sobre avaliação educacional na formação de professores, indexados nas bases de dados Web of Science, Scopus e Scielo. O estudo baseou-se em indicadores bibliométricos e estabeleceu três eixos de análise: por editoras, periódicos e artigos. Foram mapeados 177 artigos que foram veiculados por 119 periódicos e 76 editoras. Os resultados destacam que 51% da produção dos artigos concentram-se em seis editoras comerciais. Por outro lado, países como Brasil, Espanha, Canadá e Singapura concentram mais de 50% de sua produção em editoras universitárias. Das 119 revistas, identifica-se pela lei de Bradford um núcleo de sete periódicos mais produtivos que são revistas especializadas no tema. O periódico Assessment and Evaluation in Higher Education ganhou destaque por ser o que mais publicou, com nove artigos, e veicula o estudo mais citado. Dos 177 artigos, 20 receberam ao menos 18 citações e são considerados os de maior impacto. Além disso, acumulam 64% das 1.248 citações recebidas por todos os artigos mapeados. Sinalizamos a importância de uma indústria editorial científica consolidada, que dê visibilidade às diversidades culturais das pesquisas e áreas de conhecimento, assim como à profissionalização dos processos editoriais. Ao mesmo tempo, ainda são necessárias políticas de custeio das publicações e debates sobre a monopolização da produção em poucas editoras. Acenamos, ainda, para necessidade de investigar a produção científica sobre avaliação na formação de professores em bases de dados que reúnem periódicos que são invisibilizados no mainstream da ciência, fortalecendo regiões pouco estudadas.
Palavras-chave: Avaliação educacional, Formação de professores, Estado do conhecimento, Indicadores bibliométricos, Base de dados.
Abstract: It aims to map and analyze the scientific production of articles on educational assessment in teacher education, indexed in the Web of Science, Scopus and Scielo databases. The study was based on bibliometric indicators and established three axes of analysis, by: publishers; periodicals; and articles. 177 articles were mapped and published by 119 journals and 76 publishers. The results highlight that 51% of the articles' production are concentrated in six commercial publishers. On the other hand, countries like Brazil, Spain, Canada and Singapore concentrate more than 50% of their production in university publishers. Among 119 journals, Bradford's Law identified a core of 7 most productive journals that are specialized in the topic. The Assessment and Evaluation in Higher Education journal was highlighted for being the most published, with 9 articles, and published the most cited study. Of the 177 articles, 20 received at least 18 citations and are considered to have the greatest impact. In addition, 64% of the 1248 citations received by all mapped articles accumulate. We point out the importance of a consolidated scientific publishing industry, which gives visibility to the cultural diversity of research and areas of knowledge, as well as the professionalization of editorial processes. At the same time, policies are still needed to fund publications and debates on the monopolization of production in a few publishers. We also point to the need for investigations on scientific production on assessment in teacher education in databases that bring together journals that are invisible in the mainstream of science, strengthening understudied regions.
Keywords: Educational assessment, Teachers education, State of knowledge. Bibliometric indicators, Data base.
1 Introdução
Estudos do tipo bibliométricos e cientométricos têm se constituído como instrumentos básicos na investigação dos fenômenos da comunicação científica, adquirindo importância ao utilizar um método útil para mensurar a repercussão de determinados autores ou periódicos na comunidade científica. Esse tipo de investigação tem se fortalecido como uma das maneiras de avaliar a produçãcientífica em diferentes áreas do conhecimento (CARDOSO et al., 2005).
Esse trabalho tem como objetivo mapear e analisar a produção científica de artigos sobre avaliação educacional na formação de professores, indexados nas bases de dados Web of Science, Scopus e Scielo, a fim de identificar as principais editoras, periódicos e artigos dedicados ao tema.
Uma investigação bibliométrica sobre o tema da avaliação na formação de professores é necessária, porque seus mecanismos e suas concepções avaliativas estão em constante evolução, em um estado de fluxo (MADAUS; RUSSELL; HIGGINS, 2009; PELLEGRINO; HILTON, 2012).
Baird et al. (2014) evidenciam dois movimentos avaliativos distintos que, nos últimos anos, tiveram um grande impacto na literatura, nos sistemas educacionais e, consequentemente, no ensino da avaliação na formação de professores. O primeiro destaca os mecanismos de avaliações nacionais e internacionais que estão focados na gestão escolar. O segundo destaca internacionalmente a ascensão do debate sobre a avaliação educacional e sua importância nas relações entre professores e alunos.
A avaliação educacional visa práticas e melhorias em sala de aula em um processo contínuo de diagnóstico e ajuste do ensino e da aprendizagem. Neste sentido, inclui as atividades que professores e alunos utilizam para investigar o espaço entre seu estado de aprendizagem atual e o desejável, assim como as ações necessárias para diminuir essas distâncias. Esta forma de avaliação situa-se no ambiente de ensino e aprendizagem e, normalmente, envolve diferentes instrumentos e tecnologias de avaliação (BLACK; WILIAM, 2006).
Neste caso, ela deve, principalmente, apoiar a aprendizagem dos alunos, sendo compreendida como ato político que se apresenta como parte do processo de tessitura de conhecimento, fundamentado na investigação do próprio processo formativo. Pela prática investigativa, os envolvidos na ação avaliativa refinam seus sentidos e exercitam/desenvolvem diversos conhecimentos com o objetivo de agir conforme suas necessidades, individual e coletivamente consideradas. Permite, por meio de pistas e indícios produzidos pelos sujeitos, evidenciar os processos de ensino-aprendizagem construídos, em construção e ainda não construídos, oferecendo elementos para projetar outras possibilidades pedagógicas (SANTOS, 2005).
2 Metodologia
Para entender a produção de conhecimento resultante do desenvolvimento da pesquisa, foram estabelecidos indicadores bibliométricos de produção científica e de citação (KOBASHI; SANTOS, 2008), sendo eles: distribuição da produção por editora, por periódico, por temas abordados pelos periódicos e pelo número de citações.
As fontes foram recuperadas a partir de consulta nas bases de dados Web of Science (WOS), Scopus e Scielo, realizadas no dia 03 de dezembro de 2018. Em todas as bases de dados utilizamos o filtro para buscar apenas artigos publicados em periódicos. O estudo se limita aos periódicos indexados e à limitação temporal dessas bases de dados. Buscou-se por artigos que em seu título apresentassem as palavras avaliação e formação de professores. Na busca, o descritor utilizado foi: (“Teacher training” OR “Teacher education”) AND (Assessment OR Evaluation). Por se tratar de um estudo que visa compreender as características epistemológicas de um determinado tema, optamos por realizar as buscas pelos títulos uma vez que estes expressam o entendimento que os autores dos trabalhos têm daquilo que é relevante ao tema.
Foram recuperados 652 documentos sendo: 291 na WOS, 333 na Scopus e 28 na Scielo.[1] Os artigos foram extraídos em registro completo no formato RIS e importados para o software EndNote X7, no qual as referências duplicadas foram removidas. Ao todo foram eliminadas 171 duplicações. Os trabalhos recuperados datavam entre 1942 e 2018.
Após esse procedimento, foi organizado um grupo de três pesquisadores,[2] que leram os títulos e resumos dos 481 artigos restantes e excluíram aqueles que, apesar de terem nos títulos os descritores pesquisados, não discutiam sobre o tema da avaliação do ensino e da aprendizagem na formação de professores. Em caso de dúvida (53 artigos), em que o título e o resumo não foram suficientes para identificar o tipo de avaliação, o texto foi lido na íntegra. O processo de exclusão eliminou 304 artigos, restando 177 trabalhos.[3]
Os registros recuperados nas bases de dados foram exportados para o software EndNote X7. Posteriormente as referências foram transformadas para o formato bloco de notas e seu conteúdo foi convertido para uma planilha Microsoft Excel. Na primeira planilha, dividimos os periódicos por título, número de artigos publicados e editora responsável. Também inserimos informações sobre o país da editora disponíveis nas plataformas Miar, SCImago Journal & Country Rank e Korea citation index e nos sites das próprias editoras. Dados sobre a área de atuação de cada periódico também foram inseridos após análise dos textos disponíveis nas seções de foco e escopo.
Para a identificação dos periódicos mais produtivos sobre o tema, foram adotados preceitos da Lei de Bradford de 1934, também conhecida como Lei da Dispersão (BRADFORD, 1985). A lei estabelece que, conforme um tema começa a ser publicado, gradativamente, vai sendo reproduzido pelos mesmos periódicos, que acumulam o maior quantitativo de trabalhos sobre esse assunto. A partir dos dados coletados identificamos a quantidade de periódicos no núcleo e nas zonas periféricas, assim como aqueles mais relevantes para a área de estudo.
Para identificar os artigos com maior impacto, organizamos uma segunda planilha no Microsoft Excel 2010, apresentando-os por título, número de citações, ano de publicação, periódico e autoria. Realizamos, no dia 07 de dezembro de 2018, a busca detalhada de cada artigo nas bases de dados Scopus e WOS, identificando a quantidade de citações recebida por cada artigo. A tabela seguiu a ordem decrescente, segundo número de citações recebidas. Para os artigos que tiveram o número de citações contabilizadas nas duas bases de dados, optamos pelo maior resultado.
Calculamos o Núcleo h dos artigos mapeados para identificarmos os com maior impacto. Baseamo-nos no índice h (HIRSCH, 2005), que calcula tomando-se o número de artigos publicados e o número de citações recebidas pelo pesquisador, pelo periódico ou pelo grupo de pesquisa. Utilizamos o índice h por ser um indicador que estima a importância e o significado da produção científica, “[...] oferecendo um ponto de referência útil, que permite comparar, de uma maneira imparcial, diferentes indivíduos, quando um dos critérios importantes é a realização científica” (WOOD JR.; COSTA, 2015, p. 327).
3 Análise dos dados
No intuito de compreender quais editoras, periódicos e artigos têm se dedicado ao tema da avaliação na formação de professores, analisamos os 177 artigos mapeados nas bases de dados Web of Science, Scopus e Scielo.
3.1 Análise das editoras
Os 177 artigos foram publicados em 119 periódicos, que foram chancelados por 76 editoras. Para construção do Gráfico 1, organizamos as editoras responsáveis pelos periódicos em três categorias definidas por Rodrigues, Quartiero e Neubert (2015), quais sejam: Categoria 1, editoras vinculadas às universidades ou instituições de ensino superior; Categoria 2, editoras de sociedades científicas, associações, institutos, conselhos, ministério, organizações ou redes que pesquisam sobre determinado assunto; e Categoria 3, editoras comerciais com fins lucrativos de publicação acadêmica que não estão diretamente ligadas às instituições de ensino, sociedades científicas e/ou governo.

A Categoria 1 conta com 35 editoras, 38 periódicos e 48 artigos publicados. É preciso destacar que a diferença entre o número de editoras e de periódicos acontece pelo fato de duas editoras brasileiras chancelarem mais de um periódico. A editora da Unicamp é responsável por três periódicos (Cadernos CEDES, Educação & Sociedade e Pro-Posições), e a Universidade Estadual Paulista (UNESP) chancela dois (Motriz: Revista de Educação Física e Bolema: Boletim de Educação Matemática).
Ao cruzarmos as editoras da Categoria 1 com os países de origem das editoras, temos uma distribuição em 14 países, sendo 11 na Espanha, sete no Brasil, quatro nos Estados Unidos, três na Colômbia, um na Austrália, no Canadá, no Chile, na Coreia do Sul, na Costa Rica, no México, em Nepal, em Portugal, em Singapura e na Turquia.
O Brasil teve 91%, Espanha 82%, Canadá e Singapura 50%, Austrália, Estados Unidos e Turquia 25% e Coreia do Sul 12,5% dos periódicos ligados a instituições de ensino superior. Já a Colômbia, assim como o Chile, Costa Rica, México, Nepal e Portugal, apresentaram apenas uma publicação. Cabe salientar que a prevalência de editoras ligadas a instituições de ensino superior também foi identificada nos estudos de Ohira et al. (2003), na área da ciência da informação, e por Santos e Noronha (2013), na área de Ciências Sociais e Humanidades.
De acordo com Bocchini (1997), entre os principais objetivos das editoras universitárias está a divulgação de novas pesquisas, o registro da cultura produzida na região e o descobrimento de novas necessidades de comunicação vigentes na sociedade. No mesmo sentido, Marques Neto e Rosa (2010) reforçam o pensamento dessas editoras de que é necessário garantir a biodiversidade cultural, e ressaltam que, atualmente, as editoras universitárias têm o mesmo espaço e reconhecimento que as com fins comerciais.
A Categoria 2 foi composta por: oito sociedades, três associações, dois conselhos, um instituto, um ministério, uma rede e uma organização. Cruzando com os países de origem das editoras, encontramos sete (Japão, Coreia do Sul, Austrália, Canadá, Estados Unidos, Espanha e Brasil). O Japão teve sua única publicação pela editora do instituto International Information Institute Ltd, já a Coreia do Sul apresentou seis dos seus artigos (75%) em editoras dessa categoria, sendo dois periódicos editados por conselhos e quatro por sociedades.
Dos quatro periódicos australianos, dois (50%) estão vinculados a sociedades científicas, sendo elas a Australasian Society for Computers in Learning in Tertiary Education (ASCILITE) e a Royal Society of New South Wales. O Canadá apresentou uma de suas publicações (50%) vinculada à editora da sociedade Canadian Society for the Study of Education. Já os Estados Unidos tiveram quatro editoras nesta categoria (24%), sendo dois periódicos na editora do Council for Exceptional Children, um na Arab Society of English Language Studies e um no National Council on Measurement.
A Espanha teve um artigo publicado pela editora do Ministerio de Educación y Formación profesional do Governo Espanhol e um pela Organização dos Estados Ibero-Americanos. As duas editoras espanholas desta categoria representam 14% das editoras deste país. Já o Brasil teve uma publicação pela Rede Brasileira de Avaliação Institucional do Ensino Superior (RAIES). No caso da editora RAIES, é preciso destacar que ela funciona em parceria com a Universidade de Campinas (Unicamp) e com a Universidade de Sorocaba (Uniso); apesar disso, foi colocada nesta categoria por indicar em seus artigos que sua editoração é feita pela rede.
Segundo Barcelos (2010), as editoras se diferenciam segundo a estrutura de seus capitais: o financeiro, que implica também o seu poder comercial; e o capital simbólico, presente em um sistema literário, que provém do passado e do presente das editoras dentro do mercado. Neste sentido, observamos como as sociedades, associações, institutos, conselhos, ministério, organizações ou redes têm colaborado com um capital simbólico no processo de editoração e chancela dos periódicos. Estas comunidades se organizam em grupos de interesse por uma determinada área de estudo, com objetivo de intercâmbio de informações e contribuição na difusão das investigações para sociedade (VOLPATO, 2008).
De maneira geral, as editoras dessa categoria são sociedades científicas e compartilham o conhecimento de maneira ampla e irrestrita. Neste mapeamento, um exemplo é a Royal Society of New South Wales, que foi fundada em 1821 e é a sociedade mais antiga do hemisfério sul (PRINCE, 1976).
A Categoria 3 foi composta por 24 editoras e 64 periódicos, que publicaram 110 artigos. Ao cruzarmos com as informações dos países de origem das editoras, encontramo-las distribuídas em 16 países: quatro editoras da Alemanha e dos Estados Unidos, três do Reino Unido e da Turquia e uma da África do Sul, Argentina, Austrália, Coreia do Sul, Equador, Espanha, Finlândia, França, Holanda, Noruega, Polônia e Singapura.
É nesta categoria que se encontra a maioria dos periódicos mais produtivos sobre o tema, sendo que, dentre as 23 revistas que publicaram mais de um artigo, 18 são chancelados por editoras comerciais. Neste sentido, podemos entender a diferença entre o número de periódicos e de artigos, sendo expostas na Tabela 1 as revistas que publicaram mais de um texto, suas respectivas editoras e a quantidade de publicações.

Apesar de a Categoria 3 não ser a maior em número de editoras, ela foi responsável pela maior parte dos artigos publicados (62%). Deste modo, a diferença entre o número de editoras e periódicos pode ser entendida pelo fato de seis entre as 24 editoras desta categoria deterem 51% da produção dos artigos. A editora Taylor & Francis é responsável por 29 periódicos, que publicaram 55 artigos; a SAGE tem cinco periódicos e 13 artigos; a Springer tem cinco periódicos e cinco artigos; a Reed Elsevier tem três periódicos e 11 artigos; a Common Ground Publishing tem dois periódicos e cinco artigos; a Wiley-Blackwell tem dois periódicos e dois artigos.
A consolidação da indústria editorial científica tem sido tema de muito debate dentro e fora da comunidade acadêmica, especialmente em relação à concentração da maior parte das publicações em grandes editoras. Larivière, Haustein e Mongeon (2015) salientam que Reed Elsevier, SAGE, Taylor & Francis, Wiley-Blackwell e Springer estão entre as seis editoras mais prolíficas do mundo, e em 2013 foram responsáveis por mais de 50% de todos os trabalhos indexados na WOS. Evidenciam, ainda, que este número pode chegar a 70% nas áreas das ciências sociais, enquanto nas ciências humanas chega a 20%.
Semelhante ao apresentado pelos autores, nossa pesquisa também evidencia que seis editoras comerciais foram responsáveis por 90 artigos publicados (51%), sendo que cinco delas são as mesmas citadas por Larivière, Haustein e Mongeon (2015). Já as editoras universitárias somadas totalizaram 27,5% das publicações e as sociedades científicas/governamentais, 10,5%.
Harmon e Gross (2007) e Meadows (1980) apontam que depois de coexistirem com correspondências, monografias e tratados, os periódicos se tornaram, no início do século XIX, a maneira mais rápida e conveniente de divulgar novos resultados de pesquisa. Seu número cresceu exponencialmente a partir do século XX, quando os periódicos se consolidaram como a principal mídia para difundir as pesquisas científicas, principalmente nas ciências sociais e médicas (LARIVIÈRE et al., 2006; MEADOWS, 1979). Neste sentido, cada vez mais há uma profissionalização das atividades científicas e as grandes editoras comerciais têm aumentado sua atuação no sistema científico.
Neste processo, além da contribuição do conhecimento, há por parte dos pesquisadores a necessidade de publicar em revistas acadêmicas de prestígio, com ampla divulgação e impacto elevado. Os indicadores bibliométricos na avaliação de pesquisadores individuais são parte do processo de ascensão, por exemplo, no Brasil, para obter financiamento de pesquisa, permanência nos programas de pós-graduação e bolsas de produtividade. Segundo Barata (2019), os autores desejam: uma avaliação ágil, criteriosa e justa; adequada editoração; fidelidade ao texto; e rapidez e impacto acadêmico com a publicação. Esse conjunto de expectativas depende fundamentalmente da qualidade do artigo e dos processos editoriais das revistas, por meio de sistemas informatizados, pré-análise, processo de revisão por pares e qualidade da editoração.
Já por parte das editoras, há um processo de profissionalização das revistas. Entretanto, esbarra-se no aspecto econômico da publicação e, consequentemente, no mercado de revistas e editoras. Publicar exige custos, como salienta Kuhlmann Jr. (2015), para manter o processo de revisão por pares, geração dos textos em XML, impressão e distribuição, manutenção das plataformas digitais, armazenamento dos conteúdos, diagramação, emissão do DOI, utilização de programas antiplágio, entre outros. O custo da publicação tem sido amplamente discutido, tanto no âmbito das editoras, de acesso aberto ou não, como das taxas de submissão e publicação cobradas dos autores (BICAS; CHAMON, 2012).
Neste contexto, os diferentes tipos de editoras se apresentam essenciais no processo de publicação de artigos e divulgação da ciência (OLIVEIRA, 2018). Segundo Bourdieu (1999), as editoras vão usando de estratégias para sobreviver ao mercado e a suas exigências econômicas e sociais.
3.2 Análise dos periódicos
Para analisar o grupo de revistas que mais publicaram sobre o tema, utilizamos a Lei de Bradford. A lei afirma que, se os periódicos forem ordenados pela produtividade decrescente de artigos sobre um determinado assunto, poderão ser distribuídos em um núcleo daqueles mais devotados ao assunto e em diversos grupos ou zonas contendo o mesmo número de trabalhos que o núcleo. Guedes e Borschiver (2012) sugerem que
[...] na medida em que os primeiros artigos sobre um novo assunto são escritos, eles são submetidos a uma pequena seleção, por periódicos apropriados, e se aceitos, esses periódicos atraem mais e mais artigos, no decorrer do desenvolvimento da área de assunto. Ao mesmo tempo, outros periódicos publicam seus primeiros artigos sobre o assunto. Se o assunto continua a se desenvolver, emerge eventualmente um núcleo de periódicos, que corresponde aos periódicos mais produtivos [...] sobre tal assunto. (GUEDES; BORSCHIVER, 2012, p. 4).
Machado Júnior et al. (2016) revelam que a Lei de Bradford possibilita estimar o grau de relevância de periódicos que atuam em áreas do conhecimento específicas. Tende-se a formar um núcleo dos periódicos com maior publicação de artigos sobre um tema, que, de alguma maneira, concentram uma determinada especialidade, seja pelo interesse dos pesquisadores, ou por sua qualidade. Em sequência, constitui-se um conjunto de zonas proporcionais. Desta forma, as zonas subsequentes ao núcleo apresentam gradativamente um volume maior de periódicos com reduzida produtividade sobre o assunto. Esse padrão de comportamento justifica a dificuldade de se processar a cobertura completa de um assunto.
Aplicando a lei constatamos a necessidade de dividirmos os periódicos em quatro zonas, sendo uma delas o núcleo. Calculando-se quatro zonas para 177 artigos, temos 44,25. Não havendo possibilidade de se considerar metade de um artigo, nem parte dos artigos de um mesmo periódico, procurou-se o número mais próximo de 44, como mostra a Imagem 1.

Referente à aplicação da Lei de Bradford, os dados coletados mostraram a existência de um pequeno núcleo com sete periódicos que aborda o assunto de maneira mais extensiva, com 43 artigos e uma vasta região periférica dividida em zonas. Nessas zonas observa-se o aumento do número de revistas, ao mesmo tempo em que se reduz a concentração de artigos sobre tema. Assim, a Zona 1 foi composta por 16 periódicos e 38 artigos, a Zona 2 por 44 periódicos e 44 artigos e Zona 3 por 52 periódicos e 52 artigos. É preciso salientar que não há como diferenciar em grau de importância os periódicos da Zona 2 e 3, pois todos produziram apenas um artigo e, por isso, aparecem na Imagem 1 na cor azul sem distinção entre elas. A construção das Zonas 2 e 3 foi realizada devido à necessidade dos cálculos matemáticos para aplicação da lei.
Ao analisarmos os periódicos que constituíram o Núcleo e a Zona 1 e os cruzarmos com as informações sobre as editoras e seus respectivos países de origem, identificamos que há um amplo domínio daquelas com natureza comerciais, sendo a Taylor & Francis, Elsevier, SAGE publication e Common Ground Publishing responsáveis por 18 dos 23 periódicos.
No Gráfico 2 organizamos de forma decrescente os periódicos que produziram mais de um artigo, sendo os sete primeiros, pintados de cinza, pertencentes ao Núcleo, e os 16 restantes, na cor vermelha, inseridos na Zona 1.

Do Gráfico 2 podemos concluir que 23 periódicos publicaram 81 artigos, que representam 46% da produção sobre o tema. Entretanto, é preciso salientar que essa contagem é relativa aos dados disponibilizados pelas bases de dados, que nem sempre cobrem todos os artigos publicados por determinado periódico. Por exemplo, a revista Australian Journal of Teacher Education, criada no ano de 1975, tem sua cobertura pela Scopus a partir do ano de 2008. Já a revista Psychologie in Erziehung Und Unterricht, criada em 1954, é coberta pela WOS a partir de 1973. De maneira geral, dos 23 periódicos que mais publicaram sobre o tema, 12 deles têm cobertura completa dos artigos pelas bases de dados desde o primeiro número, enquanto 11 revistas têm seus primeiros números descobertos.
Lopes et al. (2012), ao discutirem sobre as desvantagens das bases de dados WOS e Scopus, relatam que 80% dos artigos vinculados são das áreas de ciências e tecnologias, apresentando uma cobertura deficiente das áreas das artes e humanidades. Além disso, alertam sobre a cobertura temporal, que em muitos casos não contempla o total dos números de periódicos, principalmente os anteriores aos anos de 1996.
A análise dos anos de criação dos 23 periódicos que mais publicaram sobre o tema evidencia que quatro foram criados antes da década de 1970, sendo respectivamente nos anos de 1920, 1950, 1954 e 1967. Os demais 19 periódicos têm sua criação distribuída entre as décadas de 1970 e 2010, sendo: sete em 1970; três em 1980; quatro em 1990; três em 2000; e dois em 2010. Isso revela, principalmente a partir da década de 1970, um movimento de criação de revistas especializadas que se tornam referência e dão maior visibilidade ao tema. A revista Assessment & Evaluation in Higher Education, por exemplo, divulgou os primeiros artigos na década em 1975.
A criação de revistas especializadas em avaliação e formação de professores evidencia uma mudança, na qual o tema deixa de ser apenas objeto de estudo e se constitui como campo científico. A análise dos nomes dos sete periódicos inseridos no Núcleo evidencia que todas são revistas especializadas no tema e cinco delas utilizam as palavras teacher education e duas a palavra evaluation em seu título. Estes periódicos são compreendidos pelos autores como locais de referência, na medida em que acumulam maior quantidade de trabalhos específicos sobre o tema. Esse argumento é reforçado no próximo eixo de análise (Tabela 2), ao ratificar que os artigos publicados nos periódicos especializados são também aqueles com maiores índices de citação.
O periódico com maior número de publicações, Assessment & Evaluation in Higher Education, já em seu nome evidencia o interesse pelo tema da avaliação no ensino superior. Seu escopo relata ser uma revista internacional revisada por pares que publica artigos e relatórios sobre todos os tipos de avaliação dentro do ensino superior. Sua finalidade é promover o entendimento das práticas e processos avaliativos, particularmente a contribuição que eles trazem para a aprendizagem do aluno e para o desenvolvimento de cursos, funcionários e instituições de ensino.
A análise dos periódicos da Zona 1 apresenta um cenário diferente do anterior, pois apenas cinco dos 16 apresentam já em seu nome o interesse pelo tema da avaliação e/ou formação de professores (European Journal of Teacher Education; Teacher Educator;[4]Journal of Educational Evaluation; Assessment in Education-Principles Policy & Practice; Internacional Journal of Assessment and Evaluation). Nos outros 11 periódicos da Zona 1, temos: cinco com escopo amplo para questões educacionais gerais; quatro voltados para disciplinas específicas, sendo dois de Educação Física, um de Artes e um de Psicologia; um sobre Currículo; e um sobre o uso de tecnologias em escolas. Nas Zonas 2 e 3, cinco periódicos apresentaram o termo avaliação no nome da revista.
Apesar de o nome do periódico, muitas vezes, demonstrar o interesse por determinada área, a análise dos seus escopos foi necessária para entendermos em quais tipos de revistas o tema da avaliação na formação de professores tem sido privilegiado. Identificamos que 48 periódicos têm escopo amplo dentro do campo da educação e totalizam 40,3% do total. De maneira geral, eles estão interessados nas práticas educacionais de professores e alunos em diferentes níveis de ensino.
Entre os demais, 45 periódicos são temáticos (37,8%): 12 sobre avaliação; 12 sobre formação de professores; 10 sobre alfabetização e ensino de idiomas; cinco sobre tecnologias; três sobre ensino superior; dois sobre inclusão; e um sobre contabilidade e gestão escolar. Outros 24 (20,2%) são direcionados a alguma disciplina específica (sete de Educação Física; seis de Psicologia; três de Matemática; três de Astronomia/Física/Geografia/Química; três de Artes/Música; dois de Medicina). E, ainda, duas revistas com foco multidisciplinar/interdisciplinar (1,7%).
3.3 Análise dos artigos com maior número de citações
A divisão dos periódicos pelas zonas de Bradford permitiu identificar aqueles que foram mais produtivos sobre o tema dentro do mapeamento, entretanto isso não significa que os artigos publicados nesses periódicos foram os que tiveram maior impacto na produção científica. Para identificá-los, registramos o número de citação de cada um dos 177 artigos, organizando-os em ordem decrescente para calcular o índice h do Núcleo, que foi igual a 18. O índice h foi proposto por Hirsch (2005) como uma medida para avaliação da produção cumulativa de um autor, buscando apresentar o impacto das citações.
Esse indicador de impacto tem sido usado em diversos estudos para identificar o impacto da produção: por autor e por artigo (WOOD JR; COSTA, 2015; HIRSCH, 2005); por bases de dados, como WOS e Scopus; e por agências de fomento de países, como Austrália, Nova Zelândia e Reino Unido (LIMA; VELHO; FARIA, 2012). Segundo Hirsch (2005), o índice h mede o número de artigos que um autor apresenta com pelo menos a mesma quantidade de citações, ou seja, um autor com índice h = 7 significa que seu currículo apresenta pelo menos sete artigos com sete ou mais citações.
No Tabela 2 evidenciamos os trabalhos pertencentes ao Núcleo h e organizamos pelo título do artigo, pelo ranking dos mais citados, pelo quantitativo de citações, pelo quantitativo de citações relativas,[5] pelo ano de publicação e por periódico publicado.

A soma das citações recebidas por todos os artigos mapeados totaliza 1.248, que representam uma média de 7,05 por trabalho. Somando apenas os artigos do Núcleo h, temos 795 citações, equivalentes a 64% do total, com média de 39,5 citações por artigo. Desta forma, a elaboração da Tabela 2 permitiu a identificação dos artigos e periódicos pertencentes ao Núcleo h. Estes 20 artigos tiveram ao menos 18 citações, são considerados os de maior impacto neste mapeamento e estão distribuídos em 14 periódicos distintos.
Ao comparamos os periódicos que publicaram os artigos com maior número de citação (Tabela 2) com aqueles que tiveram maior produtividade (Gráfico 3), identificamos que quatro são pertencentes ao Núcleo do cálculo de Bradford (Assessment & Evaluation in Higher Education; Teaching and Teacher Education; Studies in Educational Evaluation; Journal of Teacher Education), dois estão na Zona 1 (European Journal of Teacher Education; Educación Xx1) e outros oito publicaram apenas um artigo e estão distribuídos nas Zonas 2 e 3. Ou seja, tivemos 12 artigos do Núcleo h publicados por seis periódicos mais produtivos e oito artigos do Núcleo h foram vinculados em periódicos menos produtivos.
O periódico Assessment & Evaluation in Higher Education, além de ser o com maior número de publicações (nove), também é o que mais publicou dentro do Núcleo h (três artigos) e vincula o artigo com maior número de citações. Os nove artigos publicados pela revista apresentam média de 24,8 citações recebidas por trabalho, apresentando-se como uma revista de grande impacto para comunidade acadêmica no debate sobre o tema. Os periódicos Teaching and Teacher Education; Studies in Educational Evaluation; Journal of Teacher Education; e European Journal of Teacher Education também se destacam por publicarem dois artigos pertencentes ao Núcleo h.
É preciso ponderar ainda que o número de citações sofre grande influência do ano em que o artigo foi publicado, sendo que os mais antigos têm vantagem em termos de divulgação. Conforme aponta Burrell (2007), o índice h favorece artigos com mais tempo de atividade, já que aumenta à medida que aumenta o tempo de atividade. Dentre os artigos do Núcleo h temos um publicado em 1986, sendo o mais antigo; um em 1996; um em 1999; nove na década de 2000; e cinco na década de 2010, sendo em 2014 a publicação mais recente.
Quatro outros fatores devem ser considerados na análise da tabela. Primeiro, a área de conhecimento do periódico. O número de citações recebidas pelo artigo de um determinado periódico deve ser contextualizado por subárea de conhecimento para efeito de comparações ou interpretação dos resultados (IGLESIAS; PECHARROMÁN, 2007), já que, aparentemente, áreas distintas tendem a possuir quantitativos de produção distintos, e consequentemente apresentam variações nos resultados (KELLNER; PONCIANO, 2008).
Neste caso, podemos observar cinco periódicos específicos no Núcleo h voltados para o ensino superior e/ou formação de professores (European Journal of Teacher Education; Profile Issues in Teachers Professional Development; Teaching and Teacher Education; Journal of Teacher Education; Teaching in Higher Education); quatro periódicos abordam a educação de maneira geral (Revista De Educación; Educación Xx1; Cultura Y Educación; Canadian Journal of Education); três são voltados para a avaliação educacional (Journal of Educational Measurement; Studies in Educational Evaluation; Educational Measurement: Issues and Practice); um aborda tecnologias do comportamento humano (Computers in Human Behavior); e um é voltado à avaliação no ensino superior (Assessment & Evaluation in Higher Education).
O segundo fator deve considerar o impacto, a indexação e o ano de fundação do periódico. É natural que os artigos publicados em periódicos de maior impacto, indexados em mais bases de dados e de maior relevância, assim como periódicos mais antigos, tenham maior potencial de refletir a quantidade de citações (ARAÚJO; SARDINHA, 2011). Terceiro fator: o tipo do artigo pode influenciar também no quantitativo de citação recebido. Oliveira e Gracio (2011) destacaram que artigos de revisão tendem a receber mais citações. Nessa pesquisa, nenhum texto dentre os mais citados apresentou essa característica.
O quarto fator a ser considerado são as autocitações e citações dentre participantes das redes de colaboração. As redes de colaboração sólidas entre pesquisadores podem significar um sinal de qualidade, entretanto é preciso uma análise mais profunda sobre a origem das citações, ou seja, é relevante identificar quem está realizando a citação para uma análise mais qualitativa (ARAÚJO; SARDINHA, 2011).
A análise de citações relativas permite estabelecer uma média das citações recebidas por cada artigo pelo seu tempo de existência, ou seja, são somados os anos de existência do artigo, que se dividem pela quantidade de citações que o trabalho já recebeu até o momento. Essa análise permite uma comparação mais justa entre artigos publicados em diferentes épocas. Percebe-se que os dois artigos do Núcleo h com maiores médias são datados de 2002 e 2013 e apresentam 7,6 de média de citações por ano. Desta forma, é interessante destacar que apesar de o artigo The Current State of Assessment Education: Aligning Policy, Standards, and Teacher Education Curriculum ter 38 citações e ser o oitavo do ranking, quando analisamos o quantitativo de citações recebidas por ano, ele tem a melhor média entre os textos do Núcleo h.
O mesmo destaque deve ser dado ao artigo If I experience formative assessment whilst studying at university, will I put it into practice later as a teacher? Formative and shared assessment in Initial Teacher Education (ITE) – publicado em 2017, na revista European Journal of Teacher Education, pelos autores Carolina Hamodi, Victor Manuel Lopez-Pastor e Ana Teresa Lopez-Pastor –, que, apesar de não aparecer no Núcleo h, é o trabalho com maior média, com oito citações em seu primeiro ano de publicação.
Desta forma, ainda são necessários estudos que analisem a velocidade com que os novos conhecimentos são incorporados à literatura, assim como seu ritmo de envelhecimento. De maneira geral, nossos dados evidenciam que os trabalhos com maiores índices de citações são da década de 2000 e início dos anos 2010. Dentre os artigos do Núcleo h, apenas um foi publicado nos últimos cinco anos, dando indícios de uma Meia-Vida[6] alta para literatura na área da avaliação do ensino e da aprendizagem na formação de professores. Entretanto ainda são necessários outros estudos que analisem o índice de citação imediata e a meia-vida das citações.
Entre os artigos com maior impacto, apenas cinco são de autoria individual, enquanto 15 são produzidos em colaboração. A Royal Society (2011) evidencia que há uma relação positiva entre o número de autores por documento e a quantidade de citações recebidas pelos textos. Destaca ainda que trabalhos colaborativos entre autores de países diferentes tendem a ter melhores índices de citação quando comparados proporcionalmente aos produzidos por autores do mesmo país, o que sugere que a colaboração internacional requer maior exigência científica.
Entretanto, neste estudo não ficou evidente a relação entre quantidade de citação e de coautoria de pesquisadores de diferentes países. Dos 177 artigos, observamos relação de parceria de autores de diferentes países em 14 trabalhos. Dentre os textos de Núcleo h, apenas Christopher DeLuca e Aarti Bellara apresentaram-se vinculados a instituições de países diferentes, sendo Canadá e Estados Unidos respectivamente.
4 Considerações finais
A análise da produção acadêmica sobre a avaliação educacional na formação de professores permitiu construir um mapa das principais editoras, periódicos e artigos que têm se dedicado ao tema.
Identificou-se uma concentração de 54% dos artigos em editoras europeias, sendo seis editoras comerciais (Taylor & Francis; SAGE; Springer; Reed Elsevier; Common Ground Publishing; e Wiley-Blackwell), responsáveis por 51% da produção dos artigos mapeados. Países como Brasil, Chile, Costa Rica, Colômbia, Espanha, México, Nepal e Portugal tiveram mais de 80% da produção dos artigos vinculados a editoras universitárias.
Neste sentido, para que a ciência desempenhe papel central em nossas sociedades, é preciso compreender a função das editoras no processo de divulgação da informação, assim como suas estratégias de sobrevivência comerciais, sociais e acadêmicas. Faz-se necessária uma indústria editorial científica consolidada, que dê visibilidade às diversidades culturais das pesquisas e áreas de conhecimento, bem como a profissionalização dos processos editoriais. Ao mesmo tempo, debates sobre as políticas de custeio das publicações e a monopolização da produção em pequeno número de editoras ainda são necessários.
No que tange os 119 periódicos mapeados, foi possível identificar um núcleo com sete revistas mais produtivas pela aplicação da Lei de Bradford, que totalizaram 43 artigos. Todos os periódicos pertencentes ao núcleo são especializados no tema da avaliação ou formação de professores. O periódico Assessment and Evaluation in Higher Education ganhou destaque sendo o mais produtivo, com nove publicações, e vincula o artigo com maior número de citações (122), dos autores Sluijsmans, Brand-Gruwel e Van Merriënboer (2002).
Dentre os 177 artigos mapeados, 20 pertencem ao Núcleo h, tendo no mínimo 18 citações, sendo considerado o grupo de artigos com maior impacto pelo quantitativo de citação recebida. Dentre estes 20 artigos, percebe-se também que 10 (50%) foram publicados pelos sete periódicos do núcleo de Bradford.
Acenamos para a importância de estudos que discutam as análises textuais dos trabalhos sobre o tema com grande impacto no campo científico, buscando compreender o debate conceitual. Há, ainda, a necessidade de retomarmos uma agenda de investigação sobre a avaliação na formação de professores de modo a recuperar as informações científicas presentes em bases de dados que reúnem periódicos que são invisibilizados no mainstream da ciência, fortalecendo regiões pouco estudadas, descentralizando o eixo Europa e América do Norte.
Referências
ARAÚJO, C. G. S.; SARDINHA, A. Índice-H dos artigos citantes: uma contribuição para a avaliação da produção científica de pesquisadores experientes. Revista Brasileira de Medicina do Esporte, São Paulo, v. 17, n. 5, p. 358-362, 2011.
BAIRD, J. A.; HOPFENBECK, T. N.; NEWTON, P.; STOBART, G.; STEEN-UTHEIM, A. T. Assessment and learning: state of the field review. Oxford: Knowledge Center for Education, 2014.
BARATA, R. B. Desafios da editoração de revistas científicas brasileiras da área da saúde. Ciência Saúde Coletiva, Rio de Janeiro, v. 24, n. 3, p. 929-939, 2019.
BARCELOS, M. A. As pequenas e médias editoras diante do processo de concentração: oportunidades e nichos. In: BRAGANÇA, A; ABREU, M (org.). Impresso no Brasil: dois séculos de livros brasileiros. São Paulo: Unesp, 2010. p. 317-330.
BICAS, H. E. A.; CHAMON, W. About price and value of scientific publications: criticism or indignation? Arquivos Brasileiros de Oftalmologia, São Paulo, v. 75, n. 3, p. 157-158, 2012.
BLACK, P., WILIAM, D. Developing a theory of formative assessment. In: GARDNER, J. (org.). Assessment and learning. London: Sage, 2006. p. 81-100.
BRADFORD, S. C. Sources of information on specific subjects. Journal of Information Science, [s.l.] v. 10, n. 4, p. 176-180, 1985.
BOCCHINI, M. O. Projetos editorias em laboratório. In: MARTINS, P. (org.). Livros, editoras e projetos. São Paulo: Ateliê Editorial, 1997. p. 81-100.
BOURDIEU, P. Une révolution conservatrice dans l’édition. Actes de la recherche en sciences sociales, France, v. 126, n. 1, p. 3-28, 1999.
BURRELL, Q. Hirsch´s h-index: a stochastic model. Journal of Informetrics, [s.l.], v. 1, n. 1, p. 16-25, 2007.
CARDOSO, R. L.; MENDONÇA NETO, O. R.; RICCIO, E. L.; SAKATA, M. C. G. Pesquisa científica em contabilidade entre 1990 e 2003. Revista de Administração de Empresas, São Paulo, v. 45, n. 2, p. 34-45, abr./jun. 2005.
GUEDES, V. L. S.; BORSCHIVER, S. Bibliometria: A bibliometria e a gestão da informação e do conhecimento científico e tecnológico: uma revisão da literatura. Ponto de Acesso, Salvador, v. 6, n. 2, 2012.
HARMON, J. E.; GROSS, A. G. The scientific literature: a guided tour. Chicago: Chicago University Press, 2007.
HIRSCH, J. E. An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences of the United States of America, [s.l.], v. 102, n. 46, p. 16569-16572, 2005.
IGLESIAS, J. E.; PECHARROMÁN, C. Scaling the h-index for different scientific ISI fields. Scientometrics, Budapest, v. 73, n. 3, p. 303-320, 2007.
KELLNER, A. W. A.; PONCIANO, L. C. M. O. H-index in the Brazilian Academy of Sciences: comments and concerns. Anais da Academia Brasileira de Ciências, Rio de Janeiro, v. 80, n. 4, p. 771-781, Dec. 2008.
KOBASHI, N. Y.; SANTOS, R. N. M. Arqueologia do trabalho imaterial: uma aplicação bibliométrica à análise de dissertações e teses. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, n. esp., p. 106-115, 1. sem. 2008.
KUHLMANN JR., M. Produtivismo acadêmico, publicação em periódicos e qualidade das pesquisas.Caderno de Pesquisa, São Paulo, v. 45, n. 158, p. 838-855, 2015.
LARIVIÈRE, V.; HAUSTEIN, S.; MONGEON, P. The oligopoly of academic publishers in the digital era. Plos One, San Francisco, v. 10, n. 6, p. 1-15, 2015.
LARIVIÈRE, V.; ARCHAMBAULT, É.; GINGRAS, Y.; VIGNOLA-GAGNÉ, É. The place of serials in referencing practices: comparing natural sciences and engineering with social sciences and humanities. Journal of the American Society for Information Science and Technology, [s.l.] v. 57, n. 8, p. 997-1004, 2006.
LIMA, R. A.; VELHO, L. M. L. S.; FARIA, L. I. L. Bibliometria e “avaliação” da atividade científica: um estudo sobre o índice H. Perspectivas, Belo Horizonte, v. 17, n. 3, p. 3-17, 2012.
LOPES, S; COSTA, M. T.; LIIMÓS, F. F.; AMANTE, M. J.; LOPES, P. F. A bibliometria e a avaliação da produção científica: indicadores e ferramentas. Actas: Congressos Nacionais de Bibliotecários, Arquivistas e Documentalistas, Lisboa, n. 11, p. 1-7, 2012.
MACHADO JÚNIOR, C.; SOUZA, M. T. S.; PARISOTTO, I. R. S.; PALMISANO, A. As leis da bibliometria em diferentes bases de dados científicos. Revista de Ciências da Administração, Florianópolis, v. 18, n. 44, p. 111-123, 2016.
MADAUS, G.; RUSSELL, M.; HIGGINS, J. The paradoxes of high stakes testing: how they affect students, their parents, teachers, principals, schools and society. Charlotte, N.C.: Information Age Publishing, 2009.
MARQUES NETO, J. C.; ROSA, F. G. Editoras universitárias: academia ou mercado? reflexões sobre um falso problema. In: BRAGANÇA, A.; ABREU, M. (org.). Impresso no Brasil: dois séculos de livros brasileiros. São Paulo: Unesp, 2010. p. 331-348.
MEADOWS, A. J. The scientific journal. London: Aslib, 1979.
MEADOWS, A. J. Access to the results of scientific research: developments in Victorian Britain. In: MEADOWS, A. J. (ed.). Development of science publishing in Europe. Amsterdam: Elsevier Science Publishing, 1980. p. 43-62.
OHIRA, M. L. B.; PRADO, N. S.; OLIVEIRA, T. F.; ROSA, L. O. G.; NAZARIO, V. M.; CORREIA, C. Análise dos periódicos eletrônicos (full text) em ciência da informação: América Latina, Caribe, Portugal e Espanha. Informação & Informação, Londrina, v. 8, n. 1, p. 14-38, 2003.
OLIVEIRA, A. B. Los libros en Ciencias Sociales y Humanidades en Brasil: un estudio a partir de los investigadores y de las editoriales. 2018. Tese (Doutorado em Ciência da Documentação) – Facultad de Ciencias de la Documentación, Universidad Complutense de Madrid, Madri, 2018.
OLIVEIRA, E. F. T.; GRACIO, M. C. C. Indicadores bibliométricos em ciência da informação: análise dos pesquisadores mais produtivos no tema estudos métricos na base Scopus. Perspectivas em Ciência da Informação, Belo Horizonte, v.16, n. 4, p. 16- 28, 2011.
PELLEGRINO, J. W.; HILTON, M. L. Education for life and work: developing transferable knowledge and skills in the 21st century. Washington, D.C.: Center for Education, 2012.
PRINCE, D. J. S. O desenvolvimento da ciência: análise histórica, filosófica, sociológica e econômica. Rio de Janeiro: Livros Técnicos e Científicos, 1976.
RODRIGUES, R. S.; QUARTIERO, E.; NEUBERT P. Periódicos científicos brasileiros indexados na Web of Science e Scopus: estrutura editorial e elementos básicos. Informação & Sociedade, João Pessoa, v. 25, n. 2, p. 117-138, 2015.
SANTOS, W. Currículo e avaliação na educação física: do mergulho à intervenção. Vitória: Proteoria, 2005.
SANTOS, S. M.; NORONHA, D. P. Periódicos brasileiros de ciências sociais e humanidades indexados na base SciELO: características formais. Perspectivas em Ciências da Informação, Belo Horizonte, v. 18, n. 2, p. 2-16, jun. 2013.
SLUIJSMANS, D. M. A.; BRAND-GRUWEL, S.; VAN MERRIËNBOER, J. J. G. Peer assessment training in teacher education: effects on performance and perceptions. Assessment and Evaluation in Higher Education, London, v. 27, n. 5, p. 443-454, 2002.
THE ROYAL SOCIETY. Knowledge, networks and nations: global scientific collaboration in the 21st century. London: The Royal Society, 2011.
VOLPATO, G. Publicação científica. 3. ed. São Paulo: Cultura Acadêmica, 2008.
WOOD JR, T.; COSTA, C. C. M. C. Avaliação do impacto da produção científica de programas selecionados de pós-graduação em administração por meio do índice H. Revista de Administração, São Paulo, v. 50, n. 3, p. 325-227, jul./set. 2015.
Notas
Notas de autor
matheusmlf1@gmail.com
ORCID: https://orcid.org/0000-0002-2273-7535
felipe.carneiro@ifes.edu.com.br
ORCID: https://orcid.org/0000-0002-2966-6768
wagner.santos@ufes.br
ORCID: https://orcid.org/0000-0002-9216-7291
Información adicional
Declaração de autoria: Concepção e elaboração do estudo: Matheus Lima Frossard, Felipe Ferreira Barros Carneiro, Wagner dos Santos. Coleta de dados: Matheus Lima Frossard, Felipe Ferreira Barros Carneiro, Wagner dos Santos. Análise e interpretação de dados: Matheus Lima Frossard, Felipe Ferreira Barros Carneiro, Wagner dos Santos. Redação Matheus Lima Frossard, Felipe Ferreira Barros Carneiro, Wagner dos Santos. Revisão crítica do manuscrito: Matheus Lima Frossard, Felipe Ferreira Barros Carneiro, Wagner dos Santos.
Como citar:: FROSSARD, Matheus Lima; CARNEIRO, Felipe Ferreira Barros; SANTOS, Wagner dos. Avaliação educacional na formação de professores: análise das editoras, periódicos e artigos. Em Questão, Porto Alegre, v. 28, n. 2, e-115453, abr./jun. 2022.