1. Introdução

O número de pesquisas que se dedica a acompanhar as contribuições da produção acadêmica em educação tem crescido no Brasil. Essas pesquisas, mormente intituladas e conhecidas como estudos de revisão, se dedicam a mapear a produção do conhecimento buscando problematizar tendências e desafios, mas também procuram sinalizar novas demandas de determinada área acadêmica e os desenhos metodológicos das pesquisas. Já são conhecidos muitos trabalhos na área de educação que se preocupam com esse movimento, como: Charlot (2006), Nosella (2010), Gatti (2012). Tal movimento é reflexo do significativo aumento da produção acadêmica na área de educação, fruto, em parte, das exigências do nosso Sistema Nacional de Pós-Graduação e, também, pelo fortalecimento da importância dos resultados das pesquisas para a formulação de políticas.

Buscando colaborar com esse processo, este texto faz parte dos resultados de uma pesquisa que se debruçou sobre 113 estudos de revisão, dentre os quais, livros e a Série Estado do Conhecimento do Instituto Nacional de Estudos e Pesquisa Anísio Teixeira (INEP) e artigos publicados em revistas nacionais da área da educação, indexados na Scielo.

Os 113 trabalhos foram alocados em dois grandes grupos da seguinte forma: grupo 1 composto por 38 trabalhos que não informaram uma tipologia de análise; grupo 2 composto por 75 trabalhos que informaram uma tipologia e, nesse caso, foram identificadas 27 diferentes classificações para os estudos de revisão.

O recorte proposto para este artigo analisa três tipologias identificadas: estudos bibliométricos, estudos de revisão sistemática e revisões de literatura, o que redundou em um total de 12 estudos (3 revisões de literatura, 4 revisões sistemáticas e 5 estudos bibliométricos). Este estudo debruça-se sobre este grupo, pois dentre as pesquisas que se auto identificaram com algum tipo de pesquisa, este é o que compreende o segundo maior número de pesquisas. Portanto, analisou-se como três tipologias de estudos de revisão são abordadas nas produções que formaram o campo empírico da pesquisa acima destacada.

Os estudos de revisão ganharam terreno nas últimas décadas adquirindo importância no seio das pesquisas educacionais. São importantes por identificarem fragilidades sobre o acumulado da área, o grau de diálogo entre as pesquisas, a duplicidade de estudos, racionalizando a produção científica de modo a auxiliar políticas de fomento à pesquisa e de otimização e dinamização dos trabalhos dos centros de pesquisa. Este tipo de estudo tem como objetivo principal partir da produção acadêmica já realizada para sintetizar ou mapear assuntos, temas, resultados, procedimentos, tipos de análise a fim de apontar lacunas e tendências. (SILVA, 2018, pp. 106-107).

Algumas pesquisas sobre estudos de revisão têm indicado que há diferentes denominações para se referir a estudos semelhantes, mas há também diferentes abordagens de investigação (VOSGERAU; ROMANOWSKI, 2014; GATTI, 2012; THOMAS, 2007). A revisão de literatura (MIRANDA; FARIAS, 2009; ALVES,1992), a revisão sistemática (DAVIES, 2007) e a bibliometria (DAIM et al., 2006; THELWALL, 2008; MARTÍNEZ et al., 2015) são tipos de estudos que ajudam a identificar as contribuições e lacunas da produção do conhecimento e que possuem metodologias específicas, as quais buscamos dar destaque aqui com esse texto considerando que o uso das três tipologias são sínteses de pesquisas que contribuem com a área educacional.

A proposta volta-se para a análise de um conjunto de trabalhos dessa natureza, procurando caracterizá-los, sobretudo, revelando como eles vêm sendo apropriados ou até mesmo ressignificados, indicando seus objetivos, suas abordagens metodológicas e suas contribuições para a área de educação. Espera-se, com este esforço, contribuir para a sistematização de análises sobre os estudos com essas abordagens e, por conseguinte, para a consolidação desses tipos de pesquisas e para o delineamento de novos estudos de revisão.

Este artigo está organizado em três momentos que dialogam entre si, inicialmente traça um panorama sobre o arcabouço conceitual dos tipos de pesquisas, identificando na literatura científica como a bibliometria, a revisão de literatura e a revisão sistemática são fundamentadas por alguns autores, os quais não compõem o corpus empírico da presente pesquisa. na sequência, apresenta e analisa os 12 trabalhos de revisão a partir de seus critérios de inclusão, temas escolhidos, recortes temporais e espaciais, objetivos, materiais recuperados, anos e periódicos de publicação, as contribuições dos trabalhos sobre os temas escolhidos, o diálogo com outros autores sobre o tipo de revisão e o que buscaram nos trabalhos primários. Com foco nesses dados analisa aproximações, lacunas, dissonâncias e potenciais tendências dos tipos de revisão. E, por fim, as considerações finais apresentam as contribuições e possibilidades, sinalizando novos caminhos para estudos e pesquisas sobre as três tipologias de estudos de revisão.

2. A bibliometria, a revisão sistemática e a de literatura: como são caracterizadas pelo campo?

Nas pesquisas sobre produção do conhecimento são foco das análises, além dos resultados, os objetos de estudos, as metodologias empregadas, os referenciais teóricos, dentre outros aspectos que permitem à comunidade acadêmica acompanhar o desenvolvimento científico de determinada área do conhecimento. Esse tipo de pesquisa surge com intuito de identificar os temas e as principais tendências de análises realizadas sobre determinado tema em um certo período de tempo. Realizam, além do recorte temporal, recortes geográficos e bibliográficos para delimitar suas interpretações. Diferenciam-se pelas formas de análise dos materiais levantados, definidas a partir dos propósitos elaborados para o estudo. É no bojo dessas características que se situam os estudos bibliométricos, as revisões de literatura e as revisões sistemáticas.

Os estudos bibliométricos são caracterizados pelo desafio duplo de analisar o grau de penetração no campo científico e fazer seu mapeamento. O mapeamento e a análise focam em aspectos como a divulgação científica e o seu grau de difusão, atentando para a qualidade dos trabalhos e para o desenvolvimento de padrões de avaliação deles. A bibliometria pode focar em determinadas áreas, grupos de pesquisa, periódicos, bases de indexação etc. (DAIM et al., 2006; THELWALL, 2008; MARTÍNEZ et al., 2015). Esses estudos bibliométricos constituem um tipo de revisão em que os dados quantitativos e os tratamentos estatísticos servem como indicadores para analisar as características da produção em uma determinada área. A bibliometria “pode ser definida como um conjunto de leis e princípios aplicados a métodos estatísticos e matemáticos que visam o mapeamento da produtividade científica de periódicos, autores e representação da informação” (CAFÉ; BRASHER, 2008, p. 54).

A contribuição-chave das pesquisas bibliométricas é a verificação do impacto, pois este tipo de pesquisa visa aferir, medir, analisar, por exemplo, o número de publicações, citações, os índices de circulação das publicações nos ambientes científicos (DAIM et al., 2006; THELWALL, 2008; MARTÍNEZ et al., 2015).

Desta forma, é possível identificar tendências em campos científicos, sua evolução, seus clusters e qual a interação entre estes. Com o mapeamento científico, também é possível realizar o monitoramento da evolução temporal e reconhecer os principais autores envolvidos (NOYONS; MOED; VAN RAAN, 1999, p. 1).

Há tentativas de padronização das pesquisas bibliométricas, com o estabelecimento de passos que devem ser seguidos por pesquisadores que adotam essa tipologia de estudo. A bibliometria se define como um tipo de estudo de revisão quantitativo-estatístico que acompanha e analisa o desenvolvimento científico, ou como define Foresti (1989, p.17), “[...] uma área extensa da Ciência da Informação que abrange todos os estudos que procuram quantificar os processos de comunicação escrita, aplicando métodos numéricos específicos”.

A revisão sistemática, por sua vez, é um tipo de revisão que está agrupada na perspectiva das revisões que avaliam e sintetizam resultados das pesquisas (VOSGERAU e ROMANOWSKI, 2014). Com relação ao item conclusão, observam-se diferenças importantes na forma de organização desse tipo de estudo. Em alguns artigos prevalece uma análise do objeto da investigação, com considerações referentes ao conteúdo desse objeto e, em outros, uma análise mais focada no tipo de pesquisa, com indicações a partir dos resultados encontrados na revisão.

Os estudos de revisão sistemática caracterizam-se pela realização de uma análise de um tema ou de uma questão a partir do levantamento da produção científica em fontes pré-definidas de busca, “trata-se de um tipo de investigação focada em questões bem definida, que visa identificar, selecionar, avaliar e sintetizar as evidências relevantes disponíveis” (GALVÃO e PEREIRA (2014,p. 01). O que corrobora com Ramos, Faria, Faria (2014, p. 21), ao afirmarem que “o propósito de uma revisão sistemática é resumir a melhor pesquisa disponível acerca de uma questão específica. Isto é feito através da síntese dos resultados de diversos estudos”. Galvão e Pereira (2014), nos alertam para a necessidade de evitar um trabalho tendencioso e definem os passos para a realização de revisões sistemáticas.

Os métodos para elaboração de revisões sistemáticas preveem: (1) elaboração da pergunta de pesquisa; (2) busca na literatura; (3) seleção dos artigos; (4) extração dos dados; (5) avaliação da qualidade metodológica; (6) síntese dos dados (metanálise); (7) avaliação da qualidade das evidências; e (8) redação e publicação dos resultados ( p. 1)

Passos que podem ser complementados pelas orientações de Ramos, Faria, Faria (2014, p. 23):

No processo de revisão sistemática de literatura, é imprescindível que sejam registradas todas as etapas de pesquisa, não só para que esta possa ser replicável por outro investigador, como também para se aferir que o processo em curso segue uma série de etapas previamente definidas e absolutamente respeitadas nas várias etapas.

São observações, orientações e procedimentos que nos ajudam a entender melhor a forma como se constitui esse tipo de metodologia que, inserida nos tipos de estudos de revisão, ajudam a que pesquisadores possam compreender determinada área de estudos.

Por fim, temos a revisão de literatura que se insere no conjunto dos estudos que:

consistem em organizar, esclarecer e resumir as principais obras existentes, abrangendo o espectro de literatura relevante em uma área, tema ou assunto. Considerando que literatura pode abranger as publicações em forma de livro, artigos, teses, dissertações e demais publicações escritas. As revisões podem indicar as tendências e procedimentos metodológicos utilizadas na área e apontar tendências das abordagens das práticas educativas (VOSGERAU e ROMANOWSKI, 2014, p.167).

Para analisar as contribuições da revisão de literatura no conjunto dos estudos de revisão, à luz de Vosgerau e Romanowski (2014), foram consideradas definições oriundas de estudos do campo educacional.

A revisão de literatura é processo de busca do referencial teórico produzido em torno de um problema de pesquisa, apontando resultados que possam ser replicados ou evitados e lacunas que podem estimular a produção de novas pesquisas. Para tanto, exige critérios explícitos de inclusão ou exclusão, considerando que nem todos os estudos publicados possuem o mesmo rigor metodológico.

Como é possível perceber no debate acima, há uma aproximação metodológica entre esses tipos de pesquisa. Guardando suas particularidades, é possível afirmar que as mesmas se preocupam com o rigor no processo de pesquisa, o que inclui a clareza com as fontes, o recorte temporal dos dados, a sistematização desses dados (que inclui o cuidado na leitura dos textos), a organização das análises e a apresentação dos resultados. Os objetivos também aproximam esses tipos de pesquisa: caracterização da produção do conhecimento, caracterização das tendências e dos limites encontrados de forma a contribuir com o avanço da área.

A partir desse debate, propôs-se apresentar os resultados das análises deste estudo, e optou-se por fazer essa tarefa em dois movimentos. No primeiro movimento foram apresentadas análises em separado sobre cada tipo de revisão que foram postas em debate: Trabalhos de revisão do tipo bibliométrico; Trabalhos de revisão sistemática; Trabalhos de revisão de literatura e, no segundo movimento, elaborou-se uma análise conjunta de achados dessa pesquisa.

3. As características dos tipos de pesquisas

Tomando os estudos de revisão em sua generalidade, observa-se que para a construção de um estudo desse tipo é necessário a delimitação de algumas características em comum, tais como: definição do tema de pesquisa, critérios de inclusão dos trabalhos analisados, recorte temporal e espacial, local e fonte de busca, modo de leitura do material (completo ou parcial, objetivos do estudo, diálogo com a literatura específica dos estudos de revisão, dentre outros). É com base nessas características que são apresentados os dados a seguir, considerando para cada tipo de revisão aqui em análise.

3.1 Trabalhos de revisão do tipo bibliométrico

Foram localizados cinco estudos, em um universo de 113 investigações do tipo estudos de revisão, que se autodenominaram estudos bibliométricos. Com esse dado é possível perceber que não se trata de um tipo de investigação prevalecente na área educacional no campo dos estudos de revisão. A prevalência do uso das abordagens qualitativas na área educacional, especialmente após os anos 1980, pode ter uma relação direta com uma menor opção por um tipo de estudo de revisão afinado com a quantificação e com a métrica.

Os temas das pesquisas foram: Educação a distância; Campo de História da Educação; Produção científica em educação e Pesquisa Educacional no Brasil. Apenas um estudo informou a obtenção de financiamento, no caso pela Capes e CNPq.

Os objetivos dos trabalhos podem ser descritos em função dos seus verbos de ação nas proposições apreendidas diretamente dos textos. Apenas um trabalho não revelou de forma explícita o objetivo, no entanto, isso não impediu o entendimento de que o objetivo foi verificar a contribuição dos Grupos de Pesquisa de História da Educação para a construção e consolidação dessa área de conhecimento no país; visando extrair indicadores de sua produção científica. Os verbos utilizados foram: Abarcar; Verificar; Apresentar; Analisar (2);

As cinco publicações datam dos anos 2000, 2008, 2010, 2011 e 2014. As publicações foram realizadas nos periódicos Educar em Revista; Avaliação (dois artigos); Revista Brasileira de Estudos Pedagógicos e Educação & Sociedade. Os autores dos artigos foram Alvarenga (2000), Mill e Oliveira (2014), Hayashi e Ferreira Junior (2010), Bittar, Silva e Hayashi (2011) e Hayashi et. al. (2008). Não há recorte espacial em uma pesquisa, mas em quatro optou-se pelo Brasil como limite.

Apenas Mil e Oliveira (2014) foram abrangentes ao se referirem ao objeto de estudo, o qual foi a “Relação entre pesquisa e educação a distância”. Os demais autores foram específicos: Grupos de pesquisa que integram o Diretório de Grupos de Pesquisa no Brasil/CNPq; Produção científica veiculada em dois periódicos de educação: Revista Brasileira de Educação – RBE (2003-2007) e Revista Brasileira de História da Educação – RBHE (2001-2007); Artigos da Revista Brasileira de Estudos Pedagógicos; artigos publicados na base de dados Scielo.

Os critérios de inclusão dos trabalhos analisados podem ser descritos a partir de três tipos: critério temporal, institucional e por indexação. A pesquisa de Hayashi et. al. (2008) escolheu como critério de inclusão a correlação entre o tema e os estudos e o recorte temporal (1998-2005). Mill e Oliveira (2014) escolheram como critérios os recortes temporal (2002-2012) e institucional (Programas de pós-graduação em Educação com notas 4, 5, 6 ou 7). Bittar, Silva e Hayashi (2011) optaram apenas pelo critério temporal (2001-2007). Alvarenga (2000) optou pelo recorte temporal (1944-1974) e institucional (Rbep). Hayashi e Ferreira Junior (2010) combinaram os três tipos de critérios: temporal (2004), indexação e institucional.

O método ou metodologia para analisar estes dados foram em sua maioria autointitulados como bibliometria, com pequenas variantes, como análise bibliométrica (3) e estudo bibliométrico (1), e 1 autor intitulou sua pesquisa especificamente como bibliometria.

Apenas um artigo leu integralmente os estudos analisados (ALVARENGA, 2000), outro estudo (MILL, OLIVEIRA, 2014) leu apenas os títulos, o conjunto de termos-chave e os resumos. O restante dos trabalhos não informou o modo de leitura.

Os autores buscaram nos trabalhos analisados diversos aspectos: termos relacionados a EAD, perfil de grupos de ciências humanas e indicadores bibliográficos. Essas informações foram procuradas em programas de pós-graduação com notas 4, 5, 6 ou 7 (1), em documentos do Diretório de Grupos de Pesquisa no Brasil/Cnpq (1), nos sítios eletrônicos da Revista Brasileira de História da Educação (2) e da ScientificElectronic Library Online (2). Nestas fontes, os autores delimitaram o material de pesquisa à leitura somente de artigos em 4 trabalhos, 1 optou por analisar somente teses e outro pesquisou documentos do Diretório de Grupos de Pesquisa no Brasil/Cnpq.

Quatro das pesquisas bibliométricas realizaram discussões sobre a metodologia utilizada. Mill e Oliveira (2014) realizaram uma discussão sobre Bibliometria, a partir de Alan Pritchard (1969). Hayashie Ferreira Junior (2010) justificam e caracterizam a análise bibliométrica e a diferencia da cientometria; dá mostras da importância dos estudos de revisão para a apreensão e análise das tendências na produção de conhecimento, com ênfase para a História da Educação, inclusive quanto às escolhas epistemológicos que tem predominado e suas influências, conforme sinalizado ao se referirem à “hegemonia alcançada pela Nova História, especialmente na vertente da História Cultural, após a queda do muro de Berlim (1989) e do fim da União Soviética (1991)” (p. 168). Alvarenga (2000), Bittar, Silva e Hayashi (2011) realizam um diálogo com a obra A Arqueologia do Saber, de Michel Foucault. E o texto de Hayashi et. al. (2008) traz considerações sobre a bibliometria como metodologia de pesquisa com predominância na política científica e tecnológica, sugerindo sua exploração também em outras áreas de pesquisa.

3.2 Trabalhos de revisão sistemática

Os quatro trabalhos de revisão sistemática foram produzidos por: Dal-Soto; Alves; Souza (2016); Davoglio, Lettnin, Baldissera, (2015), Jacomini (2014) e Mainardes (2009). Um dos artigos é autodenominado “revisão sistemática de pesquisas”.

Um artigo foi publicado na primeira década do século XXI (2009) e três foram publicados na segunda década deste século (2014, 2015 e 2016). Todos os autores leram integralmente os materiais de pesquisa, constituído em todos os estudos por teses e dissertações.

A busca foi realizada no Banco de Dissertações e Teses da Capes. Em um desses trabalhos a busca não se restringiu ao Banco de Dissertações e Teses da Capes e foi realizada também nos seguintes domínios: Domínio Público - Biblioteca Digital, Biblioteca Digital Brasileira de Teses e Dissertações e nos sites das bibliotecas da Universidade de São Paulo, da Universidade Estadual de Campinas, da Pontifícia Universidade Católica de São Paulo, da Universidade Estadual Paulista Júlio de Mesquita Filho, da Universidade Católica de Santos.

Os estudos foram publicados em quatro diferentes periódicos da área educacional: Revista Brasileira de Educação, Educação em Revista, Pro-Posições, Ensaio: avaliação e políticas públicas na educação. Apenas um trabalho possuía financiamento de agências de pesquisa, do CNPQ. As temáticas analisadas não se repetem nos quatro estudos. Foram privilegiadas nos artigos as temáticas: Política de ciclos; Educação superior e internacionalização; Relações entre ética e educação; Avaliação escolar no regime de progressão continuada.

Dos quatro estudos, três apresentaram critérios claros de inclusão. sendo que um dos trabalhos autodenominados “revisão sistemática” não apresenta esse critério. Os critérios de inclusão identificados nos três trabalhos de revisão sistemática foram: critério temporal (2000 a 2006) e tipo de produção (teses e dissertações); estudos empíricos e específicos sobre a avaliação da Qualidade de Vida (QV) de professores de qualquer nível de ensino; teses e dissertações sobre organização do ensino em ciclos e progressão continuada.

Em um dos estudos de revisão sistemática analisado, não há recorte espacial e em três deles a delimitação é o Brasil. Com relação ao O recorte temporal nos estudos analisados, se organiza entre a primeira e segunda década do ano 2000. Respectivamente os anos de 2000 a 2006; 2004-2013; 2000-2014 e entre os anos de 2000 a 2009.

Um trabalho de revisão sistemática teve como fonte de busca a base de dados ISI Web of Science/Knowledge e outro teve como fonte as bases de dados eletrônicas Scielo, Lilacs e Pepsic. É importante destacar que, nos quatro trabalhos que compõem o grupo de revisão sistemática foi realizada a leitura completa das fontes.

Considerando os quatro textos, os principais aspectos privilegiados foram: os artigos mais citados; as referências bibliográficas; estrutura do trabalho (número de páginas e capítulos); procedimentos metodológicos; objetivos, referencial teórico; conclusões; qualidade do resumo e contribuições para o debate sobre o tema. Estes últimos num mesmo artigo e, em outro, identificação das pesquisas (ano, local, tipo de instituição e nível de ensino); objetivo das pesquisas; características metodológicas das pesquisas; características das amostras; instrumentos usados para avaliar/mensurar a qualidade de vida; resultados encontrados.

Com relação aos objetivos dos estudos, os verbos utilizados foram: expandir, organizar, difundir, analisar, responder, realizar, revisar e discutir. Analisar é o único verbo que aparece em mais de um trabalho. O verbo é usado em dois estudos do tipo revisão sistemática.

Em dois dos quatro trabalhos autodenominados revisão sistemática foi identificado algum diálogo com autores sobre a especificidade metodológica do estudo. Um dos estudos toma como referência o texto de Davies (2007) Revisões sistemáticas e Campbell Collaboration, explicitando a relevância desse tipo de estudo. Em outro, além do artigo de Davies (2007), cita também e Gough (2007) como exemplo de revisões sistemáticas, mas afirma que não seguiu todas as etapas desses estudos de forma rigorosa. Nos outros três trabalhos os autores não fundamentaram a revisão sistemática como método.

Com relação às considerações finais dos artigos, focam aspectos destacados nos estudos, de um lado, a prevalência de pesquisa ou a escassez de estudos em uma determinada área, bem como, a não identificação de contribuição original nas pesquisas levantadas em determinado artigo. E por outro lado, dois estudos que observam a influência internacional na produção científica nacional e a necessidade de aprofundamento das questões teórico metodológicas nos trabalhos do tipo revisão. De acordo com as finalidades e características específicas dos estudos que se autodenominaram revisão sistemática, os estudos carecem de maior aprimoramento no que se refere aos aspectos teórico-metodológicos, pois conforme Ramos, Faria, Faria (2014) todas as etapas da pesquisa devem ser registradas, o que não foi identificado nos estudos analisados.

3.3 Trabalhos de revisão de literatura

Os trabalhos de revisão de literatura foram publicados nos anos de 2004, 2008 e 2013. Os três artigos foram produzidos por Santos, Greca (2013), Teixeira, Bernartt, Trindade (2008) e La Taille, Souza, Vizioli (2004). Os temas das pesquisas foram as relações entre ética e educação, a Pedagogia da Alternância e as metodologias de pesquisa no ensino de ciências.

Os critérios de inclusão para Teixeira, Bernartt, Trindade (2008) foram teses e dissertações encontradas no Banco de Teses da CAPES, em sítios de programas de Pós-Graduação em Educação no Brasil. Indicam também que a busca foi realizada na rede mundial de computadores através das seguintes expressões de busca: Pedagogia da Alternância, Casa Familiar Rural, Educação do Campo, Escola Família Agrícola. Utilizou-se, ainda, o recurso da consulta às listas de referências bibliográficas das teses e dissertações obtidas com texto completo.

Santos, Greca (2013) informaram que buscaram dados em três periódicos (Investigações em Ensino de Ciências (IENCI); Enseñanza de las Ciências e Ciência & Educação), onde foram selecionados artigos com, pelo menos, um autor latino-americano. Os artigos foram divididos em duas categorias. Primeira categoria: artigos tipicamente empíricos, artigos que contêm pesquisa histórica, epistemológica e revisão bibliográfica sistemática. Segunda categoria (teóricos): artigos de propostas didáticas, reflexões teóricas fundamentadas, e de apresentação e discussão de referenciais teóricos.

Já para La Taille, Souza, Vizioli (2004) os trabalhos foram selecionados nas fontes com base nas palavras chaves: ética, moral e educação - 61 teses e dissertações e 18 artigos. Movidos pela intenção de responder a perguntas sobre a ética na educação, os autores direcionam seus estudos para as produções acadêmicas localizados em diferentes repositórios. Dedalus, Capes, Unicamp, Unesp, UFSCAR, PUC–RS, PUC–SP, Mackenzie, UFRGS, UFPB, IBICT – BDTD (Biblioteca Digital de Teses e Dissertações), ERL – Biológicas, ERL – Humanas; Artigos: SciELO, ERL – Biológicas (PsycINFO), ERL – Humanas, IBICT – CCN (Catálogo Coletivo Nacional de Publicações Seriadas), BIREME/LILACS, BIREME/SIDORH, BIREME/WHOLIS, BIREME/SeCs BIREME/CCREPI e BIREME/INDEXPSI, BIREME/SIRPEP.

Santos, Grega (2013) informaram que realizaram a leitura completa dos materiais de pesquisa. La Taille, Souza e Vizioli (2004) leram apenas os artigos, e Teixeira Bernartt e Trindade não informaram. se a leitura foi completa ou parcial. Dois estudos foram publicados no periódico Revista Educação e Pesquisa e um foi publicado na Revista Ciência e Educação. Considerando os procedimentos adotados, os autores evidenciam em seus textos que utilizam fontes científicas. Nestes termos, um dos trabalhos além de analisar dissertações e teses também analisou artigos; um trabalho analisou exclusivamente artigos e outro teve como fonte três periódicos: Investigações em Ensino de Ciências (IENCI); Enseñanza de las Ciencias e Ciência & Educação.

Apenas Teixeira, Bernartt, Trindade (2008) informaram sobre o financiamento da pesquisa, especificamente pela Fundação Araucária de Apoio ao Desenvolvimento Científico e Tecnológico.

Os verbos de ação encontrados nos objetivos das três revisões de literatura foram: responder; mapear; discutir e conhecer. Os três trabalhos de Revisão não dialogam com estudos de revisão em si, embora um deles seja um estudo de revisão sistemática com foco na abordagem metodológica.

Em sua produção La Taille, Souza e ViziolI (2004) não dialogam com os estudos de revisão mas enfatizam a importância de estudar a produção acadêmica e focalizam num recorte temporal amplo, mais de dez anos (1990-2003). Analisa teses, dissertações e artigos, estes últimos foram lidos na íntegra. Movidos pela intenção de responder a perguntas sobre a ética na educação, os autores direcionam seus estudos para as produções acadêmicas.

Com o objetivo de mapear e discutir a produção acadêmica, visando estabelecer um primeiro esboço do estado da arte no campo da Pedagogia da Alternância, Teixeira, Bernartt e Trindade (2008) utilizam como escopo para pesquisa, teses e dissertações sobre Pedagogia da Alternância, num recorte temporal de 1977 e 2006 usando a produção acadêmica de todo país, destacando que houve produções esparsas e intercaladas até o ano 2000. E destaca que a partir de então, “houve um aumento significativo no que se refere à produção acadêmica, pois ela apresenta um número quase quatro vezes maior, nos últimos seis anos, em relação aos 22 anos decorridos entre 1977 e 1999.” (TEIXEIRA; BERNARTT; TRINDADE; 2008, p. 238). As autoras em seu artigo não dialogam com os estudos de revisão, mas contribuem com tais investigações por indicar as lacunas na produção acadêmica.

4. Os tipos de revisão e seus métodos: uma análise conjunta

Para expor alguns elementos da pesquisa e facilitar a visualização dos achados do estudo, selecionamos e agrupamos alguns dados que expressam características da produção científica em educação que teve como abordagem metodológica os estudos aqui em análise. de revisão do tipo Bibliometria, Revisão Sistemática e Revisão de Literatura. Tomamos como referência a ideia de que os estudos de revisão apresentam algumas características que os aproximam, como a delimitação de um tema, os critérios de inclusão dos textos, o modo de leitura dos textos, dentre outros, que apresentaremos a seguir.

4.1 Os temas das pesquisas

Buscar identificar os temas que foram o foco dos estudos nos pareceu importante já que possibilita entender quais áreas estão sendo mais abordadas ao se fazer estudos de revisão. Além disso, a definição da área/tema de pesquisa é o primeiro passo de um pesquisador que busque fazer um estudo de revisão. Assim, elaboramos o Quadro 1:

Quadro 1

Os temas das pesquisas analisadas

Fonte: Elaboração própria com base nas fichas de análise disponíveis em: OMITIDO.

É possível observar com os dados acima que, na área educacional, a opção por uma tipologia de análise em um estudo de revisão não parece ter relação direta com uma área ou campo do saber específicos. Conforme pode ser observado no quadro 1, há uma diversidade de temáticas que é analisada neste tipo de estudo. Essa diversidade também é constatada em relação à abrangência da temática e suas respectivas questões de pesquisa. Há pesquisas que versam sobre temas amplos, de um campo do conhecimento, como Política Educacional, ou sobre temas mais específicos, como Metodologias de Pesquisa no Ensino de Ciências. O recorte temático estabelecido para a investigação é um aspecto relevante em um estudo de revisão, pois tem relação direta com a quantidade de trabalhos que será localizada pelo pesquisador.

4.2 Critérios de inclusão dos trabalhos

Os critérios de inclusão e exclusão de objetos de estudos são requisitos importantes para os estudos de revisão, tais critérios estão vinculados ao rigor metodológico dos trabalhos e a falta desse rigor pode afetar a qualidade das pesquisas, inclusive seu desenho (Gough, Thomas e Oliver, 2012). Além das temáticas, os critérios de inclusão podem fazer referência ao recorte temporal, recorte institucional, recorte geográfico, base de dados, dentre outros.

Considerando o quadro 2, todos os estudos apresentam critérios para inclusão dos textos a serem analisados, com ênfase na temática (apresentado no tópico anterior) e no critério temporal. De todo modo, é relevante destacar que também há uma variedade nesses critérios. Apenas um dos trabalhos aponta apenas o critério temporal, o que revela a ausência de uma das características importantes para se constituir como uma revisão sólida. Vosgerau e Romanowski (2014), defendem que

Quadro 2

Critérios de inclusão nos trabalhos analisados

Fonte: Elaboração própria com base nas fichas de análise disponíveis em: OMITIDO

as revisões sistemáticas se distinguem das revisões que mapeiam na formulação da questão de investigação, no estabelecimento de estratégias de diagnóstico crítico e na exigência na transparência para estabelecimento de critérios para inclusão e exclusão dos estudos, necessariamente primários, ou seja, coletados pelo próprio pesquisador, tais como surveys, entrevistas, observações, relatos etc. (p. 175 ).

Nestes termos, os estudos convergem que

são necessários critérios de inclusão e exclusão sobre a qualidade metodológica explicitada no estudo, que poderíamos definir como critérios metodológicos de inclusão ou exclusão das pesquisas inventariadas. A partir da seleção dos artigos, o foco central da análise e sistematização são os resultados. (VOSGERAU e ROMANOWSKI, 2014, p. 176).

4.3 Modo de leitura

A opção pela leitura completa ou parcial do estudo ou apenas do título e do resumo é um elemento importante em um estudo de revisão. Embora essa informação tenha grande relevância em um estudo desse tipo, nem sempre os autores priorizam a explicitação desse dado nos seus textos. Como pode ser observado no quadro 3, em três estudos não há essa informação.

Quadro 3

Leitura Parcial ou completa

Fonte: Elaboração própria com base nas fichas de análise disponíveis em: OMITIDO.

Como é possível observar no quadro 3, a maior parte dos estudos que informaram a extensão da leitura das obras consultadas fez a leitura completa dos textos. Alguns estudos não apresentaram essa informação e dois fizeram uso parcial ou total dos resumos.

Nos trabalhos de revisão a opção pela leitura do resumo ou do texto na íntegra possibilitará desdobramentos diversos nas análises empreendidas pelos autores. A precisão nas análises e a qualidade das informações é assegurada na leitura na íntegra dos textos e evita interpretações equivocadas dos pesquisadores quando recorrem apenas aos resumos.

Os resumos cumprem um papel importante em uma publicação científica, pois permitem uma aproximação do leitor com o estudo após uma seleção inicial de títulos e palavras-chave. São, portanto, fundamentais na organização do banco de dados da pesquisa. Cumprem, segundo Ferreira (2002, p. 268), o propósito de informar “ao leitor de maneira rápida, sucinta e objetiva sobre o trabalho de que se originam”. Entretanto, os resumos contam uma parte da produção, o que para construir a “história da educação sobre determinada área” pode ser limitado. (FERREIRA, 2002, p. 268). Dada a impossibilidade de uma compreensão linear e sequencial dos estudos a partir dos resumos, o pesquisador acabará por realizar análises a partir de suas próprias conclusões, o que resultará na história de uma determinada área, daquele pesquisador. Isso, segundo Ferreira (2002), significa que será possível ter tantas histórias da produção de uma área, quanto o número de pesquisadores que se debruçaram sobre aquele tema.

Interessante observar no quadro 3, que todos os estudos de Revisão Sistemática realizaram a leitura completa do acervo pesquisado. É uma opção coerente com a tipologia escolhida para análise, já que esse tipo de estudo pressupõe a realização de sínteses dos materiais selecionados que evitem análises distorcidas e tendenciosas da produção em uma determinada área.

4.4 Os objetivos

Quando se analisa pesquisas sobre pesquisas, um importante elemento para análise são os objetivos apresentados nos estudos, isso porque entendemos que para se configurar como um ‘estudo de revisão’ é necessário que o mesmo tenha perseguido determinados objetivos que o levem a se enquadrar nas características propostas pelos estudos de revisão. Lembrando que aqui estamos trabalhando com estudos bibliométricos, revisões sistemáticas e revisões de literatura e é pertinente destacar que esses tipos de estudos apresentam objetivos que guardam certa aproximação, já que todos vislumbram, de certa forma, a organização e análise de dados sobre determinada área do conhecimento. Em outras palavras, podemos dizer genericamente, que esses estudos buscam sistematizar a produção do conhecimento sobre determinada temática, em determinado período de tempo, buscando apreender suas características e contribuições para a área.

A partir dos dados coletados, percebe-se que os objetivos se apresentaram de forma bastante pulverizada, mas, de certa forma, guardam aproximações entre si ao se concentrarem na questão de apresentar e analisar a produção em determinada temática, suas características, contribuições e tendências. Essa situação é predominante nos objetivos da maioria dos 12 trabalhos aqui em análise.

Nesse sentido foi possível identificar as seguintes expressões reveladoras dos objetivos das pesquisas:

1. · cotejar a produção;

2. · compreender a produtividade na pesquisa;

3. · analisar a produção científica (duas vezes);

4. · verificar a contribuição (da produção científica para consolidação da área);

5. · expandir, organizar e difundir (a produção científica);

6. · conhecer as características e as qualidades metodológicas dos estudos selecionados;

7. · revisar a produção acadêmica;

8. · mapear e discutir essa produção acadêmica;

9. · conhecer as metodologias utilizadas pelos pesquisadores da área de ensino de ciências.

Para Gough (2007) é importante dar atenção aos objetivos da pesquisa, considerando para quem ela é produzida, as formas que seus resultados podem ser acessados e como podem ser avaliados. Assim, as expressões identificadas nos trabalhos analisados revelam um movimento que envolve a análise, o mapeamento e a síntese dos dados levantados buscando apresentar características de determinada área do conhecimento, o que, de fato, está de acordo com estudos de revisão. De todo modo, é importante destacar que também há exceções, já que um dos trabalhos analisados não apresenta seus objetivos de forma clara, e outro apresenta objetivos que fogem ao escopo de um estudo de revisão.

4.5 O que as pesquisas afirmam sobre os próprios tipos de estudo?

Se consideradas as 12 pesquisas em relação ao diálogo com outros estudos de revisão e à literatura sobre o método escolhido, é possível observar que as pesquisas bibliométricas foram as que mais se preocuparam sobre a especificidade metodológica. No grupo dos 12 estudos, 4 se detiveram sobre esse aspecto.

O artigo de Hayashi et. al. (2008), por exemplo, suscitou a exploração da bibliometria como interessante possibilidade de caminho metodológico. Ao organizar os itens da fundamentação teórica fez articulação com a metodologia utilizada. Essa articulação é ressaltada pelos autores ao considerar que:

Estas reflexões sobre a produção do conhecimento científico forneceram o arcabouço teórico, ao lado da abordagem bibliométrica, para analisar os principais achados da pesquisa realizada sobre a produção científica em história da educação publicada na biblioteca eletrônica SCIELO (HAYASHI et. al., 2008, p.189).

Outra contribuição interessante refere-se à crítica que envolve o contexto das produções acadêmicas. Pautados em obras do sociólogo francês Pierre Bourdieu e outros autores, explicitaram relações de poder que perpassam o contexto da produção, o que, em justa medida, deve ser considerado para os estudos de revisão em educação.

Por outro lado, nenhuma das revisões de literatura incluídas neste estudo versaram sobre o método utilizado como também não dialogaram com as pesquisas de revisão. Já no caso das revisões sistemáticas observamos que dois trabalhos dialogaram com a obra de Davies (2007) e Gough (2007) para fundamentarem o método e os outros dois não trataram desse aspecto especificamente.

Temos que 6 das 12 pesquisas incluídas neste estudo discursaram sobre o método utilizado e dialogaram com outros estudos de revisão. Essa informação indica que o avanço científico nas determinadas áreas estudadas por estas pesquisas pode ser dificultado, pois o diálogo com outras pesquisas leva a um maior conhecimento sobre os temas e consequentemente pode-se partir do que já foi realizado, achado e investigado. Esse ponto de início pode ser feito por meio de críticas ao conhecimento anteriormente acumulado ou corroborando e agregando à área novos achados.

Por isso, é de grande importância que os temas sejam avaliados de forma aprofundada e que sejam considerados os estudos mais recentes ou mais relevantes sobre eles. O tipo de revisão bibliométrica mostrou-se bem definido no que se refere ao método, com critérios e procedimentos metodológicos bem definidos, além de referências teóricas que foram tomadas como ponto de partida para uma nova pesquisa.

5. Considerações finais

As revisões estudadas trouxeram elementos para pensar os caminhos metodológicos possíveis para as pesquisas de em Educação. A reunião de três tipologias diferentes (revisão de literatura, revisão sistemática e bibliometria) permitiu, no entanto, reflexões sobre como métodos autodenominados com esses termos (bibliometria, revisão sistemática e revisão de literatura) podem tecer procedimentos metodológicos díspares. Essa disparidade, como foi observado, não compromete necessariamente a proposta epistemológica do método escolhido, como no caso de se optar por ler parcialmente ou completamente o material de pesquisa ou não explicitar os objetivos e em outro caso de apresentar algum que não coaduna com pesquisas de revisão. Entretanto, a análise dos 12 trabalhos permite afirmar que alguns elementos de pesquisas científicas devem ser considerados como inerentes ao próprio fazer científico.

O diálogo com outras pesquisas com o mesmo tema e método é fundamental para o avanço científico e para a consolidação do campo. Deve-se atentar que a falta de diálogo com o arcabouço conceitual sobre revisões pode resultar em uma infinidade de procedimentos metodológicos para métodos similares. Isso pode não ser um problema desde que haja a correlação entre o que se propõe a fazer e o que é de fato realizado. Pois, o rigor metodológico é um dos elementos que possibilitam a confiança nos achados, a atitude científica perpassa a relação entre método e teoria. Este rigor é uma premissa que garante a confiabilidade nos resultados alcançados em todos os tipos de pesquisa, indicando as questões, tópicos, temas frequentes e as lacunas no campo, fornecendo importante contribuição para estudos e práticas baseadas em evidência.

As pesquisas autodenominadas incluídas neste estudo indicaram que os objetivos, com exceção de 2, relacionam-se com estudos de revisão. A escolha entre ler completa ou parcialmente os materiais de pesquisa teve relação com o tipo de pesquisa escolhido. Por exemplo, é coerente que em estudos de revisão de literatura a leitura dos trabalhos seja completa, já Da mesma forma, em estudos bibliométricos, dado o tipo de proposta e a quantidade de trabalhos incluídos, é comum que sejam lidos apenas os resumos. Os critérios de inclusão não foram apresentados de forma clara em alguns casos, como nos estudos de revisão sistemática, e entende-se que em qualquer tipo de revisão eles devem ser explicitados para que haja possibilidade de reprodutibilidade do estudo. Por fim, observou-se que os recortes temáticos também têm relação estreita com os tipos de revisão, dado que a escolha de diversos temas em uma mesma pesquisa permite maior quantidade de trabalhos e o foco em temas específicos pode delimitar os escopos. Nestes casos, o foco no tema, e sua supremacia de maneira geral descritiva, preponderando por longas páginas no texto, ofusca a clareza metodológica que deveria ser detalhada para justificar a autodenominação do tipo de revisão. Vale salientar que, mesmo fornecendo sínteses importantes, é a precisão metodológica que garante a confiabilidade para que os resultados das pesquisas sejam utilizados na formulação de políticas e práticas educacionais.

Considerando o número crescente de trabalhos de revisão, e junto com isso, o acúmulo de pesquisas que se debruçam sobre sua análise há uma expectativa que os pesquisadores aprimorem o rigor metodológico nos trabalhos de revisão, considerando que cada uma delas tem seu potencial para contribuir com evidências sólidas e confiáveis.

Referências

ALVARENGA, Lidia. Contribuições para os estudos sobre a pesquisa educacional no Brasil: análise bibliométrica de artigos da Revista Brasileira de Estudos Pedagógicos (1944-1974) Revista Brasileira de Estudos Pedagógicos, Brasília, v. 81, n. 198, p. 244-272, maio/ago. 2000. <https://doi.org/10.24109/2176-6681.rbep.81i198.938>

ALVES, Alda Judith. A “revisão da bibliografia” em teses e dissertações: meus tipos inesquecíveis. Cadernos de Pesquisa. São Paulo, nº 81, P. 53-60, maio, 1992. Disponível em: <http://publicacoes.fcc.org.br/index.php/cp/article/view/990>. Acesso em: 01/05/2020.

BITTAR, Marisa; SILVA, Márcia Regina; HAYASHI, Maria Cristina Piumbato. A produção científica em dois periódicos da área de educação. Avaliação, Campinas, n.3, p. 655-674, nov.2011.<https://doi.org/10.1590/S1414-40772011000300009>

CAFÉ, Lígia; BRÄSCHER, Marisa. Organização da Informação e Bibliometria. Encontros Bibli: Revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, v. 13, n. esp.,p. 54-75, 2008.https://doi.org/10.5007/1518-2924.2008v13nesp1p54

CHARLOT, Bernard. A pesquisa educacional entre conhecimentos, políticas e práticas: especificidades e desafios de uma área de saber. Revista Brasileira de Educação, v. 11 n. 31, p. 7-18, jan./abr. 2006. Disponível em: <http://www.scielo.br/j/rbedu/a/WM3zS7XkRpgwKWQpNZCZY8d/?lang=pt&format=pdf.>Aces so em: 21/02/2020.

DAIM, Tugrul, RUEDA, Guillermo, MARTIN, Hilary, GERDSRI, Pisek. Fore casting emerging technologies: Use of bibliometrics and patente analysis. Technological Fore casting and Social Change, v. 73, n. 8, p. 981-1012, 2006.<https://doi.org/10.1016/j.techfore.2006.04.004>

DAVIES, Philip. Revisões sistemáticas e a Campbell Collaboration. In: THOMAS, Gary. et al. Educação baseada em evidências: atualização dos achados científicos para a qualificação da prática pedagógica. Porto Alegre: Artmed, 2007.

DAL-SOTO, Fábio; ALVES, Juliano N..; SOUZA, Yeda. S. A produção científica sobre a internacionalização da educação superior na web ofscience: características gerais e metodológicas. Educação em Revista, Belo Horizonte, v. 32, n. 4, out-dez, p. 229-249, 2016. <https://doi.org/10.1590/0102-4698153246>

DAVOGLIO, Tárcia. R.; LETTNIN, Carla. C.; BALDISSERA, Cristina. G. Avaliação da qualidade de vida em docentes brasileiros: uma revisão sistemática. Pro-posições, Campinas, v. 26, n. 3, setdez, p. 145-166, 2015. <https://doi.org/10.1590/0103-7307201507807>

FERREIRA, Norma. S. A. As pesquisas denominadas “estado da arte”. Educação & Sociedade, ano XXIII, n. 79, ago, p. 257-272, 2002.<https://doi.org/10.1590/S0101-73302002000300013>

GALVAO, Taís Freire; PEREIRA, Mauricio Gomes. Revisões sistemáticas da literatura: passos para sua elaboração. Epidemiol. Serv. Saúde, Brasília , v. 23, n. 1, p. 183-184, mar. 2014 .http://dx.doi.org/10.5123/S1679-49742014000100018

GATTI, Bernadete. A. A construção da pesquisa em educação no Brasil. Brasília, DF: Liber Livro, 2012.

GOUGH, David. Síntese sistemática de pesquisa. In: THOMAS, Gary. et al. Educação baseada em evidências: a utilização dos achados científicos para a qualificação da prática pedagógica. Artmed, 2007, p. 57-78.

GOUGH, David.; THOMAS, James.; OLIVER, Sandy. Clarifying differences between review designs and methods. Systematic Reviews. Published online, 9 jun. 2012, p. 1-15. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3533815/ Acesso: 03/07/2021.

HAYASHI, Maria Cristina Piumbato Innocentini. FERREIRA, Amarilio, BITAR, Marisa, HAYASHI, Carlos Roberto Massao, SILVA, Márcia Regina da. História da educação brasileira: a produção científica na biblioteca eletrônica ScieloEducação & Sociedade, campinas, vol. 29, n. 102, p. 181-211, jan./abr. 2008.<https://doi.org/10.1590/S0101-73302008000100010>

HAYASHI, Carlos Roberto Massao, FERREIRA JUNIOR, Amarílio. O campo da história da Educação no Brasil: Um estudo baseado nos grupos de Pesquisa. Avaliação, Campinas; Sorocaba, SP, v. 15, n. 3, p. 167-184, nov. 2010. Disponível em <http://www.scielo.br/j/aval/a/JmjrwS8zRwnPthfnm9QhqQs/?format=pdf&lang=pt>. Acesso em: 11/01/2020.

JACOMINI, Márcia. Avaliação da aprendizagem em tempos de progressão continuada: o que mudou? Um estudo de teses e dissertações sobre o tema (2000-2010). Ensaio: aval. pol. pub. Educ. Rio de Janeiro, v.22, n. 84, p. 807-828, jul-set. 2014. Disponível em: <https://www.scielo.br/j/ensaio/a/wfGhjhnfG9vvKt36RTQsZTc/?format=pdf&lang=pt>. Acesso em: 21/04/2020.

LA TAILLE, Yves. de; SOUZA, Lucimara. S. de; VIZIOLI, Leticia. Ética e educação: uma revisão da literatura educacional de 1990 a 2003. Educação e Pesquisa, São Paulo, v.30, n.1, p. 91-108, jan./abr. 2004.Disponível em: <https://www.scielo.br/j/ep/a/qnBpvRnJL4MKpFyggrpV3gy/?lang=pt&format=pdf>. Acesso em: 13/05/2020.

MAINARDES, Jefferson. A pesquisa sobre a organização da escolaridade em ciclos no Brasil (2000-2006): mapeamento e problematizações. Revista Brasileira de Educação, v. 14, n. 40 jan./abr,p. 7-23, 2009. Disponível em: <https://www.scielo.br/j/rbedu/a/XFVvy3qWjRb4xKpWqYFXTkM/?format=pdf&lang=pt>. Acesso em: 13/02/2020.

MARTÍNEZ, Ma. A.; COBO, Manuel. J.; HERRERA, Manuel.; HERRERA-VIEDMA, Enrique. Analyzing the scientific evolution of social work using science mapping. Researchon Social Work Practice, v. 25, n. 2, p. 257–277, 2015.<https://doi.org/10.1177/1049731514522101>

MILL, Daniel, OLIVEIRA, Márcia Rozenfeld. G. A educação a distância em pesquisas acadêmicas: uma análise bibliométrica em teses do campo educacional. Educar em Revista, Edição Especial, n. 4, p. 15-36, 2014. <https://doi.org/10.1590/0104-4060.38642>.

MIRANDA Leticia. M. de; FARIAS, Sidney. F. As contribuições da internet para o idoso: uma revisão de literatura. Interface: Comunicação, Saúde, Educação, v. 13, n. 29, p. 383-395, abr./jun. 2009. <https://doi.org/10.1590/S1414-32832009000200011>

NOYONS, Everard.; MOED, Henk.; VAN RAAN, Anthony. Integrating research performance analysis and science mapping. Scientometrics, v. 46, n. 3, p. 591–604, 1999.<https://doi.org/10.1007/bf02459614>

NOSELLA, Paolo. A escola de Gramsci. 4 ed. São Paulo-SP: Cortez editora. 2010.

RAMOS, Altina.; FARIA, Paulo.; FARIA, Ádila. Revisão sistemática de literatura: contributo para a inovação na investigação em Ciências da Educação. Revista Diálogo Educacional, Curitiba, v. 14, n. 41, p. 17-36, jan./abr. 2014.<http://dx.doi.org/10.7213/dialogo.educ.14.041.DS01>

SANTOS, Flávia M. T. dos. GRECA, Ileana María. Metodologias de pesquisa no ensino de ciências na América Latina: como pesquisamos na década de 2000. Ciência &Educação, Bauru, v. 19, n. 1, p. 15-33, 2013.<https://doi.org/10.1590/S1516-73132013000100003>

SILVA, Fernando Xavier. O terceiro setor e a nova pedagogia da hegemonia: o caso do Instituto Airton Senna. Tópicos Educacionais, Recife, v. 24, n.2, p. 102-118, jul/dez. 2018. Disponível em: https://periodicos.ufpe.br/revistas/topicoseducacionais/>

TEIXEIRA, Edival. S.; BERNARTT, Maria. de L.; TRINDADE, Glademir. A.; Estudos sobre Pedagogia da Alternância no Brasil: revisão de literatura e perspectivas para a pesquisa. Educação e Pesquisa, São Paulo, v.34, n.2, p. 227-242, maio/ago. 2008. <https://doi.org/10.1590/S1517-97022008000200002>

THELWALL, Mike. Bibliometrics to web o metrics. Journal of Information Science, v. 34, n. 4, p. 605-621, 2008.<https://doi.org/10.1177/0165551507087238>

THOMAS, Gary. Introdução: evidência e prática. In: THOMAS, Gary. et al. Educação baseada em evidências: atualização dos achados científicos para a qualificação da prática pedagógica. Porto Alegre: Artmed,. p. 9-27, 2007.

VOSGERAU, Dilmeire. S. R.; ROMANOWSKI, Joana. P. Estudos de revisão: implicações conceituais e metodológicas. Diálogo Educacional, Curitiba, v. 14, n. 41, p. 165-189, jan./abr. 2014.<http://dx.doi.org/10.7213/dialogo.educ.14.041.DS08>

Autor notes