1 INTRODUÇÃO

A comunicação científica inclui a publicação de pesquisas em artigos de periódicos científicos, livros, teses, dissertações, em anais de eventos, entre outros, sendo estas produções científicas, em geral, pré-avaliadas por pares. O entendimento de que “avaliação prévia” pelos pares é, provavelmente, o fator mais importante e determinante do status científico de um conhecimento, torna imprescindível o processo de julgamento de um manuscrito submetido à publicação ou certificação (TOUTAIN, 2007). A avaliação de teses e dissertações tem uma dupla função, pois, além de verificar a qualidade como um elemento de comunicação científica, analisa se um candidato a doutor ou mestre demonstra no seu trabalho o conhecimento requerido para receber tal título. Assim, é importante que os relatórios de pesquisas das teses e dissertações, que são escopo deste estudo, preencham os requisitos de qualidade demandados dos documentos científicos.

Os programas de doutorado e mestrado acadêmicos visam formar pesquisadores capazes de conceber, executar e relatar uma pesquisa científica, que aplique processos científicos em uma sequência de etapas que incluem desde a definição do problema, questões e objetivos da pesquisa, busca de informações em fontes fidedignas, definição e leitura de bibliografia - com obras e autores considerados referência no assunto -, redação de uma revisão de literatura, definição da metodologia de pesquisa, execução da pesquisa e, por fim, estruturação e redação do texto do relatório de pesquisa.

A avaliação de um relatório de pesquisa implica na análise de todo o complexo processo de pesquisa delineado acima. Visando contribuir para essa tarefa, este estudo tem como objetivo apresentar um instrumento para análise crítica de relatórios de pesquisas, de maneira específica, teses e dissertações. Paralelamente, espera-se que o instrumento possa, também, orientar os alunos na concepção de suas pesquisas e na redação de seus relatórios.

O instrumento originou-se em uma atividade da disciplina Metodologia de Pesquisa no Programa de Pós-Graduação em Gestão & Organização do Conhecimento da Universidade Federal de Minas Gerais (PPGGOC/UFMG), no primeiro semestre de 2019. Tal atividade consistia da análise da adequação de dois relatórios de pesquisa - uma tese e uma dissertação, a critérios recomendados por Creswell (2014). John W. Creswell é um pesquisador com produção intelectual de excelência reconhecida sobre o desenvolvimento de pesquisas científicas. Escreveu numerosos artigos de periódicos científicos e livros sobre métodos de investigação qualitativos, quantitativos e mistos. Desde 2015, é professor adjunto de um curso de medicina da família, na University of Michigan, e codiretor do Programa de Pesquisa e Bolsas de Estudo de Métodos Mistos de Michigan. Ele foi professor de psicologia educacional na University of Nebraska - Lincoln, professor visitante na Harvard School of Public Health, em 2013, e recebeu um título de doutorado honorário da University of Pretoria, em 2014 (UNIVERSITY OF MICHIGAN MEDICAL SCHOOL, 2020).

Para a realização da atividade da disciplina citada, foi criado um instrumento, somente, a partir de Creswell (2014). Com a finalização da disciplina, os proponentes optaram por aprimorar o instrumento de avaliação, que tem orientação para a análise crítica dos documentos, tendo como parâmetro a literatura sugerida, o conteúdo apresentado no decorrer da disciplina Metodologia da Pesquisa e outros documentos, que estão detalhados na seção de metodologia.

A relevância deste estudo e do produto resultante consiste na sua contribuição para a avaliação e produção de relatórios de pesquisas, colaborando para a produção de trabalhos que demonstrem rigor científico, e qualidade de apresentação. O instrumento desenvolvido pode ser utilizado por pesquisadores, como um guia para autoavaliação e condução de pesquisas, desde a atribuição do título à escolha das referências utilizadas, perpassando pelos critérios de cientificidade da pesquisa, da ilustração dos resultados e da discussão dos resultados, entre outros elementos.

2 RELATÓRIO DE PESQUISA

Um relatório de pesquisa pode ser entendido como um registro estruturado que expressa o desenvolvimento de uma investigação, de forma coerente e objetiva, atendendo critérios e normas para a construção do conhecimento por meio da investigação. Para Tozoni-Reis (2009), trata-se da exposição final escrita e detalhada de todo o processo de pesquisa, desde o levantamento bibliográfico e planejamento, passando pela coleta de dados e análise até as conclusões e listagem das referências.

Os trabalhos de conclusão de curso, as monografias, as teses e as dissertações podem ser citados como exemplos de relatórios de pesquisa.

Esses relatórios abordam um objeto de estudo que guia todo o ciclo de pesquisa. O ciclo da pesquisa é um processo que “começa com o que denominamos fase exploratória da pesquisa, tempo dedicado a interrogar-nos preliminarmente sobre o objeto, os pressupostos, as teorias pertinentes, a metodologia apropriada e as questões operacionais para levar a cabo o trabalho de campo” (MINAYO, 2015, p. 26). Ao elaborar um projeto de pesquisa, deve-se ponderar sobre o tópico ou tema principal do trabalho (CRESWELL, 2014), isto é, sobre o que se pretende estudar. O objeto de estudo se relaciona com um recorte mais concreto ou preciso do tema de estudo. Assim, a partir do objeto de estudo, delimita-se a pesquisa: o que pesquisar, como, por quê, para quê, por quanto tempo, entre outros elementos, conforme a abordagem da pesquisa (DESLANDES, 2015). O objeto de estudo pode ser delimitado, por exemplo, por um grupo de pessoas ou comunidade, por uma localidade, um período de tempo, entre outras características.

A redação e a defesa de uma tese constituem exigência para obtenção do grau de doutor ou similar. Teses podem ser consideradas documentos acadêmicos que representam o resultado de pesquisa com tema único e bem delimitado, composto por contribuições reais para a questão ou as questões levantadas, com alto grau de profundidade de estudo (ABNT/NBR 14724, 2011). Com relação à dissertação, que constitui exigência para o grau de mestre, é um documento acadêmico de tema único, com um escopo bem delimitado, com objetivo de estudar e reunir subsídios para analisar e interpretar informações coletadas (ABNT/NBR 14724, 2011). Desse modo, deverá atestar a capacidade e a habilidade de sistematização do aluno, sob a supervisão de um orientador. Em ambos os casos, os relatórios podem ter viés teórico, abordar um estudo de campo, pesquisa documental, experimental, histórico, filosófico ou de outros tipos. Neste estudo, as partes que compõem um relatório de pesquisa foram organizadas em nove itens, elencados abaixo, com sucintas orientações sobre seu conteúdo:

• Título - a orientação é de que os títulos dos relatórios devem ser concisos e expressar adequadamente o texto da pesquisa e fazer interlocução com o objetivo geral (CRESWELL, 2014; ABNT/NBR 14724, 2011);

• Resumo - é considerado por Lunardelli, Paiva e Kawakami (2020), como um elemento catalisador no processo de recuperação de informação por ser uma descrição abreviada do texto fonte. O resumo pode assumir uma função importante para o pesquisador, pois tende “[...] a propiciar maior acesso a sua produção científica, atuando como verdadeiro cartão de visitas para a mesma” (GUIMARÃES, 2005, p. 4). Embora os autores utilizem linguagem própria em suas publicações, todos os resumos de teses e dissertações, que são do tipo informativo, devem apresentar conteúdo próximo do estipulado pela ABNT/NBR 6028 (2003), conforme expresso nos critérios deste item no instrumento;

• Introdução - neste item deve constar o tema, a justificativa, com a relevância e as contribuições para a área, o objeto de estudo e a problematização da pesquisa, que deve ser bem delimitada. Para Gil (2018), a delimitação do problema guarda estreita relação com os meios disponíveis para a investigação, com a hipótese, quando estabelecida, com o objetivo geral e com os objetivos específicos. O objeto de estudo pode ser entendido como o foco central de investigação, muitas vezes o elemento manipulado, e não o assunto a ser estudado. Pode-se, ainda, na Introdução, expor elementos tais como os métodos, técnicas e instrumentos de coleta de dados, assim como o quadro-teórico empregado, relacionando-o ao objeto de estudo (PRODANOV; FREITAS, 2013). Além disso, pode-se informar, sinteticamente, as partes que compõem o trabalho. Creswell (2014) recomenda redigir a introdução por meio do modelo de deficiência, composto por cinco partes: 1. O problema da pesquisa; 2. Estudos que abordaram o problema; 3. Deficiências nos estudos; 4. A importância do estudo para um público; e 5. A declaração de objetivo;

• Revisão de Literatura - esse item consiste na identificação de trabalhos que já abordaram a temática escolhida para a pesquisa, de forma a verificar descobertas que foram feitas, se há desacordos, inconsistências sobre o tema ou até mesmo lacunas que possam ser preenchidas com um novo trabalho, justificando a escolha do tópico. Para Botelho, Cunha e Macedo (2011), uma revisão de literatura pode ser redigida de diversas formas. Na mesma linha, Creswell (2013; 2014) e Babbie (2012) apontam que a revisão de literatura é estruturada a partir do método de pesquisa selecionado para a investigação. Os dois autores fornecem uma visão ampla, mas também específica para cada método, orientando sobre o que deve constar nessa seção. Uma das primeiras tarefas de um pesquisador ao iniciar os estudos a respeito de um novo tema é organizar a literatura sobre esse tema. Isso permite ao pesquisador entender como seu estudo pode agregar, ampliar ou reproduzir uma pesquisa (CRESWELL, 2014; MINAYO, 2015). Para Creswell (2014), uma das ferramentas úteis para essa atividade é um mapa de literatura da pesquisa. Esse mapa pode ser entendido como um sumário visual dos estudos conduzidos por outros pesquisadores e, geralmente, representado por uma figura. Os mapas de literatura podem ser organizados em estrutura hierárquica, com uma apresentação da literatura de cima para baixo, finalizando na parte inferior com o estudo proposto, o qual pressupõe que ampliará a literatura. Os mapas podem também ser apresentados como um fluxograma no qual o leitor compreende a literatura se desdobrando da esquerda para a direita, com os estudos pendendo mais para a esquerda, antecedendo o estudo proposto. Um terceiro modelo pode ser composto de círculos, com cada círculo representando um bloco de literatura e a interseção dos círculos indicando o local em que é necessário fazer pesquisa futura. Dessa forma, a revisão de literatura auxilia os pesquisadores a limitar o escopo de sua investigação e demonstrar a importância de se estudar um determinado tópico. No momento da revisão de literatura, é importante estabelecer os critérios de inclusão e exclusão de documentos a serem analisados conforme o tipo da pesquisa. Os critérios podem variar conforme as especificidades da pesquisa: pode-se, por exemplo, estabelecer como critérios de inclusão data, idioma, entre outros. Em alguns tipos de revisão, como a revisão narrativa, essa prática não precisa ser tão explicitada;

• Referencial teórico: uso de teoria - um dos componentes do processo de construção da fundamentação é determinar quais teorias podem ser utilizadas para explorar as questões numa pesquisa (CRESWELL, 2014). Esse componente pode ser abordado em seção separada, denominada Referencial Teórico ou Fundamentação Teórica, quando se busca também apresentar o estado da arte de conceitos que são adotados na pesquisa. Nela, os pesquisadores descrevem as teorias utilizadas para conduzir o estudo, seja para levantar questões a partir de diferentes perspectivas ou para explicar atitudes e comportamentos, entre outros, permitindo a identificação de como a questão é abordada e o que as teorias dizem sobre o tema (BABBIE, 2012). Em uma pesquisa quantitativa, as hipóteses e as questões de pesquisa são frequentemente baseadas em teorias que o pesquisador procura testar. Na pesquisa qualitativa, o uso de teoria é muito mais diversificado (CRESWELL, 2014). O autor recomenda que, em relatórios de pesquisas quantitativas, seja dedicada uma seção para a explicação da teoria que embasa o estudo. Para um estudo qualitativo, que vise construir uma teoria, deve-se apresentar essa teoria ao final do relatório, como se observa com frequência nos trabalhos que utilizam a metodologia de teoria fundamentada. Em outros estudos qualitativos, a teoria pode ser apresentada nos capítulos iniciais do relatório de pesquisa e é utilizada para fornecer uma lente que molda o que é visto e as indagações feitas, como ocorre em etnografia ou pesquisas reivindicatórias. Na pesquisa de métodos mistos, pode-se tanto testar teoria quanto gerá-la. Para Minayo (2015), a definição teórica e conceitual é a base de sustentação e do rigor do trabalho de pesquisa, e deve ser orientada pela forma de análise do objeto.

• Metodologia - para Minayo (2015, p. 46), a seção de metodologia trata da “indicação das conexões e da leitura operacional que o pesquisador fez do quadro teórico e dos objetivos dos estudos”. Nesse item devem constar a caracterização da pesquisa (relativa à natureza da pesquisa, ao método científico empregado, ao objetivo do estudo, ao procedimento técnico e à abordagem selecionados, bem como, os critérios para coleta e análise de dados), os instrumentos de coleta de dados, as ferramentas de apoio, o método, os procedimentos e as técnicas que foram utilizados na realização da pesquisa (PRODANOV; FREITAS, 2013). Além disso, recomenda-se o detalhamento do universo e da amostra da pesquisa. Para Vergara (2016), o universo, ou a população, pode ser compreendido como um conjunto de elementos que possuem características comuns associadas ao objeto do estudo. Já a amostra é uma parte desse universo, selecionada a partir de um critério de representatividade. Ao se construir a metodologia da pesquisa, é importante atentar para minimizar qualquer tipo de viés na escolha de palavras, e utilizar estruturas e estilos imparciais de redação.

• Resultados, Discussões e Análises - esse item é indispensável para os relatórios de pesquisa e nele devem ser explicitados os resultados práticos produzidos com a pesquisa. Nesse ponto que são demonstrados os resultados encontrados, suas representações gráficas e respectivas descrições, relacionando-os com o referencial teórico existente e abordado nas partes anteriores do relatório de pesquisa (PRODANOV; FREITAS, 2013). Para Minayo (2015), a análise de conteúdo, de discurso, de narrativa, argumentativa e semiótica são alguns exemplos de formas de análise e interpretação dos dados, e devem ser apresentados de forma minuciosa quando utilizadas. A análise pode ser também quantitativa, baseadas em métodos estatísticos, por exemplo;

• Considerações Finais - é a parte final do texto, na qual são apresentadas conclusões correspondentes aos objetivos e/ou às hipóteses. Nas considerações finais o pesquisador deve “reavaliar os resultados obtidos em relação aos objetivos e às perguntas de estudo” (PRODANOV; FREITAS, 2013, p. 117). O avaliador deve examinar se a pergunta da pesquisa foi respondida, se os objetivos foram alcançados, e se houve discussão sistemática dos fenômenos observados e dos resultados obtidos. Vergara (2016) enfatiza que só se pode concluir sobre aquilo que se discutiu; logo, tudo o que você apresentar na conclusão deverá ter sido discutido anteriormente. Recomenda-se, ainda, que citações sejam evitadas, nesse item, a menos que sejam para dar uma finalização de impacto. Ainda nessa seção, pode-se incluir as limitações, bem como proposições para futuros desdobramentos ou continuidade da pesquisa, já que, segundo a autora, à medida que se estuda um assunto, novos insights surgem ao seu entorno. Visto ser inviável tratar de todos eles, sugere-se que outros pesquisadores os estudem futuramente;

• Referências - elemento obrigatório elaborado conforme a NBR 6023, a seção contém as referências dos trabalhos utilizados na pesquisa. Uma referência é o conjunto padronizado de elementos descritivos, retirados de um documento, que permite sua identificação individual, mesmo se mencionado em notas de rodapé (ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS, 2018; PRODANOV; FREITAS, 2013). Essa lista tem como função estabelecer a cientificidade da pesquisa realizada, pois evidencia que está baseada na literatura, e permite o reuso de conteúdo em outras investigações, uma vez que permite ao leitor encontrar um dado documento.

Com relação à estrutura de apresentação do relatório de pesquisa, não existe um formato padronizado para as especificidades de pesquisa de áreas de conhecimento diferentes, e, às vezes, nem mesmo para uma mesma área. Entretanto, no Brasil, é a norma NBR 14724 que estabelece os “princípios gerais para a elaboração de trabalhos acadêmicos e sua apresentação à instituição - representada por banca ou comissão examinadora de professores, especialistas designados e/ou outros” (ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS, 2011, p. 1). Suas orientações tratam da apresentação externa e interna, considerando toda a estrutura do trabalho acadêmico: a capa, a lombada, os elementos pré-textuais, textuais e pós-textuais, bem como, regras gerais sobre o formato.

3 METODOLOGIA

A abordagem deste estudo pode ser entendida como qualitativa e de perspectiva exploratória, com a combinação de estratégias de coleta de dados de caráter bibliográfico e documental, pois foram utilizados livros, artigos científicos e normas técnicas. Creswell (2010, p. 43) define a abordagem qualitativa como “um meio para explorar e para entender o significado que os indivíduos ou os grupos atribuem a um problema social ou humano”, centrando-se em coleta de dados, análise de textos ou de imagens e interpretação pessoal dos dados.

Com relação aos procedimentos, este estudo consta de duas etapas, a primeira refere-se à apresentação do instrumento de análise crítica de relatórios de pesquisas: teses e dissertações. Na proposta inicial, este instrumento foi estruturado em 10 itens e 56 critérios, observando-se as recomendações de Creswell (2014). Posteriormente, o instrumento de avaliação foi aprimorado, tendo como insumos as contribuições expostas no Quadro 1. Em sua versão final, está composto por nove itens, subdivididos em 67 critérios, no formato de perguntas, conforme apresentado no Quadro 2, no qual a primeira coluna contém orientações sucintas para a avaliação de cada item e a segunda coluna contém os critérios de avaliação. Para a avaliação, em cada critério é necessário fazer uma marcação em uma escala do tipo Likert, correspondente a 5 pontos, uma vez que o valor 1 corresponde a uma apresentação mais fraca e o valor 5 corresponde a uma apresentação mais forte para o critério. Além disso, foi inserida a opção “Não se aplica (N/A)” para aqueles critérios em que o avaliador entende que não condizem com a proposta estrutural da pesquisa.

Ao final de cada item, podem ser incluídas anotações, observações, críticas, sugestões e comentários que sejam considerados relevantes para melhor compreensão das justificativas para os itens que tiveram atribuição de pontos inferior a 5, visando aprimorar a sua redação. Destaca-se que este instrumento não tem a finalidade de atribuição de nota nem sugestão de aprovação ou não do relatório de pesquisa em apreciação.

A ideia da construção do instrumento surgiu por meio da consulta aos editais de seleção de pós-graduação dos programas em Ciência da Informação da Universidade Federal do Rio Grande do Sul (UFRGS), Edital nº 02/2019, da Universidade Federal da Paraíba (UFPB), e Editais 04/2018 e 01/2017, do Programa de Pós-Graduação em Ciência da Informação Universidade de Brasília, mas para a concretização do modelo final os insumos dos editais não foram considerados, pois teve como fundamentação a literatura sobre metodologia científica.

Para elaborar o instrumento de avaliação, foram levados em consideração: as normas de publicações ABNT/NBR 6023 (2018), ABNT/NBR 6028 (2003), ABNT/NBR 14724 (2011), e as recomendações de Babbie (2012), Botelho, Cunha e Macedo (2011), Deslandes (2015), Gil (2012, 2018), Guimarães (2005), Lunardelli, Paiva e Kawakami (2020), Minayo (2015), Prodanov e Freitas (2013), Roesch (1999), Tranfield, Denyer e Smart (2003), Vergara (2016), e Wilkinson (1991). O Quadro 1 demonstra o conjunto de fontes utilizadas para fundamentação dos itens e critérios que compõem o instrumento, indicando para cada item os autores consultados e as demais publicações que deram origem aos itens e critérios que compõem o instrumento.

Quadro 1

Contribuições da literatura para construção do instrumento

Fonte: Elaborado pelos autores (2020).

Neste estudo, buscou-se descrever as contribuições de autores considerados basilares em metodologia de pesquisa, que tratam do desenvolvimento da investigação como um todo, tendo como critério norteador incluir, pelo menos, um autor que descreve orientações para cada um dos nove itens do instrumento de avaliação proposto, assim como as recomendações das normas ABNT, referentes aos elementos exigidos em um relatório de pesquisa.

O formato adotado no instrumento aqui proposto teve a influência de Babbie (2012), ao sugerir que o leitor crie um projeto de pesquisa, estruturando de forma didática os elementos que devem compor esse projeto e propondo exercícios ao final de cada um deles. Na seção sobre os elementos que constituem uma proposta ou projeto de pesquisa, o autor explicita do que trata cada tópico utilizando perguntas como “o que exatamente você quer estudar? Por que vale a pena estudar? O estudo proposto tem algum significado prático?” Entre outras.

Prodanov e Freitas (2013) buscam, de forma simples, mas criteriosa, apresentar esclarecimentos acerca das principais questões envolvendo a metodologia científica e a elaboração de trabalhos acadêmicos. No capítulo sobre a estrutura de um projeto de pesquisa, essa simplicidade pode ser observada pela construção em tópicos das características de cada seção e do que deve ser enfatizado. Esse tipo de apresentação facilita o agrupamento de semelhanças e possibilita a síntese para a elaboração das perguntas. O fato de os autores se basearem rigorosamente nas regras definidas pela ABNT também foi um fator para adoção dessa referência.

Para o item Introdução, a obra organizada por Minayo (2015) foi selecionada em virtude de suas orientações sobre informações que devem integrar a boa escrita de uma introdução. Ainda, nessa mesma abordagem, recorreu-se às obras de Gil (2012; 2018), por serem consideradas manuais de fácil leitura e compreensão dos itens que compõem um relatório de pesquisa. Prodanov e Freitas (2013), por sua vez, contribuíram na avaliação da introdução com a elaboração das questões referentes ao problema de pesquisa, justificativa e objetivos.

Como evidenciado, as obras de Creswell (2014) e Babbie (2012) abrangem a diversidade e a especificidade dos métodos de pesquisa. Creswell (2014) é mais generalista em sua abordagem e, Babbie (2012), mais direcionado para as Ciências Sociais, de forma que os dois autores foram consultados em, praticamente, todos os tópicos até aqui. Nos critérios para avaliação da metodologia não foi diferente, ambos os autores contribuíram com a discussão sobre o delineamento da pesquisa. Os critérios para delineamento da pesquisa, relativos à natureza da pesquisa, ao método científico empregado, ao objetivo do estudo, ao procedimento técnico e à abordagem selecionados, bem como os critérios para coleta e análise de dados propostos por Prodanov e Freitas (2013) auxiliaram na delimitação das perguntas sobre a metodologia que compõem o instrumento.

Para os tópicos Resultados, Discussões e Análise, Considerações Finais e Referências, não foram encontradas correspondências na obra de Creswell (2010; 2013; 2014). O autor trabalha o projeto de pesquisa desde a introdução até a metodologia, quando foca nas especificações dos métodos quantitativos, qualitativos e mistos. De forma a complementar o instrumento, Prodanov e Freitas (2013), Minayo (2015) e Vergara (2016) foram consultados. As orientações de Minayo (2015) sobre a análise e interpretação dos dados foram consideradas, embora a obra tenha um grande foco em análise qualitativa dos dados e o instrumento proposto não foque em apenas um tipo de pesquisa.

Para as referências, foram consideradas as diretrizes estabelecidas pela ABNT/NBR 6023 (2018), embora se deva ter em vista que nem todas as teses e as dissertações foram elaboradas quando essa norma já estava em vigor. Por isso, as análises devem ser feitas com cautela. Ademais, alguns trabalhos podem empregar outros padrões como, por exemplo, a norma da American Psychological Association (APA), da Modern Language Association (MLA) ou o estilo Vancouver.

Finalizando os procedimentos deste estudo, a segunda etapa está relacionada à aplicação do instrumento para a análise de dois relatórios de pesquisa, uma tese e uma dissertação. Visando à preservação dos autores e de suas pesquisas, as informações ou menções que pudessem identificá-los foram suprimidas neste estudo, e outros elementos foram acrescentados, a título de exemplificação. O objetivo dessa etapa foi simplesmente ilustrar a aplicação do instrumento e não a apreciação dos relatórios de pesquisa em si.

Ressalta-se que a primeira versão do instrumento foi aplicada em uma disciplina de metodologia, no primeiro semestre de 2019, ministrada por dois professores; peritos/especialistas na área de metodologia científica. Em seguida, no segundo semestre do mesmo ano, o instrumento foi reformulado e aplicado em outra disciplina de metodologia científica, ministrada por um perito/especialista; e, por fim, ele foi novamente aperfeiçoado, a partir dos aportes de dois peritos/especialistas, coautores do artigo.

4 INSTRUMENTO DE ANÁLISE CRÍTICA DE RELATÓRIOS DE PESQUISAS

O instrumento, exposto no Quadro 2, foi elaborado observando as recomendações de Creswell (2014) quanto a modelos de estrutura, processamento e composição para planejamento de pesquisas qualitativas, quantitativas e de métodos mistos. O autor apresenta orientações para escrever uma introdução, declarar o objetivo do estudo; identificar questões de pesquisa; utilizar a teoria; definir, delimitar e expor a importância do estudo; apresentar métodos e procedimentos para coleta e análise de dados. Além disso, as publicações: ABNT/NBR 6023 (2018), ABNT/NBR 6028 (2003), ABNT/NBR 14724 (2011), Babbie (2012), Gil (2012, 2018), Guimarães (2005), Lunardelli, Paiva e Kawakami (2020), Minayo (2015), Prodanov e Freitas (2013), Vergara (2016) e Wilkinson (1991), também foram consultadas. O Quadro 2 apresenta o instrumento desenvolvido.

Quadro 2

Instrumento de análise crítica de relatórios de pesquisas: teses e dissertações

É importante destacar que cada pesquisa é detentora de especificidades, portanto, cabe ao pesquisador a observação de tais características no momento de utilização do instrumento proposto neste estudo. Reitera-se que se trata de recomendações baseadas em incidências frequentes em relatórios de pesquisa e na literatura. Não pode ser considerado um padrão enrijecido e inequívoco que inviabiliza a criatividade, a inovação e o desenvolvimento de outras práxis enriquecedoras de pesquisas científicas.

3 APLICAÇÃO DO INSTRUMENTO

Para a atividade proposta na disciplina Metodologia de Pesquisa, cabe mencionar que os dois relatórios de pesquisa selecionados já haviam sido avaliados por banca especializada para o fim de conferência de grau aos autores, não cabendo aos relatores o mérito de depreciação do texto ou não. Note-se que, para efeito da aplicação do instrumento, considerou-se como critério de seleção dos relatórios apenas o fato de pertencerem à área de Ciência da Informação, sem ter vínculo com os trabalhos acadêmicos defendidos no Programa de origem dos autores.

A finalidade a que o instrumento se propõe é a de estabelecer um roteiro crítico que possa orientar um (a) pesquisador (a), desde a determinação do título à apresentação das referências, o que não representa depreciação da pesquisa. Para evitar a identificação dos trabalhos e dos autores analisados, optou-se por torná-los anônimos e substituir as temáticas por outras.

Conforme disposto no instrumento, o primeiro item refere-se ao Título. Creswell (2014) recomenda esboçar um título, ainda que provisório inicialmente, de forma que qualquer leitor possa facilmente captar o significado do projeto. Outra estratégia recomendada por Creswell para a construção do título é colocá-lo, inicialmente, como uma questão breve. O autor entende que o título deve expressar uma ideia tangível e que o pesquisador pode invocá-lo e adaptá-lo à medida que o projeto prossegue. Os projetos bons e sólidos se iniciam com pensamentos diretos, não complicados, fáceis de ler e entender. Citando Wilkinson (1991), Creswell, aponta que um título deve ser breve evitando o desperdício de palavras. Sugere, ainda, que se use um título único ou título duplo (subtítulo) e se utilize no máximo 12 palavras, certificando-se que foi incluído o tópico ou o foco do estudo. No caso da Tese em análise, o título apresenta um pensamento simples e descomplicado, de fácil leitura e entendimento, é enxuto, com poucos artigos e preposições, sem palavras evasivas e desnecessárias, mantendo o foco ou o tópico do estudo. A Tese atende ao item 1 deste instrumento de avaliação, pois a forma como o título foi redigido representa satisfatoriamente o conteúdo do relatório da pesquisa. Na Dissertação, da mesma forma, o título é conciso, atentando-se ao foco do estudo, e não faz uso de palavras desnecessárias.

Com relação ao item 2, o Resumo, conforme a norma NBR 6028 (2003), é a apresentação concisa da investigação e deve indicar informações relevantes que levem o leitor a entender o objetivo, universo, a metodologia e a finalidade do estudo. Segundo Creswell (2014), um resumo é uma apresentação sintética do trabalho, geralmente em um parágrafo, apresentando os principais elementos do texto. Deve mencionar o objetivo, o método, os resultados e as conclusões do documento. A ordem e a extensão desses itens dependem do tipo de resumo e do tratamento que cada item recebe no documento original. Com relação aos relatórios de pesquisa apreciados, na Tese e na Dissertação os temas tratados na pesquisa são apresentados. Nos dois casos, o tipo de pesquisa não foi caracterizado. Na Tese, é elencada uma série de procedimentos, sem enunciar os instrumentos ou a forma de coleta de dados. Menciona as temáticas tratadas no referencial teórico de forma tímida, acanhada. Os principais resultados alcançados não são demonstrados. Observou-se que o relatório de pesquisa apresenta resumo, na língua vernácula, abstract (inglês) e resumen (espanhol). Na Dissertação, o resumo não apresenta a síntese da metodologia de forma clara. Além disso, não foi possível identificar os principais resultados. O resumo é apresentado em língua vernácula e em inglês. Apesar de serem resumos informativos, contendo até 500 palavras, a caracterização da pesquisa e os principais resultados não foram bem explicitados. Em síntese, ambos os resumos poderiam ser mais bem elaborados para contribuir com o entendimento das propostas dos estudos realizados.

Sobre o item 3 do instrumento, a Introdução, segundo Creswell (2014), é a primeira passagem do relatório de pesquisa acadêmico e tem a função de preparar o leitor para continuidade e entendimento do restante do estudo. A introdução deve suscitar o interesse do leitor, estabelecer o problema que conduz o estudo, situar o estudo dentro de um contexto mais amplo da literatura acadêmica e atingir um público específico. A Tese em apreciação não inicia o texto com a seção intitulada “Introdução”, embora nessa seção inicial sejam apresentadas todas as características de uma introdução, pecando apenas na omissão da designação do termo titular da seção. Embora diversos procedimentos sejam mencionados, observa-se que o título adotado pelo autor se apresenta contextualizado ao tema abordado no relatório de pesquisa. Nota-se que a narrativa dessa seção é redigida na primeira pessoa do singular, o que dá a sensação de proximidade do leitor com as percepções do autor, devidamente expostas e justificadas no texto. Com relação à Dissertação, a autora define o objetivo geral, porém, não lista os objetivos específicos, de forma que não foi possível averiguar se estes seriam suficientes para responder ao objetivo geral. Além disso, como sua introdução não apresenta tópicos tais como os de objetivos (geral e específicos), justificativa e problema, de forma separada, houve dificuldade para localizá-los na introdução. O autor da Dissertação não apresenta trabalhos que já trataram sobre o seu tema.

Com relação ao item 4, nas palavras de Creswell (2013), a Revisão de Literatura cumpre diversos propósitos: compartilhar com o leitor os resultados de outros estudos que estão intimamente relacionados àquele que está sendo realizado; relacionar o estudo ao diálogo maior e contínuo na literatura, preenchendo lacunas e ampliando estudos anteriores; e proporcionar uma estrutura para estabelecer a importância do estudo e também uma referência para comparar os resultados com outros estudos. Na Tese em análise, apresenta-se uma densa e consistente revisão de literatura, buscando informações históricas adequadas à proposta do estudo. A revisão é suficiente na exploração do assunto, contribuindo para demonstrar a originalidade da pesquisa e colaborando para o seu entendimento. Para a Dissertação, a revisão de literatura trouxe produções de autores cujas publicações eram antigas e recentes. E também expôs temas referentes ao estudo. A estrutura adotada contribuiu para o entendimento da pesquisa. A autora separou a revisão de literatura por capítulos que foram inseridos após a introdução, mas não usou a nomenclatura “Revisão de Literatura”. Creswell (2013) recomenda um passo a passo na revisão de literatura: como identificar palavras-chave, buscar os conceitos em bases de dados e bibliotecas, montar mapa de literatura e estruturar tematicamente. A autora não apresentou na Dissertação como se deu o processo de levantamento bibliográfico. E optou por uma Revisão de Literatura e não pelo Referencial Teórico, embora, a princípio, um não exclua o outro.

Analisando o item 5, Referencial Teórico - uso da teoria, Creswell (2014) coloca que o uso da teoria subsidia a revisão de literatura com vistas a explorar questões da pesquisa. As teorias podem ser utilizadas em trabalhos quantitativos, qualitativos e de métodos mistos. Teorias são comumente testadas, mas também podem ser geradas como resultado final de um trabalho. Em ambos, Tese e Dissertação, os autores buscaram suporte teórico para amparar os argumentos dos seus estudos. De acordo com Creswell (2014), o uso de teorias para fundamentar uma pesquisa, em um estudo qualitativo, aparece no começo do trabalho e fornece a lente que molda o que é observado e as perguntas realizadas. Todavia, ainda segundo o autor, nem todos os trabalhos qualitativos, como são os dois relatórios de pesquisa em análise, possuem uma teoria explícita (CRESWELL, 2014). Para Creswell (2014), o referencial teórico é um dos componentes da literatura e visa determinar quais teorias podem ser utilizadas para explorar questões em um estudo acadêmico. A Tese apresenta teorias relacionadas ao tema, com uma breve discussão teórica do problema.

Sobre a Metodologia, item 6, Creswell (2014) sugere a explicitação dos procedimentos de coleta de dados, registro e análise dos dados, assim como ressalta a importância de definir que tipo de pesquisa é, se é qualitativa, quantitativa ou mista, bem como as estratégias de investigação. O autor da Dissertação não apresentou uma seção específica para a explanação da metodologia, tampouco disponibilizou os anexos das entrevistas que estavam indicadas no relatório, o que dificultou a identificação da natureza, da abordagem, dos objetivos e dos procedimentos. Ainda na Dissertação, a informação sobre o processo metodológico foi inserida na introdução e em outro capítulo, sem evidenciar que aquela seção se tratava de procedimentos metodológicos. A partir disso, entendeu-se que o trabalho foi um estudo de abordagem qualitativa e o procedimento de coleta de dados se deu, a partir de levantamento bibliográfico, análise documental e entrevista. Creswell (2014) expõe que a metodologia envolve as formas de coleta, análise e interpretação dos dados que o pesquisador propõe para seus estudos. Na Tese, a metodologia não apresenta uma sequência lógica que facilite a resposta à questão do estudo. Embora tenha sido apresentado um descritivo detalhado de um recurso tecnológico projetado para executar rotinas, só a sua criação não garante que os pesquisadores brasileiros se sintam motivados a utilizá-lo. O tipo de estudo utilizado não foi explorado pela autora. O estudo abordou uma esfera geral, no ambiente nacional e internacional, sem apontar uma amostra específica, pois no estudo não haveria tal necessidade. Os critérios de inclusão foram adotados, especificamente, quando se tratou da seleção dos países com políticas voltadas para o objeto de estudo da pesquisa. Não foram especificados os procedimentos utilizados, tais como a intervenção e teste diagnóstico, em todas as etapas, com exceção para a etapa de análise documental. Quanto às estratégias para proteger a pesquisa de vieses, não existiram ou não foram identificadas pelos avaliadores. As categorias ou as variáveis também não foram identificadas. Apenas na análise documental foi citado o método para coleta. Não foi citado o uso de softwares para análise ou outra função.

Sobre os Resultados, Discussão e Análises, item 7, com relação aos resultados, na Dissertação não há um tópico com esse título, assim como não há um de Metodologia. Como apontado anteriormente, nesse relatório de pesquisa realizou-se levantamento bibliográfico, análise documental e entrevista, entretanto, não houve inclusão de tabelas, gráficos, quadros ou figuras, o que poderia facilitar a visualização da proposta de seu trabalho, referente às respostas das entrevistas citadas. O autor apresenta alguns gráficos que não foram gerados por seus resultados, mas que se relacionam com o objeto de estudo. A partir dos gráficos, o autor busca pontuar comportamentos e ações relacionados ao seu estudo. Na Tese, apesar de não serem apresentados os resultados em uma seção evidente, as tabelas, os gráficos, os quadros e as figuras se mostraram essenciais para o entendimento dos resultados. O autor da Dissertação não dedica um tópico para as discussões, e traz esse assunto nas considerações finais. O autor utiliza duas teorias para demonstrar as construções dos discursos e condições ao longo dos anos. Para chegar à conclusão, o autor demonstra, por meio da literatura, questões antagônicas. Na Tese, também não foram apresentadas as discussões em um tópico específico. Entretanto, argumentos e conclusões foram apresentados de forma cautelosa e condicional. Foram enfatizados os principais resultados. Não foram discutidos de forma evidente os pontos fortes e pontos fracos em relação a outros estudos. Não foram sugeridas novas pesquisas.

Nas Considerações Finais, item 8, com relação à Dissertação, não foram colocadas hipóteses no trabalho para serem retomadas nas considerações finais. O autor não relata também limitações na realização da pesquisa, nem propostas para trabalhos futuros. Por fim, o autor retoma alguns estudos nas considerações finais, fazendo uso de citações, o que não parece essencial, uma vez que o próprio autor menciona que estes já foram utilizados no desenvolvimento do trabalho. Assim, para a dissertação, uma possibilidade que não foi explorada nas considerações finais seria fazer uma apreciação crítica e/ou pessoal sobre o conteúdo. Na Tese, curiosamente, as hipóteses do estudo e outras questões foram mencionadas em uma última seção que precede as considerações finais. Observa-se que, distinto da forma de redação da seção inicial, na primeira pessoa do singular, na seção de encerramento, o autor usa a primeira pessoa do plural, dando a entender que a autoria era de mais de uma pessoa, quando se sabe que uma tese é uma investigação de autoria individual, sob a orientação de um pesquisador doutor. A Dissertação inicia a seção de encerramento com a apresentação de novos assuntos que poderiam ser mais bem enquadrados nos tópicos anteriores do relatório de pesquisa. O tema inicial, bem como as hipóteses e as justificativas dadas inicialmente foram retomadas no encerramento. Não apresenta sugestões de pesquisas futuras e nem limitações da pesquisa. O autor faz uma apreciação crítica, e até pessoal, sobre o estudo, apontando iniciativas governamentais para os pesquisadores adeptos ao seu posicionamento. O objetivo geral foi retomado, ressaltando os pontos mais significativos da argumentação, assim como a questão do estudo. Foram introduzidas novas análises na conclusão, que poderiam ser incluídas em um tópico específico, o que tornaria mais evidente no texto algumas das percepções do autor.

O último item, Referências, tanto na Dissertação quanto na Tese, as referências, em sua maioria, são bem atuais para a época e, apesar de serem identificados pequenos erros de disposição dos dados das fontes ou ausências de alguns, obedecem às regras da ABNT.

4 CONSIDERAÇÕES FINAIS

Com relação aos objetivos deste relato, conclui-se que o instrumento elaborado para a atividade acadêmica se apresenta adequado para apreciação de relatórios de pesquisa, como foi proposto: teses e dissertações. Entende-se também que, com a aplicação na avaliação de outros relatórios de pesquisa, o instrumento poderá ser aperfeiçoado, garantindo-lhe maior eficiência.

É importante considerar que avaliar um relatório de pesquisa é uma tarefa envolta em complexidade e, provavelmente, o julgamento pode variar de pessoa para pessoa, dependendo de alguns fatores, dentre eles, a experiência e orientação teórica do avaliador. Essa afirmativa pode ser confirmada pela exigência de diversos membros em uma banca de defesa dos relatórios de pesquisa. Assim, este estudo, junto ao instrumento desenvolvido, não tem a pretensão de normatizar o formato de apresentação de uma pesquisa, mas sim, orientar quanto aos tópicos essenciais exigidos.

Outro ponto a ser observado refere-se ao estilo de redação do autor e às especificidades de cada pesquisa e área de conhecimento. Muitos serão os casos em que um item não será tão demandado como em outros. Mais uma vez, retoma-se ao instrumento que, devido aos seus critérios em formato de pergunta, conduz o pesquisador/autor a refletir sobre a forma de delineamento da sua pesquisa.

Sobre os relatórios analisados, cabe mencionar que, seguindo a estrutura do instrumento, foi possível observar que alguns itens poderiam ser mais precisos, descritivos ou mais bem desenvolvidos. Ainda, identificou-se, em um deles, uma estrutura diferente da convencional, mas que não comprometeu a qualidade da pesquisa.

Como propostas de estudos futuros, propõe-se a aplicação do instrumento de avaliação, aqui desenvolvido, a outros relatórios de pesquisas, conduzidos por outros pesquisadores, e que seja aplicado um questionário para avaliar a eficiência do instrumento. Recomenda-se ainda uma pesquisa com peritos/especialistas da área, constando uma avaliação/validação do instrumento proposto neste artigo por docentes de disciplinas de metodologia científica de diversas áreas do conhecimento.

REFERÊNCIAS

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR 6023: informação e documentação: referências: elaboração. Rio de Janeiro, RJ: ABNT, 2018.

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR 6028: informação e documentação: resumo: apresentação. Rio de Janeiro, RJ: ABNT , 2003.

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR 14724: Informação e documentação: Trabalhos acadêmicos: apresentação. Rio de Janeiro, RJ: ABNT , 2011.

BABBIE, E. R. The practice of social research. Belmont: Wadsworth Publishing, 2012.

BOTELHO, L. L. R.; CUNHA, C. C. de A.; MACEDO, M. O método da revisão integrativa nos estudos organizacionais. Gestão e Sociedade, n. 5, v. 11, p. 121-136. Disponível em: Disponível em: https://doi.org/10.21171/ges.v5i11.1220. Acesso em: 14 set. 2020.

CRESWELL, J. W. Investigação qualitativa e projeto de pesquisa escolhendo entre cinco abordagens. 3. ed. Porto Alegre: Penso, 2013.

CRESWELL, J. W. Projeto de pesquisa: métodos qualitativo, quantitativo e misto. 3. ed. Porto Alegre, RS: Artmed, 2010.

CRESWELL, J. W. Research design: qualitative, quantitative, and mixed methods approaches. 4. ed. Thousand Oaks: Sage, 2014.

DESLANDES, S. F. A construção do projeto de pesquisa. In. MINAYO, M. C. (Org.). Pesquisa social: teoria, método e criatividade. 34. ed. Petrópolis: Vozes, 2015. Cap. 2. p. 31-60.

GIL, A. C. Como elaborar projetos de pesquisa. 6. ed. Rio de Janeiro: Atlas, 2018. 169 p.

GIL, A. C. Métodos e técnicas de pesquisa social. 6. ed. São Paulo: Atlas, 2012. 200 p.

GUIMARÃES, J. A. C. O resumo como instrumento para a divulgação e a pesquisa científica. Revista Brasileira de Educação Especial, Marília, v.11, n.1, p.3-16, Jan.-Abr. 2005. Disponível em: Disponível em: https://www.abpee.net/pdf/artigos/art-11-1-1.pdf. Acesso em: 10 jan. 2021.

LUNARDELLI, R. S. A.; PAIVA, A. D. C. KAWAKAMI, T. T. Os resumos e suas especificidades em periódicos brasileiros da Ciência da Informação. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, v. 25, p. 01-17, 2020. DOI: https://doi.org/10.5007/1518-2924.2020.e65367OS. Disponível em: Disponível em: https://periodicos.ufsc.br/index.php/eb/article/view/1518-2924.2020.e65367. Acesso em: 10 jan. 2021.

MINAYO, M. C. (Org.). Pesquisa social: teoria, método e criatividade. 34. ed. Petrópolis: Vozes , 2015.

PRODANOV, C. C.; FREITAS, E. C. Metodologia do trabalho científico: métodos e técnicas de pesquisa e do trabalho acadêmico. 2. ed. Novo Hamburgo, RS: Feevale, 2013. 274 p.

TRANFIELD, D.; DENYER, D.; SMART, P. Towards a methodology for developing evidence-informed management knowledge by means of systematic review. British Journal of Management, v. 14, p. 207-222, 2003. Disponível em: Disponível em: https://doi.org/10.1111/1467-8551.00375. Acesso em: 17 set. 2020.

ROESCH, S. M. A. Projetos de estágio e de pesquisa em administração: guia para estágios, trabalhos de conclusão, dissertação e estudos de caso. 2. ed. São Paulo: Atlas , 1999.

TOZONI-REIS, M. F. C. Metodologia da Pesquisa. 2. ed. Curitiba: IESDE Brasil, 2009.

TOUTAIN, L. M. B. (Org.). Para entender a ciência da informação. Salvador: EDUFBA, 2007. 42 p. (Sala de aula; 5). Disponível em: Disponível em: https://repositorio.ufba.br/ri/handle/ufba/145. Acesso em: 2 set. 2020.

UNIVERSITY OF MICHIGAN MEDICAL SCHOOL. John W. Creswell, Ph. D. Michigan, 2020. Disponível em: Disponível em: https://medicine.umich.edu/dept/family-medicine/john-w-creswell- phd. Acesso em: 14 ago. 2020.

VERGARA, S. C. Projetos e relatórios de pesquisa em administração. 16. ed. São Paulo, SP: Atlas, 2016. 94 p.

WILKINSON, A. M. The scientist’s handbook for writing papers and dissertations. Englewood Cliffs, NJ: Prentice Hall, 1991.

NOTAS

Autor notes

Declaração de interesses