5335 Administração: Ensino e Pesquisa RAEP 2177-6083 2358-0917 Associação Nacional dos Cursos de Graduação em Administração Brasil raep.journal@gmail.com 533560863003 Artigos O que Bardin diz que os autores não mostram? Estudo das produções científicas brasileiras do período de 1997 a 2015 What does Bardin say that authors do not show? Study of Brazilian scientific productions from 1997 to 2015 Seramim Ronaldo Jose ronaldoseramim@yahoo.com.br Walter Silvana Anita silvanaanita.walter@gmail.com Universidade Estadual do Oeste do Paraná Universidade Estadual do Oeste do Paraná Brasil Universidade Estadual do Oeste do Paraná Universidade Estadual do Oeste do Paraná Brasil Maio-Agosto 2017 18 2 271 299 28 10 2016 16 01 2017 2017 Associação Nacional dos Cursos de Graduação em Administração (ANGRAD) https://creativecommons.org/licenses/by/4.0/ Esta obra está bajo una Licencia Creative Commons Atribución 4.0 Internacional. Resumo

Este estudo apresenta a análise de artigos publicados em periódicos brasileiros, no período de 1997 a 2015, que utilizaram o método de análise de conteúdo da autora Laurence Bardin. A metodologia é exploratória, com perspectiva temporal longitudinal, tendo como forma de pesquisa a documental, abordagem quantitativa e qualitativa. Foram analisados 52 trabalhos publicados em língua portuguesa, disponíveis no portal de periódicos Scientific Periodicals Electronic Library (SPELL) e Scientific Electronic Library Online (SCIELO). Para organização e tabulação, foram utilizados os softwares Atlas.ti e Microsoft Office Excel, analisados pelo método da bibliometria, quantificando, descrevendo e prognosticando o processo de comunicação escrita de acordo com a Lei de Bradford, Lei de Lotka e Leis de Zipf (GUEDES, 2012). Além disso, os trabalhos foram explorados qualitativamente de acordo com a aplicação do método e classificados como parciais, mínimos ou totais. Os resultados demonstraram que houve uma melhora nos artigos publicados nos últimos anos, sob a ótica da aplicação e descrição, considerando as três fases: pré-análise, exploração do material e tratamento dos resultados. Alguns estudos utilizam a análise de conteúdo desprezando etapas principais, outros, apenas, citam o método na metodologia, mas não a aplicam na prática. As análises indicaram que 75% (39 de 52) dos artigos não deixam claras as etapas definidas por Bardin, além disso, 46% (24) dos trabalhos utilizaram um método analítico auxiliar em conjunto com a análise de conteúdo.

 Abstract

This study presents the analysis of articles published in Brazilian periodicals between 1997 and 2015 that used the content analysis method by author Laurence Bardin. That is an exploratory methodology with a longitudinal temporal perspective, employing the documentary, quantitative and qualitative approaches to research. Fifty-two papers published in the Portuguese language, available on the Scientific Periodicals Electronic Library (SPELL) and SCIELO (Scientific Electronic Library Online) journal databases, were analyzed. Atlas.ti and Microsoft Office Excel software were used for organization and tabulation. Those works were analyzed using the bibliography method, quantifying, describing and predicting the process of written communication according to the Bradford Law, Lotka Law and Zipf Laws (GUEDES, 2012). In addition, they were qualitatively explored according to the application of the method, and classified as partial, minimum or total. The results show that there has been an improvement in the articles published in recent years from the perspective of application and description, considering the three phases: pre-analysis, material exploration and treatment of results. Some studies use content analysis neglecting key steps, others only mention the method in the methodology, but do not apply it in practice. The analyses indicated that 39 (75%) of the articles did not clarify the steps defined by Bardin, in addition, 24 papers used an auxiliary analytical method in conjunction with the content analysis.

 Palavras-chave Análise de conteúdo Bardin Periódicos brasileiros Bibliometria Keywords Content Analysis Bardin Brazilian journals Bibliometrics Introdução

A análise de conteúdo é empregada por autores brasileiros em diversos estudos, segundo Bardin (2010), trata de um conjunto de técnicas de análise das comunicações que utiliza procedimentos sistemáticos e objetivos, de descrição do conteúdo das mensagens, além disso, aposta altamente no rigor como forma de não se perder na heterogeneidade de seu objeto (ROCHA; DEUSDARA, 2005). Em 1986, o método já era considerado um dos mais comuns na investigação empírica por diferentes ciências humanas e sociais (VALA, 1986).

A análise de conteúdo não deve ser confundida com análise do discurso, pois enquanto uma analisa o conteúdo do texto, a outra atém-se ao sentido do discurso (CAREGNATO; MUTTI, 2006). A análise de conteúdo refere-se a uma leitura profunda que é determinada pelas condições oferecidas pelo sistema linguístico e objetiva a descoberta de relações existentes entre aspectos exteriores e o conteúdo do discurso (SANTOS, 2012). Bardin (1977, p. 170) aponta o discurso como “toda a comunicação estudada não só ao nível dos seus elementos constituintes elementares (a palavra por exemplo) mas também e sobretudo a um nível igual e superior, à frase (proposições, enunciados, sequências)”.

Segundo Bardin (2010), a função principal do método é o desvendar crítico, nesse sentido, Santos (2012, p. 387) complementa ao afirmar que “permite a compreensão, a utilização e a aplicação de um determinado conteúdo”. É evidente que tudo depende, no momento da escolha dos critérios de classificação, daquilo que se procura ou que se espera encontrar (BARDIN, 2010).

Apesar de todo esforço de Bardin (1977) em descrever os passos e as técnicas para a aplicação do método, alguns autores, como Bos e Tarnai (1999), afirmam utilizar análise de conteúdo em contraste com outros métodos de pesquisa e reforçam que não havia, em 1999, manual completo com instruções e discussão, sem fazer referência a Bardin (1977), desconhecendo o método desenvolvido pela autora.

Dumay e Cai (2015) realizaram uma pesquisa a fim de analisar o uso da análise de conteúdo de Klaus Krippendorff para investigar a Divulgação do Capital Intelectual (ICD) e concluíram que há inconsistência na forma como os pesquisadores aplicam o método, assim, sugerem o retorno ao desenho metodológico para aplicá-lo. Naccarato e Neuendorf (1998) utilizam vários autores que atuam com a análise de conteúdo, como Krippendorff (1980), Weber (1990), Riffe e Fretag (1997), para analisar a eficácia da publicidade, com ênfase na área de marketing, todos com uma visão positivista quanto ao método, convergindo com Bardin (1977), que é positivista por excelência.

A análise de conteúdo é a terceira etapa de um processo para analisar o estado do conhecimento de um campo, de acordo com Li e Cavusgil (1995), citado por Ibrahim, Zailani e Tan (2015). A primeira envolve o método Delphi para familiarização com a área; a meta-análise para recolher, combinar e analisar estatisticamente estudos empíricos; a de análise de conteúdo para descrição sistemática, qualitativa e quantitativa do conteúdo manifesto de literatura em uma área (IBRAHIM; ZAILANI; TAN, 2015). Franzosi (2011) apresenta uma crítica ao afirmar que o padrão metodológico tratado sobre análise de conteúdo, preparado por Bernard Berelson, não foi revisado nem há sinais de novos e importantes esforços nesse sentido. Apesar disso, Bardin (1977) já havia apresentado a metodologia sistemática que é utilizada por vários autores, como, por exemplo, em análise de produções científicas com perspectiva longitudinal (COSTA E SILVA, 2010).

Dada a relevância do tema, alguns autores passaram a investigar sua aplicação no decorrer dos anos. Silva et al. (2013) analisaram 31 artigos e sugeriram a ampliação da amostra para estudos futuros, concluindo que grande parte dos estudos que refere empregar a análise do conteúdo, na verdade, não esclarece adequadamente sua operacionalização, um fator que prejudica a credibilidade dos trabalhos. O estudo de Silva et al. (2013) analisou artigos publicados nos eventos da Associação Nacional de Pós-graduação e Pesquisa em Administração (ANPAD), portanto, cabe uma análise de publicações realizadas em periódicos com classificação Qualis Capes para avaliação de resultados.

Assim, considerando as pesquisas já realizadas e sugestões de autores, o problema de pesquisa é: como os autores que publicam em periódicos Qualis brasileiros empregam a proposição de análise de conteúdo de Bardin? Portanto, o objetivo foi analisar e caracterizar os artigos publicados em periódicos brasileiros, no período de 1997 a 2015, que utilizaram o modelo de Laurence Bardin. O contexto histórico do método é relevante para compreender a estrutura e as etapas, assim como sua aplicabilidade na prática acadêmica.

O levantamento documental resultou em 63 trabalhos com a citação de “Bardin”, destes, foram analisados 52 estudos, com base nas pesquisas realizadas no Scientific Periodicals Eletronic Library (SPELL) e Scientific Eletronic Library Online (SciELO), o que possibilitou confrontar os pressupostos do método com o que foi publicado. Nas próximas seções, estão descritas as etapas da análise de conteúdo, os aspectos metodológicos e as sugestões para os pesquisadores sobre a utilização de software, além das discussões pertinentes aos trabalhos analisados e os principais resultados.

 Análise de Conteúdo

A análise de conteúdo é um conjunto de técnicas de “análise das comunicações” que utiliza procedimentos sistemáticos e objetivos de descrição do conteúdo das mensagens (BARDIN, 2010). Essa afirmação é contestada pela própria Bardin, ao referir que não é um conceito suficiente para definir análise de conteúdo, aduz, ainda, que a intenção é inferir conhecimentos relativos às condições de produção (ou de recepção, eventualmente), que pode ocorrer por meio de indicadores quantitativos ou não (CAMPOS, 2004).

Para Bardin (2010), a análise de conteúdo oscila entre os dois polos do rigor da objetividade e da fecundidade da subjetividade. De acordo com Mozzato e Grzybovski (2011, p. 732), trata-se de uma “técnica” qualitativa de análise que é rica, importante e com potencial de desenvolvimento teórico no campo da administração, principalmente em estudos com abordagem qualitativa.

O método busca realizar uma investigação profunda, ou seja, significação profunda. “A principal pretensão da Análise de Conteúdo é vislumbrada na possibilidade de fornecer técnicas precisas e objetivas que sejam suficientes para garantir a descoberta do verdadeiro significado.” (ROCHA; DEUSDARA, 2005, p. 310).

Uma característica da análise de conteúdo qualitativa é que o método, em grande parte, concentra-se sobre o assunto e contexto e enfatiza as diferenças e semelhanças entre os códigos e as categorias, para tanto, analisando o conteúdo manifesto e latente num texto. O conteúdo manifesto, ou seja, o que o texto diz, é frequentemente apresentado em categorias, enquanto que os temas são vistos como expressões do conteúdo latente, ou seja, sobre o que o texto está falando (GRANEHEIN; LUNDMAN, 2004).

Aspectos importantes sobre o método

A história é marcada pelas análises de imprensa e de propaganda realizadas, desde 1915, por H. Lasswell, que editou, em 1927, o trabalho "Propaganda Technique in the World War" (BARDIN, 1977; VALA, 1986; BARDIN, 2010). Foi, durante a Segunda Guerra Mundial, que os trabalhos de análise de conteúdo aumentaram, nessa época, “25% dos estudos empíricos que revelam que a técnica de análise de conteúdo pertencia à investigação política” (BARDIN, 2010, p. 18). Por um longo período, a análise de conteúdo era associada a objetivos pragmáticos e de intervenção, modificada com o congresso de Allerton House, em 1955, com a participação de psicólogos, sociólogos e linguistas (VALA, 1986).

Com o tempo, passa a ser utilizada em várias áreas, como a da saúde. Granehein e Lundman (2004) realizaram um estudo buscando compreender a análise de conteúdo qualitativa na pesquisa em enfermagem: conceitos, procedimentos e medidas para atingir confiabilidade, com várias observações e abordagem de referencial teórico de outros autores, como Watzlawick, Beavin Bavelas e Jackson (1967).

No tocante ao plano metodológico, existem duas abordagens: quantitativa e qualitativa (BARDIN, 1977; WHITE; MARSH, 2006; BARDIN, 2010). Na análise quantitativa, o que serve de informação é a frequência com que surgem certas características do conteúdo (BARDIN, 2010). Um exemplo aplicado com análise quantitativa é o estudo de Spiel, Bohm e Eye (1999), que utilizaram a correlação de Spearman para identificar as relações entre categorias, não referenciando a metodologia de Bardin. Na análise qualitativa é a presença ou a ausência de uma característica de conteúdo ou de conjunto de características num determinado fragmento de mensagem que é tomada em consideração (BARDIN, 2010).

Com a evolução do método, já não é exclusividade de alcance descritivo, toma-se consciência de que a sua função ou o seu objetivo é a inferência (BARDIN, 2010). A descrição analítica é a primeira fase de um procedimento sistemático descrito por Bardin (2010), mas não se constitui em um elemento exclusivo do método.

O método tem relação direta com a linguística, pois procura conhecer aquilo que está por trás das palavras sobre as quais se debruça. A linguística é um estudo da língua, já a análise de conteúdo é uma busca de outras realidades por meio das mensagens (BARDIN, 2010).

Uma das formas de executar a análise de conteúdo é por meio de documentos, e esse tipo de análise tem o objetivo de dar forma conveniente e representar de outro modo a informação, com procedimentos de transformação. Por isso, a análise documental entra numa etapa preliminar, que envolve a operação intelectual com recorte da informação e divisão de categorias. Bardin (2010) deixa claro que a documentação trabalha com documentos, já a análise de conteúdo, com as mensagens (comunicação). Dessa forma, a análise documental faz-se, principalmente, por classificação-indexação; a análise categorial temática é, entre outras, uma das técnicas da análise de conteúdo.

A análise pode ser realizada em documentos, entrevistas e relatórios. Em entrevistas, as mensagens transmitidas pela comunicação verbal podem ser transcritas com facilidade para um meio digital, enquanto que a comunicação não verbal é essencialmente analógica, e, muitas vezes, coloca desvantagens no processo de transcrição. Portanto, ao transcrever entrevistas e observações em texto, é importante notar o silêncio, os suspiros, os risos, a postura, os gestos, etc., uma vez que podem influenciar o significado subjacente (GRANEHEIN; LUNDMAN, 2004)

 Fases da análise de conteúdo

As diferentes fases de análise de conteúdo organizam-se em torno de três polos cronológicos: a pré-análise, a exploração do material e o tratamento dos resultados, inferência e interpretação (BARDIN, 1977).

A pré-análise consiste no trabalho de organização das ideias iniciais, de maneira que se tornem sistematizadas e operacionais, com um programa flexível (com uso ou não do computador), que permita a introdução de novos procedimentos no decurso da análise, devendo ser, embora flexível, precisa. É a fase de escolha dos documentos que serão analisados, de formulação das hipóteses e dos objetivos e da elaboração de indicadores que fundamentem a interpretação final. Esses passos não seguem necessariamente uma ordem cronológica, mas estão estreitamente ligados: escolha de documentos depende dos objetivos, ou o objetivo só é possível em função dos documentos disponíveis. Indicadores serão construídos em função das hipóteses ou, pelo contrário, as hipóteses serão criadas na presença de certos índices (BARDIN, 2010).

Na pré-análise, ocorre a leitura flutuante, no contato com os documentos e a escolha adequada, pode ser determinada a priori ou posteriori. Feita a escolha do universo de documentos, pode-se, então, constituir um conjunto de documentos a ser submetido aos procedimentos analíticos, o que implica em escolhas, seleções e regras: (I) exaustividade (não se pode deixar de fora nenhum elemento que corresponda aos critérios definidos); (II) representatividade (análise sobre uma amostra de material, conforme o caso); (III) homogeneidade (critérios precisos de escolha, obtidos por técnicas idênticas, indivíduos semelhantes e que não representem demasiada singularidade); (IV) pertinência (adequados quanto à fonte de informação) (BARDIN, 2010).

Ainda, ocorre na pré-análise a formulação de hipóteses, que serão confirmadas ou refutadas no decorrer do trabalho. No entanto nem sempre são estabelecidas na pré-análise e tampouco é obrigatório ter-se como guia um corpus de hipóteses para proceder à análise. Algumas análises efetuam-se “às cegas” e sem ideias preconcebidas, sendo uma ou várias técnicas consideradas adequadas, a priori, a fim de fazer o material “falar” (tirar as primeiras impressões) (BARDIN, 2010).

Na fase de exploração do material, ocorre a aplicação sistemática, manual ou informatizada, das decisões tomadas na pré-análise. Consiste, essencialmente, em operações de codificação, decomposição ou enumeração, em função das regras previamente estabelecidas (BARDIN, 2010).

Quanto ao tratamento dos resultados, às inferências e à interpretação, ocorrem as análises para que sejam significativos e válidos. As provas estatísticas e os testes de validação, aplicados aos resultados, auxiliam no maior rigor, o que propicia ao pesquisador propor inferências e adiantar interpretações relacionadas com os objetivos previstos e outras descobertas (BARDIN, 2010). A finalidade da análise de conteúdo está em realizar inferências com base em uma lógica explicitada (VALA, 1986).

Nesta fase de tratamento, ocorre a codificação, que significa codificar o material com regras específicas. Além disso, nesse processo são identificadas as unidades de registro, efetivadas por: palavra; tema; objeto ou referente; personagem; acontecimento ou documento. E as unidades de contexto que também servem para codificar a unidade de registro e compreender sua significação exata (BARDIN, 2010).

Bardin (2010) explica, com clareza, a importância em distinguir a unidade de registro (que é o que se conta) da regra de enumeração (o modo de contagem). A enumeração é descrita em tipos: presença (ou ausência) de elementos definidos, que são significativos e veiculam um sentido; a frequência, geralmente, mais usada; a frequência ponderada; a intensidade; a direção; a ordem e a coocorrência com presença simultânea de duas ou mais unidades de registro (BARDIN, 2010).

Bardin (2010) destaca que a análise qualitativa não rejeita toda e qualquer informação de quantificação, pois o analista pode recorrer para testes quantitativos. Ressalta, também, a importância da categorização para todo processo, num ato que reúne elementos em razão de suas características comuns.

Outro fator importante no tratamento é a inferência quanto à interpretação controlada, podendo ser específica ou geral. A inferência considera os elementos clássicos da comunicação: o emissor; o receptor; a mensagem; o médium (canal, instrumento) (BARDIN, 2010).

Análises sobre o método e a utilização de software

De acordo com Campos (2004), a criatividade e capacidade do pesquisador qualitativo são preponderantes; e o desenvolvimento do método depende disso para demonstrar os seus limites e sua versatilidade. Campos e Turato (2009) reafirmam que abordar o método é demonstrar sua versatilidade, bem como seus limites de operacionalização. Desenvolvê-lo passa, invariavelmente, pela criatividade e capacidade do pesquisador qualitativo em tratar de situações inusitadas no estudo do fenômeno humano. “É uma importante ferramenta na condução da análise dos dados qualitativos, mas deve ser valorizado enquanto meio e não confundido como finalidade em um trabalho científico.” (CAMPOS, 2004, p. 614). A perseverança e o rigor são essenciais para o pesquisador, pois a análise de conteúdo é refinada, exige uma série de qualidades do pesquisador e muita dedicação de tempo, para obter e definir categorias de análise (FREITAS; CUNHA JUNIOR; MOSCAROLA, 1997).

O valor de uma análise de conteúdo depende da qualidade da elaboração conceitual feita a priori pelo pesquisador, da exatidão com que será traduzida em variáveis, do esquema de análise ou das categorias e, em definitivo, da concordância entre a realidade a analisar e estas categorias FREITAS; CUNHA JUNIOR; MOSCAROLA, 1997, p. 108).

Freitas, Cunha Junior e Moscarola (1997) consideram o método como moderno para analisar documentos e destacam a aplicação de um software para auxílio na análise de conteúdo, chamado de Sphinix.

Para Bos e Tarnai (1999), o computador é importante na pesquisa social empírica com utilização do método de análise de conteúdo, auxilia na organização dos dados e das categorias, pois o desenvolvimento de um esquema de categoria é um objetivo central da análise de conteúdo. Além do tratamento informático, que permite assimilar rapidamente quantidades de dados impossíveis de manipulação e permitir testes estatísticos anteriormente impraticáveis, o uso do computador tem consequências nas questões privilegiadas da análise de conteúdo (BARDIN, 2010).

Estudos recentes têm aplicado a análise de conteúdo por meio do software Atlas.ti, principalmente, para abordar a análise temática (WALTER, 2013). Walter e Bach (2015) mencionam que a utilização da técnica com o uso do software era raro, mormente, em estudos de contabilidade (WALTER, 2013; WALTER; BACH, 2015).

Para Lewis, Zamith e Hermida (2013), os métodos computacionais apresentam soluções atraentes para a análise de conteúdo de grandes quantidades de dados, nas pesquisas quantitativas. A utilização de métodos manuais e computadorizados produzem resultados melhores do que utilizados separadamente, preservando os pontos fortes da análise de conteúdo tradicional, com seu rigor sistemático e sensibilidade contextual.

 Metodologia

Tratou-se de uma pesquisa exploratória que buscou conhecer com maior profundidade (RAUPP; BEUREN, 2009) as publicações que utilizaram o modelo de Laurence Bardin, com base na caracterização e análise de artigos. Dessa forma, fez-se um levantamento longitudinal, tendo como forma de pesquisa a documental no período de 1997 a 2015.

Desenvolveu-se, com tal objetivo, uma análise bibliométrica por considerar um conjunto de métodos de análise quantitativa sobre os trabalhos científicos (FENG et al., 2015). Apesar de essencialmente quantitativa, a bibliometria pode gerar informações e discussões qualitativas (DU et al., 2013), tal como executado neste estudo, para obter um panorama geral dos trabalhos. Nestas premissas, os trabalhos foram analisados pelo método da bibliometria, quantificando, descrevendo e prognosticando o processo de comunicação escrita de acordo com a Lei de Bradford (produtividade de periódicos), a Lei de Lotka (produtividade científica de autores) e as Leis de Zipf (frequência de palavras) (GUEDES, 2012). Porém Guedes (2012) destaca que a bibliometria busca o estudo de determinado assunto ou teoria, que será utilizado parcialmente nesta pesquisa, com análise da aplicação do método.

Este estudo é caracterizado como quantitativo pelas classificações realizadas e qualitativo (FLICK, 2009; RAUPP; BEUREN, 2009) quanto à sua abordagem, na análise das publicações, obtidas com levantamento do tipo desk research de artigos publicados em língua portuguesa em revistas, disponíveis no portal de periódicos Scientific Periodicals Electronic Library (SPELL) e Scientific Electronic Library Online (SCIELO), no período de 1997 a 2015, pesquisados em setembro de 2015. A biblioteca eletrônica SPELL foi escolhida por ser um repositório de artigos com aproximadamente 31.971 documentos disponíveis para consulta, sendo relevante para área acadêmica em questão. A SCIELO possui uma trajetória de atuação desde o ano de 1998, e foi escolhida pela relevância e importância dos periódicos científicos.

Para a pesquisa, foram utilizados os seguintes critérios: texto – Bardin; especificação – em todo o documento (retorno de artigos que utilizaram Bardin no conteúdo); Ano – desde 1997; Tipo de documento – artigo; Área: Ciências Sociais Aplicadas. Os demais campos sem marcação.

No banco de dados SPELL, foram encontrados 50 trabalhos com a referência de “Bardin” e “Análise de Conteúdo”, desde 1997, neste caso, utilizou-se a análise por censo, considerando que a população era pequena e uma amostragem tende a resultar em número próximo ao da população. Na SCIELO, uma pesquisa com as palavras “Bardin” e “análise de conteúdo”, em todos os índices, com filtro Brasil, e na área das ciências sociais aplicadas, retornou em 13 artigos.

Do total de 63 artigos encontrados: sete trabalhos eram repetidos; dois em língua inglesa; um trabalho foi publicado em duas revistas com o mesmo conteúdo; e um texto analítico sobre Bardin não aplicava o método, totalizando 52 trabalhos de aplicação do método.

Os artigos proporcionaram dados que foram tabulados em planilha eletrônica Microsoft Office Excel. Com organização de informações gerais e classificatórias organizadas em Tabela Dinâmica. As análises foram realizadas por meio da caracterização dos arquivos e, posteriormente, mediante a aplicabilidade no contexto dos trabalhos.

As análises aplicadas foram:

o Análise quantitativa em relação às ocorrências das fases citadas e não aplicadas nos artigos.

o Análise qualitativa de interpretação do método de Bardin (1977; 2010).

o Análise da frequência de publicações anuais.

o Análise das revistas publicadas e quantidade de artigos por revista.

o Análise geral do artigo em relação à aplicação do método, classificado em: total, parcial ou mínima. Para classificar o artigo com aplicação total foi considerada a descrição de todas as fases de Bardin no trabalho; como parcial, quando o autor descreve que utilizou o método e, apenas, cita a análise temática ou categorial; e, minimamente, quando o autor apenas descreve que utiliza Bardin, mas não esclarece as fases no decorrer do trabalho.

Análise de conteúdo proposta por Bardin (1977; 2010) foi a base para a análise do método nos artigos publicados, com verificação sobre a utilização das fases do método na descrição da metodologia. As fases consideradas foram: a pré-análise, a exploração do material e o tratamento dos resultados, inferência e interpretação (BARDIN, 2010).

Foram utilizados artigos publicados na área de Ciências Sociais Aplicadas. Vale ressaltar que o método é frequentemente utilizado na área da saúde, pois existem trabalhos que também são abordados neste campo (CAMPOS, 2004; CAREGNATO; MUTTI, 2006; CAMPOS; TURATO, 2009).

 Análise e Discussão dos Resultados

As análises estão divididas em algumas etapas que envolveram a caracterização: quantidade de publicações por ano; quantidade de autores por artigo; descrição das revistas analisadas; classificação das revistas pelo Sistema Brasileiro de Avaliação de Periódicos, o Qualis, da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES); quantidade de artigos por instituição de ensino; classificações sobre tipo, abordagem e método utilizado e referência utilizada de Bardin por ano de publicação.

Foram realizadas análises essencialmente qualitativas sobre a aplicação do método. No contexto geral, houve uma classificação dos trabalhos de acordo com a percepção do pesquisador sobre a forma como os autores realizaram a descrição das fases da análise de conteúdo e o impacto nos resultados.

Caracterização e análise dos trabalhos encontrados

Os 52 trabalhos analisados foram tabulados pelas seguintes informações: número do registro; ano de publicação; autores; título; revista; Qualis; local; páginas; Instituição de Ensino Superior (IES) citada; sigla IES; ensaio teórico/teórico empírico; objetivo geral; tópico metodológico; abordagem; tipo de pesquisa; delineamento da pesquisa; coleta de dados; referência utilizada de Bardin; perspectiva temporal; classificação extra; descrição do método; clareza das etapas de Bardin; considerações sobre o método; se utilizou método auxiliar; as conclusões do artigo; as considerações sobre o trabalho no contexto da análise de conteúdo e classificação geral quanto à utilização do método.

O ano em que mais ocorreram publicações com citação de Bardin foi em 2014. É notável que mais autores passaram a utilizar o método a partir do ano de 2013 (Tabela 1). Não foram encontradas publicações anteriores ao ano de 2001, isso se deve ao fato de que alguns bancos de dados de revistas importantes passaram a ser utilizados em data posterior. Em 2015, foram poucas ocorrências, mas com possibilidade de ampliação do número pela data de realização da pesquisa.

Publicações por ano Tabela 1 Publicações por ano
Ano 2001 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015
Quantidade de artigos 1 1 2 6 6 1 4 5 3 9 11 3

A análise da quantidade de autores por artigo permite visualizar que, na maior parte os trabalhos, as publicações ocorreram com dois autores (Tabela 2). Todavia uma análise minuciosa dos artigos indica que o número de autores por trabalho não tem relação com a qualidade de aplicação das técnicas que integram a análise de conteúdo, visto que artigos publicados com cinco autores ou mais ficaram classificados com uma aplicação mínima do método de Bardin (1977). Dos artigos com quatro autores, três tiveram aplicação total e dois com aplicação parcial do método. A quantidade de autores identificada demonstra, também, que algumas revistas aceitam publicações com até seis autores. No entanto isso não remete a trabalhos com maior qualidade.

Quantidade de autores por artigo Tabela 2 Quantidade de autores por artigo
Quantidade de autores 1 2 3 4 5 6
Quantidade de artigos 4 20 12 11 3 2

Com base nos resultados, foi possível criar uma tabela contendo todas as revistas com a quantidade de artigos localizados. Apenas duas revistas resultaram em três artigos cada, pois ocorreu uma distribuição proporcional entre as 38 revistas encontradas (Tabela 3).

Revistas analisadas Tabela 3 Revistas analisadas
Revista Total de artigos
Administração Pública 1
BASE - Revista de Administração e Contabilidade da Unisinos 1
Cadernos Ebape.br 1
Organizações & Sociedade 2
RAC - Revista de Administração Contemporânea 2
RAM - Revista de Administração Mackenzie 3
RAP. Revista Brasileira de Administração Pública 2
RAU - Revista de Administração da Unimep 1
REA - Revista de Administração da UFSM 1
READ - Revista Eletrônica de Administração 1
RECADM - Revista eletrônica de Ciência Administrativa 1
Remark - Revista Brasileira de Marketing 1
Revista Alcance 2
Revista Brasileira de Gestão de Negócios 2
Revista Brasileira de Pesquisa em Turismo 1
Revista Contabilidade Vista & Revista 1
Revista de Administração da UNIMEP 1
Revista de Contabilidade e finanças 1
Revista de economia e administração 2
Revista de Educação e Pesquisa em Contabilidade 1
Revista de Gestão USP 1
Revista de Negócios 1
Revista Desenvolvimento em Questão 1
Revista do Serviço Público 1
Revista economia e gestão 1
Revista eletrônica do Mestrado em Administração da Universidade Potiguar 1
Revista Gerenciais 1
Revista Gestão & Tecnologia 1
Revista Gestão e Planejamento 2
Revista Gestão e Sociedade UFMG 1
Revista Gestão Organizacional 2
Revista Organizações em contexto 3
Revista Pretexto 2
Revista Rosa dos Ventos 1
Revista Sociedade, Contabilidade e Gestão 1
Revista Turismo em Análise 2
Revista Turismo Visão e Ação 1
Sociedade e Estado 1

Além da descrição das revistas e quantidades de trabalhos, foi identificada a classificação Qualis da CAPES (Tabela 4).

Classificação Qualis da CAPES das revistas analisadas Tabela 4 Classificação Qualis da CAPES das revistas analisadas
Classificação Qualis da CAPES A2 B1 B2 B3 B4 B5 Não
Quantidade de artigos 6 8 8 13 4 7 6

As produções que utilizam o modelo de Bardin constam em maior número das revistas com Qualis A2, B1, B2 e B3. Seis trabalhos não possuíam classificação pela CAPES.

Dentre as instituições com maior número de produções que citam Bardin, destacaram-se: Universidade Federal de Minas Gerais (cinco); Universidade Federal de Espírito Santo (quatro); Universidade Federal do Rio Grande do Norte (três); Universidade Presbiteriana Mackenzie (três); Pontifícia Universidade Católica de Minas Gerais (dois); Universidade de Caxias do Sul (dois); Universidade Nove de Julho (dois); Universidade Salvador (dois) e Universidade do Vale do Rio dos Sinos (dois).

Demais classificações:

o Classificação teórica ou empírica: 50 são classificados como teórico-empírico e dois como ensaio teórico.

o Especificação da metodologia: 47 trabalhos possuíam um item específico para descrever a metodologia utilizada; cinco artigos citavam o percurso metodológico no decorrer do trabalho.

o Com abordagem qualitativa, 44, e oito utilizaram abordagem mesclada entre quantitativa e qualitativa.

o Tipos de pesquisa: 26 artigos exploratórios; 20 trabalhos descritivos; quatro exploratório/descritivo; um descritivo/explicativo e um explicativo.

o Delineamento da pesquisa: 27 estudos de caso; 12 análises documentais; nove trabalhos de levantamento; dois bibliográficos; dois grupos de foco; a maioria utilizou entrevistas, análise documental, observação e questionários.

As principais referências citadas de Bardin estão descritas na Tabela 5. Grande parte dos autores utilizou a versão do livro do ano de 1977. Um autor citou referência de 1971, não encontrada entre as publicações das Edições 70, possivelmente, o autor tenha se confundido quanto às datas.

Bibliografia utilizada no método Tabela 5 Bibliografia utilizada no método
Referência de Bardin (1977 ou posterior) Quantidade
Bardin (1971) 1
Bardin (1977) 19
Bardin (1977; 2010) 1
Bardin (1979) 4
Bardin (1991) 1
Bardin (1997) 2
Bardin (2000) 1
Bardin (2002) 4
Bardin (2004) 7
Bardin (2006) 1
Bardin (2007) 1
Bardin (2008) 2
Bardin (2009) 5
Bardin (2010) 1
Bardin (2011) 2
Total 52

Grande parte dos artigos utilizou o método com apoio da técnica de análise do discurso, as principais citações de métodos auxiliares foram: Vergara (2005); Minayo (2002; 2007; 2012); Flick (2004); e outros para cada área de estudo, totalizando em 23 trabalhos. Neste caso, Bardin (1977) descreve a análise do discurso como uma das técnicas de análise, no sentido objetivo transmitido pelos conteúdos. No entanto parte dos artigos julga a técnica de análise do discurso como uma análise de conteúdo, com análises que superam o conteúdo documental, comparando outros fatores subjetivos do discurso. Portanto, o método de análise de conteúdo foi adaptado como etapa de algumas pesquisas, não sendo, necessariamente, aplicado na sua totalidade. Bardin (1977) entende a categoria como uma variável, faz referência a presença de hipóteses, impõe regras de exaustividade, exclusividade, etc. Por vezes, autores que se autoposicionam dentro de um paradigma interpretativista-fenomenológico acabam incorrendo em contradição ao usar Bardin como referência de análise para seus dados.

A frequência de autores que tiveram mais de um trabalho está apresentada na Tabela 6.

Autores com mais de um trabalho Tabela 6 Autores com mais de um trabalho
Autor Quantidade
SILVA, A. R. L. da. 7
SILVA JUNIOR, A. da. 3
GOSLING, M. 3
JUNQUILHO, G. S. 3
CARRIERI, A. de P. 3
MEDEIROS, J. de M. 2
LEITE, N. R. P. 2
BORGES, D. F. 2
LOPES, F. D. 2
NASSIF, V. M. J. 2
ZANQUETTO FILHO, H. 2

Com base na relação entre autores foi possível elaborar as redes (Atlas.ti) com classificação como “suports” em que o autor aparece como coautor do trabalho (apoio), a rede com destaque é a de Alfredo R. L. da Silva (Figura 1).

Redes de Silva, A. R. L Figura 1 Redes de Silva, A. R. L

A rede formada por Silva. A.R.L. está diretamente ligada às publicações de Junquilho, G. S. e Carrieri, A. de P. São autores que aparecem com o maior número de participação nos trabalhos analisados.

As considerações qualitativas dos artigos foram consolidadas na Tabela 7. Com base nas análises, é possível inferir que os estudos afirmam aplicar o método, mas não esclarecem as fases, bem como sua operacionalização. Fato esse que prejudica a credibilidade dos trabalhos, conforme estudos de Silva et al. (2013). No entanto cabe destacar que houve uma evolução da aplicabilidade nos trabalhos publicados nos últimos anos, pois grande parte das aplicações totais ocorreu em 2013 e 2014.

Análise qualitativa dos artigos Tabela 7 Análise qualitativa dos artigos
Considerações do autor sobre os artigos Quantidade de artigos
Não aplica todas as etapas, utilizando apenas uma técnica de análise, aplicando os pressupostos da autora. 23o na metodologia.etapas.de exp
Apenas cita que utilizou análise de conteúdo na metodologia, mas não é possível identificar como o método foi aplicado no contexto do trabalho. 18
Esclarece todas as etapas de análise de conteúdo aplicadas no trabalho. A aplicação de todas as etapas contribuiu para obtenção de resultados representativos. 11

Todavia há uma ressalva no tocante aos trabalhos que foram publicados nos últimos anos, pois o número de publicações com aplicação adequada do método é maior entre 2013 e 2015, isso indica que os pesquisadores estão melhorando as análises de conteúdo e a aplicação da metodologia (Tabela 8). Os dados não são divergentes das conclusões de Silva et al. (2013), que analisaram publicações anteriores a 2013.

Aplicação do método nos últimos anos Tabela 8 Aplicação do método nos últimos anos
Ano Grau de aplicação do método Quantidade de artigos
2001 Minimamente 1
2005 Minimamente 1
2006 Minimamente 1
Totalmente 1
2007 Minimamente 2
Parcialmente 3
Totalmente 1
2008 Minimamente 3
Parcialmente 3
2009 Parcialmente 1
2010 Minimamente 2
Parcialmente 2
2011 Minimamente 2
Parcialmente 2
Totalmente 1
2012 Minimamente 1
Parcialmente 2
2013 Minimamente 4
Parcialmente 5
2014 Minimamente 2
Parcialmente 4
Totalmente 5
2015 Minimamente 1
Totalmente 2

Com base nas análises, foi possível inferir que os autores utilizaram o método de análise qualitativa de dados parcialmente (42%) e minimamente (38%). Apenas 19% dos artigos analisados abordaram o método na sua totalidade, com referência à explicação adequada de cada fase da análise, identificação das etapas de acordo com os pressupostos de Bardin.

Ressalta-se o uso generalizado em diferentes campos (meios de comunicação, publicidade, comunicação, marketing, psicologia, psicanálise, educação, ciência política, sociologia, etc.) (FRANZOSI, 2011) e saúde (GRANEHEIN; LUNDMAN, 2004). Além de ser um método altamente flexível, utilizado amplamente em estudos de ciência da informação e bibliográficos (WHITE; MARSH, 2006). Com base nas análises, destaca-se a relevância da metodologia para o campo das ciências sociais, especificamente, para a área de Administração (MOZZATO; GRZYBOVSKI, 2011).

 Considerações Finais

Os estudos abordados forneceram grandes contribuições para as temáticas estudadas, sendo que as considerações deste trabalho foram efetivadas apenas com base na aplicabilidade e operacionalização da técnica de análise de dados, e não contestam as conclusões obtidas pelos autores.

Os resultados indicam que os autores utilizam a metodologia de Bardin mesclada com outros métodos analíticos (análise do discurso, narrativas, escalas, etc.). Alguns utilizam a análise de conteúdo desprezando etapas principais, outros, apenas citam o método na metodologia, mas não o aplicam na prática. Bardin (1977) entende a categoria como uma variável, faz referência à presença de hipóteses, impõe regras de exaustividade, exclusividade, etc. Por vezes, autores que se autoposicionam dentro de um paradigma interpretativista-fenomenológico acabam incorrendo em contradição ao usar Bardin como referência de análise para seus dados. Considerando as análises e o que Bardin (2010) preconiza, alguns pontos são destaques em trabalhos classificados com aplicação mínima e parcial: os autores não descrevem como utilizaram ou aplicaram as técnicas em cada fase; o recorte da informação e a divisão de categorias não estão claros; as aplicações parciais com análise de entrevistas não citam se a comunicação não verbal exerceu influência na análise; não há apresentação de hipóteses que indiquem a fase inicial de pré-análise, o que dificulta na construção de indicadores; as operações de codificação, decomposição ou enumeração não são claras; e, por sua vez, as inferências não consideram os elementos clássicos da comunicação: o emissor; o receptor; a mensagem; o médium (canal, instrumento) (BARDIN, 2010).

As análises indicaram que 75% (39 entre os 52) dos artigos não deixam claras as etapas definidas por Bardin: pré-análise; exploração do material e tratamento dos resultados, inferência e interpretação, além disso, 46% (24) dos trabalhos utilizaram um método de análise auxiliar em conjunto com a análise de conteúdo. É, portanto, necessário que estudos futuros sejam apresentados com o rigor do método, destacando as etapas e descrevendo com mais pertinência e clareza. O método não foi criado apenas para ser utilizado como citação na etapa metodológica, mas, sim, para contribuir na eficácia dos resultados.

Uma limitação deste estudo foi a pesquisa em portais específicos com banco de dados limitados, porém isso não elimina o crédito da pesquisa, visto que os trabalhos analisados contemplam periódicos com Classificação Qualis da CAPES A e B. Dessa forma, podem ser realizados estudos futuros com análise de teses, dissertações e artigos internacionais.

 Referências BARDIN, L. Análise de conteúdo. São Paulo: Edições 70, 1977. BARDIN L Análise de conteúdo 1977 BARDIN, L. Análise de conteúdo. São Paulo: Edições 70, 2010. BARDIN L Análise de conteúdo 2010 BOS, W.; TARNAI, C. Content analysis in empirical social research. Pergamon, International Journal of Educational Research, v. 31, n. 8, p. 659-671, 1999. BOS W TARNAI C International Journal of Educational Research 1999 CAMPOS, C. J. G. Método de análise de conteúdo: ferramenta para análise de dados qualitativos no campo da saúde. Revista Brasileira de Enfermagem, Distrito Federal, v. 57, n. 55, p. 611-614, 2004. CAMPOS C. J. G Revista Brasileira de Enfermagem 2004 CAMPOS, C. J. G.; TURATO, E. R. Análise de conteúdo em pesquisas que utilizam metodologia clínico-qualitativa: aplicação e perspectivas. Revista Latino-Americana de Enfermagem – USP, Ribeirão Preto, v. 17, n. 2, p. 124-129, 2009. CAMPOS C. J. G TURATO E. R Revista Latino-Americana de Enfermagem – USP 2009 CAREGNATO, R. C. A.; MUTTI, R. Pesquisa qualitativa: análise do discurso versus análise de conteúdo. Revista Texto & Contexto Enfermagem, Florianópolis, v. 15, n. 4, p. 679-684, 2006. CAREGNATO R. C. A MUTTI R Revista Texto & Contexto Enfermagem 2006 COSTA E SILVA, R. da. Análise da produção científica em programas de pós-graduação em geografia no Brasil (1987-2006). 2010. 79 f. Dissertação (Mestrado em Geografia) –Universidade Federal do Amazonas, Manaus, 2010. COSTA E SILVA R Análise da produção científica em programas de pós-graduação em geografia no Brasil (1987-2006) 2010 DU, H.; WEI, L.; BROWN, M. A.; WANG, Y.; SHI, Z. A bibliometric analysis of recent energy efficiency literatures: an expanding and shifting focus. Energy Efficiency, v. 6, n. 1, p. 177-190, 2013. DU H WEI L BROWN M. A WANG Y SHI Z Energy Efficiency 2013 DUMAY, J.; CAI, L. Using content analysis as a research methodology for investigating intellectual capital disclosure: A critique. Journal of Intellectual Capital, v. 16, n. 1, p. 121-155, 2015. DUMAY J CAI L Journal of Intellectual Capital 2015 FRANZOSI, R. Content Analysis: Objective, Systematic, and Quantitative Description of Content. Ph.D. Thesis, 2011. FRANZOSI R Content Analysis 2011 FENG, F.; ZHANG, L.; DU, Y.; WANG, W. Visualization and quantitative study in bibliographic databases: A case in the field of university–industry cooperation. Journal of Informetrics, v. 9, n. 1, p. 118-134, 2015. FENG F ZHANG L DU Y WANG W Journal of Informetrics 2015 FLICK, U. Introdução à pesquisa qualitativa. 3.ed. São Paulo: Artmed, 2009. FLICK U Introdução à pesquisa qualitativa 2009 FREITAS, H. M. R. de.; CUNHA JUNIOR, M. V. M. da.; MOSCAROLA, J. Aplicação de sistema de software para auxílio na análise de conteúdo. Revista de Administração da USP, v. 3, n. 32, p. 97-109, 1997. FREITAS H. M. R Revista de Administração da USP 1997 GRANEHEIM, U. H.; LUNDMAN, B. Qualitative content analysis in nursing research: concepts, procedures and measures to achieve trustworthiness. Nurse Education Today, v. 24, p. 105–112, 2004. GRANEHEIM U. H LUNDMAN B Nurse Education Today 2004 GUEDES, V. L. da S. A bibliometria e a gestão da informação e do conhecimento científico e tecnológico: uma revisão da literatura. Revista PontodeAcesso, Universidade Federal da Bahia, Salvador, v. 6, n. 2, p. 74-109, 2012. GUEDES V. L Revista PontodeAcesso 2012 IBRAHIM, H. W.; ZAILANI, S.; TAN, K. C. A content analysis of global supply chain research. Benchmarking: An International Journal, v. 22, n. 7 p. 1429-1462, 2015. IBRAHIM H. W ZAILANI S TAN K. C Benchmarking: An International Journal 2015 KRIPPENDORFF, K. Content analysis, an introduction to its methodology. Newbury Park, CA: Sage, 1980. KRIPPENDORFF K Content analysis, an introduction to its methodology 1980 LEWIS, S. C.; ZAMITH, R.; HERMIDA, A. Content Analysis in an Era of Big Data: A Hybrid Approach to Computational and Manual Methods. Journal of Broadcasting & Electronic Media, v. 57, n.1, p. 34–52, 2013. LEWIS S. C ZAMITH R HERMIDA A Journal of Broadcasting & Electronic Media 2013 LI, T.; CAVUSGIL, S. T. A classification and assessment of research streams in international marketing. International Business Review, v. 4, n. 3, p. 251-277, 1995. LI T CAVUSGIL S. T International Business Review 1995 MOZZATO, A. R.; GRZYBOVSKI, D. Análise de conteúdo como técnica de análise de dados qualitativos no campo da administração: potencial e desafios. Revista de Administração Contemporânea, Curitiba, v. 15, n. 4, p. 731-747, 2011. MOZZATO A. R GRZYBOVSKI D Revista de Administração Contemporânea 2011 NACCARATO, J. L.; NEUENDORF, K. A. Content analysis as a predictive methodology: Recall, readership, and evaluations of business-to-business print advertising. Journal of Advertising Research, v. 38, n. 3, p. 19-33, 1998. NACCARATO J. L NEUENDORF K. A Journal of Advertising Research 1998 RAUPP, F. M.; BEUREN, I. M. Metodologia da pesquisa aplicável às ciências sociais. In: BEUREN, I. M. (Org). Como elaborar trabalhos monográficos em contabilidade: teoria e prática. 3.ed. São Paulo: Atlas, 2009. RAUPP F. M BEUREN I. M Como elaborar trabalhos monográficos em contabilidade: teoria e prática 2009 RIFFE, D.; FREITAG, A. A content analysis of content analyses: twenty-five years of journalism quarterly. Journalism & Mass Communication Quarterly, v. 74, n. 3, p. 515-24, 1997. RIFFE D FREITAG A Journalism & Mass Communication Quarterly 1997 ROCHA, D.; DEUSDARA, B. Análise de Conteúdo e Análise do Discurso: aproximações e afastamentos na (re)construção de uma trajetória. Revista Alea Estudos Neolatinos [oniline], Universidade Federal do Rio de Janeiro, v.7, n.2, p. 305-322, 2005. ROCHA D DEUSDARA B Revista Alea Estudos Neolatinos 2005 SANTOS, F. M. dos. Análise de conteúdo: a visão de Laurence Bardin. Revista Eletrônica de Educação, v. 6, n. 1, p. 383-387, 2012. SANTOS F. M Revista Eletrônica de Educação 2012 SILVA, A. H.; MOURA, G. L. de.; CUNHA, D. E.; FIGUEIRA, K. K.; HORBE, T. de A. N.; GASPARY, E. Análise de conteúdo: fazemos o que dizemos? Um levantamento de estudos que dizem adotar a técnica. In: IV ENCONTRO DE ENSINO E PESQUISA EM ADMINISTRAÇÃO E CONTABILIDADE, 14. 2013. Brasília, DF. Anais... Brasília: ANPAD, 2013. SILVA A. H MOURA G. L IV ENCONTRO DE ENSINO E PESQUISA EM ADMINISTRAÇÃO E CONTABILIDADE 2013 SPIEL, C.; BOHM, G.; EYE, A. V. Content analysis of an object sorting test of cognitive complexity. Elsevier, Pergamon, International Journal of Educational Research, v. 31, p. 687-698, 1999. SPIEL C BOHM G EYE A. V International Journal of Educational Research 1999 VALA, J. A análise de conteúdo. In: SILVA, A. S.; PINTO, J. M. (Orgs.). Metodologia das ciências sociais. 8.ed. Porto: Afrontamento, 1986, p. 101-128. VALA J Metodologia das ciências sociais 1986 WALTER, S. A. Aliança Estratégica: papel dos estrategistas da organização e das propriedades estruturais do campo organizacional. Revista Brasileira de Estratégia, Curitiba, v. 6, n. 1, p. 83-96, 2013. WALTER S. A Revista Brasileira de Estratégia 2013 WALTER, S. A.; BACH, T. M. Adeus papel, marca-textos, tesoura e cola: Inovando o processo de análise de conteúdo por meio do Atlas.ti. Revista Administração: Ensino e Pesquisa, Rio de Janeiro, v. 16, n. 2, p. 275-308, 2015. WALTER S. A BACH T. M Revista Administração: Ensino e Pesquisa 2015 WATZLAWICK, P.; BEAVIN BAVELAS, J.; JACKSON, D. D. Pragmatics of Human Communication. A Study of Interactional Patterns, Pathologies and Paradoxes. W.W. Norton & Company, New York, London, 1967. WATZLAWICK P BEAVIN BAVELAS J JACKSON D. D Pragmatics of Human Communication. A Study of Interactional Patterns, Pathologies and Paradoxes 1967 WEBER, R. P. Basic content analysis, 2.ed. Newbuiy Park, CA: Sage, 1990. WEBER R. P Basic content analysis 1990 WHITE, M. D.; MARSH, E. E. Content Analysis: A Flexible Methodology. LibraryTrends, The Board of Trustees, University of Illinois, v. 55, n. 1, p. 22-45, 2006. WHITE M. D MARSH E. E Content Analysis: A Flexible Methodology 2006