Resumo: O objetivo deste artigo é elaborar um referencial que sirva de apoio à qualificação da produção de artigos em Administração e a partir do qual possa ser proposto um benchmarking de qualidade e sustentabilidade da produção acadêmica nesta área. Pontualmente, visa contribuir para a qualificação de trabalhos a serem submetidos a periódicos nacionais Qualis A ou B da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Parte-se de análise bibliográfica sobre a situação da pesquisa em Administração segundo publicações em sete periódicos nacionais da área, ranqueados como A ou B. Posteriormente é feita uma compilação dos critérios disponibilizados a autores pareceristas desses periódicos e de outros três internacionais, da área de Administração, para avaliar a produção a eles submetida. A revisão bibliográfica resultou na seleção de 51 artigos que apontam os principais problemas da pesquisa nesta área. Conclui-se que os critérios de avaliação dos periódicos coincidem com os mencionados em artigos selecionados, mas não permitem explorar aspectos da avaliação subjacentes às práticas blind e peer review. A melhoria contínua dos artigos é recomendada internacionalmente. O resultado é um quadro de referência para auxiliar na construção de um sistema de benchmarking de submissão em periódicos bem qualificados pela CAPES.
Palavras-chave:qualidadequalidade,produtividadeprodutividade,produção científicaprodução científica,administraçãoadministração,sustentabilidadesustentabilidade.
Abstract: The aim of this article is to develop a framework that would support the classification of the production of articles in Business Administration and from which can be offered a quality benchmarking and sustainability of academic research in this area. Punctually, aims to contribute to the qualification of work to be submitted to national Qualis A or B of Higher Education Personnel Improvement Coordination (CAPES). Part is a literature review on the state of research directors under the publications in seven national periodicals area, unranked as A or B. It is then made a compilation of the criteria available to the reviewers authors of these journals and three other international Area administration to assess the production they submitted. The literature review resulted in the selection of 51 articles that link the main problems of research in this area. We conclude that the periodic evaluation criteria coincide with those mentioned in selected articles but do not allow exploring evaluation aspects underlying the blind practices and peer review. Continuous improvement of products is internationally recommended. The result is a frame of reference to assist in building a submission benchmarking system well qualified by periodic evaluation system of CAPES/Brazil.
Keywords: quality, productivity, scientific production, management, sustainability.
ARTIGOS
Benchmarking de qualidade e sustentabilidade da produção científica em Administração
Benchmarking of quality and sustainability of scientific production in Administration
Universidade Federal de Santa Maria
Recepción: 10 Octubre 2018
Aprobación: 01 Noviembre 2018
A avaliação de periódicos é um assunto que tem gerado grandes debates e polêmicas, dado seu caráter abrangente e que varia de acordo com as percepções de cada avaliador. Além disso, a forma de cada avaliação é distinta em cada periódico. São diversos fatores que influenciam a avaliação de trabalhos. Este estudo aborda pontualmente a avaliação de periódicos na área de Administração. Amparado na ideia proposta por Kneipp et al. (2013) de que os periódicos científicos possuem importante papel na consolidação de determinada área do conhecimento, dado sua característica de divulgar e difundir resultados de pesquisas acadêmicas.
O objetivo deste artigo é elaborar um referencial que sirva de apoio à qualificação da produção de artigos em Administração e a partir do qual possa ser proposto um benchmarking de qualidade e sustentabilidade da produção acadêmica nesta área. Neste sentido, o objetivo está alinhado aos propósitos do projeto “Mapa Estratégico da Educação Superior (MEES) fundamentado em um sistema de gestão integrado: uma proposta metodológica para a operacionalização do PDI (Plano de Desenvolvimento Institucional)” (CORRÊA, et al, 2009).
O chavão “publicar ou perecer” é cada vez mais atual no meio acadêmico, tendo suas consequências expressas pelos constantes refinamentos de critérios de avaliação de programas de pós-graduação pela CAPES, os quais vêm reforçando a necessidade de estreitamento de laços entre pesquisadores de diferentes programas por meio de publicações em coautorias (SERRA et al., 2008). Seguindo essa linha de pensamento, Alcadipani (2011); Rossoni (2013) e Cabral e Lazzarini (2011) argumentam que a produção acadêmica brasileira se transformou em uma busca incessante por pontos.
Benchmarking é um processo contínuo de avaliação de produtos, serviços ou práticas gerenciais (Camp, 1997) buscando a identificação do que é melhor adotar para cumprir metas propostas. O processo de benchmarking, portanto, implica a identificação de referenciais sistematizáveis que possam ser acompanhados e melhorados ao longo do tempo. Kyrö (2003) observa que o benchmarking pode ser realizado em relação a um processo – como, por exemplo, o que envolve o contexto de produção, submissão e avaliação de artigos acadêmicos – e traz consigo a prática de aprendizagem.
Em trabalho no qual utilizou benchmarking comparativo, Sartori (2013) conclui que o Brasil está desenvolvido em relação a avaliações no âmbito da Comissão de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).
Três fenômenos justificam a necessidade de investigar e propor soluções para um sistema de benchmarking voltado a referenciar a qualificação da publicação em Administração:
- o crescimento da quantidade de publicações em anais de eventos e em periódicos sujeitos aos critérios do sistema Qualis/CAPES (WOOD e CHEUKE, 2008), o que influencia a pontuação do ranking da pós-graduação no Brasil;
- a concentração de publicações qualificadas de autoria de pesquisadores de poucos programas de pós-graduação em Administração (OLIVEIRA e SAVERBRONN, 2007);
- o aumento do número de programas de pós-graduação em Administração no Brasil, de 168%, entre 1998 e 2009 (ROSSONI e GUARIDO, 2009).
Além destes fenômenos, observa-se a ausência de critérios suficientemente detalhados para avaliadores (na submissão) e revisores (nos sistemas de pareceres).
Segundo Sola e Bonacim (2013), a partir da análise de periódicos brasileiros, constatou-se que há concentração da produção científica na região Sudeste.
Finalmente, há que se considerar a importância de melhor conhecer a situação brasileira no contexto de publicações em Administração, não apenas pelo mapeamento de meta-estudos em áreas específicas, como já ocorre, de modo a atualizá-los, mas principalmente pela necessidade de estruturação de um referencial uniforme para o sistema de publicações, o qual possibilite comparações adequadas da posição e dos desafios brasileiros quanto à publicação, comparativamente à situação presente no Exterior.
O presente estudo caracteriza-se como uma pesquisa qualitativa de caráter exploratório, descritiva em suas formas de investigação e prescritiva na forma de apresentação de resultados. Sua contribuição está em buscar a sistematização do tecido de fatores que pode contribuir para a qualidade e a sustentabilidade da produção e da publicação de artigos nesta área.
O método prático de investigação da presente proposta constitui-se de uma revisão de normas para publicações emitidas por corpos editoriais de journals indexados pelo sistema Qualis/CAPES, sete nacionais e três internacionais, e de artigos sobre pesquisas em Administração veiculados nos periódicos nacionais selecionados.
Neste sentido, um levantamento bibliográfico foi realizado em duas instâncias: artigos publicados nos principais periódicos nacionais, Qualis A e B da grande área de Administração, Ciências Contábeis e Turismo, e junto aos sítios eletrônicos onde esses mesmos periódicos mantêm instruções a autores e/ou a pareceristas. Paralelamente, foram selecionados três journals internacionais, também da área de Administração, Ciências Contábeis e Turismo, todos Qualis A, para a análise dos critérios que eles disponibilizam para pareceristas e autores, visando a uma comparação entre essas diretrizes e as correspondentes dos journals nacionais da área.
A listagem a seguir apresenta os sete periódicos nacionais selecionados com os seus respectivos conceitos atribuídos pelo sistema Qualis/CAPES, no período de coleta de dados da pesquisa, ou seja, no ano de 2010, bem como informações complementares pertinentes.
1ª) Revista de Administração Contemporânea (RAC), ISSN 1415-6555, Qualis B1 em Administração, Ciências Contábeis e Turismo (RAC, 2010), revisadas todas as edições disponíveis online, de 1997 a julho de 2010;
2ª) Revista de Administração de Empresas da Fundação Getúlio Vargas (RAE/FGV), ISSN: 00347590, Qualis B1 nas áreas de Administração, Ciências Contábeis e Turismo, revisadas todas as edições disponíveis online, de 1961 a julho de 2010;
3ª) Revista de Gestão da Universidade de São Paulo (RAUSP), ISSN 1516-7747, Qualis B3 em Administração, Ciências Contábeis e Turismo, revisadas todas as edições disponíveis online, de 1994 a julho de 2010;
4ª) Revista de Administração Pública (RAP), ISSN 0034-712, Qualis A2 em Administração, Ciências Contábeis e Turismo, revisadas todas as edições publicadas no sistema Scielo, versão online desde 2006 a julho de 2010.
5ª) Revista de Administração Mackenzie (RAM), ISSN 1678-6971, Qualis B 1 nas áreas de Administração, Ciências Contábeis e Turismo, revisadas todas as edições disponíveis online, desde 2000 a julho de 2010.
6ª) Organizações e Sociedade (OeS), ISSN: 1413-585X, Qualis B2 em Administração, Ciências Contábeis e Turismo, revisadas todas as edições disponíveis online, no período de 2000 a julho de 2010;
7ª) Organizações Rurais e Agroindustriais (OReA), ISSN 1517-3879, Qualis B2 em Administração, Ciências Contábeis e Turismo, revisadas todas as edições disponíveis online, desde 1996 até julho de 2010.
A partir do levantamento nos periódicos nacionais selecionados, foi obtida uma compilação do conteúdo de 51 artigos sobre pesquisa em Administração, a qual foi classificada por similaridade de abordagem e conteúdo, e uma síntese de normas e recomendações a autores dos respectivos periódicos. Os journals internacionais foram explorados, para a finalidade desta pesquisa, unicamente com relação aos critérios de submissão para autores e revisão para editores.
Partindo do estado da arte sobre as publicações na área de Administração, o estudo permitiu apontar alguns resultados. A seção 3.1 apresenta as principais recomendações dos autores, em que são apontadas as fragilidades e iniciativas proativas com o intuito de promover a qualidade e sustentabilidade da qualidade do conhecimento produzido e disseminado.
1a) Interdisciplinaridade nos meios, não nos fins
Os benefícios da interdisciplinaridade na educação estão amparados na capacidade dos alunos de estabelecer diálogos entre os conteúdos (CEZARINO, 2013), porém os resultados são predominantemente descritivos e refletem bem mais a reprodução do conhecimento existente do que a análise na direção da criação de conhecimento novo (BULGACOV e VERDU, 2001; ROSSONI e GUARIDO, 2009; ALCADIPANI, 2013). Na graduação, este status é agravado pela falta de inter-relação entre as disciplinas do currículo, já que as instituições de ensino privilegiam o ensino em detrimento da pesquisa (NICOLINI, 2003; OLIVEIRA e SAVERBRONN, 2007).
Um fator positivo neste contexto é que há preocupação da comunidade acadêmica em analisar a produção científica nacional em diversas áreas da Administração (GRAEML e MACADAR, 2010), dada a massa considerável de meta-pesquisas.
2a) Academicismo, descontinuidade e fragilidade teórica nas especialidades
O que se verifica na pesquisa geral em Administração reflete-se em subáreas específicas: predomínio de autores internacionais e distanciamento da produção acadêmica relativamente à realidade empresarial. Contudo, há especificidades como baixa produção em algumas subáreas.
Em Aprendizagem Organizacional, a pesquisa está concentrada em poucas instituições. Segundo Takashi e Fischer (2009), 72% de 43 artigos publicados nos principais periódicos nacionais de Administração são da UFBA, USP, Unisinos, UFSC, UFPR e UFRGS.
A participação da área de Contabilidade na pesquisa em Administração é baixa: 2,95% em relação ao total de artigos publicados entre 1990 e 2003 em periódicos Qualis A CAPES, segundo análise de 2.037 artigos realizada por Cardoso, Mendonça, Riccio e Sakata (2005). Além disto, conforme estes autores, os artigos desta temática publicados em periódicos Qualis A têm baixa produção teórica e são pouco estruturados. Mendonça et al. (2009) corroboram a baixa produtividade da pesquisa brasileira na área de Contabilidade em relação ao Exterior.
Em resumo, observa-se que, quando registrado, o crescimento quantitativo da publicação nacional, nas especialidades da Administração, é descontinuado e/ou apresenta fragilidades em suas bases teóricas.
3a) Influência norte-americana desproporcional à qualidade do debate
A influência norte-americana na pesquisa brasileira em Administração é constatada por diversos autores (BULGCOV e VERDU, 2001; VERGARA e PINTO, 2001; MACHADO-DA-SILVA et al., 2008; ALCADIPANI e CALDAS, 2012; ALCADIPANI e BERTERO, 2012; VALE et al., 2013; BERTERO et al., 2013). Segundo Serra et al. (2008), a maior parte das citações em pesquisas de Administração é estrangeira (52,4%), segundo análise de 4.081 artigos publicados em anais do Encontro Nacional da Associação Nacional de Pós-graduação e Pesquisa em Administração (ENANPAD) e nas principais revistas científicas de Administração do Brasil revisados por Machado-da-Silva et al. (2008). Este fenômeno é verificado especialmente na literatura estrangeira de pesquisa sobre Aprendizagem Organizacional (TAKASHI e FISCHER, 2009). A questão da nacionalidade das citações não seria tão problemática na produção acadêmica se os artigos dela derivados fossem mais analíticos do que reprodutores de conhecimentos exógenos.
No Brasil, segundo Pinto e Lara (2008), como resultado da importação de teorias que foram desenvolvidas nos países centrais, é possível notar a defasagem de ideias que mostram uma compreensão tardia da realidade.
4a) Graduação, o início da falta de cultura em pesquisa
Em geral, estudantes de graduação são avessos à metodologia da pesquisa, conforme estudo realizado junto a 124 acadêmicos de instituições de ensino superior em Administração em Fortaleza (Ceará), realizado por Costa e Soares (2008). Embora não haja como correlacionar essas pesquisas, tampouco generalizar estes resultados, eles são claras demonstrações de obstáculos ao desenvolvimento de uma cultura de produção de artigos já na graduação.
Em contrapartida, estudantes de graduação consideram que os atributos de um docente bem qualificado incluem a publicação de artigos científicos, segundo entendimento de 214 entrevistados de 24 instituições de ensino em Administração de Curitiba (MACIEL, HOCAYEN-DA-SILVA e CASTRO, 2008).
5a) Recorrência ao estudo de caso e fragilização da rastreabilidade
Segundo Fleury (2003), estudos de caso correspondem a 32% dos artigos publicados na RAP durante onze anos. Esta proporção é ainda maior quando se consideram as publicações dos anais do ENANPAD: 55,7% dos 549 artigos deste evento, veiculados entre 2000 e 2005, nas áreas de Administração Pública e Gestão Social, usaram estudo de caso, conforme Hocayen-da-Silva et al. (2008).
6a) Coautorias e redes: estratégia recente perante os critérios de avaliação da CAPES
Serra et al. (2008) observam que há poucas parceiras entre brasileiros e estrangeiros para publicações em Administração.
Pode-se afirmar que a integração planejada dos pesquisadores para fins de publicação é incipiente. Estudo recente junto a 32 programas de pós-graduação em Administração no Brasil mostra que a rede de pesquisas entre eles é fraca, pouco densa, com relações esparsas; a localização geográfica e as linhas de pesquisa são importantes na definição da estrutura das redes; as linhas de pesquisa com maior grau de compartilhamento são: Organizações, Comportamento Organizacional e Estratégia (GUIMARÃES, GOMES, ODELIUS, ZANCAN e CORRACHI, 2009). Contudo, o número de coautorias nos programas de pós-graduação stricto sensu aumentou entre 2000 e 2006, principalmente devido a mudanças nos critérios de avaliação da CAPES, ou em função da formação de novos grupos e/ou do amadurecimento dos já existentes (MELLO, CRUBELLATTE e ROSSONI, 2009; 2010).
De fato, os pesquisadores estão trocando a autoria individual pela coletiva (GRAEML e MACADAR, 2010; Leal et al., 2013) porque o sistema de avaliação da CAPES motiva alto grau de desempenho quantitativo de produção intelectual, o que demanda a formação de grupos de cooperação para publicações (MACCARI et al., 2009; ROSSONI e GUARIDO, 2009; LEAL et al., 2013).
Mas, para evitar os fenômenos da endogenia e da excessiva concentração da pesquisa em programas com maior qualificação no sistema CAPES, são necessárias políticas institucionais que valorizem e fortaleçam a rede de programas de pós-graduação, incentivando pesquisas conjuntas, conforme recomendam Guimarães et al (2009). Constata-se que programas com maior produção intelectual tendem a interagir mais entre si, e programas periféricos tendem a se relacionar com os centrais.
7a) Processo de avaliação de artigos: falta clareza
O processo de avaliação de artigos em periódicos de elevada classificação no sistema Qualis/CAPES gera muitas discussões entre pesquisadores. Em geral, os editores adotam os métodos blind e doublereview, que correspondem, respectivamente, à avaliação cega, sem identificação dos autores para os pareceristas e vice-versa, e à revisão por pares – mais de um avaliador, os quais não são identificados entre si para efeito de cada trabalho de avaliação.
O sistema de avaliação cega é criticado sobretudo sob o argumento de que o anonimato confere um poder outorgado sem mérito ao parecerista (THIRY-CHERQUES, 2005).
As elevadas taxas de rejeição também desencorajam autores. Conforme Serra et al. (2008), este não é um fenômeno isolado, pois, por exemplo, o Science Quarterly, na área de Administração, tem uma taxa de rejeição de artigos de pelo menos 90%. E o Academy of Information and Management Journal apresenta média de aceitação de 25% (AIMJ, 2010).
Uma das questões mais relevantes neste contexto é como aumentar as taxas de publicação sem afrouxar critérios de qualidade na submissão. Nem todos os periódicos bem classificados no Qualis/CAPES, na área de Administração, possuem recomendações claras para os autores, o que facilitaria o enquadramento dos artigos às exigências do periódico.
8a) Critérios e recomendações de autores nacionais para a qualidade da pesquisa
Os principais pontos em comum quanto aos critérios de aceitação de um artigo, conforme os autores revisados em 51 pesquisas publicadas nas principais revistas nacionais de Administração com elevada classificação pelo sistema Qualis/CAPES, são o rigor teórico e metodológico e a contribuição científica para a teoria que o artigo de fato representa (POZZEBON e FREITAS, 1998; BERTERO et al, 2003; PFEFFER e FONG, 2003; SANTOS E ICHIKAWA, 2003; HOPPEN e MEIRELLES, 2005; VIEIRA, 2007; SERRA et al, 2008; BERTERO et al, 2013). Uma avaliação propositiva e detalhada é sugerida por Pinho (2005). Bertero et al (2013), propõem oito elementos que possibilitem reflexão, além de um possível norteamento na pesquisa: foco no Brasil e na realidade local; aproximação da teoria e prática; estabelecer planos de pesquisa buscando aprofundamento em temas; fomentar o rigor científico; focar no impacto da produção; dar privilégio a periódicos internacionais de nível alto; reformar os programas de pós-graduação; reconhecer pesquisadores e pesquisas exemplares.
9a) Critérios e recomendações de editores de periódicos nacionais e internacionais
Os critérios comuns exigidos por editores e apresentados nos sites dos periódicos nacionais são: ineditismo; atendimento a políticas editoriais do veículo; validade interna e externa da pesquisa; robustez teórica e metodológica; e apresentação de contribuição relevante para o conhecimento (RAC, 2010; RAE/FGV, 2010; RAM, 2010; RAP, 2010; RAUSP, 2010; O&S, 2010; OR&A, 2010). Observam-se correspondências entre critérios e recomendações presentes na literatura em Administração e em sites de periódicos.
No que diz respeito aos periódicos internacionais considerados, dois deles não apresentam, em seus sites, informações claras sobre o processo de avaliação de artigos: BSE e CJAS. Ambos são da base Wiley, que adota sistema triple blind review para suas publicações e mantém instruções técnicas (tutorial) para formatação e submissão de artigos. Já o AIMJ, da base Allied Academies, traz instruções para autores e revisores. Para os primeiros, a principal recomendação é a completude da revisão bibliográfica e a consistência metodológica, assim como a adequação dos constructos às conclusões. Para revisores, a principal recomendação é serem propositivos, indicando especificamente o que deve ser feito para possibilitar a publicação do artigo.
Comparando-se brevemente periódicos nacionais e internacionais quanto ao sistema de avaliação e recomendações a revisores, nota-se que a política editorial de suporte ao autor, no sentido de encorajar a melhoria contínua, buscando efetivar a publicação, aparece como um diferencial importante no AIMJ, não estando necessariamente presente nas políticas editoriais dos periódicos nacionais.
Na presente proposta, a sistematização de elementos para um benchmarking de apoio à qualificação e sustentabilidade da publicação em Administração insere-se no escopo do projeto MEES (CAPES, 2009) e está ancorada em quatro questionamentos: dois para pesquisadores em geral, um para autores e outro para avaliadores. Para pesquisadores, as perguntas-chave consideradas são “O que superar?” e “Como criar sinergia para melhorar a pesquisa?”. Para autores e avaliadores, a pergunta é a mesma: “O que seguir?”. Estes questionamentos derivam do resultado da revisão bibliográfica e das lacunas encontradas ao logo da mesma quanto à busca de respostas para tornar mais objetivo e efetivo o processo que vai da produção à submissão e avaliação de artigos.
Os quadros 1, 2 e 3 apresentam para os autores, avaliadores e pesquisadores em geral, respectivamente, os principais problemas recorrentes identificados nas pesquisas da área de administração, a sinergia para melhorar os resultados e uma abordagem prescritiva do que fazer para alcançar a excelência nas publicações.
Problemas recorrentes
Sinergia para melhorar a pesquisa
O que seguir? (Autores e avaliadores)
A partir da pesquisa bibliográfica realizada e da análise comparativa dos conteúdos encontrados na literatura nacional e internacional considerada, é possível indicar os elementos dos Quadros 1 a 3 como relevantes para integrar um sistema de benchmarking de qualificação da publicação em Administração.
Os achados da pesquisa permitem atingir o objetivo geral deste estudo. O estado-da-arte apresentado por meio de uma síntese das recomendações e critérios para as publicações e a sistemática de avaliação reflexiva proposta nos Quadros 1 a 3 se constituem em relevantes contribuições para um benchmarking de apoio à qualidade e sustentabilidade das publicações na área de administração. E pode-se dizer que permitem algumas generalizações para as demais áreas do conhecimento. Verifica-se que os critérios comuns exigidos por editores são: ineditismo; atendimento a políticas editoriais do veículo; validade interna e externa da pesquisa; robustez teórica e metodológica; e apresentação de contribuição relevante para o conhecimento. Para os autores, os elementos mais importantes são: rigor teórico e metodológico; contribuição de valor; delineamento de objetivos compatíveis com a pesquisa; confiabilidade dos constructos; e impacto da pesquisa sobre a realidade. São apresentadas também recomendações de editores e autores para a qualificação da pesquisa em Administração e constatações sobre a situação atual da produção acadêmica na área segundo sete aspectos: perfil geral da pesquisa em Administração; influência norte-americana; formação do administrador e papel do docente na área; perfil da produção de artigos em áreas específicas da Administração; estudo de caso; integração entre pesquisadores, formação de redes de co-autorias e critérios CAPES de avaliação; pareceristas e processo de avaliação de artigos. Esses referenciais são correlacionados em um desenho de pesquisa focado na obtenção de um benchmarking nacional de produção e disseminação de pesquisa acadêmica na pós-graduação em Administração, o qual deve ser co-referenciado em padrões internacionais. Conclui-se que os critérios de avaliação dos periódicos coincidem com os mencionados em artigos selecionados, mas não permitem explorar aspectos da avaliação subjacentes às práticas blind e peer review. Para consolidar o benchmarking da qualidade e sustentabilidade da produção científica em Administrativa, faz-se as seguintes recomendações: ampliar a base de pesquisa em periódicos internacionais a respeito de critérios de avaliação, testá-los, refiná-los e atribuir uma escala de valoração aos elementos resultantes; realizar atividades de integração entre editores, pareceristas e avaliadores da CAPES, para discutir a possibilidade de um referencial harmônico de avaliação de artigos. Almeja-se que os resultados deste estudo e as recomendações sugeridas para futuros trabalhos possam contribuir para a melhoria da qualidade geral do sistema de publicações nacionais em Administração.
Problemas recorrentes
Sinergia para melhorar a pesquisa
O que seguir? (Autores e avaliadores)
