Neste editorial, o segundo do volume 23 da Revista de Administração Contemporânea (RAC), julguei oportuno abordar um assunto que se apresenta sensivelmente relevante para dirimir esforços redundantes de pesquisa no campo de negócios: as duas maneiras mais comuns de produzir artigos de revisão de literatura, revisões narrativas (RN) e revisões sistemáticas (RS), conforme testemunham Bolderston (2008); Grant e Booth (2009); e Pautasso (2013). Isto é, a caracterização, e a distinção, de trabalhos cuja contribuição essencial seja creditada à revisão de literatura narrativa (Green, Johnson, & Adams, 2006), em relação àqueles dedicados a realizar revisões sistemáticas (Fisch & Block, 2018) constitui-se relevante para a produção de trabalhos que permitam o entendimento sistematizado da literatura a respeito de determinado tema.

Esse debate encontra ainda conexão com o tema da comunicação da pesquisa, a respeito do qual tratei no editorial do número anterior da RAC (Mendes-Da-Silva, 2019). Afinal, o estabelecimento de agendas de pesquisa, por meio de revisões de literatura, constitui ferramenta valiosa para conduzir estudos com elevado potencial de impacto (Moosa, 2018). E, portanto, as revisões per se frequentemente são uma espécie de artigo que acaba por atrair a atenção da comunidade, vis a vis a contribuição marginal de revisões de literatura para a execução de projetos de pesquisa (Yuan & Hunt, 2009).

Conforme Ferrari (2015), uma síntese periódica de conhecimento é necessária devido à expressiva quantidade, além da velocidade segundo a qual novas publicações são diariamente colocadas ao dispor da sociedade (Bornmann & Mutz, 2015; Noorden, 2014). Assim, a necessidade de uma revisão da literatura pode estar apoiada tanto na abundância de informações, como na divergência de opiniões, ou mesmo na falta de consenso acerca de determinado tópico (Bolderston, 2008; Green et al., 2006).

Se por um lado a tarefa de sintetizar a literatura representa necessidade de esforço acentuado por parte do pesquisador, por outro o interesse da comunidade por revisões, RSs em especial, é explicitamente crescente (Figura 1). De maneira diferente dos artigos originais, as revisões de literatura não se destinam a apresentar novos dados, alternativamente pretendem avaliar o que já está publicado (Derish & Annesley, 2011; Pautasso, 2013). Além disso fornecem uma visão detalhada de evidências disponíveis, bem como oportunidades de pesquisa.

A respeito das RSs, Preferred Reporting Items for Systematic Reviews and Meta-Analysis (PRISMA) fornece diretrizes para construir relatórios desse tipo. Já Ferrari (2015) oferece orientações gerais para escrever RNs. Mas essas referências são principalmente dedicadas ao campo de pesquisa em saúde (Callaghan, Ford, & Schneider, 2010; Caspi, Sorensen, Subramanian, & Kawachi, 2012; Cattan, White, Bond, & Learmouth, 2005; Feng, Glass, Curriero, Stewart, & Schwartz, 2010; Hammick, Freeth, Koppel, Reeves, & Barr, 2007; Mann, Gordon, & MacLeod, 2009). Em se tratando da comunidade de pesquisadores em negócios, as oportunidades de contribuições para a literatura por meio de execução de RNs ou RSs não são poucas, conforme apontam Endenich e Trapp (2018), e Fisch e Block (2018).

Em diversas áreas de conhecimento, como Medicina (Dyrbye, Thomas, & Shanafelt, 2006), Engenharia, Direito (Lipsey & Cullen, 2007; Ttofi & Farrington, 2011), Computação (Connolly, Boyle, MacArthur, Hainey, & Boyle, 2012), gestão de negócios (Hansen & Schaltegger, 2016; Hohenstein, Feise, Hartmann, Giunipero, 2015), entre outras áreas (Law, Boyle, Harris, Harkness, & Nye, 2000; Livingston & Boyd, 2010; Lund et al., 2010), as RSs exercem papel preponderante no estabelecimento de agendas de pesquisa, e sobretudo têm o potencial de oferecer uma seleção planejada de trabalhos em determinado tema de interesse. Existe espaço para contribuições na área de gestão de negócios, tendo em vista a emergência de temas carentes de pesquisa. Em adição, o surgimento de novos métodos, e novas tecnologias, permite a realização de pesquisas com elevado potencial de impacto, seja no nível teórico, seja no nível aplicado.

O debate ao redor das contribuições típicas dos diferentes tipos de revisões ainda está longe de ser atenuado. Ao menos segundo Collins e Fauser (2005), nem as RSs - com seu típico foco restrito, tampouco as RNs - com suas características distintivas, satisfazem completamente a ampla gama de tópicos a serem analisados. Assim, novas abordagens estão em desenvolvimento, tais como revisões meta-narrativas e sínteses realistas (Renehan, Tyson, Egger, Heller, & Zwahlen, 2008; Wong, Greenhalgh, Westhorp, Buckingham, & Pawson, 2013a, 2013b).

O que é uma revisão narrativa?

As RNs usualmente abordam uma ou mais questões, e os critérios de seleção para inclusão dos artigos podem não estar especificados explicitamente. Desse modo, a subjetividade implícita à seleção dos artigos representa a principal fraqueza atribuída às RNs, destacadamente por induzir potenciais vieses (Yuan & Hunt, 2009). Enquanto uma RN histórica pode ser insubstituível para acompanhar o desenvolvimento de um princípio científico ou conceito econômico, em uma RS a narrativa pode esvaziar-se dadas as regras restritivas típicas dessa modalidade de revisão. Isto é, algumas questões exigem o escopo mais amplo, emblemático de uma RN. Contudo, o rigor de uma RS é necessário para avaliar questões específicas de pesquisa, por exemplo, a eficácia de políticas públicas adotadas por um determinado governo, ou os resultados decorrentes da adoção de uma prática gerencial no nível da firma (Collins & Fauser, 2005). A Tabela 1 resume as principais diferenças entre RNs e RSs apontadas pela literatura.

Uma vez que a necessidade de uma RN tenha sido identificada, uma verificação das opiniões dos especialistas a respeito do tópico em particular pode ser útil para melhorar o método de seleção da literatura, e consequentemente reduzir o risco de, ao final do esforço de pesquisa, obter-se um trabalho com resultados abaixo do ideal para o campo de estudo. No entanto, as RNs ainda são vistas como a base para a síntese da literatura, com funções e aplicações diferentes das RSs. A preparação de RNs pode beneficiar-se da aplicação do rigor metodológico das RSs. Segundo Ferrari (2015), a qualidade das RNs poderia ser melhorada via restrição do foco em questões bem definidas, estabelecendo critérios claros de inclusão e exclusão para busca na literatura, concentrando-se em um conjunto específico de estudos, e estabelecendo critérios relevantes de seleção.

O que é uma revisão sistemática?

Em contraste com as RNs, o principal objetivo das RSs é, com base na formulação de uma questão bem definida, fornecer uma análise tanto quantitativa, quanto qualitativa acerca das evidências relevantes, seguidas ou não de uma meta-análise. Os principais pontos fortes da RS são: (a) foco em uma busca específica; (b) clareza na recuperação de artigos para revisão; (c) resumo objetivo e quantitativo; e (d) inferências suportadas por evidências (Adesope, Lavin, Thompson, & Ungerleider, 2010; Collins & Fauser, 2005).

No entanto, RSs possuem limitações potenciais que merecem atenção: (a) potencial heterogeneidade dos estudos selecionados, (b) possíveis vieses de estudos individuais (e.g. seleção das entidades de análise), e até mesmo vieses de publicação (Moher, Liberati, Tetzlaff, & Altman, 2009; Moher, Tetzlaff, Tricco, Sampson, & Altman, 2007; Yuan & Hunt, 2009); (c) necessidade contínua de atualização. Na área de saúde, por exemplo, a mediana da validade de uma RS foi estimada em ~5,5 anos, a depender da área de estudo a respeito da qual a questão de pesquisa estiver apresentada (Moher et al., 2009; Shojania et al., 2007). Yuan e Hunt (2009) defendem ainda a necessidade de atenção especial a: avaliação de vieses, completude do relato de aspectos metodológicos de relevância central, e rigor na aplicação de critérios de inclusão de eventos.

Métodos padrão de coleta de dados para RSs podem ser complexos. Por exemplo, se as características dos participantes de um experimento, ou do fenômeno sob análise, não forem bem relatadas (Bastian, Glasziou, & Chalmers, 2010), pode ser difícil formar conclusões que seriam aplicáveis na prática diária. Além disso, não há regras acerca dos requisitos de tamanho da amostra (Yuan & Hunt, 2009). A definição de RS tem evoluído no tempo, tendo em vista aspectos particulares de RS e de meta-análise, conforme o Quality of Reporting of Meta-analysis (QUOROM) e PRISMA, tal como realçam Moher, Liberati, Tetzlaff e Altman (2009).

Revisão sistemática na área de negócios

A literatura recente de gestão de negócios tem publicado RSs, tais como Endenich e Trapp (2018); Parris e Peachey, (2013); Hohenstein, Feise, Hartmann e Giunipero (2015); Tummers, Bekkers, Vink e Musheno (2015); Hansen e Schaltegger (2016); Nabi, Liñá, Fayolle, Krueger e Walmsley (2017). Contudo, dada a premissa de que existe a necessidade de manter atualizados estudos dessa natureza, e tendo em vista a ampla gama de tópicos relevantes nos subcampos de gestão de negócios, entende-se que a publicação de revisões pode constituir um canal para publicação continuada de contribuições relevantes.

Além disso, um conjunto emergente de temas tem se apresentado como detentor de elevado potencial de interesse, e carece de revisões, sejam sistemáticas ou narrativas, por exemplo: mudanças climáticas, tecnologia e automação, desigualdade, desenvolvimento econômico, estabilidade financeira, transição demográfica, comércio e globalização, desemprego, corrupção, entre outros temas relevantes na agenda de gestão de negócios, como o trabalho de Hemsley-Brown e Oplatka (2006).

A Figura 1 apresenta a evolução do número de artigos publicados cuja finalidade foi oferecer uma revisão sistemática, ou uma revisão narrativa, na área de negócios. Nota-se que esta última parece ter crescimento aproximadamente nulo nos últimos 15 anos. Já quando observada a curva que caracteriza a evolução do número de revisões sistemáticas é possível constatar um franco crescimento, sobretudo a partir de 2010.

Procedimento de construção de revisões sistemáticas

A literatura corrente não é unânime em eleger um procedimento dito padrão para a construção de uma RS (Cronin, Ryan, & Coughlan, 2008), conforme pode ser verificado em consulta a trabalhos dedicados a recomendar procedimentos a esse respeito, tais como Khan, Kunz, Kleijnen, e Antes (2003); Nightingale (2009); e Shea et al. (2017) na área de saúde; Fisch e Block (2018) na área de gestão de negócios. Além disso, conforme detalham Moher et al. (2009), PRISMA statements propõe um rol de 27 aspectos a observar na construção de uma RS. Assim, de modo a apresentar uma visão resumida do procedimento de construção de RS, com base nos trabalhos de Rother (2007), e de Khan et al. (2003), podem ser elencados os sete passos principais a seguir:

1. 1. Formulação da pergunta: realização de uma revisão sistemática deve ser iniciada com a formulação de uma pergunta a respeito do fenômeno de interesse.
2. 2. Localização dos estudos: devem ser utilizadas fontes diversas de busca para localização e identificação dos estudos, devendo ser incluídos estudos relevantes das principais bases de dados eletrônicas: Web of Science, Scopus, Spell, e Google scholar, além de outras fontes de informação relevante como: trabalhos publicados em anais de congressos; estudos de especialistas e buscas manuais em revistas não disponíveis nas bases de dados. Para cada uma dessas fontes utilizadas deve ser detalhada a estratégia de busca utilizada.
3. 3. Avaliação crítica dos estudos: são critérios para determinar a validade dos estudos selecionados. Essa avaliação crítica permite determinar quais estudos irão ser utilizados na revisão. Os que não preencherem os critérios de validade deverão ser citados e explicados o motivo de sua exclusão.
4. 4. Coleta de dados: todas as variáveis estudadas devem ser observadas nos estudos e resumidas, além das características do método, das características da amostra e dos resultados, que permitirão determinar a possibilidade de comparar ou não os estudos selecionados.
5. 5. Análise e apresentação dos dados: os estudos deverão ser agrupados baseados na semelhança entre os estudos. Cada um desses agrupamentos deverá ser preestabelecido no projeto, assim como a forma de apresentação gráfica e numérica, de modo a facilitar o entendimento do leitor.
6. 6. Interpretação dos dados: é determinada a força da evidência encontrada, a aplicabilidade dos resultados, o custo e a prática corrente que sejam relevantes, determinando claramente os limites entre os benefícios e os riscos.
7. 7. Aprimoramento e atualização da revisão: uma vez publicada a revisão receberá sugestões e críticas que devem ser incorporadas às edições subsequentes, caracterizando uma publicação dinâmica que deve ser atualizada tão frequentemente quanto seja frequente o surgimento de novos estudos no tema de interesse.

Antes de proceder ao desenvolvimento de uma RS é necessária atenção especial à constituição do conjunto de artigos considerados para revisão. A Figura 2 apresenta esquematicamente o fluxo de informações típico da seleção de artigos participantes do procedimento empregado na construção de RSs. O trabalho de Ferrari (2015), que discute as características que diferenciam RNs, é um exemplo ilustrativo de aplicação desse procedimento.

Primeiro o pesquisador, tendo definido seu tema de interesse, conforme recomenda Ferrari (2015), deve realizar a sua busca por trabalhos nas bases de dados dedicadas a oferecer o serviço de catalogação de trabalhos científicos. Em segundo lugar, o pesquisador deve investir tempo e esforço no cuidadoso exame daquilo que possa constituir duplicidades de registros, garantindo que cada documento seja listado apenas uma única vez no seu conjunto de trabalhos. No terceiro passo, os autores de revisões sistemáticas devem selecionar apenas os artigos encontrados na busca realizada, excluindo aqueles artigos que não atendam às intenções do pesquisador, desde que a razão para a exclusão esteja claramente apontada nos procedimentos adotados. Desse modo, os autores terão constituído o conjunto final de trabalhos que serão considerados na sua RS.

Pelos motivos detalhados no presente editorial, a RAC está interessada em publicar revisões narrativas ou sistemáticas rigorosa e cuidadosamente conduzidas nos diversos subcampos da gestão de negócios (Fisch e Block, 2018; Yuan & Hunt, 2009).

Palavras finais

Nesta edição publicamos seis artigos inéditos - entre os autores desses artigos temos alguns que se dispuseram a seguir as recomendações Committee on Publication Ethics (COPE) a respeito da publicação de trabalhos com dados abertos (COPE, 2016, 2018). A esses autores, em especial, a RAC agradece a disposição para incrementar a contribuição de seu trabalho para a comunidade de negócios (Mendes-Da-Silva, 2018). O primeiro artigo inédito publicado nesta edição da RAC intitula-se Efeitos do Modelo de Fleuriet e Índices de Liquidez na Agressividade Tributária, é de autoria de Viviane Ferreira de Oliveira Chiachio, e Antonio Lopo Martinez. O objetivo da pesquisa é investigar se o nível de agressividade fiscal altera-se dependendo da estrutura financeira de uma empresa, tendo por base o Modelo Fleuriet para análise dinâmica do capital de giro. A partir de um conjunto dados relativos a 2.142 empresas-ano listadas na bolsa valores B3 no período 2010 a 2016 verificou-se que, independentemente do nível de saúde financeira da firma, não se encontrou diferença no nível de agressividade fiscal entre as empresas classificadas de acordo com as estruturas do Modelo Fleuriet.

O segundo artigo inédito, de autoria de Simone Sehnem, Graciella Martignago, Susana Carla Farias Pereira e Charbel Chiappetta Jabour, Sustainable Management at a University in Light of Tensions of Sustainability Theory, consiste em um estudo que busca analisar as tensões que emergiram durante o processo de inserção da sustentabilidade nos principais processos de uma universidade brasileira. Os autores apoiam-se em dados coletados por meio de entrevistas para concluir principalmente que houve predominância de tensões provenientes da dimensão organizacional; e que a dimensão do desempenho está associada à pluralidade de resultados esperados pelas partes interessadas.

O terceiro artigo, Efficiency Losses in Healthcare Organizations Caused by Lack of Interpersonal Relationships é de autoria de Sérgio Almeida Migowski, Iuri Gavronski, Cláudia de Souza Libânio, Eliana Rustick Migowski, e Francisco Dias Duarte. Os autores propõem-se a examinar os relacionamentos interpessoais em três hospitais de grande porte localizados no sul do Brasil, e sua relação com a eficiência organizacional. A partir de dados coletados por meio de entrevistas, os autores concluem que a integração ocorre ao nível das lideranças formais em apenas um dos hospitais, e não envolve os profissionais médicos e os operacionais. E ainda, a gestão da qualidade não parece estar completamente incorporada às rotinas assistenciais e estão relacionadas com perdas de eficiência.

O quarto artigo é de autoria de Fernanda da Silva Momo, Giovana Sordi Schiavi, Ariel Behr e Percival Lucena, e intitula-se Business Models and Blockchain: What Can Change?. Os autores apontam como objetivo do estudo: identificar as características de modelos de negócios inovadores que utilizam a blockchain. Por meio de uma pesquisa qualitativa e descritiva, os autores encontraram resultados que apontam que a maioria das empresas identificadas em sua busca atua na área Financeira e Tecnológica.

Felipe Fróes Couto, Bruno Eduardo Freitas Honorato, e Everton Silva compõem a autoria do artigo inédito intitulado Organizações Outras: Diálogos Entre a Teoria da Prática e a Abordagem Decolonial de Dussel. Nesse ensaio os autores buscam propor um alinhamento teórico entre o aporte dos estudos decoloniais latino-americanos - com ênfase no trabalho de Enrique Dussel - e a abordagem teórico-metodológica da teoria da prática, partindo de um entendimento específico do debate centro/periferia, para, segundo os autores, adentrar a forma de capturar as organizações em sua localidade.

O sexto, último, artigo inédito tem como título Executivos com Maior Sofisticação Financeira são mais Confiantes e Otimistas?, e possui como autores Cassiana Bortoli, e Rodrigo Oliveira Soares. O objetivo perseguido pelos autores desse trabalho foi identificar a relação entre a Sofisticação Financeira dos CEO's e os vieses cognitivos de Excesso de Confiança e Otimismo. O conjunto de dados compreendeu 179 empresas listadas na bolsa de valores B3 durante o período 2011-2015.

Referências

Adesope, O. O., Lavin, T., Thompson, T., & Ungerleider, C. (2010). A systematic review and meta-analysis of the cognitive correlates of bilingualism. Review of Educational Research, 80(2), 207-245. https://doi.org/10.3102/0034654310368803

Bastian, H., Glasziou, P., & Chalmers, I. (2010). Seventy-five trials and eleven systematic reviews a day: How will we ever keep up? PLoS Med, 7(9), e1000326. https://doi.org/10.1371/journal.pmed.1000326

Bolderston, A. (2008). Writing an effective literature review. Journal of Medical Imaging and Radiation Sciences, 39(2), 86-92. https://doi.org/10.1016/j.jmir.2008.04.009

Bornmann, L., & Mutz, R. (2015). Growth rates of modern science: A bibliometric analysis based on the number of publications and cited references. Journal of the Association for Information Science and Technology, 66(11), 2215-2222. https://doi.org/10.1002/asi.23329

Callaghan, M., Ford, N., & Schneider, H. (2010). A systematic review of task-shifting for HIV treatment and care in Africa. Human Resources for Health, 8(8). https://doi.org/10.1186/1478-4491-8-8

Caspi, C. E., Sorensen, G., Subramanian, S. V., & Kawachi, I. (2012). The local food environment and diet: A systematic review. Health and Place, 18(5), 1172-1187. https://doi.org/10.1016/j.healthplace.2012.05.006

Cattan, M., White, M., Bond, J., & Learmouth, A. (2005). Preventing social isolation and loneliness among older people: A systematic review of health promotion interventions. Ageing and Society, 25(1), 41-67. https://doi.org/10.1017/S0144686X04002594

Collins, J. A., & Fauser, C. J. M. B. (2005). Balancing the strengths of systematic and narrative reviews. Hum Reprod Update, 11(2), 103-104. https://doi.org/10.1093/humupd/dmh058

Committee on Publication Ethics. (2016). Data sharing. Retrieved October 20, 2018, from https://publicationethics.org/files/u661/Notes%20from%20Forum%20Discussion%20Topic_12_February%202016_DATA_SHARING_final.pdf

Committee on Publication Ethics. (2018). Principles of transparency and best practice in scholarly publishing. Retrieved October 15, 2018, from https://publicationethics.org/files/Principles_of_Transparency_and_Best_Practice_in_Scholarly_Publishingv3_0.pdf

Connolly, T. M., Boyle, E. A., MacArthur, E., Hainey, T., & Boyle, J. M. (2012). A systematic literature review of empirical evidence on computer games and serious games. Computers and Education, 59(2), 661-686. https://doi.org/10.1016/j.compedu.2012.03.004

Cronin, P., Ryan, F., & Coughlan, M. (2008). Undertaking a literature review: A step-by-step approach. Br J Nurs, 17(1), 38-43. https://doi.org/10.12968/bjon.2008.17.1.28059

Derish, P. A., & Annesley, T. M. (2011). How to writer a rave review. Clin Chem, 57(3), 388-391. https://doi.org/10.1373/clinchem.2010.160622

Dyrbye, L. N., Thomas, M. R., & Shanafelt, T. D. (2006). Systematic review of depression, anxiety, and other indicators of psychological distress among U.S. and Canadian medical students. Academic Medicine, 81(4), 354-373. https://doi.org/10.1097/00001888-200604000-00009

Endenich, C., & Trapp, R. (2018). Ethical implications of management accounting and control: A systematic review of the contributions from the Journal of Business Ethics. Journal of Business Ethics, 1-22. https://doi.org/10.1007/s10551-018-4034-8

Feng, J., Glass, T. A., Curriero, F. C., Stewart, W. F., & Schwartz, B. S. (2010). The built environment and obesity: A systematic review of the epidemiologic evidence. Health and Place, 16(2), 175-190. https://doi.org/10.1016/j.healthplace.2009.09.008

Ferrari, R. (2015). Writing narrative style literature reviews. Medical Writing, 24(4), 230-235. https://doi.org/10.1179/2047480615Z.000000000329

Fisch, C., & Block, J. (2018). Six tips for your (systematic) literature review in business and management research. Management Review Quarterly, 68(2), 103-106. https://doi.org/10.1007/s11301-018-0142-x

Grant, M. J., & Booth, A. (2009). A typology of reviews: An analysis of 14 review types and associated methodologies. Health Information & Libraries Journal, 26(2), 91-108. https://doi.org/10.1111/j.1471-1842.2009.00848.x

Green, B. N., Johnson, C. D., & Adams, A. (2006). Writing narrative literature reviews for peer-reviewed journals: Secrets of the trade. J Chiropratic Medicine, 5(3), 101-117. https://doi.org/10.1016/S0899-3467(07)60142-6

Hammick, M., Freeth, D., Koppel, I., Reeves, S., & Barr, H. (2007). A best evidence systematic review of interprofessional education: BEME Guide no. 9. Medical Teacher, 29(8), 735-751. https://doi.org/10.1080/01421590701682576

Hansen, E. G., & Schaltegger, S. (2016). The sustainability balanced scorecard: A systematic review of architectures. Journal of Business Ethics, 133(2), 193-221. https://doi.org/10.1007/s10551-014-2340-3

Hemsley-Brown, J., & Oplatka, I. (2006). Universities in a competitive global marketplace: A systematic review of the literature on higher education marketing. International Journal of Public Sector Management, 19(4), 316-338. https://doi.org/10.1108/09513550610669176

Hohenstein, N.-O., Feise, E., Hartmann, E., & Giunipero, L. (2015). Research on the phenomenon of supply chain resilience: A systematic review and paths for further investigation. International Journal of Physical Distribution and Logistics Management, 45(1/2), 90-117. https://doi.org/10.1108/IJPDLM-05-2013-0128

Khan, K. S., Kunz, R., Kleijnen, J., & Antes, G. (2003). Five steps to conducting a systematic review. Journal of the Royal Society of Medicine, 96(3), 118-121. https://doi.org/10.1177/014107680309600304

Law, J., Boyle, J., Harris, F., Harkness, A., & Nye, C. (2000). Prevalence and natural history of primary speech and language delay: Findings from a systematic review of the literature. International Journal of Language and Communication Disorders, 35(2), 165-188. https://doi.org/10.1080/136828200247133

Lipsey, M. W., & Cullen, F. T. (2007). The effectiveness of correctional rehabilitation: A review of systematic reviews. Annual Review of Law and Social Science, 3, 297-320. https://doi.org/10.1146/annurev.lawsocsci.3.081806.112833

Livingston, J. D., & Boyd, J. E. (2010). Correlates and consequences of internalized stigma for people living with mental illness: A systematic review and meta-analysis. Social Science and Medicine, 71(12), 2150-2161. https://doi.org/10.1016/j.socscimed.2010.09.030

Lund, C., Breen, A., Flisher, A. J., Kakuma, R., Corrigall, J., Joska, J. A., Swartz, L., & Patel, V. (2010). Poverty and common mental disorders in low and middle income countries: A systematic review. Social Science and Medicine, 71(3), 517-528. https://doi.org/10.1016/j.socscimed.2010.04.027

Mann, K., Gordon, J., & MacLeod, A. (2009). Reflection and reflective practice in health professions education: A systematic review. Advances in Health Sciences Education, 14(4), 595-621. https://doi.org/10.1007/s10459-007-9090-2

Mendes-Da-Silva, W. (Ed.). (2018). Editorial: The promotion of transparency and the impact of research on business. Revista de Administração Contemporânea, 22(4). Retrieved from http://www.scielo.br/pdf/rac/v22n4/1982-7849-rac-22-4-1982-7849rac2018180210.pdf. https://doi.org/10.1590/1982-7849rac2018180210

Mendes-Da-Silva, W. (Ed.). (2019). Editorial: Convergência, comunicação, e impacto da pesquisa em negócios. Revista de Administração Contemporânea, 23(1), Recuperado de http://www.scielo.br/pdf/rac/v23n1/1982-7849-rac-23-01-0000.pdf. https://doi.org/10.1590/1982-7849rac2019180346

Moher, D., Tetzlaff, J., Tricco, A. C., Sampson, M., & Altman, D. G. (2007). Epidemiology and reporting characteristics of systematic reviews. PLoS Med, 4(3), e78.

Moher, D., Liberati, A., Tetzlaff, J., & Altman, D. G. (2009). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. PLoS Medicine, 6(7), e1000097. https://doi.org/10.1371/journal.pmed.1000097

Moosa, I. A. (2018). Publish or perish: Perceived benefits versus unintended consequences. Northampton/MA: Edward Elgar.

Nabi, G., Liñá, N., Fayolle, A., Krueger, N., & Walmsley, A. (2017). The impact of entrepreneurship education in higher education: A systematic review and research agenda. Academy of Management Learning and Education, 16(2), 277-299. https://doi.org/10.5465/amle.2015.0026

Nightingale, A. (2009). A guide to systematic literature reviews. Sugery, 27(9), 381-384. https://doi.org/10.1016/j.mpsur.2009.07.005

Noorden, (2014). Global scientific output doubles every nine years. News Blog Nature. Retrieved February 24, 2019, from http://blogs.nature.com/news/2014/05/global-scientific-output-doubles-every-nine-years.html

Parris, D. L., & Peachey, J. W. (2013). A systematic literature review of servant leadership theory in organizational contexts. Journal of Business Ethics, 113(3), 377-393. https://doi.org/10.1007/s10551-012-1322-6

Pautasso M. (2013). Ten simple rules for writing a literature review. PLoS Comput Biol, 9(7), e1003149. https://doi.org/10.1371/journal.pcbi.1003149

Renehan, A. G., Tyson, M., Egger, M., Heller, R. F., & Zwahlen, M. (2008). Body-mass index and incidence of cancer: A systematic review and meta-analysis of prospective observational studies. The Lancet, 371(9612), 569-578. https://doi.org/10.1016/S0140-6736(08)60269-X

Rother, E. T. (2007). Systematic literature review x narrative review. Acta Paulista de Enfermagem, 20(2), v-vi. https://doi.org/10.1590/S0103-21002007000200001

Shea, B. J., Reeves, B. C., Wells, G., Thuku, M., Hamel, C., Moran, J., Moher, D., Tugwell, P., Welch, V., Kristjansson, E., & Henry, D. A. (2017). AMSTAR 2: A critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ, 358, j4008. https://doi.org/10.1136/bmj.j4008

Shojania, K. G., Sampson, M., Ansari, M. T., Jun, J. I., Doucette, S., & Moher, D. (2007). How quickly do systematic reviews go out of date? A survival analysis. Ann Intern Med, 147(4), 224-233. https://doi.org/10.7326/0003-4819-147-4-200708210-00179

Ttofi, M. M., & Farrington, D. P. (2011). Effectiveness of school-based programs to reduce bullying: A systematic and meta-analytic review. Journal of Experimental Criminology, 7(1), 27-56. https://doi.org/10.1007/s11292-010-9109-1

Tummers, L. L. G., Bekkers, V., Vink, E., & Musheno, M. (2015). Coping during public service delivery: A conceptualization and systematic review of the literature. Journal of Public Administration Research and Theory, 25(4), 1099-1126. https://doi.org/10.1093/jopart/muu056

Wong, G., Greenhalgh, T., Westhorp, G., Buckingham, J., & Pawson, R. (2013a ou b?). RAMESES publication standards: Meta-narrative reviews. BMC Med, 11(20). https://doi.org/10.1186/1741-7015-11-20

Wong, G., Greenhalgh, T., Westhorp, G., Buckingham, J., & Pawson, R. (2013a ou b?). RAMESES publication standard: Realistic syntheses. BMC Med, 11(21). https://doi.org/10.1186/1741-7015-11-21

Yuan Y, & Hunt, H. R. (2009). Systematic reviews: The good, the bad, and the ugly. Am J Gastroenterol, 104(5),1086-1092. https://doi.org/10.1038/ajg.2009.118

Autor notes

Wesley Mendes-Da-Silva, Rua Itapeva, 474, 8º andar, 01332-000, São Paulo, SP, Brasil. E-mail: rac.wesley.mendes@gmail.com