Introdução

Os sites dos rankings universitários recebem milhões de acessos todos os anos (Aguillo et al., 2013) e contemplam listas de grupos de instituições de ensino, comparativamente avaliadas de acordo com um conjunto de indicadores (Seoane, 2009). Trata-se de uma tentativa de classificar as instituições de ensino superior em nível mundial (Ioannidis et al., 2007).

Segundo Lukman, Krajnc e Glavič (2010), um dos objetivos principais dos rankings universitários é avaliar a qualidade das instituições de ensino superior. Para Tumino e Poitevin (2013, p. 64) qualidade deve ser entendida como um conceito amplo e abstrato que abrange a forma como a instituição desenvolve suas atividades e atende seus stakeholders. A qualidade também contribui para formação da imagem institucional e, por isso, deve ser suportada por uma estrutura organizacional e de gestão.

Dessa forma, é cada vez mais frequente, por parte das universidades, a incorporação dos resultados dos rankings na promoção de mudanças em seus modelos de gestão com vistas ao planejamento, formulação e implementação de estratégias para melhoria do desempenho institucional (Charon e Wauters, 2008; Marginson, 2014; Seoane, 2009) e na busca de um melhor posicionamento nas edições seguintes (Aguillo et al., 2013; Avralev e Efimova, 2013), uma vez que esse posicionamento interfere na reputação da universidade (Bernardino e Marques, 2010). As rápidas mudanças globais (sociais, políticas e econômicas), além da transformação do mercado produtivo, moldaram um novo quadro de exigências dos sistemas de ensino (Murillo e Krichesky, 2014; Real, 2014).

O posicionamento de cada universidade nos diversos rankings influencia não só a decisão dos gestores universitários, mas também a decisão de futuros alunos que irão ingressar ou não na universidade. Influencia também ações de executivos, professores, acadêmicos e governos (Aguillo et al., 2013; Charon e Wauters, 2008; Ioannidis et al., 2007; Marginson, 2014), bem como, órgãos regulamentadores da educação. O governo, por exemplo, pode traçar políticas visando à melhoria de suas universidades, como é o caso do governo russo que estabeleceu como meta até 2020 ter cinco universidades russas entre as 100 melhores do mundo (Avralev e Efimova, 2013). Segundo o governo português, um ranking acadêmico promove a competitividade entre as instituições de ensino que leva à melhoria de seu desempenho e gera retornos substanciais à sociedade e à economia do país (Bernardino e Marques, 2010). Isso justifica a interferência governamental, tanto nas políticas do ensino como nas dos sistemas de rankings.

Percebe-se assim a abrangência, a importância e a utilidade das informações geradas pelos rankings universitários. Entretanto, cada sistema de ranking faz uso de critérios e métricas de mensuração definidos segundo o propósito para o qual foi criado. Adicionalmente, fazem uso de diferentes metodologias que, em consequência, demonstram resultados divergentes (Jeremic e Milenkovic, 2014). Assim, o primeiro passo consiste em conhecer as bases dos principais rankings universitários mundiais a fim de apoiar a escolha e utilização de um ranking em função de seu alinhamento com o propósito de sua utilização.

Nesse contexto, emerge a pergunta que norteia esta pesquisa: Quais são as bases metodológicas adotadas pelos principais rankings universitários mundiais à luz das publicações internacionais? De modo a responder o problema de pesquisa proposto, o objetivo deste trabalho consiste em analisar as publicações internacionais sobre o tema "rankings universitários" que possibilitem identificar as bases metodológicas adotadas pelos principais rankings existentes. Para conduzir o processo de seleção das publicações, adotou-se o Knowledge Development Process-Construtivist (Proknow-C) como instrumento teórico de intervenção devido à sua abordagem científica-construtivista, alinhada ao objetivo da pesquisa e a seu processo estruturado.

Este trabalho justifica-se quanto à importância, originalidade e viabilidade (Castro, 1977). Justifica-se a importância da pesquisa devido à contribuição à comunidade científica e prática, que estuda os rankings universitários mundiais no sentido de destacar, em um único trabalho, a evolução temporal, os objetivos, as instituições responsáveis e as principais críticas aos rankings encontradas em um conjunto de obras internacionais (artigos), reconhecidas cientificamente, e relevantes para esclarecer aos interessados as bases que informam os rankings e o que seus resultados representam. É original por não terem sido encontrados, na literatura consultada, trabalhos que se propusessem a apresentar as bases (objetivos, evolução e críticas encontradas) dos principais rankings universitários, bem como não foram encontrados, na literatura nacional brasileira, trabalhos sobre esse tema. Percebe-se viável pela facilidade de acesso aos dados, visto que os artigos analisados são buscados no portal de periódicos da CAPES e por demandar apenas o envolvimento dos pesquisadores para análise dos artigos objetos deste trabalho e dos procedimentos do Knowledge Development Process- Construtivist (Proknow-C) para justificar a seleção e escolha dos materiais encontrados.

Além desta seção introdutória, este artigo apresenta, na seção 2, uma breve exposição sobre o tema central; a metodologia é tratada na seção 3; a seção 4 destina-se à apresentação e discussão dos resultados; e, na quinta seção, são apresentadas as considerações finais e as referências utilizadas.

1. Contextualização sobre Rankings Universitários

Os rankings universitários são listas de certos grupos de instituições, comparativamente avaliadas de acordo com um conjunto de indicadores em ordem decrescente, onde são listados primeiramente os que apresentam melhor desempenho, seguidos dos que apresentam desempenho inferior nos quesitos analisados (Seoane, 2009).

Trata-se de uma tentativa de classificar as instituições acadêmicas e de pesquisa em todo o mundo (Ioannidis et al., 2007). Alguns rankings focam na classificação de universidades locais ou regionais, e outros o fazem em âmbito mundial.

Tendo em vista que um dos objetivos principais dessa classificação é avaliar a qualidade das instituições de ensino superior (Lukman, Krajnc e Glavič, 2010), cada vez mais os países e as universidades os integram nos seus processos de avaliação de desempenho (Seoane, 2009).

Como teoricamente representam a qualidade de ensino e pesquisa desenvolvidos pelas instituições de ensino superior, é fato que a observação dessas listas classificatórias influencia na decisão de futuros alunos a ingressar ou não na universidade, bem como influencia ações e decisões de líderes executivos universitários, professores acadêmicos, governos e investidores no ensino superior (Charon e Wauters, 2008; Ioannidis et al., 2007; Marginson, 2014). Essas listas classificatórias influenciam, sobretudo, decisões e ações das próprias universidades avaliadas, tendo em vista que, desde o surgimento dos rankings mundiais, elas vêm realizando comparações nacionais e internacionais, e isso provoca mudanças no dia a dia da universidade, seja na busca de financiamento, seja ainda de alunos, professores e pesquisadores. Contudo, se a posição no ranking interfere na atividade universitária, deve-se destacar a importância da qualidade dos dados mensurados e a validade interpretativa (Charon e Wauters, 2008) a fim de otimizar as informações geradas.

Essas informações geradas pelos rankings são utilizadas para várias finalidades, entre elas citam-se: responder às exigências dos consumidores (Seoane, 2009); identificar facilmente o posicionamento de uma instituição (Ioannidis et al., 2007; Seoane, 2009); avaliar a qualidade das instituições (Ioannidis et al., 2007; Jeremic e Milenkovic, 2014; Seoane, 2009;); auxiliar os alunos a definir onde estudar (Ioannidis et al., 2007; Lukman, Krajnc e Glavič, 2010); orientar os pesquisadores a escolher o melhor local para trabalhar (Lukman, Krajnc e Glavič, 2010); subsidiar o governo para identificar onde investir recursos (Ioannidis et al., 2007; Jeremic e Milenkovic, 2014; Lukman, Krajnc e Glavič, 2010); comparar desempenhos a fim de promover melhorias na gestão e na instituição (Ioannidis et al., 2007; Jeremic e Milenkovic, 2014; Lukman, Krajnc e Glavič, 2010) e a forma de regulação (medida de desempenho primário) (Charon e Wauters, 2008; Ioannidis et al., 2007; Jeremic e Milenkovic, 2014).

Há muitas críticas sobre as metodologias de classificação dos rankings no sentido de que elas podem esconder uma série de problemas metodológicos e anomalias em relação aos indicadores, às definições arbitrárias e às possibilidades de manipulação (Charon e Wauters, 2008; Lukman, Krajnc e Glavič, 2010).

Os vários rankings existentes usam diferentes metodologias que envolvem diversos indicadores, alguns convergentes e outros conflitantes, assim frequentemente demonstram resultados divergentes em termos de posicionamento das universidades (Aguillo et al., 2013; Jeremic e Milenkovic, 2014). Pela diversidade de métodos e iniciativas de classificação, são muitas as críticas que se fazem aos rankings apresentados na literatura, cada um relacionado com os indicadores e com a visão de quem propõe outro ranking. Os rankings existentes e as críticas feitas a eles foram objeto de análise deste trabalho, assim serão devidamente apresentados na seção de resultados deste trabalho.

2. Estudos Anteriores

Com base nos artigos coletados realizou-se análise em relação à similaridade com a presente pesquisa. Os considerados similares estão apresentados no quadro 1. Percebese, pelo exposto no quadro 1, que há similaridades com este trabalho em relação à análise comparativa entre os diversos rankings existentes. No entanto, nenhum trabalho baseouse na literatura científica publicada a respeito dos rankings universitários. Todos realizaram a análise dos diversos rankings tomando por base as informações contidas nos sites, dos mesmos, na internet.

Há que salientar também, que os trabalhos anteriores analisaram um número reduzido de rankings (máximo de quatro). Este trabalho propõe-se a analisar todos os rankings encontrados nos artigos do Portfólio Bibliográfico selecionado (total de vinte).

Em relação às características de análise, os trabalhos encontrados na literatura anterior, preocupam-se em demonstrar a metodologia empregada, os indicadores utilizados, e os resultados (posicionamento) das instituições. Este trabalho se diferencia por traçar a evolução histórica/temporal, os objetivos dos rankings, as entidades responsáveis pela elaboração do mesmo, bem como as críticas/limitações do ranking apresentadas pelos artigos.

3. Metodologia

3.1. Enquadramento metodológico

Considerando o problema de pesquisa e o objetivo deste estudo, a visão de mundo/base filosófica (construtivismo), o tipo de estratégia (pesquisa-ação) e os métodos para realização dessa estratégia (processo estruturado Proknow-C, apresentado na seção 3.2), a presente pesquisa possui uma abordagem qualitativa (Creswell, 2014).

Segundo Creswell (2014), a postura do pesquisador deve fazer sentido (ou interpretar) os significados que têm sobre o mundo na visão de mundo construtivista (Creswell, 2014, p.8). Esses significados no instrumento Proknow-C, são representados pelas perspectivas adotadas nas publicações científicas que compõem o portfólio bibliográfico. Considerando que os pesquisadores também atuam/respondem como os participantes para a evolução do processo, ou seja, os pesquisadores, durante todo o processo de desenvolvimento da primeira etapa do Proknow-C, necessitam apresentar suas delimitações e fazerem escolhas para que o processo evolua, esta investigação, quanto ao seu tipo de estratégia, faz uso da pesquisa-ação.

Dessa interação, resultará o Portfólio Bibliográfico (PB) que será analisado para identificar as bases da área de conhecimento referente aos rankings universitários. No que se refere à coleta de dados, fez-se uso tanto de dados primários quanto de secundários. A etapa de seleção do Portfólio Bibliográfico fez uso de dados primários, uma vez que as delimitações são feitas pelos pesquisadores/participantes em todas as escolhas demandadas durante o processo. Já a etapa de análise bibliométrica fez uso de dados secundários, uma vez que as informações são buscadas no PB. Sendo assim, a presença da subjetividade é elemento intrínseco ao processo.

Nesse sentido, para verificar a precisão dos resultados de cada etapa e geral, este estudo fez uso das seguintes estratégias de validade propostas por Creswell (2014): checagem por outro membro (p.201) e por auditor externo (p.202), já utilizado por Dutra et al. (2015). Assim, um dos autores deste artigo, que já possui experiência com o instrumento Proknow-C, procedeu à verificação do desenvolvimento de cada atividade realizada pelos dois pesquisadores e, em reuniões, discutiram a validade do procedimento realizado e a legitimidade dos resultados encontrados, já que esses autores eram os agentes participantes do processo de coleta e análise dos dados. Outro autor desempenhou o papel de auditor externo que analisou passo a passo o procedimento realizado e julgou que os resultados encontrados representam o fragmento da literatura referente aos rankings universitários, legitimando também os resultados encontrados.

3.2. Procedimentos para coleta e análise dos dados

Para a seleção do material que irá informar o alcance do objetivo geral que envolve a identificação das publicações internacionais científicas que tratam do tema rankings universitários mundiais, a geração de conhecimento e informações para o mapeamento da sua evolução vai utilizar o instrumento Proknow-C, utilizado em várias publicações científicas (Dutra et al., 2015; Ensslin et al., 2014a, b; Ensslin, Ensslin e Pinto, 2013; Lacerda, Ensslin e Ensslin, 2012; Rocha et al., 2014; Silva et al., 2014; Tasca et al., 2010; Waiczyk e Ensslin, 2013), que investigaram contextos divergentes a este.

O objetivo principal do ProKnow-C é construir conhecimento sobre um fragmento da literatura científica, inicialmente no pesquisador e, quando da publicação dos resultados da investigação, aos leitores da comunidade científica do tema. Para tal, o pesquisador deve realizar quatro etapas: (a) seleção de um Portfólio Bibliográfico (PB) de artigos sobre o fragmento que representa o tema da pesquisa; (b) análise bibliométrica do PB; (c) análise sistêmica do PB; e, (d) identificação de lacunas e oportunidades de futuras pesquisas, conforme demonstrado na figura 1. Cada etapa demanda participação do pesquisador para sua realização. Dessa forma, o processo construtivista ocorre e evolui com base nos interesses e delimitações do pesquisador (Dutra et al., 2015; Ensslin et al., 2014b; Silva et al., 2014).

Para alcance do objetivo desta pesquisa apenas a realização da primeira etapa faz-se necessária, ou seja, a formação de um portfólio de artigos relevantes e alinhados ao tema. As demais etapas não fazem parte do atingimento do objetivo do presente trabalho, a saber: a segunda etapa envolve a análise bibliométrica de autores, artigos e periódicos de destaque no portfólio; a terceira etapa realiza a análise sistêmica dos artigos com base numa visão de mundo estabelecida, a fim de verificar lacunas na literatura; e a quarta etapa, com base nas lacunas encontradas, desenvolve problema e objetivo de pesquisa. A etapa inicial objetiva a formação do Portfólio Bibliográfico (PB) de artigos que representam o tema da pesquisa. O PB é definido no Proknow-C como

Conjunto restrito de artigos científicos e relevantes. A cientificidade é aferida pela origem desses artigos: são coletados nas bases científicas [... ]. A relevância é aferida pelo número de citações do artigo. O tema investigado representa o fragmento da literatura que os pesquisadores, por meio de suas escolhas e delimitações, têm interesse de investigar. (Ensslin et al., 2014b, p.593)

Nesse contexto, o processo inicia com a busca nas bases de dados, utilizando a Web of Science e Scopus, acessados pelo portal de periódicos da CAPES. As duas bases de dados foram consultadas, e, para a busca dos artigos, delimitou-se que a pesquisa seria feita com as palavras-chave "university" E "ranking" concomitantemente, selecionando apenas "Journal Article", sem limite temporal. Os procedimentos realizados para a seleção do PB ocorreram no mês de janeiro de 2015. Dessa busca, resultaram 1.103 artigos na Web of Science e 3.668 na base Scopus, totalizando 4.771 artigos, que compuseram o Banco de Artigos Bruto.

Em seguida, foi realizada a filtragem dos artigos, na qual as publicações duplicadas, oriundas de conferências, de livros, de capítulos de livros ou patentes ou editoriais, foram excluídas. O processo de filtragem prosseguiu com a leitura dos títulos dos artigos com relação ao alinhamento com esta pesquisa, restando 175 artigos. Nessa fase, foram buscados os artigos completos para análise e seleção pela leitura dos resumos. Foram constatados que 52 artigos não estavam disponíveis gratuitamente na internet.

Após, o reconhecimento científico dos 71 artigos foi aferido pelas citações em outros trabalhos científicos, desde sua publicação, por meio da consulta na ferramenta Google Scholar (2010). Por meio dessa consulta, constatou-se que todos os artigos apresentam reconhecimento científico, sendo o artigo "Academic quality, league tables, and public policy: A cross-national analysis of university ranking systems" o mais reconhecido com 380 citações. Como o reconhecimento científico foi aferido em todos os artigos, o processo continua com os 71, em que foi realizada a filtragem dos artigos selecionados pela leitura dos resumos, constatando-se que apenas 34 artigos estavam alinhados ao tema desta pesquisa, ou seja, a evolução de rankings universitários. Esses 34 artigos formam o conjunto que os pesquisadores consideram relevantes, alinhados com a pesquisa, os quais se denominam PB. Eles estão listados no quadro 2.

Assim, para a coleta de dados utilizou-se, exatamente nesse PB, o conhecimento nos pesquisadores, e os resultados serão informados pelo PB. A análise será realizada conforme demonstrado na figura 2.

As bases dos rankings universitários mundiais são, neste artigo, delimitadas à identificação: do surgimento dos rankings e suas origens temporais; dos rankings atualmente existentes; do objetivo que o ranking pretende identificar em sua classificação; e da análise crítica da metodologia de cada ranking apontada pelos artigos analisados.

4. Apresentação e Discussão do Sistema de Ranking Universitário com Base no PB Selecionado

Esta seção destina-se a apresentação da análise dos rankings universitários expostos nos 34 artigos selecionados no PB. Essa análise dos artigos buscou apresentar o ranking com sua evolução e origem temporal, objetivos e instituição responsável e principais críticas apresentadas pela literatura a eles.

Inicialmente, foi verificada a origem temporal dos sistemas de classificação de universidades. A prática de rankings universitários remonta ao início do século XX, com a publicação, no Reino Unido, de uma listagem com o nome dos "homens mais proeminentes e bem-sucedidos da Inglaterra da época", que foram avaliados com referência ao local onde cada um havia estudado e, como consequência, listaram-se as universidades classificadas pelo número de alunos que constavam naquela lista (Baldock, 2013). Embora essa classificação não represente a qualidade da educação, e sim as conquistas individuais de egressos, configura-se indiretamente como um ranking oriundo dos reflexos da universidade.

No ano de 1910, James Catelli, um psicólogo norte-americano e professor da Universidade da Pensilvânia, cita que a primeira tentativa de classificação universitária partiu da Comissão do Bureau de Educação dos EUA quando começou a publicar relatórios estatísticos anuais que também incluíam uma classificação das instituições observadas desde 1870 (Kehm, 2014). Assim, a ideia de rankings universitários remonta à década de 1880, sob a forma de classificação das universidades nos Estados Unidos (Stergiou e Lessinich, 2013).

Existem relatos que, em 1925, idealizado por Raymond Hughes, professor de química na época e, posteriormente, vice-reitor da Universidade de Miami, se fez um levantamento da reputação dos programas de pós-graduação em universidades dos Estados Unidos (Baldock, 2013; Kehm, 2014). No entanto, tratava-se de um exercício acadêmico com foco em disciplinas ou unidades e não em instituições.

Segundo Lukman, Krajnc e Glavič, (2010, p.619), a organização de ranking de universidades teve início há mais de 30 anos. Desde 1983, quando, nos Estados Unidos da América, foi publicado pelo US News and World Repport o Annual America's Best Colleges Review. Esse relatório não focava mérito acadêmico, e sim um ranking comercial. Esse relatório desencadeou outras divulgações de outros jornais semanários ou diários, a fim de chamar a atenção e aumentar as vendas dos jornais. Segundo Kehm (2014, p. 111), pode-se citar "o Times Higher Education Supplement, o British Guardian, o GermanZEIT e Spiegel, o French Nouvel Observateur, o Irish Sunday Times, o Italian La Repubblica, o Russian Finance, o Canadian Maclean's e provavelmente muitos outros". A partir daí, muitos outros surgiram, tanto do setor privado, quanto de associações profissionais e governamentais, como se pode observar no quadro 3, classificados pela origem temporal, objetivos e instituição responsável pelos rankings encontrados na literatura consultada.

Como se percebe no quadro 3, o primeiro ranking amplamente conhecido foi o Annual America´s Best College Review, divulgado em 1983 pelo US News and World Repport. Cabe salientar que alguns dos rankings citados foram extintos, tais como: International Champions League of Research Institutions, em 2002; Asia's Best Universities Ranking, em 2001; e SCImago Institutions Ranking (SIR), em 2009. Ainda cabe destacar U-Multirank que ainda está sendo projetado pela Liga Europeia de Pesquisas universitárias, que está trabalhando, desde 2002, no projeto de construção do ranking.

A pesquisa de Huang (2012) aponta que existem seis grandes sistemas de ranking universitário no mundo: ARWU, HEEACT, CWTS, Webometrics, Times Higher Education e Quacquarelli Symonds (QS). Baldock (2013) afirma que, desde 2003, inúmeros rankings universitários foram publicados com alguns tornando-se bem conhecidos e populares, tais como ARWU, QS University Ranking, Times Higher Education e, mais recentemente, o University Ranking Leiden. Como visto no Quadro 1, foram encontradas, na literatura consultada, 20 diferentes formas de ranqueamento de universidades e instituições de pesquisa, sendo as citadas pelos autores as mais amplamente divulgadas e conhecidas.

Segundo Bernardino e Marques (2010), Em 2004,

em uma reunião em Washington, um grupo de especialistas fundou o International Ranking Expert Group (IREG) com a finalidade de assessorar a United Nations Educational Scientific and Cultural Organization - European Centre for Higher Education (UNESCO-CEPES) e o Institute for Higher Education Policy (IHEP) na avaliação e classificação de universidades. Dois anos mais tarde, o IREG se encontrou novamente em Berlim e elaborou um conjunto de princípios de qualidade e boas práticas, os chamados Princípios de Berlim, em Ranking de Instituições de Ensino Superior. (p. 33, tradução nossa)

Esses princípios não estavam focados nos problemas apresentados pelos rankings, mas, sim, sobre os benefícios que podem proporcionar e incluíram recomendações sobre o que deve ser feito quando uma organização produz um ranking. Essas recomendações foram divididas em quatro grupos: 1) os propósitos e objetivos dos rankings; 2) o design e a ponderação dos indicadores; 3) a coleta e o tratamento de dados; e, 4) a apresentação dos rankings. Em suma, os Princípios de Berlim supõem que, se os rankings de ensino superior seguirem as recomendações básicas e se forem corretamente entendidos e interpretados, podem produzir resultados positivos para a comunidade.

No entanto, nos trabalhos analisados, não há a indicação de que os rankings observem os Princípios de Berlim, no que tange a serem claros quanto ao propósito e ao público ao qual estão dirigidos; haver transparência da metodologia, cálculo dos indicadores e origem dos dados; respeito aos padrões éticos que asseguram a credibilidade; compreensão clara de todos os fatores usados na sua elaboração; e a oferecer escolhas na forma de apresentação.

Como se pode observar, cada um deles classifica as universidades e instituições de pesquisa locais ou mundiais com base em diferentes objetivos. Dentre os observados pelos rankings, citam-se: desempenho geral (U-Multirank; Times Higher Education Supplement (THES) e Quacquarelli Symonds (QS); ARWU; Excellence French and German universities; Annual America´s Best College Review; Asia's Best Universities; Ranking das universidades da Austrália); qualidade do ensino (U-Multirank, The Lombardi Program on Measuring University Performance; CHE Excellence; U-Multirank; College Ranking Reformed; Canadian Education Report); avaliação da pesquisa e trabalhos científicos (ARWU; HEEACT; I-UGR Rankings; SCImago; THES-QS; CHE Excellence; CWTS - Leiden); futuro mercado de trabalho do aluno (MINES ParisTech; The Lombardi Program; College Ranking Reformed); sistema de ensino superior (Rank Portuguese Universities); programas de pós-graduação e disciplinas (International Champions League of Research Institutions; CHE Excellence); e visibilidade da instituição na internet (Webometrics).

Na percepção dos autores, uma informação importante para reflexão foi a identificação das críticas apontadas nos artigos do PB quanto às diferentes metodologias utilizadas nos rankings, apresentada no quadro 4.

O quadro 4 apresenta as críticas individuais que os artigos apresentam a cada sistema de ranqueamento. As principais críticas que são feitas aos rankings individuais, pelos pesquisadores estão relacionadas aos indicadores utilizados, seja pelo uso de indicadores disponíveis pela dificuldade de coleta de informações necessárias, baseados na opinião de especialistas, que favorecem 'velhas' instituições, seja pela utilização de um ou poucos indicadores. Assim, claramente não conseguem responder pela qualidade das universidades avaliadas.

Outros aspectos são criticados, tais como: ponderações subjetivas e arbitrárias nos pesos atribuídos aos indicadores; falta de transparência e de reprodutibilidade dos rankings; mudanças periódicas nas metodologias empregadas para classificação; impossibilidade de comparação entre os rankings/indicadores; elevada flutuação de posições entre instituições de um ano para outro.

Na percepção dos autores deste trabalho, existem ainda outras críticas de caráter geral, ou seja, referem-se a todos os rankings, tais como: (i) cada sistema de ranqueamento contém diferentes conceitos e indicadores, levando a diferentes resultados em termos de posições das universidades e revelando diferentes facetas de rankings e valores universitários; (ii) a maioria das metodologias de classificação empregada pelos rankings se concentra principalmente no desempenho científico das universidades, pouco se preocupando com os demais aspectos importantes como ensino, aprendizagem, extensão, gestão e resultados apurados nas universidades; (iii) complexidade de desenvolver uma metodologia universal; (iv) dificuldade de comparar os vários rankings, pois usam critérios diferentes, alguns que coincidem os números não são os mesmos; (v) dificuldade de coleta de dados confiáveis; e, (vi) não são transparentes.

Embora haja críticas às metodologias e aos critérios empregados na classificação das instituições, Saisana, D´Hombres e Saltelli (2011, p. 166) afirmam que "Rankings não são perfeitos, e eles nunca podem ser [... ], mas são certamente melhores do que nada" (tradução nossa). Após a identificação das bases, os autores argumentam que o alinhamento do ranking selecionado com o propósito de sua utilização é que irá possibilitar seu êxito. Os autores da presente pesquisa argumentam, como palavra final, que cada usuário deve analisar o objetivo central do ranking antes de tomar alguma decisão com base no resultado apresentado pelo mesmo.

5. Considerações Finais

Com o propósito de apoiar a escolha e a utilização de um determinado ranking, esta pesquisa objetivou conhecer as bases metodológicas adotadas pelos principais rankings universitários mundiais à luz das publicações científicas internacionais. As categorias analisadas neste estudo, que respondem pelas bases metodológicas, foram delimitadas à identificação do surgimento dos rankings e suas origens temporais; quais são os rankings atualmente existentes; ao objetivo que o ranking pretende identificar em sua classificação; e a análise crítica da metodologia de cada ranking.

O alcance desse objetivo ocorreu como resultado do desenvolvimento do instrumento de intervenção ProKnow-C em sua primeira etapa. A partir das bases de dados Web of Science e Scopus, formou-se um portfólio bibliográfico representativo do tema composto por 34 artigos. Os resultados podem ser pontuados em termos que: (i) as tentativas de classificação datam do início do século XX, mas se popularizaram no ano de 2003 com a publicação do ARWU, proposto pela Universidade de Shangai; (ii) foram encontrados 20 rankings, sendo que os mais populares são ARWU, Times Higher Education e Quacquarelli Symonds (QS), HEEACT, CWTS Leiden e Webometrics; (iii) as principais críticas aos rankings estão relacionadas aos indicadores utilizados: seleção de indicadores devido à coleta de dados estar disponível; baseados na opinião de especialistas, que favorecem 'velhas' instituições; ou ainda da utilização de um ou poucos indicadores.

Outros aspectos são criticados sobre os rankings, tais como: ponderações subjetivas e arbitrárias nos pesos atribuídos aos indicadores; falta de transparência e de reprodutibilidade dos rankings; mudanças periódicas nas metodologias empregadas para ranqueamento; impossibilidade de comparação entre os rankings/indicadores; elevada flutuação de posições entre instituições de um ano para outro. Chamou atenção dos autores do presente estudo a ausência de crítica quanto ao alinhamento do ranking selecionado com o propósito de sua utilização que, segundo nossa percepção, é esse aspecto que irá possibilitar o êxito da classificação e da utilização da informação gerada aos interessados. Nesse contexto, é possível argumentar que essa área de conhecimento, rankings como avaliadores de qualidade configuram-se como um campo a ser explorado.

O resultado do estudo poderá contribuir com os responsáveis pelas diretrizes dos rankings ao analisarem as críticas identificadas nas pesquisas e melhorarem a forma de mensuração e apresentação dos resultados e a inclusão de novos indicadores visando contemplar as demais áreas pouco analisadas pelos rankings. Pode contribuir ainda com as universidades avaliadas para procurarem meios para melhorar seu posicionamento e escolher um determinado ranking para balizamento de sua posição. Os autores pesquisadores concluem com uma certeza: cada usuário deve analisar o objetivo central do ranking antes de tomar alguma decisão com base no resultado apresentado.

Com relação à ferramenta selecionada, embora apenas a primeira etapa tenha sido desenvolvida, argumenta-se que o processo reflexivo e participativo demandado pelo Proknow-C ao pesquisador permite que este gere conhecimento sobre o assunto de tal forma que tenha condições de argumentar sobre quais são as escolhas e os aportes teóricos mais alinhados à sua perspectiva.

Apontam-se como limitações desta pesquisa: (i) a análise dos artigos, publicados apenas nas bases de dados Web of Science e Scopus, que estavam disponíveis gratuitamente na internet; (ii) o Portfólio Bibliográfico ter sido determinado com base nas delimitações dos autores da pesquisa durante o processo; cumpre observar que essa postura é inerente ao instrumento Proknow-C; e (iii) os resultados baseados na opinião dos autores dos artigos do PB, e não na opinião dos autores desta pesquisa, como no caso das críticas aos rankings apresentadas.

Sugerem-se para futuras pesquisas: (i) o desenvolvimento das três etapas do Proknow-C: análise bibliométrica e análise sistêmica do PB e a identificação de lacunas e oportunidades de futuras pesquisas; (ii) a análise crítica das metodologias dos rankings com base em uma afiliação teórica de Avaliação de Desempenho (que orienta o processo avaliativo e posteriormente a classificação das alternativas); (iii) a investigação com gestores de universidades sobre suas percepções quanto à importância e à aplicabilidade dos indicadores identificados na literatura; e, (iv) o desenvolvimento de um ranking que atenda aos aspectos considerados importantes pelos Princípios de Berlim, no que tange à clareza quanto ao propósito e ao público ao qual estão dirigidos; transparência da metodologia, cálculo dos indicadores e origem dos dados; e respeito aos padrões éticos que assegurem a credibilidade.

Referências

Aguillo, I.F., Bar-Ilan, J., Levene, M. e Ortega, J.L. (2010). Comparing university rankings. Scientometrics, 85(1), 243-256.

Avralev, N.V. & Efimova, I.N. (2013). University rankings as a tool to enhance competitiveness, clustering and transnational governance of higher education in the context of globalization. Middle East Journal of Scientific Research, 16(3), 357-361. doi: 10.5539/ass.v11n10p292

Baldock, C. (2013). University rankings and medical physics. Australasian Physical and Engineering Sciences in Medicine, 36(4), 375-378. doi: 10.1007/s13246-013-0234-9

Baty, P. (2013). The times higher education world university rankings, 2004-2012. Ethics in Science and Environmental Politics, 13(2), 125-130. doi: 10.3354/esep00145

Benito, M. & Romera, R. (2011). Improving quality assessment of composite indicators in university rankings: A case study of French and German universities of excellence. Scientometrics, 89(1), 153-176. doi: 10.1007/s11192-011-0419-5

Bernardino, P. & Marques, R.C. (2010). Academic rankings: an approach to rank Portuguese universities. Ensaio, 18(66), 29-48. doi: 10.1590/s0104-40362010000100003

Bornmann, L., De Moya Anegõn, F. & Mutz, R. (2013). Do universities or research institutions with a specific subject profile have an advantage or a disadvantage in institutional rankings?: a latent class analysis with data from the SCImago Ranking. Journal of the American Society for Information Science and Technology, 64(11), 2310-2316.

Bornmann, L., Mutz, R. & Daniel, H.D. (2013). Multilevel-statistical reformulation of citationbased university rankings: the Leiden ranking 2011/2012. Journal of the American Society for Information Science and Technology, 64(8), 1649-1658. doi: 10.1002/asi.22857

Boulton, G. (2011). University rankings: diversity, excellence and the European initiative. Procedia - Social and Behavioral Sciences, 13, 74-82. doi: 10.1016/j.sbspro.2011.03.006

Bowman, N.A. & Bastedo, M.N. (2011). Anchoring effects in world university rankings: Exploring biases in reputation scores. Higher Education, 61(4), 431-444. doi: 10.1007/s10734-010-9339-1

Buela-Casal, G., Gutiérrez-Martínez, O., Bermúdez-Sánchez, M.P. & Vadillo-Muñoz, O. (2007). Comparative study of international academic rankings of universities., Scientometrics 71(3), 349-365. doi: 10.1007/s11192-007-1653-8

Charon, A. & Wauters, J.P. (2008). University ranking: a new tool for the evaluation of higher education in Europe. Nephrology Dialysis Transplantation, 23(1), 62-64. doi: 10.1093/ndt/gfm279

Creswell, J.W. (2014). Research design: qualitative, quantitative, and mixed methods approaches. Thousand Oaks, CA: SAGE Publications.

De Mesnard, L. (2012). On some flaws of university rankings: the example of the SCImago report. Journal of Socio-Economics, 41(5), 495-499. doi: 10.1016/j.socec.2012.04.011

Dutra, A., Ripoll-Feliu, V.M., Fillol, A.G., Ensslin, S.R. & Ensslin, L. (2015). The construction of knowledge from the scientific literature about the theme seaport performance evaluation. International Journal of Productivity and Performance Management, 64(2), 243-269. doi: 10.1108/ijppm-01-2014-0015

Ensslin, L., Ensslin, S.R. & Pinto, H.M. (2013). Processo de investigação e Análise bibliométrica: avaliação da qualidade dos serviços bancários. Revista de Administração Contemporânea, 17(3), 325-349.

Ensslin, S. R., Ripoll-Feliu, V.M., Ensslin, L. & Dutra, A. (2014a). Performance evaluation to support the university management activity. La Pensée, 76(1), 2-17.

Ensslin, S.R., Ensslin, L., Imlau, J.M. & Chaves, L.C. (2014b). Processo de mapeamento das publicações científicas de um tema: portfólio bibliográfico e análise bibliométrica sobre avaliação de desempenho de cooperativas de produção agropecuária. Revista de Economia e Sociologia Rural, 52(1), 587-608.

Erkkilä, T. (2014). Global university rankings, transnational policy discourse and higher education in Europe. European Journal of Education, 49(1), 91-101. doi: 10.1111/ejed.12063

Florian, R.V. (2007). Irreproducibility of the results of the Shanghai academic ranking of world universities., Scientometrics 72(1), 25-32. doi: 10.1007/s11192-007-1712-1

Hsieh, S.M., Lo, S.A., Hsu, C.C., & Lin, W.C. (abril, 2012). Novel cloud service for improving world universities ranking. Comunicación presentada en el 9th International Conference on Information Technology. Nueva Jersey.

Huang, M.H. (2012). Opening the black box of QS world university rankings. Research Evaluation, 21(1), 71-78. doi: 10.1093/reseval/rvr003

Ioannidis, J.P.A., Patsopoulos, N.A., Kavvoura, F.K., Tatsioni, A., Evangelou, E., Kouri, I., Contopoulos-Ioannidis, D.G. & Liberopoulos, G. (2007) International ranking systems for universities and institutions: a critical appraisal. BMC Medicine, 5(30), 1-9.

Jeremic, V. & Milenkovic, M.J. (2014). Evaluation of Asian university rankings: position and perspective of leading Indian higher education institutions. Current Science, 106(12), 1647- 1653.

Kehm, B.M. (2014). Global university rankings-impacts and unintended side effects. European Journal of Education, 49(1), 102-112. doi: 10.1111/ejed.12064

Lacerda, R.T.O., Ensslin, L. & Ensslin, S.R. (2012). Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, 19(1), 59-78.

Lin, C.S., Huang, M.H. & Chen, D.Z. (2013). The influences of counting methods on university rankings based on paper count and citation count. Journal of Informetrics, 7(3), 611-621. doi: 10.1016/j.joi.2013.03.007

Lindblad, S. (2008). Navigating in the field of university positioning: on international ranking lists, quality indicators and higher education governing. European Educational Research Journal, 7(4), 438-450. doi: 10.2304/eerj.2008.7.4.438

Lukman, R., Krajnc, D. & Glavic, P. (2010). University ranking using research, educational and environmental indicators. Journal of Cleaner Production, 18(7), 619-628.

Marginson, S. (2009). Open source knowledge and university rankings. Thesis Eleven, 96(1), 9-39. doi: 10.1177/0725513608099118

Marginson, S. (2014). University rankings and social science., European Journal of Education 49(1), 45-59. doi: 10.1111/ejed.12061

Murillo, F.J. & Krichesky, G.J. (2014). Mejora de la Escuela: Medio siglo de lecciones aprendidas. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 13(1), 69-102.

Pusser, B. & Marginson, S. (2013). University rankings in critical perspective. Journal of Higher Education, 84(4), 544-568. doi: 10.1353/jhe.2013.0022

Real, M.R. (2014). Impacto de la evaluación externa en los centros educativos públicos de la provincia de Granada (Andalucía). La perspectiva de los actores educativos. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 12(3), 5-25.

Robinson, D. (2013). The mismeasure of higher education? The corrosive effect of university rankings. Ethics in Science and Environmental Politics, 13(2), 11-17. doi: 10.3354/esep00135

Rocha, A.C., Matos, O.A., Venâncio, D. & Dutra, A. (2014). Gestão estratégica em instituições de ensino superior: mapeamento das publicações científicas no período de 1997 a 2012. Revista Gestão Universitária na América Latina, 7(1), 106-127.

Rodionov, D.G., Rudskaia, I.A. & Kushneva, O.A. (2014). The importance of the university world rankings in the context of globalization. Life Science Journal, 11(10), 442-446.

Saisana, M., D'hombres, B. & Saltelli, A. (2011). Rickety numbers: volatility of university rankings and policy implications. Research Policy, 40(1), 165-177.

Seoane, A.Y. (2009). ¿Cómo se evalúan las universidades de clase mundial? Revista de la Educación Superior, 38(150), 113-120.

Silva, R.V., Ensslin, S.R., Ripoll-Feliu, V. & Soler, C.C. (2014). E-government and public accounting information: bibliometric and systemic Analysis. International Research Journal of Finance and Economics, 122(1), 43-43.

Soh, K. (2012). World university rankings: What is in for top ten East Asian universities? New Horizons in Education, 60(2), 36-50.

Stergiou, K.I. & Lessenich, S. (2013). On impact factors and university rankings: from birth to boycott., Ethics in Science and Environmental Politics 13(2), 101-111. doi: 10.3354/esep00141

Tasca, J.E., Ensslin, L., Ensslin, S.R. & Alves, M.B.M. (2010). An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, 34(7), 631-655. doi: 10.1108/03090591011070761

Théry, H. (2009). The academic ranking of world universities: Shanghai and the others. Mappemonde, 96(4), 1-24.

Tumino, M.C. & Poitevin, E.R. (2013). Evaluación de la calidad de servicio universitario desde la percepción de estudiantes y docentes: caso de estudio. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 12(2), 63-84.

Turner, D.A. (2013). World class universities and international rankings. Ethics in Science and Environmental Politics, 13(2), 167-176.

Waiczyk, C. & Ensslin, E. (2013). Avaliação de produção científica de pesquisadores: mapeamento das publicações científicas. Revista Contemporânea de Contabilidade, 10(20), 97-112. doi: 10.5007/2175-8069.2013v10n20p97

Notas