HTML

ePub

PDF

1. Introdução

No contexto universitário brasileiro, o curso de Administração ocupa o topo do ranking em número de alunos matriculados, segundo resultados do Censo da Educação Superior 2011, realizado pelo Ministério da Educação (MEC), Instituto Nacional de Estudos e Pesquisas Educacionais (INEP) e Diretoria de Estatísticas Educacionais (DEED). Dos 6.739.689 alunos matriculados em cursos presenciais ou à distância de nível superior no Brasil, 843.197 pertencem à Administração, correspondendo a 12,5% do total, seguido por Direito (10,73%) e Pedagogia (8,70%). Historicamente, este é um fato recorrente, uma vez que o curso de administração já ocupava a primeira posição nos Censos 2007, 2008, 2009 e 2010. Ainda, conforme os resultados do Censo 2011 existem no Brasil 2.279 cursos em atividade, oferecidos por 1.447 instituições, o que implica que mais da metade (61,2 %) das Instituições de Ensino Superior (IES) brasileiras ofertam este curso. Na modalidade de Ensino a Distância (EAD), a Administração corresponde a 14,1% do total de matriculados, ficando atrás apenas da Pedagogia com 28,4%.

A preocupação que se instaura frente a este cenário diz respeito à avaliação da eficiência dos cursos ofertados. As medidas de qualidade de cursos realizadas pelo MEC/INEP através do Conceito Preliminar de Curso (CPC) ainda são pontos de muita discussão quanto a sua real eficácia como mecanismo de avaliação. Isso porque em sua concepção inicial, proposta com a implantação do Sistema Nacional de Avaliação da Educação Superior (SINAES) em 2004, o CPC prevê que a mensuração da qualidade da educação superior deve englobar três dimensões: avaliação institucional; avaliação de cursos; e avaliação do desempenho dos estudantes.

No entanto, estudos como os de Barreyro (2008); Polidori (2009); Bittencourt et al. (2010); e Dias Sobrinho (2010) apontam que a atual sistemática acabou por supervalorizar as notas obtidas no Exame Nacional de Desempenho dos Estudantes (ENADE) como formadora dos conceitos de curso, enquanto que os demais aspectos permanecem menosprezados. A arbitrariedade dos pesos é considerada como uma das principais deficiências do CPC, dado a subjetividade envolvida no processo (FERNANDES et al., 2010).

Outro ponto de discussão é que a atribuição dos conceitos do CPC, expressos em valores de 1 a 5, é realizado levando-se em conta o afastamento padronizado do indicador em relação à média dos resultados obtidos para todos os cursos avaliados em uma respectiva área do conhecimento. Porém, não há nos cálculos nenhuma medida que relacione o desempenho obtido pelos cursos e a quantidade de recursos (insumos) utilizados (MEC, 2014).

Sendo assim, as atuais medidas limitam-se à soma ponderada de um conjunto de indicadores para formar o CPC, cada um segundo seus pesos. Isto faz com que o CPC considere equivalentes cursos que obtenham os mesmos resultados finais, sem levar em conta o nível de insumos ou recursos necessários para atingi-los. Portanto, o CPC pode ser considerado um indicador de eficácia, mas não de eficiência, pois não permite a identificação de desperdícios ou o estabelecimento de benchmarkings mais coerentes com a situação das IES. O conceito de eficiência técnica baseado na relação de insumos/produtos abordado por este texto segue os pressupostos de Farrell (1957).

O objetivo da pesquisa mostrada neste artigo foi mensurar a eficiência técnica dos cursos de administração no Brasil, com base nos resultados do ENADE realizado em 2009. Com isso, pode-se demonstrar a relação entre o nível de insumos utilizados e os resultados atingidos, a fim de se verificar a qualidade destes, não apenas no que tange aos conceitos obtidos, mas também quanto a sua capacidade de alcançar melhores resultados dados os recursos disponíveis.

Para isto foi utilizada a técnica não paramétrica conhecida como Análise Envoltória de Dados (Data Envelopment Analysis – DEA), introduzida por Charnes, Cooper e Rhodes (1978), e amplamente utilizada para medição e avaliação de desempenho no setor educacional no Brasil e no mundo. Posteriormente, se buscou estabelecer as recomendações (metas) para que os cursos considerados ineficientes possam atingir o patamar de eficiência.

Este trabalho justifica-se por apresentar um viés de avaliação de cursos diferente daquele praticado pelos órgãos governamentais, pois visa verificar não apenas a qualidade final dos cursos, mas sim a relação entre resultados obtidos e os recursos necessários. Espera-se com isso que os gestores das IES tenham um novo olhar sobre o assunto, uma vez que a utilização de ferramentas como os Sistemas de Mensuração de Desempenho são capazes de indicar o nível em que os diversos fatores que impactam o desempenho das organizações se encontram, trazendo a tona os pontos de melhoria para maximizar os resultados almejados (KAPLAN; NORTON, 2008; PORTER, 2009).

2. Referencial Teórico

2.1. Análise Envoltória de Dados (DEA)

A Análise Envoltória de Dados é uma técnica multivariável que exprime a relação entre os insumos consumidos e a produção obtida por meio destes, fornecendo como resultado dados quantitativos obtidos por meio da avaliação de uma Unidade Tomadora de Decisões (Decision Making Unit – DMU) em relação a outras que se utilizam dos mesmos insumos para produzir os mesmos produtos (ANGULO MEZA et al., 2005). Este método, introduzido por Charnes, Cooper e Rhodes (1978), foi proposto originalmente para a mensuração do desempenho relativo de programas educacionais públicos, porém é possível encontrar na literatura científica aplicações da DEA nos mais diversos segmentos, como indústria do cimento (OGGIONI et al., 2011; RICCARDI et al., 2012), Supermercados (DIDONET; VILLAVICENCIO, 2008); energia (SÖZEN et al., 2010; MENEGAKI, 2013; SAURIN et al., 2013) e medições de eficiência em programas voltados à sustentabilidade (VILLAVICENCIO; DIDONET, 2008; PICAZO-TADEO et al., 2011; LEE; SAEN, 2012), dentre outros.

Segundo Sherman e Ladino (1995), a DEA é capaz de apontar:

• A DMU de melhores práticas é aquela que disponibiliza produtos ou serviços com qualidade igual ou acima do padrão utilizando o mínimo de recursos

• A DMU menos eficiente comparada a DMU de melhores práticas

• O excesso de recursos utilizado por cada DMU ineficiente; e

• A quantidade de outputs a ser incrementada pelas DMU’s ineficientes sem que se alterem os recursos, para serem consideradas eficientes.

De acordo com Kuah et al. (2010), a técnica se baseia na proposição de que se uma DMU “A” considerada altamente eficaz é capaz de produzir Y(A) unidades utilizando X(A) insumos, então outras DMU’s que possuam características semelhantes a esta também poderiam produzir o mesmo nível de produtos, dados os recursos disponíveis, caso estejam operando eficientemente. Caso exista mais de uma DMU eficiente no conjunto analisado, a combinação destas poderá ser utilizada para produzir uma DMU composta, considerando a união dos seus insumos capaz de produzir a combinação dos seus produtos, sendo este resultado definido como DMU virtual (RAMANATHAN, 2003; ANGULO MEZA et al., 2005).

Quando as DMU’s forem consideradas ineficientes, estas poderão alcançar a fronteira de eficiência de três maneiras distintas: minimizando a quantidade de insumos utilizados, considerando que seja possível manter os mesmos resultados na produção (orientação a insumos); maximizando o nível de produtos dado os recursos já existentes (orientação a produtos); e a terceira maneira é combinando as duas anteriores, podendo ser representado por modelos aditivos ou baseado em folgas (COOK; SEIFORD, 2009).

Em suma, a DEA é uma ferramenta capaz de comparar o desempenho relativo de diversas DMU’s, identificar quais destas unidades estão localizadas sobre a fronteira de eficiência e fornecer um bechmarking para as ineficientes. Todas estas informações podem ser obtidas utilizando-se apenas os dados de entradas e saídas das unidades (SOARES de MELLO et al., 2005).

Originalmente, a DEA divide-se em dois principais modelos: CCR e BCC. O primeiro, cuja sigla homenageia seus criadores (Charnes, Cooper e Rhodes), considera retornos constantes a escala, onde um incremento nos insumos irá produzir uma variação proporcional nos produtos, o que faz deste modelo também ser conhecido como CRS (Constant Return to Scale).

Por outro lado, o modelo BCC, cuja sigla também se deve aos seus fundadores (Banker, Charnes e Cooper), considera retornos variáveis a escala, o que implica as DMU’s que operam com baixos níveis de inputs irão observar um retorno crescente a escala, enquanto aquelas que operam com altos níveis de inputs obterão retornos que decrescem com a escala. De forma análoga, este modelo é conhecido como VRS (Variable Return to Scale). Cabe ressaltar que cada um dos modelos apresentados (CCR e BCC) pode ser utilizado tanto orientado a produtos quanto orientado a insumos.

Para a aplicação da DEA no setor educacional, o modelo mais indicado é o CCR orientado para produtos, uma vez que o objetivo da administração das IES não é produzir os mesmos resultados com custo mínimo, mas sim produzir melhores resultados dados os recursos já disponíveis (BELLONI, 2000; MAINARDES et al., 2012).

Considerando retorno constante à escala e orientação a outputs, o CCR deste tipo faz uso das equações (1), (2), (3) e (4), o qual consiste do modelo de Programação Linear conhecido como modelo dos multiplicadores, já em sua forma linearizada. O problema a ser solucionado buscará determinar os valores dos pesos u­. e v. de forma a minimizar a soma ponderada dos inputs dividida pela soma ponderada dos outputs da DMU analisada (ANGULO MEZA et al., 2005).

Sujeito a:

Onde h. é a eficiência da DMU 0, . a quantidade total de inputs, s a quantidade total de outputs, k é o índice relativo a DMU, y_jk é o número de outputs j para a DMU k, x_ij é a quantidade de inputs i para cada k, y_jo é a quantidade de outputs j observada para a DMU 0.

Neste caso, a eficiência (h. = 1/Eff.) é o inverso daquela utilizada na modelagem orientada a insumos, devido ao fato de que quando orientado a produtos divide-se a soma ponderada de insumos pela soma ponderada de produtos, o contrário do realizado na orientação a insumos. Assim, o valor encontrado para h. será um número maior ou igual à unidade, porém pode-se expressar a eficiência como um número entre 0 e 1 ao inverter-se o valor encontrado para h. (SOARES de MELLO et al., 2005).

2.2. Eficiência técnica na educação superior

Os primeiros estudos com objetivo de mensurar a eficiência técnica de IES datam da década de 60, e desde então diversos trabalhos foram publicados em todo o mundo (SALERMO 2003; EHRENBERG, 2004). Conforme citado por Lapa e Neiva (1996), Belloni (2000) e Katharakis (2010), existem duas correntes principais no que tange a mensuração da eficiência técnica em IES: a primeira delas diz respeito à comparação do desempenho entre diferentes universidades, enquanto a segunda visa avaliar e comparar o desempenho dos departamentos dentro de uma universidade. Quanto à avaliação da eficiência técnica para o primeiro caso, destacam-se os recentes trabalhos de Oliveira e Turrioni (2006); Worthington e Lee (2008); Costa (2010); Eff (2012); Costa et al. (2012); e Agasisti e Pohl (2012).

Entretanto, a avaliação da eficiência técnica especificamente de cursos ainda não está amplamente explorada em todo o seu potencial. Este fato pode ser evidenciado por meio da realização de buscas por publicações relacionadas no portal de periódicos da Coordenadoria de Aperfeiçoamento de Pessoal de nível Superior (CAPES), bem como nas bases Scopus, Emerald e Scientific Direct. Utilizando-se das palavras-chave “eficiência”; “educação superior”; “ensino superior”; “graduação”; “universidade”; “data envelopment analysis”; e “higher education” nas bases citadas, foram construídas as Tabelas 1 e 2, que reúnem uma amostra dos principais artigos referentes à temática, em periódicos nacionais e internacionais.

Especificamente, o estudo de Borges (2006) teve como foco identificar as possíveis convergências entre os resultados obtidos pelo Exame Nacional de Cursos (principal meio de avaliação na época) e pelo modelo utilizando DEA, utilizando para tanto dados de cento e oitenta e um (181) cursos de administração. Os resultados encontrados mostraram um índice de convergência de 65,7%, demonstrando em parte o alinhamento das duas metodologias.

Já a proposta de Costa et al. (2012) se propôs a mensurar a eficiência do ensino superior no Brasil, com foco em quarenta e nove Instituições Federais de Ensino Superior (IFES) para o período compreendido entre 2014 a 2008. A partir da utilização do modelo DEA-SBM com orientação a produtos, os autores puderam classificar as instituições quanto ao nível de eficiência, estratificar os resultados por ano e por instituição, além de identificar as causas das ineficiências produtivas das IFES.

No âmbito internacional, apesar da literatura científica ser rica no que tange a avaliação da eficiência de universidades ou departamentos, observa-se a escassez de publicações que se refiram às avaliações de cursos. As principais publicações encontradas são apresentadas na tabela 2, onde observa que três são de autoria nacional e referem-se a cursos brasileiros.

O artigo de Soares de Mello et al. 2006 teve dois objetivos principais: avaliar a capacidade dos programas de pós-graduação em publicar artigos oriundos de dissertações e teses; e mensurar a produtividade dos programas com base nos recursos disponíveis. A aplicação do modelo DEA CRR permitiu os autores concluírem sobre a eficiência de doze programas de pós-graduação do Instituto Alberto Luiz Coimbra de Pós-Graduação e Pesquisa de Engenharia (COPPE), vinculados a Universidade Federal do Rio de Janeiro (UFRJ).

A abordagem de Cavalcante; Andriola (2012) utilizou o modelo DEA BCC, orientado a produtos para avaliar trinta cursos de graduação da Universidade Federal do Ceará. Segundo os autores, a escolha do modelo BCC se deve ao fato de que o crescimento nas variáveis de saída, tais como alunos diplomados e desempenho acadêmico não estão relacionados necessariamente de forma proporcional aos incrementos nos termos de insumos. A metodologia utilizada permitiu o atendimento do objetivo que motivou a pesquisa, de descrever a eficiência produtiva dos cursos de graduação da UFC.

Cabe ainda o destaque para o estudo de Eff et al. (2012). Neste, os autores utilizaram o modelo DEA para avaliar 1.179 instituições de ensino superior sob a ótica dos consumidores, o que difere das formas tradicionais de avaliação. A partir desta proposta, os autores identificaram um ranking das instituições consideradas como best buy, que referem-se as melhores opções disponíveis para os futuros alunos.

Apesar de todas as publicações citadas anteriormente fazer uso da DEA, pode-se notar que nenhuma destas utiliza o mesmo modelo de avaliação apresentado neste trabalho. A pesquisa bibliográfica mostrou que a avaliação de cursos em si ainda é um assunto pouco abordado quando comparado a outras aplicações de DEA no contexto da educação superior. Com isso, afirma-se que a pesquisa contida neste artigo pode ser tratada como original.

3. Metodologia

A realização deste trabalho foi conduzida em cinco etapas sequenciais, conforme demonstrado na Figura 1. A primeira etapa, denominada por Referencial Teórico, foi plenamente cumprida nas seções anteriores, de forma a contextualizar o problema de pesquisa, apresentar a ferramenta matemática utilizada, e evidenciar o estado da arte referente ao tema. Seguiu-se então com a identificação dos cursos de administração incluídos no estudo e a definição das variáveis utilizadas no modelo.

Na etapa intitulada por Resultados e Discussão foi realizada efetivamente a Análise Envoltória de Dados a fim de verificar a eficiência técnica dos cursos de bacharelado em administração brasileiros, sendo discutidos os valores obtidos com a utilização da estatística descritiva. Por fim, foram propostas as recomendações para os cursos reportados como ineficientes, direcionando-se assim o trabalho para a etapa final de conclusões.

Em relação ao enquadramento metodológico, trata-se de uma pesquisa de natureza aplicada, utilizando-se de uma abordagem quantitativa e qualitativa. A respeito de seus objetivos, pode-se enquadrá-la como uma pesquisa descritiva, onde os procedimentos técnicos adotados são a pesquisa bibliográfica, pesquisa documental e estudo de caso. A pesquisa bibliográfica foi realizada nos editoriais Scientific Direct, Emerald, Scopus, portal de periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), livros e artigos de eventos, enquanto que a pesquisa documental utilizou dos relatórios, arquivos e planilhas eletrônicas disponibilizadas pelo MEC, INEP e DEED. O estudo de caso refere-se à aplicação do modelo para os cursos de administração com base nos resultados do ENADE 2009, conforme citado nos objetivos da etapa introdutória.

3.1 Identificação dos cursos de administração

Para a realização desta etapa os dados foram filtrados por “Área: Administração” e com a busca retornaram 1.663 cursos avaliados neste exame. Porém, foi possível notar a existência de diversos cursos com valores de Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) em branco, o que pode ser atribuído a cursos recentes que ainda não tiveram sua primeira turma de concluintes avaliados. Frente a isto, optou-se por excluir da análise estas observações, sendo a amostra válida composta de 1.229 cursos, dos quais 1.092 (88,9%) pertencem a instituições privadas e somente 137 (11,1%) a instituições públicas. Quanto ao tipo de organização, a distribuição divide-se: em Universidade; Centro Universitário; Faculdade; Instituto Federal de Educação, Ciência e Tecnologia; e Centro Federal de Educação Tecnológica (CEFET), representados na Figura 2.

Geograficamente, os cursos de administração avaliados concentram-se majoritariamente na região sudeste, a qual abriga 46,3% destes, seguido pelas regiões sul (22,1%); nordeste (15,9%); centro-oeste (10,7%) e norte (5,0%). Um fato que chama a atenção é que o estado de São Paulo concentra 25,3% destes cursos. Quanto ao número de participantes, 223.361 alunos de administração realizaram o ENADE 2009, sendo destes 54,5% ingressantes e 45,5% concluintes.

3.2 Definição das variáveis

A definição das variáveis utilizadas no modelo de avaliação por meio da Análise Envoltória de dados é considerada como uma etapa crítica. A utilização de um número elevado de indicadores pode resultar em um excesso de DMU’s eficientes, o que geraria um baixo poder de discriminação dos resultados, enquanto um número insuficiente de indicadores pode não reproduzir o contexto em que as organizações se inserem (AGHA et al., 2011).

Desta forma, o modelo proposto neste artigo para avaliação da eficiência técnica utilizou os mesmos indicadores componentes do CPC, os quais são notoriamente considerados relevantes por fazerem parte do principal mecanismo de avaliação de cursos do Brasil. Os oito indicadores utilizados e sua orientação em relação à DEA (input ou output) são apresentados na Tabela 3, acompanhados de uma breve descrição baseada na nota técnica disponibilizada pelo INEP/MEC para cálculo do CPC.

As variáveis consideradas neste modelo como inputs são as mesmas que compõem o “termo de insumos” no cálculo do CPC, e desta forma se justifica a orientação das mesmas. Observa-se que as variáveis selecionadas englobam os diversos aspectos esperados como impactantes para o desempenho dos cursos, como titulação e regime de trabalho dos professores, infraestrutura, e organização didático-pedagógica, sendo estes dois últimos indicadores obtidos de forma indireta através da percepção dos alunos com base em suas respostas no questionário aplicado aos participantes.

4. Resultados e discussões

De posse dos dados coletados e compilados, utilizou-se o software EMS – Efficiency Measurement System. para a Análise Envoltória de Dados, segundo modelo CCR orientado a produtos. Os resultados obtidos foram exportados para o Microsoft Excel. para a realização dos cálculos estatísticos necessários.

De forma sintética, os resultados de eficiência (ef) são apresentados na forma de um histograma conforme a Figura 3, onde pode ser observada a ocorrência de 15 cursos considerados eficientes, compreendidos na classe 1,0 ≤ ef < 1,2. A média dos resultados de eficiência apresentou valor

e desvio padrão s = 0,16, o que equivale a um coeficiente de variação de Pearson cv = 0,40, portanto garante-se a representatividade da média uma vez que cv ≤ 0,5. Observou-se grande amplitude (.) dos resultados H = 0,88, devido ao resultado de eficiência de um curso com ef = 0,12. Observou-se também que os resultados apresentam forte assimetria negativa, calculado através do coeficiente CA = -3,69, onde o parâmetro para constatação de forte assimetria é dado por -1,0 < CA < 1,0, fato que se deve em grande parte a alta frequência da classe 0,2 ≤ ef < 0,4. Por fim, a análise quanto à curtose dos dados (k =2,07) classificam a curva dos resultados obtidos como leptocúrtica, pois k < 0,263.

Os resultados obtidos demonstram que 97% dos cursos de administração brasileiros obtiveram valores de eficiência inferiores a 80%, sendo 56,6% dos cursos entre 0,2 ≤ ef < 0,4 e 28,6% entre 0,4 ≤ ef < 0,6. Os 15 cursos considerados eficientes (ef = 1,0) representam apenas 1,2% do total avaliado. Além disso, a estatística de tendência central revela que o ponto de equilíbrio do conjunto está em 40%, valor bastante insatisfatório para eficiência técnica.

Comprando-se os resultados com os valores do CPC atribuídos aos cursos de administração avaliados pelo ENADE 2009, observa-se que o indicador de desempenho utilizado pelos órgãos governamentais também apresenta resultados insatisfatórios. A Figura 4 apresenta a distribuição dos escores de CPC referentes aos cursos de administração avaliados, onde pode ser observado que 40,1% dos cursos obtiveram CPC ≤ 2, valores considerados pelo MEC como insuficientes para atender plenamente os requisitos de qualidade para o funcionamento do curso.

Assim, cientes de que o a eficiência técnica dos cursos e o CPC possuem focos de avaliação diferentes, ainda é possível afirmar que o baixo desempenho no CPC corrobora com os baixos resultados de eficiência técnica, pois ambos utilizaram os mesmos indicadores, acarretando que os baixos escores obtidos nas variáveis selecionadas iram produzir resultados insatisfatórios tanto no CPC quanto na eficiência técnica.

4.1 Recomendações

Diante do alto percentual de resultados ineficientes, parte-se então para a etapa de recomendações (metas). Devido a orientação de o modelo ser a produtos, foram estabelecidos os valores alvos para os indicadores NC, NI, e IDD onde, caso os cursos atinjam este valor, os mesmos poderão ser considerados eficientes. Nas Figuras 5, 6, e 7 são apresentados os histogramas correspondentes a distribuição dos valores incrementais que representam a diferença entre o valor alvo e o valor atual obtido pelos cursos em cada indicador, sendo que a pontuação dos indicadores é sempre um valor de 1 a 5.

Observa-se, com grande significância, a existência de valores incrementais maiores do que 5, o que representa alvos diretamente impossíveis de serem atingidos, uma vez que os valores dos indicadores componentes do CPC são normalizados em conceitos de 1 a 5, através do afastamento padronizado da variável em relação a média do conjunto. Assim, a partir dos dados brutos, realizou-se uma busca minuciosa a fim de investigar o total de alvos impossíveis existentes na análise, encontrando-se 811 cursos com alvos impossíveis para NC; 906 para NI; e 885 para IDD. Isto acontece devido à existência de cursos formadores da fronteira de eficiência com uma elevada razão de resultados/insumos, distanciando os demais da curva e forçando-os a níveis muito altos de resultados para poderem ser considerados eficientes também.

Esta análise demonstra que mesmo os cursos maximizando os seus outputs até atingir o valor 5 nestes indicadores, ainda serão considerados ineficientes. Isso porque para equipararem-se com os 15 cursos eficientes, estes terão de maximizar seus outputs e concomitantemente reduzir o seu nível de insumos, o que não é no cenário estudado uma ação de interesse a redução de professores titulados, regime de trabalho ou ainda de infraestrutura.

5. Conclusão

A partir da realização desta pesquisa, pôde-se concluir que os cursos de administração válidos participantes do ENADE 2009 e avaliados por meio do modelo proposto neste estudo obtiveram resultados insatisfatórios para a eficiência técnica. Esta constatação não implica necessariamente na má qualidade dos cursos, e sim na utilização excessiva de recursos como qualificação e regime de trabalho de professores, bem como de infraestrutura, para produzir resultados aquém do esperado. Este fato foi satisfatoriamente demostrado pela existência de cursos que obtiveram máximos resultados com mínimos recursos, ou ainda cursos que mesmo com recursos limitados obtiveram bons resultados.

Quanto aos cursos ineficientes, foram propostas metas para os valores de NC, NI, e NCC com o objetivo de direcioná-los a eficiência. Porém, foi observado que grande parte destes, mesmo atingindo o valor máximo possível para estes indicadores, ainda assim não seriam considerados eficientes devido à existência de cursos que possuem uma razão muito elevada de resultados/insumos entre aqueles que formam a fronteira de eficiência.

A principal limitação deste artigo pode ser apontada como a não utilização de indicadores financeiros no modelo de avaliação, o que em alguns casos pode não refletir efetivamente a realidade em que a IES se encontra para ofertar o curso de administração. Porém, optou-se por não incluí-los na análise uma vez que este fator não faz parte do cálculo do CPC.

Ao final deste trabalho e frente à escassez de publicações e aferições da eficiência técnica de cursos de nível superior, vislumbra-se a possibilidade de trabalhos futuros no tema com a inclusão da perspectiva financeira e análises aprofundadas da relação entre o CPC e a eficiência técnica. Estes novos estudos podem vir a contribuir para evidenciar a possibilidade de se obter melhores resultados com os recursos já disponíveis nas instituições.

6. Referências

AGASISTI, T.; POHL, C. Comparing German and Italian public universities: convergence or divergence in the higher education landscape. Managerial and Decisions Economics, v. 33, p. 71-85, 2012.

AGHA, S.R.; KUHAIL, I.; ABDELNABI, N.; SALEM, M.; GHANIM, A. Avaliação da eficiência de departamentos acadêmicos usando análise envoltória de dados. Jornal de Engenharia e Gestão Industrial, v. 4, n. 2, p. 301-325, 2011.

ANGULO MEZA, L.; BIONDI NETO, L.; SOARES DE MELLO, J.C.C.B.; GOMES, E. G. ISYDS - Integrated System for Decision Support (SIAD - Sistema Integrado de Apoio a Decisão): a software package for Data Envelopment Analysis model. Pesquisa Operacional, v. 25, n. 3, p. 493-503, 2005.

ANGULO MEZA, L.; GOMES, E.G.; NETO, L.B.; COELHO, P.H.G. Avaliação do Ensino nos cursos de pós-graduação em engenharia: um enfoque quantitativo de avaliação em conjunto. Engevista, v. 5, n. 9, p. 41-49, 2003.

BARREYRO, G.B. De exames, ranking e mídia. Avaliação, v. 13, n. 3, p. 863-868, 2008.

BELLONI, J.A. Tese (Doutorado em Engenharia de Produção). Uma metodologia de avaliação da eficiência produtiva de universidades federais Brasileiras. Programa de Pós-Graduação em Engenharia de Produção. Universidade Federal de Santa Catarina – Florianópolis, 2000.

BITTENCOURT, H.R.; VIALI, L.; RODRIGUES, A.C.M.; CASARTELLI, A.O. Mudanças nos pesos do CPC e seu impacto nos resultados de avaliação em universidades federais e privadas. Avaliação, v. 15, n. 3, p. 147-166, 2010.

BORBA, J.T. Tese (Doutorado em Engenharia de Produção). Uma metodologia DEA para avaliar a eficiência técnica do ensino de programas de pós-graduação: uma aplicação aos programas das engenharias III da CAPES. Programa de Pós-Graduação em Engenharia de Produção. Universidade Federal de Santa Catarina – Florianópolis, 2011.

BORGES, R. Confrontando avaliações: exame nacional de cursos e análise envoltória de dados. Revista Intersaberes, v. 1, n. 2, p. 259-271, 2006.

CASADO, F.L. Análise envoltória de dados: conceitos, metodologia e estudo da arte na educação superior. Sociais e Humanas, v. 20, n. 1, p. 59-71, 2007.

CAVALCANTE, S.M.; ANDRIOLA, W. Avaliação da eficiência dos cursos de graduação da universidade federal do Ceará (UFC) através da análise envoltória de dados (DEA). Revista Iberoamericana de Evaluación Educativa, v. 5, n. 3, p. 291-314, 2012.

CHARNES, A.; COOPER, W. W.; RHODES, E. Measuring the efficiency of decision making units. European Journal of Operational Research, v. 2, n. 6, p. 429-444, 1978.

CHEN, J-K; Chen, I-S. Inno-Qual efficiency of higher education: empirical testing using data envelopment analysis. Expert Systems with Applications, v. 38, n. 3, p. 1823-1834, 2011.

COOK, W.D.; SEIFORD, L.M. Data Envelopment Analysis (DEA) - Thirty years on. European Journal of Operational Research, v. 192, p. 1-17, 2009.

COSTA, E.M. Mensuração de eficiência produtiva das instituições federais de ensino superior – IFES. In: XV Prêmio Tesouro Nacional, 2010.

COSTA, E.M.; de SOUZA, H.R.; RAMOS, F.S.; da SILVA, J.L.M. Eficiência e desempenho no ensino superior: uma análise da fronteira de produção educacional das IFES brasileiras. Revista de Economia Contemporânea, v. 16, n. 3, p. 415-440, 2012.

DIAS SOBRINHO, J.D. Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao SINAES. Avaliação, v. 15, n. 1, p. 195-224, 2010.

DIDONET; S.R.; VILLAVICENCIO, G.J.D. Orientación al mercado y eficiencia en los supermercados: evidencias empíricas. Revista de Administração da UFSM, v. 1, n. 1, p. 134-152, 2008.

EFF, E.A.; KLEIN, C.C.; KYLE, R. Identifying the best buys in U.S. higher education. Research in Higher Education, v. 53, n. 8, p. 860-887, 2012.

EHRENBERG, R. Econometric studies of higher education. Journal of Econometrics, v. 121, p. 19-37, 2004.

FARRELL, M. The Measurement of productive efficiency. Journal of the Royal Statistical Society, Series A, v. 120, n. 3, 253-290, 1957.

FERNANDES, R.; PAZELLO, E.T.; LEITÃO, T.M.S.P.; MORICONI, G.M. Avaliação de cursos na educação superior: a função e a mecânica do conceito preliminar de curso. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Brasília. 2009

FLÉG, M.; VLTAVSKÁ, K. Efficiency at faculties of economics in the Czech public higher education institutions: two different approaches. International Education Studies, v. 6, n. 10, p. 1-12, 2013.

GIACOMELLO, C.P.; OLIVEIRA, R.L. Análise envoltória de dados (DEA): uma proposta para avaliação de desempenho de unidades acadêmicas de uma universidade. Revista GUAL, v. 7, n. 2, p. 130-151, 2014.

HIRAO, Y. Efficiency of the top 50 business schools in the United States. Applied Economics Letter, v. 19, n. 1, p. 73-78, 2012.

INEP. INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS. sinopse_educacao_superior_2011. Disponível em: http://download.inep.gov.br/informacoes_ estatisticas/sinopses_estatisticas/sinopses_educacao_superior/sinopse_educacao_superior_2011.zip. Acesso em: 01 jul. 2013.

JOHNES, J. Data envelopment analysis and its application to the measurement of efficiency in higher education. Economics of Education Review, v. 25, n. 3, p. 273-288, 2006.

JOHNES, J. Measuring teaching efficiency in higher education: an application of data envelopment analysis to economics graduates from UK universities 1993. European Journal of Operational Research, v. 174, n. 1, p. 443-456, 2006.

KAPLAN, R.S.; NORTON, D.P. A Execução Premium. Rio de Janeiro: Campus, 2008.

KATHARAKI, M.; KATHARAKIS, G. A comparative assessment of Greek universities' efficiency using quantitative analysis. International Journal of Educational Research, v. 49, n. 4 e 5, p. 115 - 128, 2010.

KOKSAL, G.; NALCACI, B. The relative efficiency of departments at a turkish engineering college: a data envelopment analysis. Higher Education, v. 51, n. 2, p. 173-189, 2006.

KUAH, C.T.; WONG, K.Y.; BEHROUZI, F. A review on Data Envelopment Analysis (DEA). In: Proceedings of the Fourth Asia International Conference on Mathematical/Analytical Modelling and Computer Simulation. Kota Kinabalu - Malaysia, p.168-173, 2010.

LAPA, J.S.; NEIVA, C.C. Avaliação em educação: comentários sobre desempenho e qualidade. Ensaio, v. 4, n. 12, p. 213-236, 1996.

LEE, K.H.; SAEN, R.F. Measuring corporate sustainability management: a Data Envelopment Analysis approach. International Journal of Production Economics, v. 140, n. 1, p. 219-226, 2012.

LINS, M.P.E.; ALMEIDA, B.F.; JUNIOR, R.B. Avaliação de desempenho na pós-graduação utilizando a análise envoltória de dados: o caso da engenharia de produção. Revista Brasileira de Pós-Graduação, v. 1, n. 1, p. 41-56, 2004.

LORENZETT, J.R.; LOPES, A.L.M.; LIMA, M.V.A. Aplicação de método de pesquisa operacional (DEA) na avaliação de desempenho de unidades produtivas para área de educação profissional. Estratégias e Negócios, v. 3, n. 1, p. 168-190, 2010.

MAINARDES, E.W.; ALVES, H.; RAPOSO, M. O desempenho das universidades públicas portuguesas segundo seus alunos: análise da eficiência por meio do Data Envelopment Analysis. Revista Gestão Universitária na América Latina, v. 5, n. 1, p. 184-215, 2012.

MEC. Ministério da Educação. Nota técnica n° 72: cálculo do Conceito Preliminar de Curso referente a 2013. Brasília, 2014.

MENEGAKI, A.N. Growth and renewable energy in Europe: Benchmarking with Data Envelopment Analysis. Renewable Energy, v. 60, p. 363-369, 2013.

MIRANDA, R.; GRAMANI, M.C.; ANDRADE, E. Technical efficiency of business administration courses: a simultaneous analysis using DEA and SFA. International Transactions in Operational Research, v. 19, p. 847-862, 2012.

MOREIRA, N.P.; CUNHA, N.R.S.; FERREIRA, M.A.M.; SILVEIRA, S.F.R. Fatores determinantes da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo. Revista da Avaliação da Educação Superior, v. 16, n. 1, p. 201-230, 2011.

MURIAS, P.; DE MIGUEL, J.C.; DAVID, R. A composite indicator for university quality assessment: the case of Spanish higher education system. Social Indicators Research, v. 89, n. 1, p. 129-146, 2008.

OGGIONI, C.; RICCARDI, R.; TONINELLI, R. Eco-efficiency of the word cement industry: a Data Envelopment Analysis. Energy Policy, v. 39, n. 5, p. 2842-2854, 2011.

OLIVEIRA, A.J.; ALMEIDA, L.B.; CARNEIRO, T.C.J.; SCARPIN, J.E. Programa REUNI nas instituições de ensino superior federal [IFES] brasileiras: um estudo da eficiência operacional por meio da análise envoltória de dados [DEA] no período de 2006 a 2012. RACE, v. 13, n. 3, p. 1179-1210, 2014.

OLIVEIRA, C.E.M.; TURRIONI, J.B. Avaliação de desempenho de instituições federais de ensino superior através da análise por envoltória de dados (DEA). In: XXVI Encontro Nacional de Engenharia de Produção, 2006, Fortaleza. XXVI Encontro Nacional de Engenharia de Produção. Fortaleza, 2006.

PICAZO-TADEO, A.J.; GÓMEZ-LIMÓN, J.A.; REIG-MARTÍNEZ, E. Assessing farming eco-efficiency: a Data Envelopment Analysis approach. Journal of Environmental Management, v. 92, n. 4, p. 1154-1164, 2011.

POLIDORI, M.M. Políticas de avaliação da educação superior brasileira: provão, SINAES, IDD, CPC, IGC... outros índices. Avaliação, v. 14, n. 2, p. 439-452, 2009.

PORTER, M. Competitividade. São Paulo: Campus, 2009.

RAMANATHAN, R. An Introduction to Data Envelopment Analysis. Sage Publications: New Delhi, 2003.

RICCARDI, R.; OGGIONI, G.; TONINELLI, R. Efficiency analysis of world cement industry in presence of undesirable output: Application of Data Envelopment Analysis and directional distance function. Energy Policy, v. 44, p. 140-152, 2012.

RODRIGUES DOS SANTOS, F.; ANGULO MEZA, L. Uma avaliação de cursos de mestrado em engenharia de produção considerando variáveis não controláveis. In: X Simpósio de Pesquisa Operacional e Logística da Marinha, 2007, Rio de Janeiro. X Simpósio de Pesquisa Operacional e Logística da Marinha. Rio de Janeiro: CASNAV - Centro de Análise de Sistemas Navais, 2007.

SALERMO, C.; What we know about the efficiency of higher education intitutions: the best evidence. Zoetermeer, Ministro da Educação, Cultura e Ciência, Holanda, 2003.

SAURIN, V.; LOPES, A.L.M.; COSTA JUNIOR, N.C.A.; GONÇALVES, C.A. Medidas de eficiência e retorno de investimento: um estudo nas distribuidoras de energia elétrica brasileiras com base em Data Envelopment Analysis, índice de Malmquist e ROI. Revista de Administração da UFSM, v. 6, n. 1, p. 25-38, 2013.

SAV, G.T. Data envelopment analysis of productivity changes in higher education for-profit enterprises compared to non-profits. International Business Research, v. 5, n. 9, p. 1-9, 2012.

SHERMAN, H.D.; LADINO, G. Managing bank productivity using Data Envelopment Analysis. Interfaces, v. 25, n. 2, p. 60-73, 1995.

SOARES de MELLO, J.C.C.B.; ANGULO MEZA, L.; GOMES, E.G.; NETO, L.B. Curso de análise envoltória de dados. In: Anais do XXXVII Simpósio Brasileiro de Pesquisa Operacional, Gramado, p. 2520-2547, 2005.

SOARES DE MELLO, J.C.C.B.; GOMES, E.G.; ANGULO MEZA, L.; SOARES DE MELLO, M.H.C.; SOARES DE MELLO, A.J.R. Engineering post-graduate programmes: a quality and productivity analysis. Studies in Educational Evaluation, v. 32, p. 136-152, 2006.

SÖZEN, A.; ALP, I.; ÖZDEMIR, A. Assesment of operational and environmental performance of the thermal power plants in Turkey by using Data Envelopment Analysis. Energy Policy, v. 38, n. 10, p. 6194-6203, 2010.

VILLAVICENCIO, G.J.D.; DIDONET, S.R. Eco-eficiencia en la gestión de residuos municipales en Catalunya. Revista de Administração da UFSM, v. 1, n. 2, p. 193-208, 2008.

WORTHINGTON, A.C.; LEE, B.L. Efficiency, technology and productivity change in Australian universities, 1998-2003. Economics of Educational Review, v. 27, n. 3, p. 285-298, 2008.

IR