HTML

ePub

PDF

1 INTRODUÇÃO

A UFRGS começou com a fundação da Escola de Farmácia e Química em 1895, dando início à educação de nível superior no Estado do Rio Grande do Sul. Em 1950, a Universidade foi então federalizada através da Lei nº 1.254, passando a se chamar Universidade Federal do Rio Grande do Sul (UFRGS). Com a intensa mobilização estudantil em torno do processo político que o país passou em 1968, acalorados debates foram realizados nas universidades, levando à criação de um Grupo de Trabalho ao qual é imputada a responsabilidade de “resolver a crise da Universidade”. Entre as medidas trazidas por esse grupo, Fávero (2006, p.18) destaca o sistema departamental, o vestibular unificado, o ciclo básico, o sistema de créditos e a matrícula por disciplina, bem como a carreira do magistério e a pós-graduação.

No ano de 2000, a UFRGS fez uma análise da eficiência relativa dos 92 Departamentos Acadêmicos existentes na época, com dados consolidados até 1998. O trabalho foi amplamente propalado em função do ineditismo e da urgente necessidade de unificação dos dados que a obra desvelou. Dez anos depois, este trabalho se propôs a uma releitura – com 93 departamentos, pois, além do ambiente político e social, o ambiente de tecnologia da informação (TI) da UFRGS é absolutamente diferente. A necessidade da UFRGS hoje é, justamente, uniformizar a administração de seus processos e pessoas, tão distintos no que tange aos meios e tão comum no que se refere aos fins – ensino, pesquisa e extensão.

Sabe-se que a técnica aplicada novamente: Análise Envoltória de Dados (DEA) já vem sendo discutida nos últimos anos na área de educação, mas junto à UFRGS ainda é algo a ser explorado com maior cuidado, devido à complexidade que é natural em uma instituição com tanto tempo de existência. Situações identificadas nesse preâmbulo:

a. Universidades continuam buscando técnicas para analisar e melhorar a qualidade dos serviços prestados;

b. O país passou por profundas transformações estruturais no ensino superior no intervalo 1998 à 2012;

c. A UFRGS enfrentou essas mudanças em todos os ambientes da tríade ensino, pesquisa e extensão ao longo desses anos;

d. Após a publicação de obras como a de Bandeira (2000), a situação atual dos mesmos departamentos pesquisados provavelmente se reestruturou para se adaptar a tantas transformações.

Em termos gerais, esta pesquisa pretende demonstrar uma nova análise da eficiência dos departamentos acadêmicos da UFRGS, fazendo uso de duas abordagens distintas: uma repetindo o modelo apresentado em 2000, aqui chamado de Modelo DLB, e uma repaginação desse modelo, comparado ao ranqueamento de departamentos adotado pela UFRGS desde 2002, com a criação do Índice Departamental, identificado como Modelo IDEP. Exposta a contextualização da pesquisa, algumas questões são trazidas, a saber:

a. Diante de todas as transformações que ocorreram na UFRGS desde 1998, seria possível aplicar aos anos de 2003 e 2007 o mesmo modelo DEA aplicado em 2000?

b. Os resultados obtidos através da série temporal proposta são coerentes com os resultados obtidos pelo Índice Departamental da UFRGS no mesmo ano?

c. Uma vez feita a análise de dados, a validação de face junto aos departamentos confirmaria os resultados?

d. Como analisar a eficiência relativa dos 92 departamentos da UFRGS com os mesmos fatores identificados em 1998?

e. Como analisar o comportamento das variáveis consideradas no modelo, identificando as alternativas de decisão possíveis?

f. Como comparar o resultado global de eficiência?

g. Como comparar os resultados para cada departamento?

h. Como repaginar o modelo proposto em 2000, propondo um novo modelo capaz de suportar o cenário atual da Universidade?

2 AMPARO TEÓRICO

Nesta seção, são apresentados alguns conceitos considerados fundamentais ao entendimento desta pesquisa.

2.1 AVALIAÇÃO

Avaliar não é um ato neutro e universal (LEITE, 2005). A obra de Sobrinho e Ristoff (2003, p.24) apresenta vários conceitos de forma encadeada. Para Ralph Tyler (1950 apud SOBRINHO; RISTOFF, 2003), “avaliação é um processo para determinar até que ponto os objetivos foram realmente alcançados”. Leite (2005) destaca ainda que a qualidade de uma instituição de ensino não pode ser suplantada por um ranking, ou nota ou conceito, mas reconhecer, sim, a avaliação feita pelo que expressa: “sujeitos que a fazem ser do jeito que ela é”. Para Leite (2005, p.28) esses objetivos só podem ser alcançados através da avaliação institucional, avaliação esta que ela expressa como “o diagnóstico ou retrato de uma instituição viva”.

No Brasil o conceito de avaliação começou a tomar forma em 1993, quando o Programa de Avaliação das Universidades Brasileiras (PAIUB) definiu avaliação de uma forma que, para Sobrinho e Ristoff (2003), está calcada com a natureza formativa da avaliação, sendo um instrumento útil à administração educacional, centrada em objetivos. Sobrinho (2005) sustenta sua explanação discutindo que a ideia de continuidade do PAIUB tenha sido, talvez, o ponto mais forte do plano.

O Sistema Nacional de Avaliação da Educação Superior (SINAES) foi criado pela Lei n° 10.861, de 14 de abril de 2004 (BRASIL, 2004). Entre outros aspectos, o SINAES avalia ainda mecanismos estruturais como a responsabilidade social, o desempenho dos alunos, a gestão da instituição, o corpo docente, as instalações. Além disso, o SINAES busca fazer uma avaliação transversal e longitudinal das instituições de ensino superior brasileiras.

Na UFRGS, o Programa de Avaliação Institucional da UFRGS (PAIUFRGS) foi criado em 1993. Em novembro de 2000, a Secretaria de Avaliação Institucional (SAI) foi criada, com o propósito de “sistematizar a avaliação institucional [...]” (UFRGS, 2011). Em 2004 foi então instituída a Comissão Própria de Avaliação da UFRGS (CPA), com a incumbência de conduzir os processos de avaliação internos da instituição, de sistematização e de prestação das informações solicitadas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP).

2.2 DESEMPENHO, PRODUTIVIDADE E EFICIÊNCIA

De um modo geral, entende-se por desempenho a capacidade de relacionar esforços e resultados. Para Slack, Chambers e Johnston (2009, p.593), uma vez medido o desempenho de uma operação, é chegado o momento de mensurar se é “bom, mau ou indiferente”. Ferreira e Gomes (2009, p.23) definem o conceito de produtividade como “a forma de utilização dos recursos para realizar a produção e, assim, se expressa pelo quociente da produção pelo insumo empregado” (produção/insumo), recomendando que o insumo seja consumido do modo mais racional possível.

Soares de Mello et al. (2005, p.2521) diferenciam produtividade de eficácia como “a razão entre o que foi produzido e o que foi gasto para produzir. Ao quociente entre essas duas quantidades chamamos produtividade [...]”. Gomes (2003 apud POSSAMAI, 2006, p.27), descreve que as variáveis inputs e outputs tratam seus indicadores, via de regra, de modo que o output seja maximizado e o input minimizado. Thanassoulis (2001 apud CARRASQUEIRA et al., 2010) descreve que essas combinações podem representar o incremento de eficiência.

M. J. Farrel construiu as bases da mensuração da eficiência em 1957, no artigo intitulado The Measurement of Productive Efficiency, publicado no Journal of the Royal Statistical Society (FARREL, 1957). Ferreira e Gomes (2009, p.20), descrevem que um modelo matemático não paramétrico é aquele “que não utiliza inferências estatísticas nem se apega a medidas de tendência central, testes de coeficientes ou formalizações de análise de regressão”. A análise envoltória de dados é uma das técnicas não-paramétricas de medição de eficiência.

2.3 ANÁLISE POR ENVOLTÓRIA DE DADOS

Também conhecida como Análise Envoltória de Dados ou, ainda, Teoria da Fronteira. Panepucci (2003, p.16) descreve que a eficiência de uma unidade produtiva é avaliada através da comparação entre a produtividade observada e a máxima que poderia ter alcançado, podendo ser mensurada de três formas, a saber:

a. A razão entre o resultado agregado observado pelo máximo resultado agregado atingível com os recursos.

b. A razão entre o mínimo recurso agregado requerido pelo recurso agregado observado para produzir os resultados observados.

c. Uma combinação dos dois.

Por padrão, a análise envoltória de dados considera a eficiência de uma organização como a capacidade de transformar entradas em saídas (COLIN, 2007). A partir disso o mesmo autor considera que

e, para uma unidade tomadora de decisão específica , a eficiência pode ser conceituada através de

Almeida, Mariano e Rebellato (2006) descrevem que o desempenho de uma unidade tomadora de decisão (DMU) pode ser medido quando há correlação entre as entradas e saídas do sistema em estudo. Para Campos (2004 apud ALMEIDA; MARIANO; REBELLATO, 2006, p.3) “o cálculo da razão entre os outputs e os inputs de uma DMU é denominado como produtividade”. Bandeira (2000, p.14) destaca a importância que uma DMU tem de “desempenhar as mesmas funções usando um conjunto de inputs que produzem um conjunto de outputs”. A mesma autora destaca que uma DMU só pode ser considerada eficiente relativamente quando nenhuma outra puder melhorar seus níveis de output sem piorar pelo menos outro dos seus níveis de input ou input, o que será demonstrado no estudo de caso. Seguindo em torno dos conceitos de insumo e produto abordados anteriormente, a análise envoltória de dados suporta ambas as orientações – input e output. Para Dyson (2001 apud TZEREMES; HALKOS; KOURTZIDIS, 2010), o número de DMUs deve atender ao requisito que ele conceitua, sabendo que m é o número de inputs e s o de outputs, como 2 x m x s. Assim como o crescimento da variedade de modelos, a análise por envoltória de dados também teve um sensível incremento no número de softwares de mercado que lhe deem suporte. Entre as mais de 70 aplicações disponíveis (BARR, 2003), a escolhida para o desenvolvimento dessa pesquisa foi a Frontier Analyst Professional, versão 4.1 (SFAP).

3 MÉTODO

Devido à natureza deste trabalho, o método de pesquisa adotado é misto: apresentado em 2003 no Handbook of Mixed Methods in the Social and Behavior Sciences (TASHAKORI; TEDDIE, 2003 apud CRESWELL, 2010), os métodos mistos são uma estratégia de investigação que emprega a combinação de abordagens quantitativas e qualitativas, utilizando os pontos fortes que cada uma tem a oferecer (CRESWELL, 2010). As técnicas de coleta e análise de dados adotadas na elaboração desta pesquisa são: pesquisa documental na fase quantitativa, entrevista não-diretiva e entrevista semiestruturada na fase de validação dos dados, de cunho qualitativo. Na fase de validação dos dados apresentados utilizou-se a técnica de entrevista não-diretiva através da validação de face junto a chefes de dois institutos da UFRGS. Conforme Deslandes (1998), a entrevista é o método mais aplicado em levantamentos de campo, pois objetiva buscar o embasamento da pesquisa na voz de seus atores.

4 ETAPAS DE PESQUISA

4.1 FATORES DE ANÁLISE

O modelo definido para a comparação longitudinal dos departamentos da UFRGS foi o de Bandeira (2000), aqui chamado Modelo DLB, com pequenas adaptações (Figura 1):

Fatores de Insumo – INPUTS

· Índice de Titulação dos docentes (-IND_TITUL), onde:

· Capacidade Docente (-CAPDOC): disposta em horas totais, por departamento

· Monitores, BIC e PIBIC (-MONIT_BIC)

Fatores de Produto – OUTPUTS

· Matrícula-hora (+MATR_HORA):

, onde:

nº_de_vagas_ocupadas = total de vagas ocupadas em disciplinas do departamento

nº_de_turmas_ocupadas = quantidade de turmas ministradas pelo departamento

carga_horária_total= ∑ dos créditos das turmas ministradas pelo departamento

· Percentual de aprovação (+PERC_APROV)

· Créditos ministrados na pós-graduação (+CRED_PG)

· Produção Intelectual (+PR_INT)

· Dissertações de Mestrado (+DISS_MEST)

· Teses de Doutorado (+TESE_DOUT)

· Projetos de Extensão (+EXT_ PROJ)

· Certificados de Extensão (+EXT_CERT)

· Bolsas de Extensão (+EXT_BOLSA)

Durante a construção do amparo teórico constatou-se que trabalhos ligados ao ramo de avaliação de instituições de educação sempre formataram seus modelos em função de dados voltados para a tríade ensino, pesquisa e extensão, como um produto indissociável. Na etapa de coleta dos dados para o recorte longitudinal, sondou-se quais os dados que vinham alimentando o cálculo praticado pela UFRGS (IDEP), e se os indicadores escolhidos por Bandeira (2000) para 1998 ainda correspondiam à realidade, todos convergindo, exceto o de Produção Intelectual (PI), que passou por grandes transformações, o que obrigou a retirada dos pesos utilizados na época (BANDEIRA, 2000, p.56). Outras combinações poderiam ser feitas (por unidade, por curso, por grande área), como foi visto em outros trabalhos, mas o objetivo que alavancou essa pesquisa foi justamente um reteste ao molde de Bandeira, em 2000, o que acabou por focar nesse caminho.

Apesar de a presente pesquisa ser apresentada em 2012, apenas os dados até 2007 foram utilizados, pois somente até este ano as informações já estão consolidadas pelo Conselho Universitário (CONSUN). Os anos seguintes (2008, 2009, 2010 e 2011) são objeto de recurso quanto aos resultados publicados, ou há diversas informações incompletas, especialmente no que se refere aos dados de capacidade docente. A seguir estão dispostos cada um dos indicadores coletados longitudinalmente.

Pessoal: A Tabela 1 traz um zoom da flutuação de admissões e aposentadorias entre 1999 e 2009 na UFRGS (intervalo de pesquisa: 19 de janeiro de 1999 até 10 de setembro de 2009), quando foram fechados os dados de vagas docentes para o cálculo do índice departamental daquele ano. Considerável parcela da capacidade docente que ficou de fora devido ao seu frágil e questionável vínculo com a administração foi a de professores visitantes, substitutos, convidados, pesquisadores, colaboradores e inativos, cuja relação é muito particular com o departamento que os recebe; não obstante, têm contratos que são prorrogados, editados e extintos à revelia dos registros da Pró-Reitoria de Gestão de Pessoas (PROGESP). Só foram contabilizados professores sob tutela ativa permanente no Sistema Integrado de Administração de Pessoas (SIAPE) e no Sistema de Recursos Humanos da UFRGS (SRH).

Ensino: Em função da própria natureza das informações, não há qualquer dado atrelado a departamentos. Um aluno, por si só, é uma entidade portadora de um código único, cadastrado em sua inscrição após sua aprovação no concurso vestibular. Nesse momento ele é conduzido à matrícula, onde começa sua história acadêmica.

Matrícula/hora: com acesso a todas as matrículas efetuadas na UFRGS desde 1973, foram selecionadas todas as matrículas realizadas nos períodos em análise. Feito isso, armazenou-se as informações relativas às turmas em que essas matrículas foram realizadas, para posterior aninhamento em departamentos.

Percentual de aprovação: tabulados os alunos da amostra para comparar seus conceitos, classificou-se as nove relações que podem manter com uma disciplina (aguardando conceito; aprovado; reprovado; cancelado; afastado; matriculado; avaliado; desligado e dispensado), e, de posse dos que tinham conceito Tipo 2 (Aprovado), foram calculados os totais por disciplina e, por conseguinte, as disciplinas somadas aos seus respectivos departamentos.

Créditos na pós-graduação: através da relação que liga os programas aos seus departamentos e a combinação dos professores, suas disciplinas e o total de créditos oferecido por PPGs, preparou-se a combinação de todas as disciplinas teóricas e práticas registradas nos PPGs. Com os créditos totais por docente ativo, os professores foram novamente lotados em seus departamentos.

Monitores de graduação: os monitores de graduação foram somados aos bolsistas de iniciação científica (BIC) e (PIBIC), para as amostras de 2003 e 2007, respectivamente, formando assim, o input MONIT_BIC.

Esta pesquisa registrou apenas dados de cursos de pós-graduação stricto sensu, até mesmo porque o MEC não credencia mais cursos de especialização lato sensu presenciais, conforme o Parecer CNE/CP nº 3/2011 (BRASIL, 2011), que regulamenta o credenciamento dessa natureza. A Tabela 2 demonstra então a coleta de dados realizada na Divisão de Ensino:

Pesquisa: disponibiliza os dados de input de bolsistas BIC e PIBIC, e os dados de output de dissertações de mestrado, teses de doutorado e a Produção Intelectual (PI). O Sistema de Bibliotecas da UFRGS (SBU) constitui-se em uma complexa teia de ações, dentre eles o Sistema de Automação de Bibliotecas (SABi), responsável pela coleta e registro da PI gerada pelo seu corpo docente e técnico administrativo desde 1989, e o Repositório Digital da UFRGS – LUME, LUME, que conta hoje com o 2º maior repositório brasileiro e o 41º mundial (WEBOMETRICS, 2012). Os dados das bases são permanentemente atualizados, pois o registro das obras é feito pelas bibliotecas setoriais. A Tabela 3 explicita a data de coleta dos dados e seus totais por ano, a saber:

Extensão: os sistemas de extensão tratam a ação de extensão como chave primária para o tratamento dos dados: objetivos, responsáveis, bolsas, etc. A Tabela 4 traz os outputs coletados no ambiente de extensão:

Tabela 4 Produção em extensão em 1998, 2003 e 2007.

Índice Departamental: a Decisão nº 118/2001 do Conselho Universitário da UFRGS (CONSUN) criou o Índice Departamental (IDEP): “um indicador de aproveitamento da capacidade docente instalada em cada Departamento e é o instrumento de habilitação e de classificação dos Departamentos com vistas ao Processo de Destinação de Vagas de Docente Não Titular” (UFRGS, 2002). Entre as premissas desse instrumento de avaliação dos departamentos, estão a Determinação Anual do Índice Departamental, a exposição do Banco de Vagas de Docente Não Titular e o Processo de Destinação de Vagas de Docente Não Titular. Três anos mais tarde a regulamentação do IDEP passa por uma repaginação (UFRGS, 2005). Desde lá, o cálculo do IDEP é composto pelos índices padronizados de ensino, PI e extensão. Além disso, uma vez produzido o cálculo do índice por departamento, um novo aninhamento é feito: os 93 departamentos de ensino da universidade são divididos em oito grupos, correspondentes a grandes áreas do conhecimento. Para cada grupo são gerados os dados de média e desvio padrão que definem os indicadores de ocupação da capacidade docente de cada departamento, ou seja, o paralelo é estabelecido dentro das áreas específicas (COSTA et al., 2010).

É possível então perceber uma diferença importante entre o Modelo DLB e o IDEP: enquanto o primeiro faz uma análise da eficiência relativa dos departamentos sem fazer uma distinção por área, o IDEP é construído em duas fases distintas: a primeira, de construção dos índices, por departamento, e a segunda, por índices padronizados, calculados a partir de aninhamentos entre as grandes áreas às quais os departamentos foram distribuídos, conforme sua afinidade. Após quatro reformas (UFRGS, 2002; 2003; 2004; 2005), os departamentos foram então agrupados por afinidade temática, em função das grandes áreas do conhecimento do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPQ), a fim de diminuir as disparidades. A Figura 2 ilustra o caminho percorrido por um departamento no complexo desenvolvimento do seu respectivo IDEP:

4.2 EXECUÇÃO DOS MODELOS DEA

Diante do exposto, os pesquisadores não esgotam aqui o entendimento do índice departamental. Nesse momento, dois modelos se fazem presentes para uma investigação mais apurada, sabendo que, todas as execuções mantiveram as mesmas configurações defendidas por Bandeira (2000):

§ modelo Radial BCC, orientado a output: “mantendo o corpo docente e o pessoal de apoio atuais (inputs), maximizar os ‘produtos’ ensino de graduação, ensino de pós-graduação, pesquisa e extensão (outputs)” (BANDEIRA, 2000, p.59);

§ retornos variáveis de escala (VRS): “pois a adição de um professor não reflete proporcionalmente nos outputs de ensino, pesquisa e extensão. Na realidade, a sinergia pode fazer com que esses resultados sejam maiores. De maneira análoga, a exclusão de um professor pode não refletir proporcionalmente em diminuição de outputs [...]” (BANDEIRA, 2000, p.59).

Para isso, os autores dividem a execução em quatro cenários distintos:

Cenário 1 – reapresentação da análise de dados de Bandeira (2000) (Figura 3): os autores mantiveram a estrutura defendida por Bandeira (2000, p.53) nos três primeiros cenários, cujo modelo e indicadores foram definidos operacionalmente pela mesma autora.

Conforme disposto na Figura 3, em 2000, Bandeira encontrou um total de 50 departamentos eficientes e 22 na linha de eficiência. Apresentado o Modelo DLB para os dados de 1998, dá-se início à amostra temporal 1998/2003/2007. De lá para cá houve quatro mudanças expressivas, obrigando arranjos para contemplar a possibilidade de análise igualitária de departamentos, resumidos na Figura 4:

a. Extinção do Departamento de Psicologia (HUM02): que dividiu sua estrutura em três departamentos: Psicologia do Desenvolvimento e da Personalidade (PSI01), Psicologia Social e Institucional (PSI02) e Psicanálise e Psicopatologia (PSI03)

Solução: Os departamentos vinculados ao Instituto de Psicologia (PSI01/PSI02/PSI03), criados posteriormente a 1998, foram aninhados em um Departamento fictício, doravante denominado PSI99

b. Extinção do Departamento de Desportos e de Ginástica e Recreação: a fusão dos dois departamentos deu origem ao Departamento de Educação Física (EFI01)

Solução: Os departamentos vinculados à Escola de Educação Física (EFI01 e EFI02) foram aninhados em um Departamento fictício, denominado EFI99

c. Criação do Departamento de Engenharia de Produção e Transportes (ENG09)

Solução: O Departamento de Engenharia de Produção e Transportes não foi considerado no Cenário 1, devido ao fato de ter sido criado após 1998

d. Extinção do Departamento Engenharia Nuclear (ENG08)

Solução: absorvido pela Engenharia Mecânica (ENG03). Para que essas mudanças não interferissem em outros dados da amostra, o DENUC foi excluído

Explicados os arranjos preparados nesta seção para a execução da análise temporal de 1998, 2003 e 2007, segue então sua execução no Cenário 2:

Cenário 2 – análise temporal do modelo DLB à 90 Departamentos: ano de amostra: 1998/2003/2007. A Tabela 5 apresenta as variações absolutas dessa análise:

Colhidos os dados dos três recortes – 1998, 2003 e 2007, se observam algumas peculiaridades. Diferentemente da ferramenta Warwick DEAWIN, utilizada por Bandeira em 2000 para a análise dos dados coletados em 1998, que imputa ao usuário a definição dos targets de eficiência, o software Frontier Analyst Professional versão 4.1® (SFAP) considera por default que todo o departamento abaixo de 100% eficiente não pode ser considerado eficiente. Os intervalos são dispostos através de um semáforo, dessa forma:

§ 100% à absolutos

§ 90 – 99,99 à na linha de eficiência, bastando pequenos ajustes para atingir a eficiência relativa a seus pares

§ Abaixo de 90% à ineficientes com relação a seus pares

Através dessa distribuição é possível observar que o número absoluto de departamentos 100% eficientes cai consideravelmente, e o 2º nível de aninhamento (90-99,99) merece especial atenção, pois, nominalmente, a maioria desses departamentos é eficiente também, precisando de pequenos ajustes para atingir o percentual de 100% de eficiência relativa.

O caso dos Departamentos do Instituto de Psicologia: dentre as maiores peculiaridades do Cenário 2, é possível destacar o caso dos departamentos ligados ao Instituto de Psicologia. A união PSI99, já explicada, provoca um grande movimento nos resultados. Ao indicar sua participação, como está adicionado à análise anterior, ele “derruba” 12 departamentos da eficiência absoluta (100%). Quando vista na totalidade, a eficiência relativa dos departamentos segue homogênea, embora entre 1998 e 2007 tenha havido uma ligeira queda nos resultados absolutos: em 2000, Bandeira apresenta uma média de 63,62% dos departamentos com eficiência relativa acima de 90%, contra 57,79% no arranjo de 2003, e 51,12% em 2007.

Os aninhamentos realizados pela técnica também provocaram uma sensível flutuação nas fronteiras de eficiência que estavam no topo: a exposição dos cenários a dois ‘super departamentos’ (EFI99 e PSI99) acabou forjando um resultado fictício, porém, possível, se visto sob o ponto de vista dos PPGs, por exemplo, que se utilizam de professores dos seus departamentos sem observar rigorosamente as distribuições departamentais e, sim, os conteúdos dos programas e as afinidades dos docentes disponíveis.

Entre os departamentos que apresentaram melhora no intervalo [1998:2007]: 34 (37,78% da amostra), também há um grupo que merece uma análise mais atenciosa. Entre esses 34, apenas 18 apresentaram uma melhora em todo o intervalo, mas há 16 departamentos que sofreram um decréscimo entre os anos de 1998 e 2003, e apenas no último intervalo conseguiram se recuperar.

Dentre os três recortes, o que merece maior atenção refere-se aos departamentos que perderam seus índices de eficiência: 33, representando 36,67% da amostra. Apesar de a distribuição ser homogênea, é possível observar que 14 departamentos eficientes em 1998 caíram, contra 13 que apresentaram melhora no mesmo grupo. Entre as 33 DMUs, cinco apresentaram sucessivas quedas.

Exposto o Cenário 2, que aborda o recorte longitudinal 1998/2003/2007, a pesquisa abordará agora o Cenário 3, abrigando os Departamentos criados após a análise de Bandeira, em 2000, mas fazendo uso do mesmo modelo aplicado na época (Figura 1).

Cenário 3 – análise temporal do modelo DLB à 93 Departamentos: esse retrato verifica a eficiência relativa dos novos departamentos, criados após a dissertação defendida por Bandeira, em 2000 (EFI01, ENG09, PSI01, PSI02 e PSI03), cuja solução foi pela exclusão do Departamento ENG09 e aninhamento dos departamentos ligados ao Instituto de Psicologia (PSI99) e à Escola de Educação Física (EFI99). Ano de amostra: 2003/2007; departamentos: 93. Após a execução dos modelos, é possível perceber a seguinte flutuação, conforme disposto na Tabela 6.

Apresentados os resultados absolutos em 2003/2007 utilizando os 93 departamentos existentes hoje, cabem algumas observações interessantes: dos 23 departamentos cuja situação indica melhora nesse recorte, nove atingiram 100% de eficiência ou ficaram à margem disso, com especial atenção aos departamentos ENG04, BIO08 e ENG01, que subiram mais de dez pontos porcentuais em seus escores. Há também departamentos que pouco oscilaram, como MED02 (0,02%) e BIO05 (0,07%). Para fins de exemplo, o DEA é capaz de ofertar em todos os indicadores em estudo, em quais as metas foram atingidas e em quais a administração deve empenhar-se com mais atenção Independente da performance, o DEA identifica o que melhorar para uma excelência homogênea:

BIO10 (Figura 5): o Departamento BIO10, por exemplo, teve uma melhora bem homogênea, e não atingiu a meta em todos os índices por dois detalhes: monitorias de ensino e pesquisa e uma tímida baixa nos percentuais de aprovação, o que foi suprido pela importante melhora nos indicadores de PI e de extensão, cuja melhora foi generalizada.

BIO08 (Figura 6): apesar de não ter atingido a meta em praticamente nenhum indicador, o que alavancou o Departamento BIO08 no recorte 2003/2007 foi a importante melhora nos índices de pós-graduação e de certificados de extensão disponibilizados.

Entre os departamentos que mantiveram seus escores há o maior público: 39 dos 93 departamentos, representando 41,93% da amostra. Desse seleto grupo pouco há para ser dito, porque apenas mantiveram-se na linha da eficiência. Dentre os 31 departamentos que flutuaram negativamente sua eficiência, há cinco que tiveram uma oscilação maior que 20%.

Exposto o Cenário 3, que tratou o recorte longitudinal 2003/2007, abrigando os Departamentos criados após a análise de Bandeira, em 2000, o Cenário 4 traz então a proposta de um modelo de triangulação ao DLB: o Modelo IDEP.

Cenário 4 – comparação de análises: IDEP e DEA: disposto em três análises distintas, o Cenário 4 buscou aproximar o modelo DEA, apresentado por Bandeira em 2000, com o Índice Departamental, praticado hoje pela UFRGS para o cálculo da ociosidade docente e distribuição dessa força de trabalho aos departamentos. A primeira análise não foi exitosa, pois criou uma falha de divisão de inputs e outputs, descartando o modelo. A segunda análise dissociaria então a figura dos índices, tratando os dados da tríade ensino, pesquisa e extensão in natura, ou seja, antes de ser tratado por índices. Feita a análise e comparados os dados do Modelo DLB com os resultados do IDEP, chegou-se a um emparelhamento de 40 departamentos. Não obstante, ainda havia uma fragilidade nessa informação: é explícito que ambos os modelos tratam a capacidade docente de um departamento como insumo para determinar a eficiência de suas atividades, mas o IDEP é o produto de um índice padronizado, que ao ser gerado, já assume o resultado de seus índices em função de médias e desvios padrão. Com essa leitura, foi possível confirmar que utilizar a capacidade docente nos índices consolidados não implicaria prejuízos à análise da eficiência relativa dos departamentos, desde que o input CAPDOC fosse retirado do modelo, dando origem então à terceira execução, adotada aqui, conforme a Figura 7:

Ao utilizar essa combinação, a relação foi amplamente atingida: 50, dos 93 departamentos analisados, alcançaram uma diferença máxima de 10% em sua eficiência relativa. Seguem então os dados desse recorte: ano de amostra: 2007. Departamentos: 93. Apresentados os dados da execução, algumas ponderações são feitas: a nova proposta de modelo, mais próxima ao que é hoje praticado pela Reitoria para a classificação do IDEP, também se utilizou os dados de 2007, uma vez que os dados do IDEP só estão consolidados até esse ano. Do grupo de 50 departamentos cuja diferença entre o Modelo DLB e o Modelo IDEP foi inferior a 10%, vinte e cinco, ou seja, a metade, apresentavam nominalmente o mesmo índice (uma diferença menor que 1%). Dos 43 departamentos cuja diferença entre modelos de análise de eficiência relativa era maior que 10%, apenas cinco apresentaram uma distinção representativa (Tabela 7).

Essa execução merece uma atenção maior, porque faz uma distribuição mais heterogênea dos resultados: diferentemente do Modelo DLB, que aponta 45 departamentos eficientes em 2007, o modelo IDEP já “derruba” esse escore para 26. Mas, em geral, as relações dos intervalos estão bem próximas, salvo cinco departamentos, que oferecem uma discrepância maior que 50% (Tabela 8).

Enquanto o Modelo DLB indica a eficiência absoluta das DMUs MED06, ENF03, ARQ03, ITA01 e AGR04, o Modelo IDEP informa que esses departamentos têm deficiências em todos os outputs. Quanto aos inputs, todos estão em conformidade, ou com sobra de insumos. No Departamento MED06, por exemplo, o Modelo IDEP sugere uma meta de incremento de 300% nos índices de ensino, 100% nos índices de pesquisa e 80% de extensão (Tabela 9).

Apesar desse estreito emparelhamento entre o Modelo IDEP e o Modelo DLB, cabe destacar que o primeiro é produto de um arranjo entre departamentos-afins pela grande área. Dessa forma, o Modelo IDEP pode, sim, fornecer uma alternativa à decisão, mas não pode, de maneira alguma, ser comparado ao IDEP adotado pela UFRGS sem uma apurada análise.

Apresentado o Cenário 4, os pesquisadores buscam expor a fase de validação da pesquisa, realizada junto aos Departamentos do Instituto de Geociências e de Psicologia.

4.3 VALIDAÇÃO DOS RESULTADOS

A validação de face (BORENSTEIN; BECKER, 2001) dos resultados obtidos foi realizada junto a dois professores em visita local ao Instituto de Geociências (Figura 8) e ao Instituto de Psicologia (Figura 9).

Instituto de Geociências (Figura 8): Professor Doutor André Sampaio Mexias, Vice-Diretor do Instituto. Discutiu-se como, mesmo aumentados diversos de seus indicadores de uma forma geral, eles possam ter uma perda de eficiência relativa em alguns departamentos (GEO01, GEO03, GEO04, GEO05), ainda que a maioria das flutuações apresentadas naquele Instituto tenham sido baixas: quando identificados os pares com quem os respectivos departamentos foram comparados para análise, mesmo aumentando seus indicadores, os departamentos da amostra, ou “os outros 92”, como foram chamados, aumentaram muito mais que os do grupo GEO. Por isso, a queda.

Instituto de Psicologia (Figura 9): Professora Doutora Denise Ruschel Bandeira, do Departamento de Psicologia do Desenvolvimento e da Personalidade (PSI01). Diferentemente do Instituto de Geologia, que flutuou sensivelmente, os departamentos ligados à Psicologia se mantiveram na linha de eficiência relativa de 100%, o que, para a entrevistada, representa a confirmação do trabalho realizado pelo Instituto na última década, com especial atenção ao intervalo após o REUNI que, segundo ela, recuperou muito a equipe, em especial pelo abrigo de dois novos cursos: serviço social e fonoaudiologia, que obrigaram a criação de toda a estrutura administrativa, docente e curricular necessária.

Em comum, tanto o Instituto de Geociências quanto o de Psicologia abrigam PPGs com avaliação máxima na CAPES, salientando que o PPG em Geociências é o único do Brasil a pertencer a este seleto grupo, o que os obriga a vigilância permanente aos indicadores. Bandeira destaca também que entre as características que denotam a força do Departamento PSI01 é possível destacar a Revista do PPG em Psicologia, única Qualis A do país.

5 RESULTADOS E CONCLUSÕES

Ao concluir esta pesquisa, pretende-se reforçar que, avaliar, em qualquer instância, não só não é fácil, como é uma tarefa imperiosa quando essa avaliação lida com dados que devem ser tratados para se transformar em informação. Intentando inicialmente a reanálise do modelo aplicado por Bandeira em 2000, os pesquisadores seguiram identificando as dificuldades e as necessidades informacionais através do levantamento dos indicadores necessários para o estudo temporal proposto, elaborando, por fim, um esperado modelo, capaz de dialogar com a técnica empregada hoje pela UFRGS, justamente para a distribuição docente e identificação de sua respectiva ociosidade.

Apresentado o Modelo DLB na análise temporal 1998/2003/2007, aplicado em duas análises distintas, o estudo atingiu o objetivo de demonstrar a eficiência relativa dos Departamentos Acadêmicos da UFRGS através de um instrumento de modelagem matemática em uma linha temporal. Concluída a proposta do Modelo IDEP apoiado ao Modelo DLB, os autores identificaram a necessidade de atualização do modelo proposto de Bandeira, considerando como a avaliação departamental é feita hoje e para que fins ela se presta, bem como a comparação com os métodos utilizados institucionalmente, confirmando (ou não) a coerência dos resultados.

Durante as análises, casos como os que foram identificados no Instituto de Psicologia, os Departamentos do Instituto de Física, entre outros, levam a uma reflexão sobre a sinergia que a fusão de departamentos provocaria. Com a dissolução do Instituto de Psicologia, em 1999, é possível concluir que a divisão de departamentos acaba enfraquecendo as unidades, pois simula resultados que, se mantidos em um só departamento, apresentam uma sinergia maior do que separados. Durante a etapa de validação isso foi amplamente discutido, e, feita essa análise, abordou-se a questão da partição de departamentos. O Instituto de Geociências, por exemplo, está organizado dessa forma desde a dissolução das cátedras em 1970, e algumas vezes já foi aventada a possibilidade de unir os departamentos novamente, o que acabou sendo refutado em certa fase das negociações. Ambos os entrevistados reforçaram os entraves políticos que impedem um movimento de união dessa monta.

Espera-se, com essa pesquisa, ter proporcionado uma discussão sobre a forma como os dados são dispostos hoje, bem como os modelos de análise adotados na Universidade. Outra proposta obtida aqui é uma triangulação para o IDEP, de modo a comprovar a existência de ociosidade docente, e carência também, ainda que a primeira afirmação tenha se revelado com mais força. Os pesquisadores sugerem ainda como inquirições futuras a discussão do modelo aqui proposto, abrangendo também as esferas administrativas da Universidade. Ao longo deste trabalho, os autores observaram que esta área é pouco explorada e que diversas Instituições vêm repensando seu conceito de estrutura departamental.

REFERÊNCIAS

ALMEIDA, M.R.; MARIANO, E.B.; REBELLATO, D.A.N. A Nova Administração da produção: uma sequência de procedimentos pela eficiência. In: Anais 9º Seminário em Administração FEA-USP, p.1-8, 2006. São Paulo. Anais... São Paulo: USP, 2006.

BANDEIRA, Denise Lindstrom. Análise da eficiência relativa dos departamentos acadêmicos – o caso da UFRGS. 2000. 147f. (Dissertação) – PPGA, UFRGS, Porto Alegre, 2000.

BANDEIRA, Denise Ruschel. Sobre os resultados da dissertação [07 dez 2011]. Entrevistador: pesquisador¹. Porto Alegre: UFRGS – Instituto de Psicologia. Gabinete profissional da entrevistada.

BARR, Richard S. DEA software tools and technology: A state-of-the-art survey. 2004.

BORENSTEIN, Denis; BECKER, João Luis. Validating decision support systems. In: KENT, Allen; WILLIAMS, James G. (Org.). Encyclopedia of Microcomputers. New York: Marcel Dekker, 2001, v.26, p.323-341.

BRASIL. Lei n° 10.861, de 14 de abril de 2004. Estabelece a criação do SINAES.

BRASIL. Parecer CNE/CP nº 3/2011, de 31 de maio de 2011, dispondo sobre o fim do credenciamento de cursos de pós-graduação lato sensu.

CARRASQUEIRA, Hélder et al. Aplicação da metodologia de análise do desempenho de núcleos científicos numa instituição de ensino. UAlg – Revista da ESGHT/UAIg, Algarve, v.19, p.4-17, 2010.

COLIN, Emerson Carlos. Pesquisa operacional: 170 aplicações em estratégia, finanças, logística, produção, marketing e vendas. Rio de Janeiro: LTC, 2007.

COSTA, Janise Silva Borges et al. Sistema de Automação de Bibliotecas da UFRGS: fonte de indicadores para avaliação. In: XVI Seminário Nacional de Bibliotecas Universitárias, Rio de Janeiro, 2010. Anais eletrônicos... Rio de Janeiro: UFRJ, 2010.

CRESWELL, John W. Projeto de pesquisa: métodos qualitativo, quantitativo e misto. 3. ed. Porto Alegre: Artmed, 2010. 296p.

DESLANDES, Suely Ferreira. Pesquisa social: teoria, método e criatividade. 3. ed. Petrópolis: Vozes, 1998. 80p.

FÁVERO, Maria de Lourdes de Albuquerque. A universidade no Brasil: das origens à reforma universitária de 1968. Revista Educar, Curitiba, v.28, p.17-36, 2006.

FARREL, M. J. The measurement of productive efficiency. Journal of the Royal Statistical Society, v.120 series A, p.253-290, 1957.

FERREIRA, Carlos Maurício de Carvalho; GOMES, Adriano Provezano. Introdução à análise envoltória de dados: teoria, modelos e aplicações. Viçosa: UFV, 2009.

LEITE, Denise. Reformas universitárias: avaliação institucional participativa. Petrópolis: Vozes, 2005.

MEXIAS, André Sampaio. Sobre os resultados da dissertação [07 dez 2011]. Entrevistador: pesquisador¹. Porto Alegre: UFRGS – Instituto de Geociências. Vice-Direção.

PANEPUCCI, Giovana Troya Marques. Avaliação de Desempenho dos Departamentos Acadêmicos da UFSCar Utilizando Análise de Envoltória de Dados. 130f. (Dissertação) – Programa de Pós-Graduação em Engenharia de Produção, UFSCar, São Carlos, 2003.

POSSAMAI, Rodrigo Panizzi. Avaliação de eficiência técnica em concessionárias de rodovias utilizando análise envoltória de dados. 2006. 169f. (Dissertação). – PPGEP, UFRGS. Porto Alegre, 2006.

SOARES DE MELLO, J.C.C.B. et al. Curso de Análise Envoltória de Dados. In: XXXVII SBPO, Gramado, 2005. Anais... p.2520-2547, Gramado, 2005.

SLACK, Nigel; CHAMBERS, Stuart; JOHNSTON, Robert. Administração da produção. 2. ed. São Paulo: Atlas, 2009. 706p.

SOBRINHO, José Dias; RISTOFF, Dilvo. Avaliação e compromisso público: A educação superior em debate. Florianópolis: Insular, 2003. 232p.

SOBRINHO, José Dias. Acreditação da educação superior.

TZEREMES, N.G.; HALKOS, G.E.; KOURTZIDIS, S.A. A DEA approach for measuring university departments’ efficiency. MPRA, Thessaly, Paper n.24029, jul. 2010

UFRGS. CONSUN. Decisão nº 118/2001: Estabelece o Índice Departamental da UFRGS.

UFRGS. Secretaria de Avaliação Institucional da UFRGS.

WEBOMETRICS. Ranking Web of World Repositories. 2012.

Informação adicional

Sistema de Avaliação: Double Blind Review

IR