1 INTRODUÇÃO

Nos últimos anos as Supremas Instituições de Auditoria/ Contas (Supreme Audit Institutions SAIs ou General Accounting Offices GAOs), em diversos países, buscam uma maior participação como órgãos de estado. No Brasil, a SAI é representada pelo Tribunal de Contas da União (TCU). Dessa forma, o papel dessas instituições vem sendo ampliado de órgão auxiliar do Poder Legislativo para órgão orientador, sobretudo do Poder Executivo no que se refere a serviços e políticas públicas. (OTETEA; BATUSARU; UNGUREANU, 2015; DESMEDT et al., 2017). Isso vem se materializando, principalmente, por meio das auditorias de desempenho (performance audits).

De acordo com a International Organisation of Supreme Audit Institutions – Intosai, a Auditoria de Desempenho (performance audit) trata do exame de programas e atividades governamentais em relação à economicidade, eficiência, eficácia e efetividade, visando o aperfeiçoamento dos Serviços e das Políticas Públicas. (INTERNATIONAL ORGANISATION OF SUPREME AUDIT INSTITUTIONS, 2013). O TCU vem adotando esse tipo de auditoria em diversas políticas públicas, onde convencionou chamar de Auditoria de Natureza Operacional (ANOP). A cada ANOP há participação de uma equipe de auditores, que ao final formulam recomendações e orientações para o aperfeiçoamento da política ou serviço em questão. O Relatório da Auditoria é encaminhado para os Ministros do Tribunal, os quais também fazem suas recomendações, orientações e determinações e as materializam na forma de uma decisão com os respectivos encaminhamentos (Acórdão). Como parte do ciclo de etapas da Auditoria Operacional, o TCU também faz o monitoramento das ANOPs. São novas auditorias cujo objetivo é avaliar se as recomendações foram atendidas e os problemas resolvidos. O resultado do monitoramento também passa pelo mesmo processo do Relatório de Auditoria.

Todavia os efeitos práticos das ANOPs ainda são bastante questionáveis. Em sua pesquisa no Canadá, Morin (2014) constatou que as mudanças ocasionadas pelas ANOPs são de tom moderado e não se apresentam de forma tão significativa, apesar do poder coercitivo da SAI. Em outro estudo, Reichborn-Kjennerud e Vabo (2017)pesquisaram a influência das auditorias operacionais no governo da Noruega. No caso, os resultados indicaram que os auditados levam em consideração os resultados das auditorias da mesma forma que levam em consideração outras formas de avaliação. Tipicamente eles consideram as recomendações dos auditores e da SAI úteis mas não indispensáveis. Os autores também não encontraram resultados signficativos em relação à capacidade de provocar mudanças significativas. Em um terceiro estudo, sobre o impacto das ANOPs promovidas pela SAI da Bélgica (Belgian Court of Audit), Desmedt e outros (2017) também encontraram resultados similares. Segundo os autores as mudanças provocadas pelas auditorias foram lentas e sutis.

Dessa forma, este estudo busca contribuir para o debate sobre a capacidade efetiva de mudança que o processo de ANOP pode causar. Para isso, baseia-se no caso das auditorias realizadas pelo TCU no Programa Universidade para Todos (Prouni). É importante contextualizar que diferentemente dos três casos internacionais apresentados anteriormente, o Brasil é considerado um país em desenvolvimento, sobretudo quando comparado com Noruega, Bélgica e Canadá. Além de se tratar de um país com características bem diferentes, este estudo irá abordar uma política de inclusão social. Trata-se de quatro auditorias empreendidas pelo TCU no Programa Prouni. O programa tem como objetivo aumentar o acesso de estudantes, especialmente os de menor renda, ao ensino superior no país. O Prouni busca alcançar esse objetivo por meio da concessão de bolsas de estudo para estudantes em instituições de ensino superior (IESs), privadas, oferecendo em contrapartida, pelas vagas, a isenção de tributos às instituições que aderirem ao Prouni.

Assim, o presente estudo tem como objetivo idenficar se houve, e o que pode ter causado mudanças significativas no Prouni a partir de investigação sobre a repercurssão dos resultados e as efetivas mudanças a partir da orientação dos auditores. Trata-se de estudo empírico realizado por meio da triangulação de métodos entre pesquisa documental e entrevistas com auditores (2) e auditados (2). Os dados foram analisados, expostos e discutidos de forma qualitativa conforme detalhamento na seção quatro deste estudo.

Além de contribuir para discussão teórica e para a construção de conhecimento no campo da Administração Pública e Políticas Públicas, o presente estudo pode contribuir para o debate sobre o papel das SAIs, inclusive na relação entre poderes, uma vez que as SAIs são, em sua grande maioria, órgãos de Controle Externo auxiliares do Poder Legislativo. Além disso, o estudo acrescenta mais um caso para acúmulo de conhecimento sobre a real efetividade das ANOPs e sua capacidade de mudar ou influenciar de maneira significativa o desenho e a condução de políticas públicas. Por fim, segundo Rei-chborn-Kjennerud e Vabo (2017), existem poucos estudos empíricos focados nos resultados das ANOPs e a infuência das SAIs em políticas e serviços públicos.

Dessa forma, o artigo foi dividido em cinco tópicos. O primeiro tópico se compromete a fazer uma revisão teórica associando o papel das ISIs, as Auditorias de Natureza Operacional, os possíveis efeitos e mudanças que o processo de auditoria pode gerar. A terceira seção contextualiza o leitor sobre o fenômeno estudado, a quarta seção detalha os procedimentos metodológicos adotados; os resultados são apresentados em dois tópicos: um primeiro discutindo a repercursão dos resultados e a ação dos agentes, e um segundo tópico que trata das mudanças ocasionadas pelas ANOPs Por fim, são colocadas na seção 6 as conclusões e considerações gerais.

2 REVISÃO TEÓRICA

Esta seção foi dividida em duas subseções; uma primeira que trata do controle na administração pública, do papel das SAIs, do Tribunal de Contas da União, das ANOPs e uma segunda subseção que aborda a influência dos resultados das auditorias e sua capacidade de mudança.

2.1 Controle da administração pública e auditoria de natureza operacional no Tribunal de Contas da União

Existem várias formas de controle da administração pública. As mais tradicionais são o controle exercido pelo próprio cidadão nas democracias (Controle Social); os controles exercidos por meio de controladorias, que geralmente são órgãos de controle dentro de cada poder do Estado (Controle Interno). No caso do Brasil, por exemplo, o órgão de controle interno do Poder Executivo Federal é o Ministério da Transparência, Fiscalização e Controladoria-Geral da União (CGU), que também realiza ANOP em políticas públicas; o controle exercido pelas SAIs, que são órgãos geralmente posicionados fora da estrutura dos três poderes tradicionais, é conhecido por Controle Externo. Os órgãos de controle externo geralmente auxiliam o Poder Legislativo em sua função fiscalizadora. (ARAÚJO, 2006; AGUIAR; ALBUQUERQUE; MEDEIROS, 2011; DESMEDT et al., 2017; MORIN; HAZGUI, 2016).

Especificamente com relação ao Controle Externo, pode-se considerar que as SAIs realizam três tipos de auditoria: auditorias financeiras, que têm como objetivo o exame das demonstrações contábeis ou financeiras; auditorias de conformidade, que tem como objetivo exame de conformidade de requisitos formais e legais; ANOP, que tem como objetivo exame de economia, eficiência e eficácia a partir da operação de determinado programa, política ou serviço público. (ARAÚJO, 2006; SALEHI; ROSTAMI, 2010; INTERNATIONAL ORGANISATION OF SUPREME AUDIT INSTITUTIONS, 2013)

Nos últimos trinta anos as SAIs estão ampliando a participação no contexto da Nova Administração Pública (New Public Management NPM), sobretudo nos países da Europa Ocidental (MORIN, 2014; DESMEDT et al., 2017). A NPM pode ser considerada um termo guarda-chuvas usado para expressar diversos temas, estilos, padrões de gestão de serviços públicos e reformas ocorridas no setor público nas últimas duas décadas. Esses temas focam na devolução da autoridade ao gestor público, “[...] deixar o gestor gerenciar [...]”, na distinção entre política e responsabilidades de gestão, em processos de gestão em redes com ênfase na economia e na eficiência das instituições e com o intuito de melhorar a performance na gestão e entrega de serviços públicos. (FATTORE; DUBOI; LAPENTA, 2012, p. 4). De acordo com Reichborn-Kjennerud (2014, p. 370), as ANOPs fazem parte do “[...] aparato da Nova Gestão Pública”.

O TCU tem como guia de suas ANOPs as orientações e documentações produzidas pela International Organisation of Supreme Audit Institutions (Intosai). Trata-se de uma organização internacional que reúne entidades fiscalizadoras superiores, criada em 1953; existem 34 países associados, entre eles o Brasil. A organização tem como objetivo promover o intercâmbio de informações e experiências entre as ISAs. (INTERNATIONAL ORGANISATION OF SUPREME AUDIT INSTITUTIONS, 2013). A partir desse intercâmbio foram criados diversos documentos com as diretrizes para a aplicação de auditorias, inclusive ANOPs. Esses documentos servem de guia para as auditorias em inúmeros países, inclusive no Brasil, sobretudo por meio do TCU. A ANOP abrange: a. a auditoria da economicidade de acordo com princípios administrativos e melhores práticas de gestão; b. auditoria da eficiência da utilização dos recursos humanos, financeiros e outros, incluindo a análise dos sistemas de informação, de medidas de desempenho e de mecanismos de controle e procedimentos seguidos pelas entidades auditadas, para corrigir as deficiências identificadas; c. auditoria da eficácia do desempenho em relação à realização da objetividade e do impacto real das atividades considerando o impacto pretendido. (INTERNATIONAL ORGANISATION OF SUPREME AUDIT INSTITUTIONS, 2013).

Nesse sentido o TCU também delimitou algumas características de suas ANOPs. Segundo o TCU, uma auditoria operacional que se tem como principais dimensões de análise a economicidade, a eficiência, a eficácia e a efetividade. Contudo, em um mesmo trabalho pode ser analisada apenas uma ou todas essas dimensões, dependendo dos parâmetros estabelecidos e dos objetivos da avaliação, conforme se observa na Figura 1.

Figura 1
Diagrama de Insumos e Produtos
Adaptado de: BRASIL. Tribunal de Contas da União. Manual de auditoria de natureza operacional. Brasília, DF, 2000.

Na política em estudo (Prouni), o TCU realizou quatro auditorias; duas ANOPs e duas auditorias de monitoramento. A primeira, realizada em 2008, foi a plenário em 2009, e gerou o acórdão n° 816, de 22 de abril de 2009. A segunda auditoria ocorreu em 2009, da qual decorreu o acórdão nº 2043, de 18 de agosto de 2010. Já os monitoramentos ocorreram em 2012 e 2013 e geraram os acórdãos nº 637, de 21 de março de 2012 e nº 2873, de 23 de outubro de 2013 respectivamente.

2.2 Auditorias de Natureza Operacional e Avaliação de Políticas Públicas: o que fazer com os resultados?

De acordo com Jeppesen e outros (2017) a abordagem integrada das bases sobre avaliação de políticas públicas e sobre ANOP pode levar à formação de uma nova disciplina. Para os autores, essa combinação deve se concentrar em trazer métodos de pesquisa avaliativa, orientados pela teoria da avaliação de políticas públicas, juntamente com bases conceituais sobre auditorias orientadas para evidências e com o objetivo de aumentar a eficácia da gestão pública. De acordo com Davis (1990), as duas abordagens, avaliação de políticas públicas e auditoria no setor público, estão preocupadas com a essência da atividade governamental e os resultados sociais; porém, apesar do foco teórico não ser tão diferente, a avaliação de políticas públicas lida com ciências sociais e, dessa forma, existem perspectivas téoricas e filosóficas que se diferem. Esse cuidado precisa ser tomado. (DAVIS, 1990). A lógica da auditoria é instrumental e formal. Dessa forma, a associação entre os dois campos será abordada de forma breve e pontual, tal como no parágrafo seguinte.

A distinção clássica para categorias de utilização das informações produzidas pelas avaliações pode ser feita segundo os propósitos que as originou. Assim, essa concepção engloba três dimensões do uso da avaliação: instrumental, quando busca diretamente a solução de problemas; conceitual, usada para influenciar comportamento dos atores, e, simbólica, utilizada para legitimar decisões que já seriam tomadas de qualquer forma. O uso instrumental, comum em boa parte das ANOPs, tem como objetivo dar apoio às decisões e ajudar na resolução de problemas. Seu uso depende não apenas da qualidade da avaliação, mas da divulgação adequada dos resultados da avaliação, da inteligibilidade e da factibilidade das recomendações propostas. O uso conceitual, também está relacionado às auditorias, sobretudo ao papel do auditor, como será discutido a seguir. Esse tipo de aplicação é utilizado quando há possibilidade de as descobertas alterarem o modo como os técnicos (auditados) veem a natureza, o modo de operação e o impacto da política pública. O uso como instrumento de persuasão, se aproxima da ideia do uso simbólico, ocorre quando os tomadores de decisões utilizam a avaliação para reforçar suas opiniões sobre a política ou programa e mobilizar apoio nessa direção, nesse caso a informação seria divulgada de forma seletiva. (FARIA, 2005; DESMEDT et al., 2017).

Quanto aos resultados e os fatores que levariam à mudança, pôde-se observar alguns achados empíricos relevantes. Segundo Reichborn-Kjennerud e Vabo (2017), estudos na Noruega mostraram que se os auditados considerarem o relatório útil e o órgão auditor confiável, as considerações acabavam sendo implementadas. Um outro fator que ainda pesava nessa decisão, segundo os autores, era a efetiva participação dos auditados no processo de auditoria. Segundo os autores, em outros estudos na França e na Estonia, os auditados não perceberam utilidade no relatório. Dessa forma, a percepção dos auditados, a participação dos auditores e auditados no processo, além dos fatores contextuais, podem ser determinantes para o uso ou não dos resultados da auditoria. Ou seja, quando a qualidade da auditoria realizada pela ISA é percebida, quando os auditores e os auditados participam ativamente, é possível que os auditados adotem as recomendações. (REICHBORN-KJENNERUD, 2014; REICHBORN-KJENNERUD; VABO, 2017).

Outro aspecto que pode ser determinante para o uso dos resultados é a competência dos auditores em conduzir o processo de auditoria. A forma como os auditores conduzem e a percepção dos auditados sobre a capacidade técnica do auditor, a forma como o auditor coloca as evidências em seu relatório e como os auditados percebem aquilo como verdadeiro pode ser um fator importante para adoção das recomendações. (REICHBORN-KJENNERUD; VABO, 2017). Por outro lado, de acordo com Morin (2014) existem alguns estudos empíricos que se preocupam quanto ao comportamento dos auditores. Segundo a autora, os auditores por vezes se transformam em “mestres ilusionistas” (MORIN, 2014, p. 339). Isso pode ocorrer porque os auditores supervalorizaram os achados ou até mesmo por questões políticas, como se discutirá nos tópicos seguintes.

3 O PROGRAMA UNIVERSIDADE PARA TODOS PROUNI

O desafio de assegurar igualdade no acesso ao ensino superior é uma preocupação tanto de países considerados ricos, quanto de países considerados pobres; obviamente, deve-se levar em conta o contexto e proporção entre esses países. Por exemplo, diferentemente da Inglaterra, o Brasil tem a educação dos setores públicos e privados altamente diferenciados. (MCCOWAN, 2015). O Sistema de Educação Superior no Brasil expandiu rapidamente a partir da década de 1990. A partir desse período houve um crescimento muito grande de instituições privadas de ensino superior, permitindo um aumento do número de alunos de 1.5 milhão em 1992, para mais de 7.5 milhões em 2012. Em 2015 foi 1.9 milhão de matrículas nas universidades públicas e 6 milhões de matrículas em universidades privadas. (INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA, 2015). Parte considerável desse crescimento se justifica pelos programas de financiamento estudantil tais como o Fundo de Financiamento Estudantil (FIES) e o Prouni. (MCCOWAN, 2015).

O Prouni é um programa coordenado pelo Ministério da Educação (MEC) cujo objetivo é aumentar o acesso de estudantes, especialmente os de menor renda, ao ensino superior no país. Ele busca alcançar esse objetivo por meio da concessão de bolsas de estudo integrais ou parciais para estudantes em IESs com ou sem fins lucrativos, oferecendo em contrapartida isenção de tributos para aquelas instituições que aderirem ao programa. De acordo com pesquisa realizada pelo Instituto Nacional de Estudos e Pesquisas (INEP, 2015) quase 50% das vagas nas universidades privadas não estavam sendo utilizadas em 2004. Dessa forma, o Prouni se justificou como sendo a forma mais viável para aumentar a oferta de vagas no ensino superior pelo governo, uma vez que o programa trata não de criar novas vagas, mas de ocupar as vagas de universidades privadas já existentes, enquanto uma renúncia fiscal do Prouni chegou a 325,81 milhões de reais para utilizar 195 mil vagas ociosas das universidades privadas, em 2008. Segundo Guerra e Fernandes (2009), o governo usaria seis vezes o valor da renúncia fiscal para gerar o mesmo número de vagas em universidades públicas.

A IES pode aderir ao Prouni por meio da assinatura de um termo de adesão. Mas para a emissão desse termo as instituições deverão prestar informações solicitadas no Sistema Informatizado do Prouni (Sisprouni) e depois passarão por uma consulta ao Cadastro Informativo de Créditos não Quitados do Setor Público Federal (Cadin). A assinatura desse termo irá lhe conferir, de acordo com a Lei nº 11.096, de 13 de janeiro de 2005, além da isenção fiscal proporcional, a obrigação de ofertar as bolsas de duas formas diferentes: bolsas integrais e/ou bolsas parciais.2

Em relação ao incentivo para a permanência dos alunos, o programa garante aos bolsistas integrais o auxílio permanência, cujo valor máximo é o mesmo praticado pela Política Federal de Bolsas de Iniciação Científica da Coordenação de Aperfeiçoamento de Pessoa de Nível Superior (CAPES). Já os bolsistas parciais, deverão recorrer ao FIES do Ensino Superior, se precisarem de recurso complementar.

4 PROCEDIMENTOS METODOLÓGICOS

A pesquisa foi desenvolvida em duas fases: a primeira buscou entender, descrever e recuperar o histórico da política Prouni e das auditorias realizadas, para que se obtenha maior compreensão sobre o fenômeno pesquisado; e em um segundo momento conduziu-se a investigação acerca dos efeitos das auditorias realizadas. Quanto aos efeitos, utilizou-se a revisão teórica para identificação de três dimensões de análise: 1. A repercussão do processo de auditoria; 2. Ações concretas efetivamente adotadas pelos auditados. Ao final, busca-se saber se houve mudanças significativas, que tipo de mudança e quais os fatores que podem ter condicionado essa mudança.

Para tanto, realizou-se a pesquisa por meio de triangulação de métodos por meio de entrevistas e pesquisa documental. Foram realizadas quatro entrevistas com atores-chave envolvidos com as auditorias (auditores e auditados). São eles dois auditores que participaram da auditoria, avaliação e monitoramento da política e dois gestores do Prouni, pertencentes ao MEC. O primeiro gestor está na coordenação da política desde 2011, e o segundo está envolvido com a política desde 2013, sendo nomeado como Coordenador-Geral de Relações Acadêmicas de Graduação desde agosto de 2014. As entrevistas foram guiadas por roteiro semiestruturado, foram gravadas, transcritas e os dados foram analisados por meio de análise de conteúdo.

Para pesquisa documental foram coletadas reportagens veiculadas na mídia, dados oficiais e não oficiais sobre a política e dados oficiais sobre as auditorias. As notícias foram coletadas do portal do Jornal Folha de São Paulo (34), O Globo (85), Acervo G1 (95) entre (01.01.2008 e 01.01.2014). Os documentos utilizados foram os dois relatórios de auditoria que originaram os Acórdãos nº 816/2009 e 2043/2010, o Projeto de Lei nº 1.096/2005, a Medida provisória nº 213, de 10 de setembro de 2004 e nº 517, de 30 de dezembro de 2010, o Decreto nº 5.245, de 15 de outubro de 2004, a Portaria nº 3.268, de 18 de outubro de 2004, o Plano Nacional de Educação de 2001 e a Instrução Normativa nº 456, de 5 de outubro de 2004, Relatório de Monitoramento dos Acórdãos nº 637/2012 e nº 2873/2013.

5 RESULTADOS DA PESQUISA

De acordo com os objetivos da pesquisa, a apresentação e discussão dos resultados foram divididas em três blocos. O primeiro analisa a influência dos diversos atores envolvidos e as possíveis consequências para mudanças na política. O segundo busca apresentar e discutir os achados empíricos relacionados aos resultados concretos obtidos pela auditoria, e o terceiro bloco discute a relação entre auditores e auditados e a influência dessa relação nas mudanças na política.

5.1 Repercussão dos resultados das auditorias: a mídia, os auditores e os auditados

Em termos de repercussão, as auditorias do Prouni tiveram significativo impacto na Imprensa e provavelmente isso fez com que alguns atores se mobilizassem, tais como o Presidente da República e a cúpula do Executivo Federal daquela época3. Nesse sentido, os principais atores identificados foram os Auditores, os Auditados e a Mídia. A sociedade não foi observada como um ator ativo no processo a partir do que se veiculou na mídia.

Os principais pontos das auditorias explorados pela Mídia foram as possíveis fraudes no processo, a partir de pessoas que aparentemente possuíam renda bastante superior às exigidas para ingresso no programa, pessoas que possuíam carros de luxo e/ou cursavam dois cursos superiores ao mesmo tempo, um curso em uma Universidade Federal e outro pelo Prouni. As notícias divulgadas fizeram com que o debate entrasse na agenda do governo. Logo os auditados se manifestaram na tentativa de justificar as possíveis fraudes como possível ascensão social de alguns que ingressaram no programa, deficientes físicos que necessitavam de carros adaptados e motoristas de táxi que precisavam de carros de luxo. Quanto à renda, os auditados foram aos meios de comunicação afirmar que verificariam o caso. A partir dessas observações, não pode se considerar que com as informações certas a Mídia tem capacidade de mobilizar diversos atores políticos. (DESMEDT et al., 2017). É importante destacar que, quanto ao acúmulo de bolsas ou à formação em dois cursos superiores, as regras do programa não são claras, e, dessa forma, permitem que o beneficiário possa usufruir do benefício, por exemplo, de cursar uma Universidade Federal e uma Privada com recursos do Prouni.

Outro ponto bastante explorado pela mídia, naquela época, foi a meta estabelecida pelo Plano Nacional de Educação (Lei nº 10.172, de 9 de janeiro de 2001) de matricular 30% dos alunos em condições (entre 18 e 24) até 2011 no Ensino Superior. Segundo o relatório do TCU, a partir da projeção realizada (Taxa de Frequência Líquida ao Ensino Superior) em progressão linear, em 2015 seria atingida apenas metade da meta (15,6%). Além disso, a falta de “[...] ações coordenadas e sistematizadas do Ministério da Educação”, alegada no Acórdão nº 2043/2010, impediria o atingimento da meta. O governo logo reagiu por meio da Secretaria de Educação do MEC, apresentando indicadores e questionando a consistência dos cálculos elaborados pela equipe de auditoria. O Próprio Ministro da Educação e a Secretária Responsável pelo Prouni foram à imprensa questionar o relatório dos auditores.

Ainda com relação aos cálculos da equipe de auditoria, os auditores calcularam o total da renúncia de receita e dividiram pela quantidade de bolsas ofertadas, chegando a um resultado médio das bolsas de aproximadamente R$ 700,00. De acordo com o valor de referência, segundo os auditores, as bolsas do Prouni estariam saindo 22% mais caras que o valor de mercado (em média). Além disso, foi veiculado que 34,9% das vagas não estavam preenchidas, mesmo com a Instituição de Ensino Superior recebendo isenção integral. Assim, segundo o relatório, basta à Instituição aderir ao programa, para que receba os benefícios fiscais, isto é, de 1.000 vagas oferecidas pela IES. Se apenas uma for ocupada, pelas regras vigentes à época do programa, a IES recebe a isenção total dos mesmos tributos que outra IES que teve todas as suas 1000 vagas ofertadas preenchidas.

Nessa seção se concluí que a Mídia teve um papel significativo em acender o debate político e em mobilizar atores envolvidos com a política, o que pode ser considerado um processo natural em estados democráticos. Por outro lado, de acordo com Reichborn-Kjennerud (2014) a mídia faz parte do processo democrático, mas geralmente exagera, além de oferecer uma agenda política a partir de escândalos. Cabe observar que faz parte do processo de ANOP a divulgação dos resultados da auditoria para a sociedade. (INTERNATIONAL ORGANISATION OF SUPREME AUDIT INSTITUTIONS, 2013; MAZUR, 2016). Além disso, a estratégia de divulgação pode ser elaborada pela SAI e muitas vezes pelos próprios auditores. Reichborn-Kjennerud (2014) afirmam que essa estratégia de comunicação dos auditores, por vezes, pode ser bastante agressiva. Ademais, pode ser seletiva com relação ao que será exposto.

5.2 Mudanças concretizada e mudanças não concretizadas

Em que pese às ações concretas adotadas pelos auditados, é importante destacar os principais pontos elencados pela auditoria; além do divulgado na mídia, foram levantados a partir da pesquisa documental. Isso é importante destacar, porque nem sempre as orientações e recomendações apresentadas nos relatórios aparecem nos acórdãos. Durante as entrevistas, um dos auditores afirmou que há diferenças significativas entre as propostas de melhoria realizadas pelos auditores e o que de fato sai no acórdão. “Interferências políticas acabam gerando esse tipo de distorção.” (Informação verbal)4. De acordo com Morin (2014, p. 399), os auditores muitas vezes são transformados em “[...] legitimadores para ações governamentais, agindo como cúmplices, por vezes involuntariamente”. Além disso, torna-se inevitável que as fronteiras entre auditoria, política pública e processo político não sejam muito claras (GRASSO; SHARKANSKY, 2001).

A maior parte das recomendações observadas, embora representem impacto significativo com relação à operação da política, em sua grande maioria não envolvem aspectos estruturais da política ou a discussão sobre seus propósitos como política de estado. A discussão se limita aos propósitos instrumentais e conceituais com recomendações genéricas. Apenas o que fazer e nada de como pode ser feito. As explicações para isso vão desde a capacitação/capacidade do auditor para atuar também como um orientador até o papel da SAI, onde alguns acreditam que deve declarar os problemas mas evitar apresentar a solução. (REICHBORN-KJENNERUD, 2014; MAZUR, 2016). Dessa forma, os resultados batem como outros estudos conduzidos na Bélgica e no Canadá; as mudanças abrem mais janelas de debate que uma grande mudança ou reforma. (REICHBORN-KJENNERUD, 2014; MORIN, 2014; DESMEDT et al., 2017).

Apesar das mudanças operacionais, pontuais e incrementais, os auditados, em conjunto com os auditores, implementaram melhorias significativas na política. Em termos quantitativos os resultados podem ser considerados significativos, como se observa na Figura 2.

Figura 2
Cumprimento das recomendações do Tribunal de Contas da União
Elaborado pelos autores, a partir de dados da pesquisa e dos Acórdãos nº 816/2009, nº 2043/2010, nº 637/2012 e nº 2873/2013.

Os resultados mostram que houve uma considerável aceitação das recomendações dos auditores. O atendimento das recomendações pode estar ocorrendo por diversos motivos, que precisam ser mais bem investigados, tais como o aprendizado adquirido por meio da auditoria, pressão de diversos atores envolvidos com a política, pressão dos institutos de controle (coerção) e da mídia, além da própria vontade dos gestores em se melhorar a política. (DESMEDT et al., 2017).

Entre as principais recomendações feitas pelos auditores estão as denúncias de irregularidade envolvendo bolsistas que não atendiam aos critérios de inserção no Prouni. Para lidar com isso, foram adotadas medidas para criar o Banco de Dados Nacional de Estudantes do Ensino Superior e sua integração em outras bases de dados (Registro Nacional de Veículos Automotores -RENAVAN, Relação Anual de Informações Sociais RAIS). Também foram criados canais de comunicação para recebimento de denúncias. Por fim, criou-se a Comissão de Acompanhamento e Controle Social (COLAP). O resultado mais incisivo foi a exclusão de aproximadamente 1.000 bolsistas que não fazem parte do público alvo do Prouni, segundo o MEC.

Aparentemente a mudança mais significativa foi em relação à evasão de receita, originada pela Renúncia Fiscal e pela não ocupação de vagas nas IES. Nesse ponto, houve mudança na forma de cálculo das isenções fiscais concedidas às IES e alteração legislativa. O artigo 8° da Lei nº 11.096/2005 foi alterado pelo artigo 26º da Lei n° 12.431, de 24 de junho de 2011 a partir da Medida Provisória nº 517/2010. Assim, a isenção fiscal devida a cada IES passou a ser calculada na proporção da ocupação efetiva das bolsas ofertadas. A iniciativa para mudança da legislação partiu do Ministério da Educação e não encontrou resistência ao longo do processo legislativo. No período de 2005-2008 as universidades participantes do programa tiveram uma isenção fiscal de 673 milhões de reais com a mudança. Segundo o Relatório de Auditoria, seriam economizados em dois anos aproximadamente 104 milhões de reais.

Sob uma análise mais aprofundada, o que se observa é que a maioria das recomendações atendidas estão orientadas ao Controle da Política. Medidas significativas para aumentar a quantidade de vagas realmente ocupadas, a qualidade do ensino e a redução da taxa de evasão (foi identificada uma taxa de evasão de 19,5% entre o período de 2005 1/2008), não foram tão bem tratadas quanto as medidas de controle operacional. Além disso, as mudanças efetivamente implementadas seguiram a agenda de escândalos, propagada pela Mídia. Isso é facilmente observado quando se associa os resultados do tópico 4.1 com o 4.2.

O fato de as mudanças seguirem uma pauta de Controle e Escândalos, pode também estar relacionado com o perfil dos auditores. Isso reforçaria mais uma vez a hipótese de que eles exercem grande influência nas mudanças. Isso poderia ser verificado por uma relação entre o perfil dos auditores e o tipo de mudança implementada que pode ir além da pressão da mídia. Para conclusões a esse respeito são necessários estudos futuros, mas já há uma base teórica promissora sobre o tema. Alguns estudos tipificam o papel que auditores assumem na ANOP: a. Cães de Guarda (whachdogs); b. Contadores Públicos; c. Gestores; d. Pesquisadores e. Juízes. (REICHBORN-KJENNERUD, 2014; MORIN; HAZGUI, 2016).

Entre as recomendações não exploradas pela mídia e não implementadas estão as avaliações de impacto do Prouni e a inclusão dos resultados dessas avaliações de impacto nos relatórios do programa. Foi observado também que algumas mudanças sugeridas requerem mais alterações no arcabouço legal.

De acordo com Mazur (2016), não é incomum as ISAs recomendarem alterações na legislação. Porém, segundo o autor, a participação da ISA na construção da proposta legislativa é bastante limitada. Talvez a proposta de mudança mais significativa, em termos de desenho e estrutura da política, foi a recomendação, pela equipe de auditoria, para se unificar os dois grandes programas (Prouni e o Fies): O Acórdão nº 2043/2010 recomenda ao Ministério da Educação que: “[...] avalie a conveniência de integrar o Prouni e o Fies num só programa, como forma de uniformizar e racionalizar os processos envolvidos e simplificar a burocracia existente.” (BRASIL, 2010). O que se fez nesse sentido foi uma maior integração do Prouni com o FIES integrando o calendário de oferta de bolsas, mas a mudança legislativa não foi implementada.

Portanto, o que se observou é que de fato o processo de ANOP gera mudanças na política, a Mídia teve uma participação relevante na agenda de mudanças e o caráter de controle e operacional das mudanças implementadas pode estar relacionado ao papel adotado pelos auditores na condução das auditorias. Nesse aspecto, outros estudos já ressaltam a importância do auditor como agente de mudança. (POLLITT; SUMMA, 1997; IRAWAN; MCINTYRE-MILLS, 2016; MORIN; HAZGUI, 2016; REICHBORN-KJENNE-RUD; VABO, 2017).

6 CONCLUSÃO

Os resultados desta pesquisa corroboram os estudos de Salehi e Rostami (2010), Morin (2014), Otetea, Batusaru e Ungureanu (2015)Reichborn-Kjennerud e Vabo (2017) e Desmedt e outros (2017), onde os resultados apontam para muitas mudanças e nenhuma revolução, reforma ou mudança significativamente grande. Os resultados do processo de ANOP, em termos de valor social, não são muito claros quando se olha além do controle, dos escândalos e do custo (REICHBORN-KJENNERUD; VABO, 2017).

É possível sinalizar que as ANOPs podem desempenhar um papel importante nos debates na mídia, porém o grande valor agregado, no final, ainda está no controle e nos custos. É o que se observa no caso pesquisado. É importante observar que políticas como o Prouni, possuem grande impacto para o país, sua transversalidade envolvendo desenvolvimento social, economia, saúde, ciência e tecnologia entre outras áreas destacam a relevância da política. Portanto, não seria interessante discutir para além do controle? Questões tais como o novo papel das ISAs como órgãos de estado, são bem relevantes e atuais. O estudo de Pollitt e Summa (1997), no Reino Unido, já apontavam para essa mudança no papel das ISAs. As pesquisas de Irawan e Mcintyre-Mills (2016), na Indonésia, também apontam para perspectiva de mudanças mais significativas. Os autores propõem que um processo de auditoria poderia levar em consideração uma visão mais sistêmica e do todo, e os auditores poderiam expandir suas mentes para execução de ANOPs que forneçam melhores resultados de aprendizagem e desenvolvimento.

Em nível nacional não há muita literatura sobre as ANOPs, e, portanto, sugere-se como agenda de pesquisa outros estudos na mesma linha, no sentido de agregar-se ao debate internacional sobre o tema, aprofundando as discussões sobre o papel das ISAs e da ANOPs, bem como a atuação de auditores e auditados no processo e nas mudanças institucionais.

REFERÊNCIAS

AGUIAR, U.; ALBUQUERQUE, M. A. S. de; MEDEIROS, P. H. R. A Administração Pública sob a perspectiva do controle externo. Belo Horizonte: Fórum, 2011.

ARAÚJO, I. Introdução à Auditoria Operacional. 3. ed. Rio de Janeiro: FGV Editora, 2006.

BRASIL. Tribunal de Contas da União. Acórdão n. 2043, de 18 de agosto de 2010. Relatório de auditoria. Avaliação de resultados do Programa Prouni. Projeto Pitágoras. Utilização de métodos quantitativos avançados na avaliação de resultados. Impactos positivos do programa. Oportunidades de melhoria, em especial nos controles do programa voltados para resultado. Recomendações. Brasília, DF, 2010. Relator: Benjamin Zymler.

BRASIL. Tribunal de Contas da União. Manual de auditoria de natureza operacional. Brasília, DF, 2000.

DAVIS, D. F. Do you want a performance audit or a program evaluation? Public Administration Review, [S. l.], v. 50, p. 35, jan./ feb. 1990. ISSN: 00333352.

DESMEDT, E. et al. Impact of performance audit on the Administration: a Belgian study (2005-2010). Managerial Auditing Journal, [s. n.], v. 32, p. 251-275, 2017. ISBN: 0420161368 ISSN: 0268-6902. Disponivel em:<http://www.emeraldinsight.com/doi/10.1108/MAJ-04-2016-1368>. Acesso em: 7 maio 2017.

FARIA, C. A. P. de. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97169, 2005.

FATTORE, G.; DUBOIS, H. F. W.; LAPENTA, A. Measuring new public management and governance. Public Administration Journal, [S. l.], v. 72, p. 218-227, 2012.

GRASSO, P. G.; SHARKANSKY, I. The Auditing of Public Policy and the Politics of Auditing: the U.S. GAO and Israelś State Comptroller. Governance, [S. l.], v. 14, p. 1-21, jan. 2001. ISSN: 0952-1895. Disponivel em:<http://doi.wiley.com/10.1111/0952-1895.00149>. Acesso em: 7 maio 2017.

INTERNATIONAL ORGANISATION OF SUPREME AUDIT INSTITUTIONS. ISSAI 300 Fundamental Principles of Performance Auditing. Vienna, 2013.

IRAWAN, A. B.; MCINTYRE-MILLS, J. Application of critical systems thinking to performance auditing practice at the Indonesian Supreme Audit Institution: issues and challenges. Systems Research and Behavioral Science, [S. l.], v. 33, p. 24-44, 2016. ISSN: 10991743.

JEPPESEN, K. K. et al. The strategic options of Supreme Audit Institutions: the case of four nordic countries. Financial Accountability and Management, [S. l.], v. 33, p. 146-170, 2017. ISSN: 02674424.

MAZUR, J. Contribution of the Supreme Audit Office of Poland to Legislation and Experiences of Some Other SAIs. Public Finance Quarterly, London, v. 3, p. 343-359, 2016.

MCCOWAN, T. Three dimensions of equity of access to higher education. Compare: A Journal of Comparative and International Education, [S. l.], v. 7925, p. 1-21, 2015. ISSN: 0305-7925.

MORIN, D. Auditors General ́s impact on administrations: a panCanadian study (2001-2011). Managerial Auditing Journal, [s. n.], v. 29, p. 395-426, may 2014. ISSN: 0268-6902. Disponivel em:<http://www.emeraldinsight.com/doi/10.1108/MAJ-10-2013-0948>. Acesso em: 7 maio 2017.

MORIN, D.; HAZGUI, M. We are much more than watchdogs. Journal of Accounting and Organizational Change, [S. l.], v. 12, p. 568-589, 2016. ISSN: 0264-0473.

OTETEA, A.; BATUSARU, C. M. T.; UNGUREANU, M. A. The performance impact of the Supreme Audit Institutions on National Budgets. Great Britain and Romania Case – Comparative Study. Procedia Economics and Finance, [S. l.], v. 27, p. 621-628, 2015. ISSN ISSN: 22125671. Disponivel em:<http://www.sciencedirect. com/science/article/pii/S2212567115010424>. Acesso em: 7 maio 2017.

POLLITT, C.; SUMMA, H. Comparative and international administration reflexive watchdogs?: how Supreme Audit Institutions Account for Themselves. Public Administration, London, v. 75, p. 313-336, 1997. ISSN: 0033-3298.

REICHBORN-KJENNERUD, K. Performance audit and the importance of the public debate. Evaluation, [S. l.], v. 20, p. 368-385, 2014. ISSN: 1356-3890. Disponivel em:<http://evi.sagepub.com/cgi/doi/10.1177/1356389014539869>. Acesso em: 7 maio 2017.

REICHBORN-KJENNERUD, K.; VABO, S. I. Performance audit as a contributor to change and improvement in public administration. Evaluation, [S. l.], v. 23, p. 6-23, jan. 2017. ISSN: 1356-3890. Disponivel em:<http://journals.sagepub.com/doi/10.1177/1356389016683871>. Acesso em: 7 maio 2017.

SALEHI, M.; ROSTAMI, V. A study on performance of Iranian supreme audit court. African Journal of Business Management., [S. l.], v. 4, p. 1668-1678, 2010.

Notas