Introdução

As políticas públicas dispõem de capacidade para promover mudanças em contextos ou situações problemáticas que demandam suporte governamental, desde que sua elaboração e execução estejam em consonância com o esperado pela sociedade. Quando esta sinergia é capturada pelos indivíduos envolvidos com a política, os efeitos práticos de suas propostas tendem a ser mais notáveis, contribuindo para a mudança da realidade vivida até então (Souza, 2013).

Há de se ressaltar que apenas a implementação das ações da política não se traduz em garantia de resultados positivos, sendo necessário o acompanhamento contínuo por meio de indicadores que expressem formalmente o impacto ocasionado por ela no público-alvo. Este processo de monitoramento, em conjunto com a aplicação de métodos bem definidos de avaliação dos resultados, é capaz de fornecer sólidos subsídios para a tomada de diversas decisões que abarcam desde a realização de ajustes na política até mesmo a sua interrupção em uma situação de não atendimento aos objetivos inicialmente propostos (Ferreira & Santos, 2014).

Nos últimos vinte anos, observa-se, no Brasil, notável aumento da formalização de políticas públicas voltadas para a área de educação em seus diferentes níveis (Sant’anna & Almeida, 2021). Na Educação Básica, destaque para o Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização do Magistério (FUNDEB), enquanto o Ensino Superior passou a contar com o suporte do Programa Universidade para Todos (PROUNI), o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI), o Fundo de Financiamento ao Estudante do Ensino Superior (FIES) e a Lei das Cotas (Lei 12.711, de 29 de agosto de 2012), dentre outras. Com diferenciadas propostas, tais políticas trazem em sua constituição a expectativa de arquitetar um ambiente favorável para a educação no país, seja do ponto de vista das instituições educacionais, estudantes e da sociedade em geral.

O perfil dos estudantes de Instituições Federais de Ensino Superior (IFES) passou por modificações recentes em função da ampliação do acesso para indivíduos advindos de políticas afirmativas e inclusivas, assim construindo ambientes universitários mais plurais e ricos culturalmente (Senkevics & Mello, 2019). Entretanto, a partir do ingresso de estudantes com rendas familiares mais baixas, houve necessidade de incrementar os programas de auxílios gerenciados, até então, por conta de cada instituição. Para auxiliar os estudantes com vulnerabilidades socioeconômicas a continuarem o seu trajeto acadêmico, uma nova política pública surgiu com o propósito de nortear a ação das IFES no que se refere à assistência estudantil, denominada Programa Nacional de Assistência Estudantil (PNAES).

Para Recktenvald, Mattei e Pereira (2018), o PNAES enquanto política pública compensatória das desigualdades sociais do país buscou padronizar, em um primeiro momento, as ações ofertadas pelas IFES aos estudantes vulneráveis socioeconomicamente da educação superior, ampliando as condições mínimas para a permanência destes nas instituições. No seu escopo não constam somente ações que atendam necessidades materiais, mas abrangem demandas relacionadas com a cultura, saúde e apoio pedagógico. A sua formalização como Decreto em 2010 trouxe uma importante mudança no cenário educacional superior, em função da criação de dotação orçamentária específica para o programa junto ao Ministério da Educação.

Embora o orçamento (em reais) destinado pelo Ministério da Educação para despesas relacionadas com ações do PNAES tenha crescido desde a sua formalização, conforme observa-se na Figura 1, o aumento da demanda nas IFES faz com que apenas cerca de 20% dos estudantes da educação superior sejam atendidos através de auxílios ofertados pelas ações da política (Bianchi & Adamczyk, 2021).

Melo (2019) adverte que, apesar de amplo em sua proposta de atuação, uma grave deficiência do PNAES é não adotar critérios mensuráveis que permitam monitorar o cumprimento dos objetivos indicados, bem como a falta de previsão regulamentar que habilite o controle social sobre a forma de utilização dos recursos direcionados ao programa. Os estudos de Dias e Carvalho (2021) e Lima e Ferreira (2016) corroboram estas preocupações, afirmando que o processo de avaliação dos resultados da implementação do PNAES nas IFES acontece de forma isolada e superficial, não sendo possível, portanto, construir generalizações que habilitem a compreensão do alcance do programa em âmbito nacional. Barbosa, Ferreira e Rezende (2020) salientam que o Decreto do PNAES prevê que as próprias instituições definam quais mecanismos serão utilizados para acompanhamento e avaliação do programa no âmbito institucional, dificultando sobremaneira a realização de estudos comparativos entre os resultados alcançados por diferentes IFES.

O Instituto Federal de Minas Gerais (IFMG)^[1] é uma instituição de ensino pública que recebe e utiliza os recursos advindos do PNAES para assistir os seus estudantes mais vulneráveis. São ofertados desde cursos técnicos integrados ao Ensino Médio até cursos de nível superior nas modalidades de graduação e pós-graduação (Lato Sensu e Stricto Sensu), distribuídos em 18 campi localizados, em sua maioria, na região central de Minas Gerais. De acordo com a Plataforma Nilo Peçanha (PNP), em 2023 a instituição possuía 20.963 estudantes matriculados (excetuando registros em cursos de Formação Inicial e Continuada), sendo 8.889 vinculados a cursos de graduação presenciais (42% do total). A Política de Assistência Estudantil (PAE) do IFMG é um documento que observa incondicionalmente os preceitos advindos do PNAES, visando auxiliar a comunidade acadêmica no estabelecimento de ações e na elaboração de projetos que contribuam em diversos aspectos da vivência daqueles estudantes com demanda identificada (IFMG, 2025).

Objetiva-se neste artigo mensurar quantitativamente o impacto proporcionado pela política pública do PNAES, especificamente as ações reproduzidas no formato de concessão de auxílios socioeconômicos do tipo bolsa permanência para estudantes com vulnerabilidade comprovada, no desempenho acadêmico e na evasão escolar dos estudantes de cursos de graduação presencial do IFMG. A definição do auxílio de bolsa permanência como representante da execução do PNAES na instituição se deve ao fato de ser o único auxílio concedido por todos os campi, ao contrário de outros específicos ofertados somente por algumas unidades, como o auxílio alimentação e a Moradia Estudantil. Os três construtos que direcionam a análise deste artigo envolvem a evasão escolar, o desempenho acadêmico e a concessão de auxílios socioeconômicos pela PAE do IFMG.

A condução do estudo se justifica, inicialmente, sob o aspecto financeiro, pois permite compreender se os gastos do Governo Federal com a política pública de assistência estudantil de uma IFES específica produzem os efeitos esperados para o seu público-alvo. De maneira complementar, tem-se a experimentação de uma abordagem metodológica quantitativa que permite mensurar com confiabilidade o impacto gerado pela política pública nos envolvidos, podendo ser replicada por outras IFES que visam obter novas percepções sobre a atuação da política em seus contextos. Espera-se que os resultados apresentados sirvam para confirmar a importância da política pública do PNAES enquanto fomentadora de condições para que os estudantes obtenham maior desempenho acadêmico e permaneçam em seus cursos, de forma que recursos financeiros adicionais sejam direcionados para ampliar o atendimento a um maior contingente de beneficiários com vulnerabilidades socioeconômicas.

A sequência do artigo apresenta uma seção que explora os conceitos teóricos básicos sobre a avaliação de políticas públicas e apresenta o histórico de criação do PNAES; uma seção com os procedimentos metodológicos adotados para a consecução das atividades propostas, seguida por outra com os resultados obtidos; por fim, uma seção com as considerações finais do estudo, envolvendo conclusões, contribuições, fatores limitantes e possibilidades de estudos futuros.

Fundamentos teóricos

Avaliação de políticas públicas

Antes de tratar especificamente do processo de avaliação de uma política pública, é necessário compreender, sob o ponto de vista teórico, qual o significado e a aplicação deste conceito. Neste sentido, Lopes e Amaral (2008) afirmam que as políticas públicas abrangem os planos, ações e metas propostos pelos governos em suas diversas esferas, como nacional, estadual ou municipal, com o intuito de promover o bem-estar de toda a sociedade em coerência com o interesse público. Dado que as demandas dos grupos aos quais os indivíduos pertencem não necessariamente são as mesmas, e os recursos disponíveis pelo poder público para atender aos pleitos são escassos, as políticas públicas que prosperam neste ambiente precisam, sob pena de impacto negativo em seus resultados, ser de interesse da maior parte da sociedade envolvida, incrementando o bem-estar daqueles participantes direta ou indiretamente com suas ações.

De acordo com Saravia e Ferrarezi (2007), o conceito de política pública é passível de análise mediante duas perspectivas: abstrata e operacional. No caso da abstrata, a política pública é entendida como um conjunto de decisões públicas tomadas com o propósito de continuidade do equilíbrio social ou para construir um desequilíbrio apto a alterar a realidade vivida pela sociedade. Sob o enfoque operacional, uma política pública se traduz como um sistema formalizado de recursos, objetivos, metas e ações que, estabelecido um período específico de tempo de atuação, mantenha ou modifique, preferencialmente para melhor, diversos aspectos da vida social de um grupo de indivíduos.

Para Vásquez e Delaplace (2011) uma política pública pode ser identificada em contextos onde o poder governamental utiliza seus próprios recursos na promoção do bem-estar da sociedade com a execução de ações racionais e formalmente delineadas. Desta forma, a política pública seria o instrumento para a solução de problemas que afetam a normalidade do bem-estar dos indivíduos. Os autores ressaltam a necessidade de as atividades constantes no processo de elaboração e execução da política pública serem guiadas pela racionalidade dos envolvidos, fazendo com que o resultado alcançado seja adequado aos objetivos propostos, sem redução ou incremento exagerados do escopo de atuação da política pública.

Entendimento similar é apresentado por Secchi (2014), cuja conceituação de política pública aponta para uma linha de ação constituída a partir do objetivo de atender a sociedade em problemas do seu cotidiano. É fundamental, na visão deste autor, que a política seja estruturada como uma resposta intencional a estes problemas, seja ativa ou passiva, evitando desvios inadequados de sua abrangência e, ao mesmo tempo, atendendo a uma relevância coletiva.

No que diz respeito às características gerais das políticas públicas, Viana (1996) afirma que elas precisam ter bem clara a definição do público-alvo; apresentar-se no formato de medidas concretas sobre o contexto em que está inserida; indicar os critérios e meios pelos quais os recursos serão alocados e distribuídos; façam parte de um conjunto maior de ações capitaneadas pelo governo; fixem objetivos e metas a serem atingidas em momentos próprios de medição. Para Saravia e Ferrarezi (2007), as políticas públicas mantêm, mutuamente, quatro propriedades: I) institucional, indicando que uma autoridade constituída formal e legalmente chancelou sua elaboração; II) decisória, tendo sido construída para representar uma decisão governamental que visa contribuir para a solução de problemas e/ou atendimento de necessidades; III) comportamental, delimitando eventuais ações ou inações conforme cada contexto apresentado; IV) causal, representando a consciência do impacto da execução de suas proposições na sociedade.

Howlett, Ramesh e Perl (2009) relacionam cinco fases como componentes básicos do ciclo para construção de políticas públicas. A primeira delas é nomeada como “Formação da agenda” e visa compreender os problemas da sociedade para, na sequência, identificar as questões prioritárias a serem tratadas pelo governo. As linhas de ação para resolver essas questões são delineadas na segunda fase (“Formulação de políticas”), tendo como resultado uma análise de viabilidade das propostas analisadas sob os aspectos financeiro, legal, técnico e político. Na terceira fase (“Tomada de decisões”) são especificados o prazo e os recursos de determinada ação, preferencialmente formalizados como atos da administração pública. A quarta fase (“Implementação”) envolve a transformação do planejamento da política pública em execução de atividades, isto é, colocar em prática o que fora previsto legalmente. A “Avaliação” é a última fase do ciclo e consiste no mapeamento de indicadores e na realização de suas medições para que os resultados possam ser compreendidos sob o ponto de vista do alcance dos objetivos propostos pela política pública. Os autores ressaltam que não se trata de um ciclo rígido quanto à sequência de execução, estando aberta a possibilidade de interações entre as atividades de fases diferentes.

O caráter dinâmico do ciclo de formulação de políticas públicas é ressaltado por Rua (2009) e Boldrin e Ferreira (2024) ao afirmarem que não se trata de um processo linear e fragmentado, mas dotado de características que requerem interações contínuas entre os envolvidos independentemente da fase em questão. Esta interatividade é requerida, ainda, em função do contexto no qual as políticas públicas são construídas, abarcando variadas relações de poder e estranhamento entre as demandas da sociedade e da classe política. Considerando que neste artigo o foco recai sobre a avaliação do PNAES enquanto política pública, apenas os elementos da quinta fase do ciclo de vida serão abordados a seguir.

Como destacado por Pereira (2017), a definição de sistemas de monitoramento e avaliação é essencial para aferir a efetividade das políticas públicas e permitir a correção de rumos. Essa perspectiva é reforçada por Ham e Hill (1993), que associam o sucesso de uma política à qualidade dessas atividades de avaliação. De modo semelhante, Baptista e Rezende (2015) ampliam esse entendimento ao enfatizar que a avaliação não deve ocorrer apenas ao final da política, mas ao longo de todo o processo, conferindo-lhe um caráter contínuo e estratégico. Essa abordagem processual aproxima-se da noção de ciclo dinâmico proposta por Rua (2009), segundo a qual as fases não se desenvolvem de forma linear, mas interagem constantemente.

Ao discutir as diferentes abordagens de avaliação, Arretche (1998) propõe uma tipologia que pode ser útil para distinguir os focos possíveis: político, institucional e de impacto. Essa categorização dialoga com os apontamentos de Khandker, Koolwal e Samad (2010), que enfatizam a necessidade de rigor metodológico na medição de impactos, e com os alertas de Secchi (2014) e Baker (2000) sobre os desafios impostos pela multicausalidade. Nesse sentido, há uma progressão analítica que vai da definição da avaliação como prática de gestão até a preocupação com sua validade científica e inferencial.

Em síntese, a literatura sobre avaliação de políticas públicas revela a complexidade do tema, que envolve tanto aspectos práticos da gestão quanto exigências metodológicas rigorosas. Os autores aqui discutidos apresentam contribuições complementares: alguns ressaltam a necessidade de sistemas contínuos de monitoramento; outros, os desafios técnicos e epistemológicos para mensurar impactos reais. Diante disso, a avaliação configura-se não apenas como etapa conclusiva de um ciclo, mas como elemento estratégico para a melhoria contínua das políticas públicas e para o fortalecimento da sua legitimidade perante a sociedade.

Programa Nacional de Assistência Estudantil (PNAES)

Em um contexto marcado pela ampliação das possibilidades de acesso ao ensino superior e demanda por meios para apoiar a permanência dos ingressantes em seus estudos, no final de 2007 foi criado o Programa Nacional de Assistência Estudantil (PNAES) como uma proposta de atendimento às necessidades acadêmicas e pessoais de estudantes formalmente vinculados a cursos de graduação no âmbito das IFES. Em termos legais, sua instituição ocorreu por meio da Portaria Nº 39, de 12 de dezembro de 2007 (Brasil, 2007), sendo devidamente regulamentado pelo Decreto Nº 7.234, de 19 de julho de 2010 (Brasil, 2010). A partir deste momento, portanto, as IFES passaram a contar com um instrumento norteador daquelas ações de assistência estudantil que deveriam ser planejadas e conduzidas em seu ambiente de maneira a aumentar, prioritariamente, as condições positivas para a permanência dos estudantes de cursos superiores ofertados por instituições públicas federais (Santos & Freitas, 2014).

A formalização do PNAES pode ser compreendida como um marco na regulação das políticas de assistência estudantil, uma vez que consolidou institucionalmente a preocupação com a permanência dos estudantes em situação de vulnerabilidade socioeconômica no ensino superior. Kowalski (2012) destaca que esse processo provocou mudanças estruturais nas IFES, evidenciando a crescente relevância do setor de assistência dentro da organização institucional. Nesse mesmo sentido, Santos e Marafon (2016) apontam que a regulamentação do programa permitiu ampliar sua abrangência para além da simples concessão de auxílios financeiros, incorporando o acompanhamento de múltiplos aspectos da vida acadêmica e pessoal dos estudantes. Essa ampliação é formalizada no Decreto que estabelece dez áreas prioritárias de atuação, como moradia, alimentação, transporte, saúde, inclusão digital, cultura, esporte, creche, apoio pedagógico e atendimento a estudantes com demandas específicas, configurando um modelo mais abrangente e integrado de assistência.

Para Santos (2020), o delineamento destas áreas serviu de modelo para que as IFES desenhassem, com certo grau de padronização, suas políticas institucionais de assistência estudantil. Gomes e Passos (2018) complementam que o PNAES foi definido com cinco objetivos que, analisados sob o ponto de vista integrado, norteiam a elaboração de ações para contribuir com a permanência dos estudantes, redução da evasão escolar, melhoria do desempenho acadêmico, promoção da inclusão social e redução do impacto das desigualdades sociais e regionais na conclusão dos estudos.

Um ponto em que o PNAES reforça a autonomia das instituições refere-se aos critérios para seleção dos estudantes contemplados com os auxílios, desde que sejam priorizados aqueles advindos da rede pública de educação ou que comprovem auferir renda per capita familiar limitada a um salário mínimo e meio (Brasil, 2010). Esta concessão se estende, ainda, quanto à forma de administração e operacionalização dos recursos financeiros distribuídos pelo Governo Federal, permitindo sua aplicação conforme as particularidades de cada instituição e do perfil de seus estudantes (Santos & Freitas, 2014).

A institucionalização do PNAES pelo Governo Federal tornou possível a elaboração e consecução de ações que contribuíram (e continuam auxiliando, mesmo com as dificuldades orçamentárias recentes) para a manutenção de condições propícias à permanência de estudantes de cursos de graduação, bem como fomentaram a estruturação organizacional das IFES quanto aos setores de assistência estudantil. Vem sendo possível, portanto, oferecer no âmbito acadêmico um conjunto diferenciado de serviços para estudantes que realmente não dispõem de todos os meios, sejam materiais, pessoais ou financeiros, mas persistem na busca pela melhoria de sua qualificação como indivíduos e profissionais (Bianchi & Adamczyk, 2021; Saldanha & Castro, 2021).

Dada a grande demanda por auxílios socioeconômicos pleiteados por estudantes que se encontram dentro do critério mínimo de elegibilidade estipulado pelo PNAES (um salário mínimo e meio per capita), as IFES enfrentam dificuldades para atender plenamente o público vulnerável, conforme destacam Abreu e Ximenes (2021), Braga e Prá (2021) e Silva e Moreira (2022). Desta forma, os gestores muitas vezes precisam adotar medidas que impactam diretamente nas condições que favorecem a permanência dos estudantes, como a redução do valor dos auxílios socioeconômicos, o cancelamento de contratos com funcionários admitidos exclusivamente para atendimento particular a estudantes com necessidades específicas, o repasse de custos à comunidade acadêmica (como nos Restaurantes Universitários, por exemplo) ou a supressão da oferta de serviços de saúde nos campi com estrutura para tal (Martins, 2022; Soares, 2022).

Em resumo, o PNAES constitui um importante instrumento de política pública voltado à promoção da permanência estudantil no ensino superior, especialmente para alunos em situação de vulnerabilidade socioeconômica. Sua regulamentação, áreas de atuação e relativa autonomia institucional configuram-se como aspectos centrais para a análise de sua efetividade, bem como o impacto proporcionado pela oferta de auxílios no desempenho acadêmico e na evasão escolar.

Procedimentos metodológicos

A presente pesquisa adota uma abordagem quantitativa, baseada na análise estatística de um conjunto de dados primários, o que permite investigar relações entre variáveis de interesse. Em termos de natureza, caracteriza-se como uma pesquisa aplicada, uma vez que busca solucionar um problema específico relacionado à avaliação do impacto da política pública PNAES no contexto do IFMG. Quanto aos objetivos, trata-se de uma pesquisa descritiva, com foco na identificação e análise das relações entre concessão de auxílios socioeconômicos, desempenho acadêmico e evasão escolar. Em relação aos procedimentos, optou-se por um delineamento ex-post-facto, adequado para investigar relações causais retrospectivamente a partir de dados já existentes. Além disso, a pesquisa possui caráter de estudo de caso, visto que a análise concentra-se no contexto específico do IFMG.

Esta classificação metodológica segue as recomendações de Lakatos e Marconi (2017) para definição das categorias gerais, tendo sido elaborada com base em princípios específicos da avaliação de estudos de impacto, conforme sugerido por Amaral, Gonçalves e Faustino (2014), que ressaltam a importância da abordagem quantitativa e do estudo de caso para compreender os efeitos de intervenções institucionais em contextos definidos.

Para mensurar o impacto no IFMG do PNAES enquanto política pública, utilizou-se como método uma abordagem conhecida como pareamento baseado no escore de propensão (Propensity Score Matching - PSM). Trata-se de uma técnica desenvolvida por Rosenbaum e Rubin (1983) que vem suportando a avaliação da causalidade de políticas e programas governamentais na sociedade, como observa-se em estudos como o de Caliendo e Kopeinig (2008), França e Gonçalves (2010), Cavalcanti (2015), Salvini et al. (2019) e Gomes Neto, Santos e Prates (2020).

De acordo com Ramos (2009), o PSM é utilizado como um método formal estatístico para avaliações que objetivam averiguar possíveis efeitos causais de um tratamento específico sobre algum resultado. Inicialmente, ocorre a identificação de elementos em uma amostra de não participantes do tratamento, alocando-os em um grupo de controle, com a ressalva de que as características observáveis dos elementos desse grupo sejam similares àquelas verificadas no grupo de tratamento. Desta forma, cria-se um grupo contrafactual ao grupo no qual foi aplicado o tratamento, habilitando a realização de comparações mais realistas e equilibradas. Resende e Oliveira (2008) complementam que a geração de um grupo de controle com grande similaridade ao grupo de tratamento torna mais crível, a nível estatístico, a comparação entre as médias dos dois grupos e a estimação dos impactos do tratamento aplicado.

Rosenbaum e Rubin (1983) explicam que a implementação do PSM se inicia com o cálculo de uma regressão logarítmica para estimar o escore de propensão, uma variável de controle que indica a probabilidade de determinado indivíduo receber o tratamento em questão, contanto que algumas variáveis observáveis sejam consideradas. Estas variáveis representam as características de determinada amostra e, supostamente, contribuem para o motivo daquele indivíduo ser tratado ou não. Resende e Oliveira (2008) ressaltam que é necessário haver um equilíbrio em relação à quantidade de variáveis que caracterizam a amostra, pois quando elas são muitas, pode ser mais complexo para o método identificar indivíduos no grupo de controle com, literalmente, as mesmas características de indivíduos que compõem o grupo de tratamento.

Realizado o cálculo para estimar o escore de propensão, é preciso examinar se existe balanceamento entre os grupos de controle e tratamento. Para isso, executa-se o Teste T de Student e a diferença das médias em cada variável independente é encontrada, tanto antes como depois do pareamento. A geração de gráficos de densidade permite visualizar se os escores de propensão estimados para os grupos estão equilibradamente distribuídos, então comprovando a existência de uma região de suporte comum entre eles.

Reis et al. (2015) afirmam que, na prática, é difícil que o escore de propensão seja exatamente o mesmo para dois indivíduos comparados, motivo pelo qual é necessário estimar o Average Treatment Effect on the Treated (ATT - Efeito Médio de Tratamento sobre o Tratado) com o auxílio de um sistema de pesos. O método do vizinho mais próximo funciona como este sistema auxiliar, buscando no grupo de tratamento um indivíduo com igual (ou mais próximo) escore de propensão para cada caso do grupo de controle, tendo ao final dois grupos com indivíduos pareados. O cálculo do ATT utiliza, por padrão, os cinco vizinhos mais próximos a cada indivíduo analisado.

Para encerrar o processo de utilização do PSM, ocorre a estimação do impacto do tratamento sobre as variáveis dependentes com duas medidas: o ATT e a diferença de médias dos resultados dos grupos com verificação de significância estatística pelo Teste T.

A execução de todos os testes mencionados contou, neste artigo, com o suporte do software RStudio versão 2023.06.2, além do Microsoft Excel para preparação dos dados.

A amostra do estudo é composta pelos estudantes de cursos de graduação presenciais ofertados pelo IFMG cujo ingresso ocorreu entre o primeiro semestre letivo de 2018 e o segundo semestre letivo de 2022. Este recorte no período é necessário por três fatores: (I) a centralização dos dados da assistência estudantil na Reitoria do IFMG aconteceu apenas a partir 2018, sendo que anteriormente os processos eram realizados de forma descentralizada por cada campus, o que inviabilizaria a coleta dos dados necessários para esta pesquisa; (II) cursos que possuem prazo mínimo de integralização em cinco anos tiveram pelo menos uma turma analisada por todo o ciclo; (III) abarcando as turmas ingressantes após o início de 2020, quando todo o contexto educacional foi alterado devido a pandemia de COVID-19, espera-se equilibrar eventuais impactos deste momento na evasão escolar e no desempenho acadêmico dos estudantes.

Os dados brutos foram obtidos com o setor de Tecnologia da Informação (TI) do IFMG após requisição formal, sendo disponibilizada uma planilha contendo 10.263 registros, com 8.121 estudantes não bolsistas e 2.142 bolsistas. Devido a necessidade do método PSM trabalhar com variáveis numéricas de valor binário (0 = não, 1 = sim) ou discreto, algumas variáveis foram transformadas com agrupamento ou desmembramento em outras. É importante ressaltar que optou-se pelo coeficiente de rendimento geral como indicador do desempenho acadêmico dos estudantes, visto que se trata de uma medida objetiva e já disponível na planilha. A estrutura de variáveis do conjunto de dados final está disposta no Quadro 1.

Um arquivo no formato .CSV (Comma-Separated Values) com os dados preparados foi gerado e importado em um script no software RStudio para a execução das manipulações do PSM, cujo detalhamento é exposto na Seção seguinte.

Resultados

A questão central, ao investigar o impacto da política pública oficializada como PNAES no IFMG, é verificar se existe diferença significativa nas duas variáveis dependentes conforme a variável de tratamento e, caso exista, será que essa situação se manifesta porque os estudantes bolsistas e os não bolsistas têm desempenhos divergentes e evadem por razões ligadas ao recebimento do auxílio ou isso acontece por causa das variáveis independentes que caracterizam o conjunto de dados e, eventualmente, colocam os estudantes dos dois grupos em situação de desigualdade? Em outras palavras, é o recebimento do auxílio socioeconômico que produz essa desigualdade ou as outras características dos estudantes?

As médias das variáveis independentes nos dois grupos (bolsistas e não bolsistas) são apresentadas na Tabela 1. A verificação se as diferenças entre as médias eram estatisticamente significativas foi obtida com a aplicação de Testes T individualizados, apontando que em 13 das 17 variáveis houve significância. Desta forma, entende-se que apenas a comparação das médias gerais do desempenho acadêmico e da proporção de evasão entre os dois grupos não permite afirmar, com total certeza, que o recebimento de auxílios socioeconômicos é o fator causal, dado que a diferença encontrada pode estar sofrendo impacto de outras características dos estudantes.

Para promover uma comparação mais justa entre os resultados dos bolsistas e não bolsistas, foi criado um contrafactual, isto é, um grupo de controle composto por estudantes não bolsistas com a maior probabilidade de terem as mesmas características dos estudantes bolsistas (grupo de tratamento). Essa probabilidade é o escore de propensão do método PSM, cuja estimativa é calculada com a criação de um modelo logarítmico que engloba a variável de tratamento (bolsista) como variável dependente e as variáveis independentes que servirão de controle. Há de ressaltar que o PSM pode encontrar dificuldades na etapa de pareamento, quando existe grande quantidade de características (variáveis) a serem analisadas nos grupos de controle e tratamento, motivo pelo qual é importante definir quais irão compor o modelo logarítmico de estimativas.

Sendo assim, previamente ao cálculo do escore de propensão de cada estudante, é calculada a probabilidade individual dele ser bolsista com base nas variáveis independentes, indicando aquelas com participação direta no tratamento e que deveriam estar no modelo logarítmico. Na Tabela 2 são expostas as 7 variáveis independentes com significância estatística para serem preditoras da concessão de auxílios socioeconômicos.

Elaborada a definição do modelo logarítmico, o escore de propensão para cada estudante foi calculado. Trata-se do valor de probabilidade predita do estudante compor o grupo de tratamento, isto é, ser bolsista, dadas as estimativas do modelo logarítmico. O escore é calculado mesmo para aqueles estudantes que fazem parte do grupo de tratamento no conjunto de dados original. No intuito de compreender se existe balanceamento das probabilidades calculadas entre bolsistas e não bolsistas, gerou-se o histograma apresentado na Figura 2, onde é possível verificar a existência de uma região de suporte comum entre as probabilidades dos dois grupos. A maioria dos valores está, em ambos os grupos, no intervalo de 0,0 a 0,4. O escore médio entre os bolsistas foi de 0,238 e de 0,201 no grupo de não bolsistas.

Considerando que as probabilidades foram calculadas para todos os estudantes do conjunto de dados, executou-se a tarefa de pareamento (matching) visando encontrar pares com escores de propensão muito semelhantes, mas com status de tratamento diferentes. O método do vizinho mais próximo serviu de base para esta tarefa, analisando os cinco vizinhos mais próximos de cada estudante do grupo de tratamento e, em seguida, identificando no grupo de controle um indivíduo com escore de propensão igual ou aproximado. O conjunto de dados original é composto de 10.263 registros, sendo 8.121 de estudantes não bolsistas e 2.142 de bolsistas. Já o conjunto de dados pareados apresenta 4.282 registros, com igual quantidade (2.142 cada) entre bolsistas (grupo de tratamento) e não bolsistas (grupo de controle).

Para verificar o balanceamento entre os grupos neste conjunto de dados pareados, foi calculada a diferença das médias para as sete variáveis independentes que o compõem, seguido de um Teste T para identificar a existência de significância estatística entre as diferenças encontradas. Conforme exposto na Tabela 3, os grupos de tratamento e controle estão balanceados, não havendo diferença estatística entre as médias para todas as variáveis analisadas, fato que permite a comparação das variáveis dependentes (desempenho acadêmico e evasão) entre os grupos e a medição do impacto causado pelo tratamento.

Os gráficos da Figura 3 conferem validade à afirmação anterior sobre o balanceamento dos dados, expondo o exemplo de três das sete variáveis independentes que compõem o modelo do PSM (grau_academico_licenciatura, tempo_entre_conclusao_em_ingresso e perc_rfp_ate_1salmeio_curso). Nota-se, nos gráficos gerados com o conjunto completo de dados, considerável dispersão nos casos, enquanto nos gráficos dos dados pareados os casos dispersos se concentram nas extremidades para a primeira variável e próximos à linha de normalidade na segunda e terceira variáveis.

A Figura 4 apresenta, para cada variável independente, a diferença da média do escore de propensão entre os grupos de tratamento e de controle no conjunto com todos os dados (completo) e no pareado, confirmando que o processo de pareamento foi executado com coerência e proveu, como principal resultado, um conjunto de dados composto por estudantes bolsistas e não bolsistas portadores de características similares.

Com os dois grupos agora comparáveis e balanceados, foi possível estimar o impacto direto da concessão dos auxílios socioeconômicos do PNAES no desempenho acadêmico e na evasão escolar dos estudantes do IFMG (Tabela 4). Os resultados obtidos foram estatisticamente significativos. Para o desempenho acadêmico (mensurado pelo coeficiente de rendimento geral), observou-se que o auxílio resultou em um incremento médio de pouco mais de 17 pontos no coeficiente de rendimento para os bolsistas. Em relação à evasão escolar, o auxílio socioeconômico proporcionou uma redução de pelo menos 21% na proporção de evadidos entre os bolsistas. Essas medições, tanto pelo Efeito Médio de Tratamento sobre o Tratado (ATT) quanto pela diferença das médias, confirmam com alta confiança que as melhorias observadas são, de fato, atribuíveis ao PNAES.

Tais resultados implicam na constatação da importância deste recurso para melhorar os indicadores institucionais ligados ao desempenho acadêmico e à evasão. Embora o atendimento dos auxílios socioeconômicos não chegue a 20% dos estudantes matriculados em cursos de graduação do IFMG, observa-se, sob o ponto de vista estatístico, contribuição da política pública do PNAES na otimização de dois aspectos fundamentais para as instituições educacionais, assim como previsto no próprio escopo do Programa.

Considerações finais

Embora todas as fases do ciclo de políticas públicas possuam particularidades que, por vezes, tornam o processo mais complexo, as atividades de avaliação merecem destaque pela sua capacidade de orientar a condução dos trabalhos, independentemente do estágio em que eles se encontram. As análises promovidas com base nos resultados das avaliações são fundamentais para que não ocorram desvios de finalidade da política, agregando novas informações que, por sua vez, prestam contas à sociedade de como os recursos públicos vêm sendo consumidos.

A proposta deste artigo era mensurar quantitativamente o impacto proporcionado pelos auxílios socioeconômicos, ofertados no âmbito da política pública do PNAES, para os estudantes de cursos de graduação presencial do IFMG no desempenho acadêmico e na evasão escolar. Para tanto, optou-se pela utilização do método Propensity Score Matching em virtude da sua aplicação envolver análises sobre um grupo contrafactual (controle) com características muito similares àquelas encontradas nos casos do grupo de tratamento, reduzindo a influência de variáveis não tratadas no resultado e incrementando a confiança do valor calculado como impacto promovido pela política avaliada.

Os resultados quantitativos obtidos neste estudo, que demonstram um aumento médio de mais de 17 pontos no coeficiente de rendimento acadêmico para os bolsistas do PNAES e uma proporção 21% menor de evadidos neste grupo, representam uma evidência do impacto gerado pela política pública, conforme a modalidade de avaliação de políticas públicas proposta por Arretche (1998). Esta abordagem busca justamente investigar a relação de causalidade entre a política e os resultados alcançados, bem como estimar seus impactos nos envolvidos. A utilização do método PSM foi fundamental para a construção de um grupo contrafactual robusto, em consonância com Baker (2000), permitindo mensurar com confiabilidade o impacto direto dos auxílios socioeconômicos do PNAES no IFMG, isolando a influência de outras variáveis e superando o desafio da multicausalidade na avaliação de políticas públicas, como alertado por Secchi (2014). Essa abordagem metodológica, aliada aos resultados positivos, reforça a importância de sistemas de monitoramento e avaliação para aferir a efetividade das políticas e fornecer subsídios para tomadas de decisão, situações destacadas por Pereira (2017) e Ham & Hill (1993).

Em um contexto mais amplo, os dados revelam que o PNAES, como política pública compensatória das desigualdades sociais (Recktenvald, Mattei e Pereira, 2018), cumpre seu propósito de fomentar a permanência dos estudantes e aprimorar seu desempenho acadêmico no contexto do IFMG. A constatação de que os auxílios impactam diretamente no coeficiente de rendimento e nas taxas de evasão alinha-se aos objetivos do programa de contribuir com a permanência dos estudantes, redução da evasão escolar e melhoria do desempenho acadêmico (Brasil, 2010). Ademais, este estudo preenche uma lacuna crítica mencionada por Melo (2019), Dias e Carvalho (2021), e Lima e Ferreira (2016), que apontam a deficiência do PNAES em adotar critérios mensuráveis para monitorar o cumprimento de seus objetivos e a avaliação isolada/superficial de seus resultados nas IFES. Ao apresentar uma abordagem metodológica quantitativa replicável e resultados estatisticamente significativos, o artigo contribui para fornecer subsídios que validam o investimento na assistência estudantil.

Mesmo que o foco da pesquisa tenha sido analisar os dados de estudantes de cursos de graduação, o modelo metodológico elaborado pode ser aplicado para verificar a eventual existência de relação entre os construtos para os estudantes de cursos de nível técnico, cuja realidade socioeconômica não é muito diferente daquela experimentada pelo público tratado neste artigo. Espera-se, em um futuro próximo e com o apoio do IFMG na oferta dos dados, conduzir tal estudo para compreender melhor o impacto dos auxílios nestes estudantes. Uma limitação do artigo reside na utilização de dados compostos por variáveis previamente disponibilizadas pela instituição, fazendo com que a construção do modelo do PSM estivesse condicionada às mesmas, sem possibilidade de expandir o conjunto de características dos estudantes.

Referências

Abreu, M. K. A., & Ximenes, V. M. (2021). Pobreza, permanência de universitários e assistência estudantil: uma análise psicossocial. Psicologia USP, 32(1). https://www.scielo.br/j/pusp/a/pBtyBfxJqkXbvzwVvcQprzS/?lang=pt.

Amaral, E. F. L., Gonçalves, G. Q., & Faustino, S. H. (2014). Aplicações de técnicas avançadas de avaliação de políticas públicas. Belo Horizonte: Fino Traço Editora. https://www.ernestoamaral.com/docs/books/avaliacao.pdf.

Arretche, M. T. S. (1998). Tendências no estudo sobre avaliação. In: Rico, E. M. (org). Avaliação de Políticas Sociais: uma questão em debate. São Paulo: Cortez.

Baker, J. (2000). Evaluating the impact of development projects on poverty: a handbook for practitioners. Washington: The World Bank. https://documents.worldbank.org/pt/publication/documents-reports/documentdetail/470591468273625276/evaluating-the-impact-of-development-projects-on-poverty-a-handbook-for-practitioners.

Baptista, T. W. F., & Rezende, M. (2015). A ideia de ciclo na análise de políticas públicas. In: Mattos, R. A., & Baptista, T. W. F. (org). Caminhos para análise das políticas de saúde. Porto Alegre: Rede Unida.

Barbosa, A. T., Ferreira, E. B., & Rezende, M. L. (2020). Indicadores para avaliação do Programa Nacional de Assistência Estudantil (PNAES). Economia e Desenvolvimento, 32, e8-e8. https://periodicos.ufsm.br/eed/article/download/39740/pdf.

Bianchi, L., & Adamczyk, W. (2021). Políticas nacionais de assistência estudantil: síntese de evidências sobre programas de permanência. Evidências Express, 1(1), 1-28, 2021. https://repositorio.enap.gov.br/handle/1/7050.

Boldrin, D. L., & Ferreira, V. R. S. (2024). A Discricionariedade como um Pressuposto da Implementação de Políticas Públicas: um Ensaio Teórico. Administração Pública e Gestão Social, 16(2), 1-19. https://periodicos.ufv.br/apgs/article/view/15184/9634.

Braga, G. P. O., & Prá, K. R. (2021). Assistência Estudantil: delimitações históricas e o novo quadro da conjuntura brasileira. Cadernos Cajuína, 6(3), 5-20. https://cadernoscajuina.pro.br/revistas/index.php/cadcajuina/article/view/489.

Brasil. (2007). Portaria Nº 39, de 12 de dezembro de 2007. Institui o Programa Nacional de Assistência Estudantil - PNAES. http://portal.mec.gov.br/arquivos/pdf/portaria_pnaes.pdf.

Brasil. (2010). Decreto Nº 7.234, de 19 de julho de 2010. Dispõe sobre o Programa Nacional de Assistência Estudantil - PNAES. https://www.planalto.gov.br/ccivil_03/_ato2007-2010/2010/decreto/d7234.htm.

Brasil. (2024). Controladoria-Geral da União. Portal da Transparência. https://portaldatransparencia.gov.br/despesas.

Caliendo, M., & Kopeinig, S. (2008). Some practical guidance for the implementation of Propensity Score Matching. Journal of Economic Surveys, 22(1), 31-72. https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1467-6419.2007.00527.x.

Cavalcanti, I. T. N. (2015). Análise dos diferenciais de desempenho dos estudantes cotistas e não cotistas da UFBA pelo Propensity Score Matching. (Dissertação de Mestrado) Universidade Federal da Bahia. https://repositorio.ufba.br/handle/ri/18125.

Dias, M. S. L., & Carvalho, E. R. (2021). A assistência estudantil no IFPR: a construção de um objeto de estudo. Cadernos Cajuína, 6(3), 21-35. https://cadernoscajuina.pro.br/revistas/index.php/cadcajuina/article/view/490.

Ferreira, C. S., & Santos, E. N. (2014). Políticas públicas educacionais: apontamentos sobre o direito social da qualidade na educação. Revista LABOR, 1(11), 143-155. https://repositorio.ufc.br/handle/riufc/23454.

França, M. T. A., & Gonçalves, F. O. (2010). Provisão pública e privada de educação fundamental: Diferenças de qualidade medidas por meio de Propensity Score. Economia Aplicada, 14(1), 373-390. https://www.scielo.br/j/ecoa/a/yPH7xsYHRP4N9jwSRPhfpBJ/.

Gomes, A. M. O., & Passos, G. O. (2018). A implementação do Programa Nacional de Assistência Estudantil (PNAES) nos Institutos Federais. Revista de Políticas Públicas, 22(1), 416-442. http://periodicoseletronicos.ufma.br/index.php/rppublica/article/view/9240.

Gomes Neto, A., Santos, A. M. A., & Prates, T. M. (2020). Como o programa Bolsa Família impacta na educação básica? Uma análise para o Nordeste do Brasil. Revista Econômica do Nordeste, 51(1), 51-72. https://www.bnb.gov.br/revista/index.php/ren/article/download/955/804.

Ham, C., & Hill, M. J. (1993). The Policy Process in the Modern Capitalist State. Harvester Wheatsheaf.

Howlett, M., Ramesh, M., & Perl, A. (2009). Studying public policy: Policy cycles and policy subsystems. Toronto: Oxford university press.

IFMG – Instituto Federal de Educação, Ciência e Tecnologia de Minas Gerais. (2025). Resolução nº 9, de 03 de julho de 2020. Aprova a Política de Assistência Estudantil no âmbito do IFMG e revoga a Resolução nº 3/2019. https://www.ifmg.edu.br/portal/dirae-1/assistencia-estudantil/regulamentos-1/Resoluo092020.pdf.

Khandker, S. R., Kollwal, G. B., & Samad, H. A. (2009). Handbook on impact evaluation: quantitative methods and practices. Washington: The World Bank. https://documents1.worldbank.org/curated/en/650951468335456749/pdf/520990PUB0EPI1101Official0Use0Only1.pdf.

Kowalski, A. V. (2012). Os (des)caminhos da política de assistência estudantil e o desafio da garantia de direito. (Tese de Doutorado) PUCRS.https://tede2.pucrs.br/tede2/handle/tede/521.

Lakatos, E. M., & Marconi, M. A. (2017). Fundamentos de metodologia científica. 8. ed. São Paulo: Atlas.

Lima, W. A. S., & Ferreira, L. C. (2016). Mapeamento e avaliação das políticas públicas de assistência estudantil nas universidades federais brasileiras. Revista Meta: Avaliação, 8(22), 116-148. https://web.archive.org/web/20170922023506id_/http://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/viewFile/870/pdf1.

Lopes, B., & Amaral, J. N. (2008). Políticas Públicas: conceitos e práticas. Belo Horizonte: Sebrae.

Martins, F. N. C. (2022). Políticas de assistência estudantil universitária: definições, limites e possibilidades na perspectiva de um atendimento de qualidade. (Dissertação de Mestrado) Universidade Lusófona de Humanidades e Tecnologias. https://recil.ensinolusofona.pt/handle/10437/12915.

Melo, J. R. T. (2019). O Programa Nacional de Assistência Estudantil-PNAES e os desafios para a inclusão social face à política da dor. (Tese de Doutorado) Universidade Federal Rural da Amazônia. http://www.repositorio.ufra.edu.br:8080/jspui/handle/123456789/1181.

Pereira, D. B. (2017). O processo de monitoramento de políticas públicas de saúde: o caso do Núcleo Estratégia Saúde da Família/RN. IV Encontro Brasileiro de Administração Pública, 649-664. https://www.academia.edu/35083508/O_processo_de_monitoramento_de_pol%C3%ADticas_p%C3%BAblicas_de_sa%C3%BAde_o_caso_do_N%C3%BAcleo_Estrat%C3%A9gia_Sa%C3%BAde_da_Fam%C3%ADlia_RN.

Ramos, M. (2009). Aspectos conceituais e metodológicos da avaliação de políticas e programas sociais. Revista Planejamento e Políticas Públicas, 32(1), 95-114. Disponível em: http://www.ipea.gov.br/ppp/index.php/PPP/article/view/11.

Recktenvald, M., Mattei, L., & Pereira, V. A. (2018). Avaliando o Programa Nacional de Assistência Estudantil (PNAES) sob a ótica das epistemologias. Avaliação: Revista da Avaliação da Educação Superior (Campinas), 23(2), 405–423. https://doi.org/10.1590/S1414-40772018000200008.

Reis, P. R. C. et al. (2015). Impactos das aposentadorias e pensões no nível de bem-estar social dos domicílios de Minas Gerais. Revista Contabilidade e Finanças, 26(67), 106-118. http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1519-70772015000100106&lng=en&nrm=iso.

Resende, A. C. C., & Oliveira, A. M. H. C. (2008). Avaliando resultados de um programa de transferência de renda: o impacto do Bolsa-Escola sobre os gastos das famílias brasileiras. Estudos Econômicos, 38(1), 235-265. https://www.scielo.br/j/ee/a/QhRzNk7V9gwrYPxpBMxP6Rc/.

Rosenbaum, P. R., & Rubin, D. B. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70(1), 41-55. https://academic.oup.com/biomet/article/70/1/41/240879?login=false.

Rua, M. G. (2009). Políticas Públicas. Florianópolis: Departamento de Ciências da Administração. Brasília/DF, CAPES, UAB. https://cesad.ufs.br/ORBI/public/uploadCatalago/10551017022012Politicas_Publicas_Aula_1.pdf.

Saldanha, L. B., & Castro, S. F. (2021). As políticas de assistência estudantil em uma universidade federal brasileira: análise das políticas previstas no PNAES. Revista Ciranda, 5(3), 336-352. https://www.periodicos.unimontes.br/index.php/ciranda/article/view/4558.

Salvini, R. R. et al. (2019). Avaliação do impacto do Atendimento Educacional Especializado (AEE) sobre a defasagem escolar dos alunos da educação especial. Estudos Econômicos, 49(1), 539-568. https://www.scielo.br/j/ee/a/cPK5nWbDbfvn33T6tnqYYnh/?format=html&lang=pt.

Sant’anna, M. C., & Almeida, A. N. de. (2021). Processos de trabalho da assistência estudantil no ensino superior: uma percepção dos assistentes sociais da Universidade de Brasília (UnB). Administração Pública E Gestão Social, 13(3). https://doi.org/10.21118/apgs.v13i3.10796.

Santos, C. P. C., & Marafon, N. M. (2016). A política de assistência estudantil na universidade pública brasileira: desafios para o serviço social. Textos & Contextos, 15(2), 408-422. https://www.researchgate.net/profile/Claudia-Santos-24/publication/313503065_A_Politica_de_Assistencia_Estudantil_na_Universidade_Publica_Brasileira_os_desafios_para_o_Servico_Social/links/589c82d692851c599c961271/A-Politica-de-Assistencia-Estudantil-na-Universidade-Publica-Brasileira-os-desafios-para-o-Servico-Social.pdf.

Santos, E. H. M. (2020). As configurações da assistência estudantil no Brasil: o cenário do PNAES. (Dissertação de Mestrado) Universidade Federal de São Paulo. http://200.144.93.16/bitstream/handle/11600/60792/Disserta%C3%A7%C3%A3o%20SANTOS.%20E.%20H.%20M..pdf?sequence=1&isAllowed=y.

Santos, G., & Freitas, L. (2014). O. Ensino superior público brasileiro: acesso e permanência no contexto de expansão. Argumentun, 6(2), 182-200. https://www.redalyc.org/pdf/4755/475547143014.pdf.

Saravia, E., & Ferrarezi, E. (2007). Políticas públicas: Coletâneas. Brasília: ENAP.

Secchi, L. (2014). Políticas públicas: conceitos, esquemas de análise, casos práticos. São Paulo: Cengage Learning.

Senkevics, A. S., & Mello, U. M. (2019). O perfil discente das Universidades Federais mudou pós-Lei de Cotas?. Cadernos de Pesquisa, 49(172), 184-208. https://doi.org/10.1590/198053145980.

Silva, E. W. P., & Moreira, M. I. B. (2022). Inserção na Universidade Pública e Permanência Estudantil: Estudante na Corda Bamba. Revista de Ensino, Educação e Ciências Humanas, 23(2). https://revistaensinoeeducacao.pgsskroton.com.br/article/view/9284.

Soares, T. C. S. (2022). A reestruturação e desestruturação da política de ensino superior no Brasil: os avanços e retrocessos na contradição expansão com contenção. Revista Serviço Social em Perspectiva, 6(1), 166-187. https://www.periodicos.unimontes.br/index.php/sesoperspectiva/article/view/4680.

Souza, L. G. (2013). Avaliação pública de políticas educacionais: concepções e práticas avaliativas dos organismos internacionais no Brasil. (Tese de Doutorado) Universidade Federal da Bahia, Salvador, BA, Brasil. https://repositorio.ufba.br/bitstream/ri/17308/1/Tese%20Lanara%20Souza.pdf.

Vazquez, D., & Delaplace, D. (2011). Políticas públicas na perspectiva de direitos humanos: um campo em construção. Revista internacional de direitos humanos, 8(14), 34-65. https://core.ac.uk/download/pdf/16031669.pdf.

Viana, A. L. (1996). Abordagens metodológicas em políticas públicas. Revista de Administração Pública, 30(2), 5-43. https://periodicos.fgv.br/rap/article/view/8095.

Información adicional

redalyc-journal-id: 3515