HTML

ePub

PDF

1 INTRODUÇÃO

Valor no setor público se apresenta como um dos temas mais antigos no pensamento político, na evolução da teoria e na prática da administração pública (Beck-Jørgensen & Rutgers, 2015). No entanto, após a publicação do livro do professor Mark Moore intitulado Criando valor público: gestão estratégica no governo, em 1995, observou um crescente interesse sobre essa temática. A sua popularidade se deve à crença de que estudar valor público possa ser um complemento à teoria de interesse público, ao formular conceitos e proposições que buscam objetivos em comum, de forma específica (Bozeman, 2007).

Desde então, estudiosos procuram definir, identificar e classificar valor público, tarefa que exige uma atenção especial ao seu significado (Bozeman, 2002, 2007; Moore, 2003; Stoker, 2006; Cole & Parston, 2006; Beck-Jørgensen & Bozeman, 2007; Hills & Sullivan, 2008; Talbot, 2008, 2009; Horner & Hutton, 2010; Bozeman & Sarewitz, 2011; Benington & Moore, 2011; Meynhardt & Bartholomes, 2011; Spano, 2009, 2014; Bracci, Gagliardo, & Bigoni, 2014; Rutgers, 2015; Meynhardt, 2015; Papi, Bigoni, Bracci, & Gagliardo 2018).

Dentro dessa busca por significado e direção, a abordagem valor público tem atraído pesquisadores cada vez mais interessados na ideia de valor público como uma maneira de entender a atividade governamental, as formulações políticas e as prestações de serviços (Moore 1995, 2003; Bozeman 2002, 2007; Kelly, Mulgan, & Muers, 2002; Smith, 2004; Moore & Braga, 2004; Hefetz & Warner, 2004; Stoker, 2006; Alford, 2008; Talbot, 2008, 2009; Beck-Jørgensen & Bozeman, 2007; O’Flynn, 2007; Spano, 2009, 2014; Williams & Shearer, 2011; Meynhardt, 2009, 2015; Van der Wal, Nabatachi, & Graaf, 2015; Faulkner & Kaufman, 2018; Fukumoto & Bozeman, 2019).

Entender que os gestores públicos precisam traçar estratégias para gerar valor e, por meio dessa geração de valor, melhorar a eficiência, prestar contas da entrega de bens e serviços e proporcionar maior transparência à sociedade, não é nada simples. Para os defensores do valor público, as políticas e os serviços prestados devem responder às necessidades da sociedade, os valores gerados precisam ser legitimados pelos cidadãos e esses devem ter participação ativa na tomada de decisões (Horner, Lekhi, & Blaug, 2006). Além de entregar bens e serviços, os gestores precisam manter e melhorar a eficiência e a accountability (Bryson, Crosby, & Bloomberg, 2014), aspecto que requer transparência, responsabilidade, responsividade e publicidade das ações públicas (Koppell, 2005).

Quando as instituições públicas atendem às necessidades da sociedade, elas geram valor (Moore, 1995). Esse valor pode ser criado por meio do serviço prestado, dos resultados obtidos e da confiança/legitimidade alcançadas (Kelly, Mulgan, & Muers, 2002). Medir em que grau essas instituições estão criando valor público se torna importante tanto por questões acadêmicas como práticas, pois permite testar hipóteses sobre possíveis causas e efeitos, como maximizar o valor gerado e analisar o seu impacto na vida dos cidadãos (Faulkner & Kaufman (2018).

No entanto, medir não constitui somente avaliar a eficácia das decisões tomadas pelos gestores públicos (Kelly, Mulgan, & Muers, 2002; O'Flynn, 2007; Alford & O'Flynn, 2009; Williams & Shearer, 2011); há um complicado sistema de governança na prestação dos serviços públicos a serem considerados, como o caso da accountability(Stoker, 2006; Benington & Moore, 2011). Como afirma Moore (2007, 2013), é necessário medir o valor público para atender a accountability. Diante do pressuposto, a pergunta que norteou o estudo foi: há relação entre valor público gerado e a accountability? Assim, o estudo buscou propor um indicador de valor público e avaliar sua relação com a accountability.

No levantamento dos principais estudos, os autores buscaram avaliar o valor público a partir da percepção dos cidadãos, em ambientes específicos, utilizando modelos, métodos e técnicas, como balanced scorecard, observação, pesquisa-ação longitudinal, aplicação de surveys e entrevistas. Apesar do crescente aumento de estudos internacionais na última década (Van der Wal, Nabatchi, & Graaf, 2015; Lopes, Luciano, & Macadar, 2018), pouco se tem estudado sobre criação de valor público no Brasil (Lopes, Luciano, & Macadar, 2018; Porto, 2018; Matos, Amaral, & Iquiapaza, 2018; Santos, Andrade, & Lima, 2019) e pouca atenção é dada às métricas (Meynhardt & Bartholomes, 2011; Williams & Shearer, 2011, Van der Wal, Nabatchi & Graaf, 2015; Faulkner & Kaufman, 2018). A carência de desenvolvimento de métricas, para alguns autores, justifica-se pela falta de uma definição clara do que seja valor público (Alford & O’Flynn, 2009; Williams & Shearer, 2011; Faulkner, & Kaufman, 2018).

Apesar de alguns autores acreditarem que o valor público não comporta apreciar escolhas efetivadas pelas instituições públicas, visto que ele surge da experiência e da percepção do serviço prestado (Meynhardt, 2015; Talbot, 2008; Kelly, Mulgan, & Muers, 2002), no processo democrático a vontade do cidadão se expressa indiretamente, por meio dos representantes eleitos (Moore & Braga, 2004; Stoker, 2006). Por isso, o estudo não partiu da satisfação direta dos usuários de um determinado serviço, mas das escolhas realizadas pelos gestores (Spano, 2009), lacuna observada nos estudos analisados. A escolha por estruturar o indicador, partindo da entrega dos prefeitos (dos 608 municípios brasileiros acima de 50 mil habitantes), está na sua aproximação da prestação de bens e serviços junto à sociedade.

A partir dos arts. 6.º e 23.º da Constituição Federal de 1988, o estudo definiu valor público como a entrega de bens e serviços aos cidadãos, que atendam suas necessidades no âmbito da saúde, educação, trabalho, habitação, saneamento básico, segurança, que promovam a redução da desigualdade social e da vulnerabilidade (de crianças, jovens, mulheres e idosos). Espera-se que o indicador de valor público possa fornecer uma nova maneira de pensar a atividade governamental e orientar as tomadas de decisões.

2 VALOR PÚBLICO E SUA RELAÇÃO COM A ACCOUNTABILITY

Quando se estuda os modelos da administração pública, pode-se perceber que a eficiência foi a principal preocupação da administração pública tradicional, eficiência e eficácia foram as bases primárias na nova gestão pública. Além da eficiência e eficácia no modelo do novo serviço público, os valores públicos são debatidos, avaliados e perseguidos (Bryson, Crosby, & Bloomberg, 2014). Alguns autores sustentam que a abordagem de valor público pode ser vista como um novo paradigma na administração pública, ao suscitar uma reflexão de que os valores inerentes aos serviços públicos podem não se adequar aos cálculos de eficiência econômica de mercado (Kelly, Mulgan, & Muers, 2002; Hefetz & Warner, 2004; Hughes, 2006; Stoker, 2006; O’Flynn, 2007).

Na revisão literária, observa-se duas correntes primárias de pesquisa sobre valor público que convergem ocasionalmente, que são a de Moore (1995) e a de Bozeman (2002, 2007). Nos estudos com foco mais gerencial, iniciados por Moore (1995) e adaptados por outros autores (Stoker, 2006; Cole & Parston, 2006; Alford & Hughes, 2008; Benington, 2009; Talbot, 2008, 2009), o valor público é considerado uma nova abordagem empregada para moldar os princípios, as práticas e as premissas que regem o funcionalismo e as entidades públicas, contrapondo-se à gestão pública tradicional (burocrática) e à nova gestão pública, encontrando congruência no Novo Serviço Público (Stoker, 2006; O’Flynn, 2007; Alford & Hughes, 2008; Spano, 2009, 2014; Benington & Moore, 2011; Bryson, Crosby, & Bloomberg, 2014).

A intenção primária de Moore (1995) está em ajudar os gestores públicos a gerar valor público que são identificados e qualificados pelos cidadãos. O autor defende um papel ativo e empresarial de criação de valor pelos gestores públicos que vai além da mera implementação administrativa das políticas produzidas no processo democrático. Para produzir valor, os gestores públicos devem atentar para três perspectivas, que Moore (1995) chamou de triângulo estratégico: (1) estabelecer o propósito ou a missão geral de uma organização, considerados em termos e valores públicos importantes; (2) oferecer um levantamento das fontes de apoio e legitimidade que serão empregadas para sustentar o compromisso da sociedade com a instituição; e (3) explicar como a instituição terá de se organizar e operar para cumprir os seus objetivos enunciados. Assim, o gestor público está encarregado de criar estratégias apropriadas nas três perspectivas ao mesmo tempo, as quais são a base para o conceito de valor público e a base para o processo de tomada de decisão.

Já a corrente de Bozeman (2002, 2007), busca identificar e alcançar valor público em sua pluralidade. Para Bozeman (2002), a discussão sobre a definição de valor público tende a operar em níveis mais discursivos, como os tratados filosóficos sobre o interesse público ou em níveis mais operacionais, com o foco em resultados. Contudo, determinar o significado de interesse público continua sendo um grande desafio. Bozeman (2002) contrasta o conceito de valor público, correlacionando-o com os conceitos estabelecidos na economia (como domínio público, bem público ou teoria das escolhas sociais), contudo, a sua preocupação não está nas técnicas e nos métodos de análise das políticas, mas na teoria normativa das políticas. As políticas em uso explicam mais facilmente a linguagem da economia que a linguagem do interesse público, do valor público, ou da política em si. A teoria de valor público teria mais aderência ao conceito do interesse público do que na própria política adotada, apesar de sua difícil definição (Bozeman, 2002).

O conceito de valor público, na visão de Bozeman (2002, 2007), está em desenvolver proposições, critérios de escolha e indicadores que compartilhem valores, discutidos como valores coletivos, comuniais ou públicos, na intenção de compará-los com valores já estabelecidos, como é o caso do modelo da teoria da falha de mercado, das ferramentas analíticas, como análise de custo-benefício, aspectos encontrados na economia (Bozeman, 2002; Beck-Jørgensen & Bozeman, 2007; Moulton, 2009; Fisher, Slade, Anderson, & Bozeman 2010; Meyer, 2011). Não se trata apenas de melhorar a eficiência do trabalho dos gestores públicos, sua abordagem se apresenta como uma crítica na agenda dos políticos, organizações não governamentais e sem fins lucrativos e a própria sociedade, já que a sua base está nas relações sociais.

Quando questões políticas dependem exclusivamente da eficiência econômica, os critérios econômicos geralmente são suficientes. No entanto, questões complexas e amplas da agenda social dificilmente serão descritas na agenda de eficiência econômica. Até mesmo a política fiscal, quando envolve questões de equidade e propósitos políticos, dificilmente será abordada pela economia (Fukumoto & Bozeman, 2019).

Em uma perspectiva ontológica, Meynhardt (2009) considera o valor público um termo ambíguo. Não se trata de quais valores específicos podem ser considerados valores públicos, mas o que o conceito de valor público representa (Rutgers, 2015). Embora alguns valores pareçam mais relevantes que outros, há aqueles que podem ser mais bem estudados em outros campos, como filosofia e sociologia (Fukumoto & Bozeman, 2019). É o caso do modelo desenvolvido por Meynhardt (2009, 2013, 2015), que tem em sua base a teoria psicológica das necessidades básicas de Epstein (1989, 1993, 2003). Essas diferentes visões se devem ao fato de que valores fundamentais para a administração pública muda em resposta às transformações nas condições sociais e políticas de uma sociedade (Rosenbloon, 2017). Contudo, surge um ponto a ser analisado: o que é valor público para o cidadão hoje, pode não ser amanhã, visto que parte de sua percepção (Spano, 2009).

Assim, a dinâmica do valor público tendo como base Moore (1995), perpassa por três operações inter-relacionadas, quais sejam, autorizar, criar e medir (Horner & Hutton, 2010). O cidadão dá um voto de confiança e o governo entrega bens e serviços e, no final, o cidadão avalia o resultado positiva ou negativamente. Para muitos autores, essa avaliação cria ou destrói valor público (O’ Flynn, 2005b; Kelly, Mulgan, & Mueres, 2002; Stoker, 2006; Bryson, Crosby, & Bloomberg, 2014). Quando o cidadão elege seus representantes, terceiriza-se a sua vontade (implicitamente autoriza), já que o governante, mesmo tendo limitações legais para os gastos públicos, o direciona para área na qual os recursos serão aplicados (para mais ou para menos).

Criar está relacionado às operações, por meio das quais o valor público é criado e precisa ser gerenciado de forma eficiente e efetiva para satisfazer às expectativas dos interessados. Para criar valor na entrega de produtos e serviços públicos, o governante e seus gestores precisam de capacidade técnica e financeira para executar suas atividades, diante dos recursos considerados escassos e, após a entrega, deve prestar contas da execução (Horner & Hutton, 2010). Além disso, envolvem clareza na missão organizacional e nos planos estratégicos em que os políticos e os gestores públicos irão alocar os recursos e entregar resultados específicos (Horner, Lekhi, & Blaug, 2006).

Espera-se que uma boa compreensão do que seja valor público, teórica e/ou prática, possa fornecer subsídios para uma melhor compreensão da gestão pública (Talbot, 2008), bem como seu complicado sistema de governança na prestação de contas dos serviços públicos (Stoker, 2006; Benington & Moore, 2011). A mensuração não constitui somente questões de avaliação da eficiência, eficácia, efetividade e equidade das decisões tomadas pelos gestores, há limitadores legais e fiscais que permeiam o setor público, em que a accountability é continuamente cobrada. Como afirma Moore (2007, 2013), é necessário medir o valor público para atender a accountability.

A accountability se tornou um marco da governança democrática moderna (Bovens, 2007), sendo um tema muito debatido na agenda das políticas públicas mundiais (Mainrawing, 2003). No Brasil, os debates iniciaram desde a reforma de 1995 como forma de melhorar o controle, a participação ativa dos cidadãos nas políticas públicas e a legitimação do próprio Estado. Desde então, o termo accountability permeia a literatura em companhia de expressões como controle social, participação e a própria democratização do Estado (Medeiros, Crantschaninov, & Silva, 2013, p.2).

Para o desenvolvimento do estudo, partiu-se do entendimento de que accountability é a prestação de contas dos bens e serviços públicos entregues à sociedade, em que o gestor público, de forma responsável, deve apresentar informações tempestivas e fidedignas de suas ações efetivadas em conformidade com o interesse público. Moore (2007) esclarece que em alguns momentos, o valor pode ser gerado e, não necessariamente, a accountability ser efetivada e vice-versa. Os investimentos realizados para atender às necessidades dos cidadãos e as políticas adotadas pelo poder público não são iguais. Assim, é muito mais fácil obter apoio político para alguns valores públicos que para outros (Moore, 1995).

3 CONSTRUÇÃO DO INDICADOR DE VALOR PÚBLICO

Na discussão teórica há um entendimento de que o valor público é uma troca em que o cidadão dá poder ao governo, por meio da eleição e pagamento de impostos, e o governo eleito aplica os recursos para o bem-estar da sociedade (Stoker, 2006, Hills & Sullivan, 2008, Bozeman & Sarewitz, 2011; Bracci, Gagliardo, & Bigoni, 2014). Assim, geração de valor público tem sido alvo de estudos e/ou sugestões para pesquisa nas aréas da saúde (Zhang & Wang, 2010; Williams & Shearer, 2011; Schlichter, Svejvig, & Andersen, 2014, Rutgers, 2015), educação (Rutgers, 2015; Vieira, 2007; Broucker, Wit, & Verhoeven, 2018), saneamento básico (Rutgers, 2015), segurança (Kelly, Mulgan, & Muers, 2002) e geração de emprego (Erridge, 2007, Weise & Deinzer, 2013).

Para Zhang e Wang (2010), o valor público e a efetividade dos serviços prestados constituem elementos importantes na estratégia das instituições de saúde. Para Fryer (2011), a abordagem de valor público traz benefícios para compreender a oferta pública na área da educação. Para Erridge (2007), a abordagem pode auxiliar no aumento de emprego por meio de serviços públicos prestados.

A maioria dos modelos de geração de valor público tem como partida o conceito de Moore (1995). A ideia de medir o valor público se espalhou dos EUA para o Reino Unido, com forte ênfase na operacionalidade e na aplicação de técnicas, no intuito de avaliar a efetividade das instituições públicas. Estudos buscaram categorizar, operacionalizar valor público e pouca atenção se deu às métricas (Meynhardt & Bartholomes, 2011; Van Der Wal, Nabatchi, & Graaf, 2015).

Partindo dos estudos analisados e tendo como base os artigos 6.º e 23.º da CF/88 de que compete à União, Estado, Distrito Federal e Municípios, entre outras prioridades, cuidar da saúde e assistência social, proporcionar acesso à educação, promover programas de construção de moradias e a melhoria das condições habitacionais e de saneamento básico, combater a pobreza e promover a integração social aos setores desfavorecidos, estabelecer e implantar políticas de educação para a segurança de trânsito, iniciou-se a escolha dos constructos para avaliar a geração de valor público por meio das escolhas realizadas pelos gestores (Spano, 2009), lacuna observada nos estudos analisados.

O estudo também teve como base o Prêmio das Nações Unidas para o Serviço Público (United Nations Public Service Awards – UNSPA), um prestigiado prêmio de reconhecimento internacional de excelência na prestação dos serviços públicos, coordenado pelo Departamento de Assuntos Econômicos e Sociais das Nações Unidas. Para o desenvolvimento do modelo proposto, a modalidade improving transparency, accountability, and responsiveness in the Public Service, presente nos anos 2005-2010, foi a escolhida, guardadas as especificidades. Para entender os critérios da referida categoria, recorreu-se aos documentos da UNSPA (2005) e aos estudos de Silveira e Silveira (2006) e Silveira et al. (2013).

Outra base para a escolha dos constructos e variáveis foram os objetivos do desenvolvimento sustentável (Sustainable Development Goals – SDGs). A agenda visa erradicar a pobreza e a fome mundial, as desigualdades dentro e entre países, construir sociedades pacíficas, justas e inclusivas, proteger os direitos humanos, promover a igualdade de gênero e o empoderamento das mulheres, e assegurar proteção duradoura dos recursos naturais (Nações Unidas Brasil, 2018).

Outra fonte utilizada foi a Política Nacional de Desenvolvimento Urbano (PNDU), que tem como objetivos: (1) redução do déficit habitacional; (2) acesso universal ao saneamento urbano e gestão integrada e sustentável da política de saneamento; (3) ampliar a mobilidade urbana com segurança, priorizando o transporte coletivo e os não motorizados; (4) promover a melhoria da qualidade ambiental urbana; (5) promover a melhoria do planejamento e da gestão territorial de forma integrada (6) diversificação de agentes promotores e financeiros; (7) promover a regulamentação e a aplicação do Estatuto da Cidade, de outros instrumentos de política urbana e dos princípios da Agenda 21; (8) democratização do acesso à informação; (9) geração de emprego, trabalho e renda (IPEA, 2005).

Por mais que a partir de 2016 o PNDU e o UNPSA convergiram para os SDGs, optou-se por permanecer as bases separadas devido à disponibilidade de dados e as variáveis escolhidas. Assim, a pesquisa partiu do pressuposto de que o valor público é explicado pelos constructos saúde (27 variáveis), educação (58 variáveis), desigualdade social e pobreza (22 variáveis), vulnerabilidade (13 variáveis), condições habitacionais e saneamento básico (22 variáveis), trabalho (30 variáveis) e segurança (29 variáveis). A codependência da transparência e accountability, identificada nos países que compõem a Organização das Nações Unidas (ONU) (Armstrong, 2005), possibilitou a utilização das variáveis EBT_360 e o orçamento participativo como próxis para mensurar o efeito accountability. A EBT 360.º é uma ferramenta, utilizada pela Controladoria-Geral da União para monitorar a transparência de entes públicos (estados e municípios). Tendo como base que o valor público é construído coletivamente, a partir das deliberações que envolvem o funcionalismo público e cidadão (Stoker, 2006; Nabatchi, 2010), escolheu-se a variável orçamento participativo. Buscou-se verificar se, em algum momento, entre o período 2010-2018, os gestores públicos promoveram a participação dos cidadãos nas decisões orçamentárias do município.

As relações causais entre as variáveis utilizadas para medir como os dados de saúde, educação, desigualdade social, trabalho, condições habitacionais e saneamento básico, vulnerabilidade e segurança influenciam a geração de valor e, essa última, influencia a accountability, podem ser observadas na Figura 1.

O modelo fica assim representado:

A maioria dos construtos são aproximações da realidade. Em grande parte, não é possível mensurar diretamente os efeitos de cada variável. Assim, optou-se pela construção e a observação por meio de próxis. Por se tratar de um estudo, com base inicial exploratória, a modelagem da equação estrutural foi realizada via PLS.

4 METODOLOGIA

Este estudo teve viés descritivo-exploratório (Gil, 2008) de cunho quantitativo (Richardson, 2015). Quanto ao procedimento, adotou-se uma pesquisa ex post facto (Gil, 2008).

A coleta de dados pautou-se no último Censo Populacional 2010, realizado pelo Instituto Brasileiro de Geografia e Estatística (IBGE, 2019), à época, o Brasil possuía uma população de 190.755.799 de habitantes (realidade estimada em 211,8 milhões para 2020) distribuídos em 5.565 municípios. Para a definição da amostra, observou-se que 66,45% da população estava centrada nos municípios de grande porte e nas metrópoles. Outro aspecto levado em consideração foi a disponibilidade das informações e da classificação EBT 360.º para os municípios acima de 50 mil habitantes e a inviabilidade de aplicá-la nos outros municípios. Diante disso, optou-se por estudar os municípios acima de 50 mil habitantes (608 municípios). A coleta dos dados foi iniciada entre o período outubro/2018-abril/2019 e finalizada em dezembro/2020-março/2021, nos sites: IBGE, Atlas Desenvolvimento Humanos no Brasil, Instituto de Pesquisa Econômica Aplicada (IPEA), Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), DataSus, Controladoria Geral da União e Finanças do Brasil (FINBRA).

A utilização de dados disponíveis por órgãos governamentais se justifica pela não observação de outras fontes de dados (mais confiáveis) para a coleta. A utilização de dados secundários se justifica na inviabilidade de aplicação de questionários para o desenvolvimento do indicador, por isso optou pelo uso de próxis.

Na primeira etapa de tratamento e análise, os dados foram tabulados com auxílio dos softwares Excel® e submetidos a técnica de análise descritiva com o auxílio do software SPSS .StatisticalPackage for the Social Science). Procedeu-se a análise exploratória dos dados, na qual foram identificados outliers e missings (Hair et al., 2009). Foram observados 245 dados faltantes (0,19% da base de dados) e 834 valores extremos (outliers – 0,6%). Inicialmente, avaliou-se a possibilidade de esses representarem erro de coleta ou digitação, o que não foi confirmado. Realizaram-se análises sem esses pontos, o que não provocou alteração no resultado. Assim, decidiu-se manter esses pontos na análise tendo em vista a não modificação no padrão dos resultados e por esses não representarem erro.

Para construção do modelo de valor público utilizou-se a modelagem de equações estruturais (Structural Equation Models – SEM), via método PLS (Partial Last Squares), com auxílio do software SmartPLS® (Hair et al., 2009). O PLS-SEM permite estimar modelos complexos, em que há muitos constructos, muitas variáveis (como é o caso deste estudo) e muitas relações causais entre os constructos (Bido & Silva, 2019). Além da robustez, em termos de suposições, não requer normalidade multivariada (Hair et al., 2009). Por isso, para avaliação dos modelos estrutural e de mensuração (Figura 1), o PLS-SEM tem por base um conjunto de critérios de avaliações não paramétricas (Hair et al., 2014). Quanto à significância das associações, é obtida através do método de reamostragem Bootstrap (Efron, 1979).

Para ajuste do modelo de mensuração, primeiramente, avaliou as validades convergentes, obtidas pelas variâncias médias extraídas (AverageVariance Extracted - AVE) (Tenenhaus et al., 2005). Fornell e Larcker (1981), recomendam como aceitável AVE ˃ 0,50. Após garantir a validade convergente, observou-se a confiabilidade composta que é usada para avaliar se a amostra, de fato, está livre de vieses (ou se o conjunto dos dados são confiáveis). Para um estudo exploratório, são considerados adequados valores de confiabilidade composta entre 0,60 e 0,70 e para os demais estudos entre 0,70 e 0,90 (Hair et al., 2014). A escolha da confiabilidade composta para avaliar a confiabilidade das escalas do modelo, pautou-se nas críticas relacionadas ao uso do Alfa de Crombach ao testar constructos dentro do um modelo estrutural (Chin, 1998; Brown, 2006; Vehkalahtin, Puntanen & Tarkkonen, 2006).

A terceira etapa é a avaliação da validade discriminante, que é verificada pela comparação das cargas fatoriais de cada indicador com sua variável latente e com as outras variáveis latentes, o que se verifica, em geral, se esta é maior para a variável latente se comparada aos demais constructos. A principal maneira de se avaliar a validade discriminante está na confrontação das raízes quadradas dos valores de AVE de cada constructo frente às correlações (de Pearson) entre as demais categorias latentes (Critério de Fornell e Larker). Assim, haverá validade discriminante se as correlações entre as variáveis latentes forem inferiores à raiz quadrada da AVE (Hair et al., 2014).

A proporção da variabilidade dos constructos propostos explicada pelo modelo foi obtida a partir do Coeficiente de Determinação (R.), que é uma medida de adequação do modelo estrutural (Tenenhaus et al., 2005).

A modelagem de equações estruturais PLS não otimiza função global, diferentemente da modelagem em equações estruturais baseadas em covariância (LISREL, por exemplo) (Tenenhaus, Amato, & Vinzi, 2004, Tenenhaus et al., 2005). Para avaliação geral do modelo PLS-SEM, utilizou-se a proposta de Tenenhuaus, Amato e Vinzi (2004), o índice de adequação do modelo (Goodness of Fit, GoF), que é basicamente a média geométrica entre o R. médio (adequação do modelo estrutural) e a AVE média (adequação do modelo de mensuração), sugere-se como adequado o valor de 0,36 (Tenenhaus et al., 2005).

Para determinar se as associações encontradas foram estatisticamente significativas, utilizou-se o nível de significância de 5%. Para analisar a possível aderência entre o valor público gerado e accountability, por meio da EBT_360 e a existência de orçamento participativo, calculou-se o índice de correlação paramétrico de Pearson e não paramétrico de Spearman.

5 MODELAGEM ESTRUTURAL

Após o modelo de mensuração, analisou-se as cargas fatoriais de cada variável e, excluindo-se todos os itens que não apresentaram nível de significância e impacto significativo (p<0,05), a base ficou com 152 variáveis manifestas. Rodou-se o modelo novamente, no qual 92 variáveis apresentaram um impacto significativo em seus construtos, sendo p-valor menor que 0,05 em todas as variáveis utilizadas para mensurar as variáveis latentes saúde (11 variáveis), educação (32 variáveis), desigualdade social (11 variáveis), vulnerabilidade (10 variáveis), habitação e saneamento básico (16 variáveis), trabalho (4 variáveis), segurança (6 variáveis) dos 608 municípios analisados (Tabela 1).

Já no modelo estrutural que avalia as inter-relações entre os constructos do modelo (variáveis latentes), baseado nas hipóteses levantadas pela pesquisa, foi possível identificar quais constructos que melhor geram valor público. Na Figura 2, apresenta-se o modelo estrutural estimado, com os coeficientes e sua significância estimada por meio de simulações bootstrap.

Na Figura 2 é possível observar que dentre os constructos utilizados para mensurar a geração de valor público, o trabalho, a educação e a vulnerabilidade apresentam impacto significante e direto na geração de valor, tendo em vista a probabilidade de significância (p-valor) ser menor que 0,05. A relação observada é direta, indicando que quanto maiores os itens de trabalho, educação e vulnerabilidade, maior é a geração de valor. As características Saúde e Habitação também impactam diretamente a geração de valor, porém, com menor significância, p-valor menor que 0,10. Aqui também se observa que quanto maior a saúde e a habitação, maior é a geração de valor percebida.

A geração de valor não impacta de forma significativa a accountability, sendo p-valor igual a 0,260, indicando que a transparência independe da geração de valor público. O constructo trabalho impacta indiretamente, porém, de forma significante, a accountability, sendo p-valor menor que 0,05. Nesse sentido, quanto maiores os valores do trabalho, maior a accountability observada.

A partir do modelo final PLS obtido, foi possível construir a equação que representa matematicamente a geração de valor, visto que a construção de uma métrica é uma parte importante para o entendimento de valor público (Alford & O’Flynn, 2009; Williams & Shearer, 2011; Faulkner & Kaufman, 2018).

(2)

Na Tabela 2, pode-se observar que na validade convergente, avaliada por meio da AVE, as variáveis manifestas explicam 51% da saúde, 62% da educação, 70% da desigualdade social, 97% do trabalho, 38% da habitação, 72% da vulnerabilidade e 55% da segurança. A AVE média foi de 63%.

Com relação à validade convergente, não foram observados problemas, tendo em vista que todos os itens utilizados para medir as variáveis latentes apresentaram cargas fatoriais elevadas e significativas. Apesar de a AVE na categoria trabalho (0,38) não atender ao estipulado como carga aceitável (0,50) (Fornell & Larcker, 1981), permitiu-se a aceitação do valor como adequado, devido à complexidade e ao objetivo do estudo.

Na confiabilidade das escalas, utilizou-se a confiabilidade composta (Chin, 1998; Brown, 2006; Vehkalahtin, Puntanen, & Tarkkonen, 2006). Assim, pode-se perceber que a maioria dos constructos estudados apresentaram confiabilidade satisfatória ou muito próxima da satisfatória (Hair Jr. et al., 2014).

Na validade discriminante, o modelo construído foi capaz de explicar 90% da variabilidade da variável geração de valor. Por meio do Godnessof Fit, o modelo global foi capaz de explicar 53% das relações dos modelos de mensuração e estrutural. Esse valor é considerado satisfatório, tendo em vista a complexidade do problema estudado e a significância obtida.

6 RELAÇÃO ENTRE VALOR PÚBLICO E ACCOUNTABILITY

Para medir a relação entre valor público e accountability, utilizou-se como variáveis a EBT_360 e a participação no orçamento participativo. Para analisar se há aderência em relação ao valor público gerado e o ranqueamento de transparência (EBT_360), realizou-se os dois testes correlação de Pearson e de Spearman.

Não existe correlação significativa entre o valor público de municípios analisados e o ranqueamento de transparência no teste de Pearson, tendo em vista o p-valor maior que 0,05. Por outro lado, considerando a técnica não paramétrica (Spearman), observa-se que existe correlação direta e significante entre a EBT_360 e o Valor Público, tendo em vista que o p-valor é menor que 0,05. Diante do resultado, buscou-se analisar se os municípios com maiores indicadores de valor público apresentam melhores posições na EBT-360 e, para isso, procedeu-se à fragmentação por região, estado e municípios.

Em geral, as regiões com maiores resultados de valor público, sul e sudeste, apresentaram os maiores índices de transparência. Quando se estratifica por estado, em geral, existe uma tendência, moderada, de que quanto maiores os valores públicos maiores os valores da EBT_360. Quando se estratifica por município, também tende a seguir de forma moderada o valor público e o ranqueamento de transparência. Por exemplo, os municípios de Aracruz-ES, Curitiba-PR, Vitória-ES, Vila Velha-ES, Viçosa-MG, Lorena-SP, Limeira-SP e Chapecó-SC, geraram valor público acima de 1.000 e tiveram notas de transparência acima de 9,5. Os municípios Coari-AM, Euclides da Cunha-BA, Manacapuru-AM, Ouricuri-PE e Santana-AP, geraram baixos valores públicos (abaixo de 800, em média) e tiveram notas abaixo de 1,5 na transparência. Contudo, discrepâncias também foram encontradas. Jacundá-PA e Viçosa do Ceará-CE geraram menor valor público (830, em média) e tiveram média alta de transparência (9,55). Os resultados confirmam o entendimento de que os gestores públicos precisam traçar estratégias para gerar valor e, por meio dessa geração de valor, melhorar a eficiência, prestar contas da entrega de bens e serviços e proporcionar maior transparência à sociedade, não é algo simples (Horner, Lekhi & Blaug, 2006). Os resultados também confirmam o pressuposto de Moore (2007), que em alguns momentos, o valor pode ser gerado e, não necessariamente, a accountability ser efetivada e vice-versa.

Pode-se observar que os munícipios em que os cidadãos puderam opinar sobre os investimentos das prefeituras municipais apresentaram maiores valores de EBT_360, sendo a diferença observada estatisticamente significante (p-valor < 0,05), tanto no teste de Pearson quanto no teste Spearman, conforme se observa na Tabela 5.

As regiões sul e sudeste apresentaram os maiores índices de orçamento participativo e, na região norte, o incentivo foi baixo. No Distrito Federal e em 82% dos municípios capixabas que compuseram a amostra, realizaram-se sessões para discussão do orçamento público, seguidos pelos municípios paraibanos (60%) e gaúchos (52%). Já nos municípios do Amazonas, Amapá e Roraima, em nenhum momento, entre 2010-2018, foi detectada convocação para a participação da discussão do orçamento participativo (a pesquisa foi realizada nos sites oficiais dos municípios e em jornais eletrônicos).

Aqui, firma-se o entendimento de Stoker (2006) e Nabatchi (2010) sobre importância da participação dos cidadãos na gestão pública. A consulta e a participação do cidadão, na destinação dos recursos orçamentários, exigem mais transparência e accouuntability completas no serviço público (Talbot, 2008).

Diante dos resultados, pode-se confirmar uma tendência moderada entre valor público e a accountability, materializada a partir da Escala Brasileira de Transparência (EBT-360) e o orçamento participativo. Observa-se que, na geração de valor, o que importa é onde e como os recursos financeiros disponibilizados são aplicados para atender às necessidades de educação, saúde, trabalho, habitação e saneamento básico e reduzir a vulnerabilidade e não o percentual em si. Aqui se confirmam os entendimentos de Moore (2003) de que as medidas financeiras, por si só, não podem dizer se criam o valor público ou se pretendem criá-lo e que, em que alguns momentos, o valor público pode ser gerado e, não necessariamente, efetivar a accountability e vice-versa.

O gestor público produz valor com os recursos que lhes são confiados. No entanto, para a criação desse valor, há a necessidade de traçar estratégias na intenção de aumentar o valor público das instituições que lhes são confiadas (Moore, 1995). Por mais que conceito e a estrutura de valor público sejam uma prescrição para mudanças e melhorias em domínios específicos do setor público, desde cultura, justiça criminal, educação básica e superior, emprego e saúde (Williams & Shearer 2011), esses complementam discussões mais generalizadas de valor público como um projeto para a melhoria do setor público ( Kelly, Mulgan, & Muers, 2002). Criar um indicador que possa medir o valor público gerado pelas decisões tomadas pelo poder público, pode auxiliar o entendimento de como as políticas públicas são pensadas (Spano, 2009).

Devido às múltiplas tarefas desenvolvidas por um município, será necessário decidir se irá medir e avaliar o desempenho em relação a todas as tarefas executadas ou se irá selecionar uma delas (Spano, 2014). O modelo traz possibilidades de analisar a geração de valor público em segmentos específicos, no intuito de atender as demandas da sociedade em seus direitos constitucionalmente estabelecidos.

Os resultados mostram uma relação direta dos constructos saúde, educação, vulnerabilidade, habitação e saneamento básico e trabalho na geração de valor público, confirmando os estudos analisados (Vieira, 2007; Erridge, 2007; Zhang & Wang, 2010; Fryer, 2011; Williams & Shearer 2011; Schlichter, Svejvig, & Andersen, 2014; Rutgers, 2015; Broucker, Wit, & Verhoeven, 2018). Aspectos dos constructos desigualdade social e segurança precisam ser analisados, já que a CF/88 estabelece como direitos e garantias fundamentais.

No entanto, criar valor não constitui somente questões de avaliação da eficiência, eficácia, efetividade e equidade das decisões tomadas pelos gestores, há limitadores legais e fiscais que permeiam o setor público, em que a accountability é continuamente cobrada. Muitas vezes o conceito de accountability se vincula à prestação de contas dos recursos financeiros disponibilizados, os quais devem ser aplicados respeitando aspectos legais na distribuição de recursos para cada área de atuação. No entanto, a partir do momento que a geração de valor é efetivada, é possível beneficiar a accountability.

Há aspectos que vão além da prestação de contas dos recursos disponibilizados. Há questões culturais e sociais que precisam ser analisadas, as quais podem ser atendidas por meio de um sistema eficiente de escuta dos cidadãos (efetivando a democracia participativa), aspecto importante para a literatura de valor público. Assim, a definição a accountabilityestaria correlacionada com um controle social, responsabilização ou uma relação social entre vários atores sociais envolvidos.

7 CONSIDERAÇÕES FINAIS

Apesar de os dados utilizados neste trabalho não serem tão recentes, a mudança de um país não acontece de forma tão rápida. Há aspectos a serem melhorados, que perpassam décadas. A crise da saúde brasileira, a precariedade na educação básica e fundamental, a infraestrutura das vias públicas, o saneamento básico, o nível de pobreza e a falta de segurança, são alguns dos pontos abordados nesta pesquisa que ainda requerem muita atenção dos gestores públicos.

Por mais que haja o aspecto legal nas destinações orçamentárias, cada município tem as suas particularidades. Os investimentos realizados para atender às necessidades dos cidadãos não são iguais; ora requerem mais atenção na saúde, ora na educação, entre outras prioridades. Outro aspecto são as políticas adotadas pelo poder público. Assim, confirma-se o entendimento de Moore (1995) que é muito mais fácil obter apoio político para alguns valores públicos do que para outros. Nesse contexto, muitas vezes sobressaem o interesse particular sobre o interesse público, o interesse de efetivar ações que são visíveis aos eleitores e que, no futuro, possibilitará a permanência no poder.

Entende-se que a entrega de bens e serviços, no setor público, deve ser feita de modo eficiente, accountable e que gere valor. Diante dos resultados, pode-se observar uma tendência moderada na geração de valor público e a accountability (representada pela EBT_360 e o orçamento participativo).

As preocupações teóricas e práticas no desenvolvimento de estruturas conceituais para medir, gerenciar e valorizar o valor público de forma integrada e dinâmica continuam. Contudo, embora os conceitos de valor público sejam difíceis de entender, sua mensuração e gerenciamento auxiliam os gestores públicos para além do desempenho financeiro e objetivo de curto prazo. O modelo pode auxiliar na gestão baseada em valor, foco na alocação de recursos e melhoria no serviço público prestado.

Apesar da pesquisa ter utilizado dados do último censo de 2010, devido à maioria das variáveis não ter dados recentes; da dificuldade de acesso, apesar de serem públicos; da impossibilidade de analisar a realidade dos municípios até 50 mil habitantes; por se tratar de um estudo exploratório, a base se apresentou com um excedente de variáveis que foram excluídas do modelo; as limitações não impediram a obtenção de resultados interessantes para o prosseguimento dos estudos.

Como pesquisas futuras sugere-se: aplicar o modelo após a publicação do censo 2020, no intuito de apontar as possíveis congruências e discrepâncias entre os censos 2010 e 2020 e entre os censos 2000-2010-2020; aplicar o estudo nas municipalidades mineiras, tendo em vista as mesorregiões que o estado possui guarda as particularidades regionais brasileiras; realizar pesquisa quanti-quali, ao aplicar o indicador de valor público, procurar analisar a percepção dos gestores públicos, diante da realidade de sua cidade.

REFERÊNCIAS

Alford, J. (2008). The limits to traditional public administration, or rescuing public value from misrepresentation. Australian Journal of Public Administration, 67(3), 357-366.

Alford, J. & O’Flynn, J. (2009). Making Sense of Public Value: concepts, critiques, and emergent meanings. International Journal of Public Administration, 32(3-4), 171-191.

Armstrong, E. (2005). Integrity, Transparency and Accountability in Public Administration: Recent Trends, Regional and International Developments and Emerging Issues. Economic e Social Affairs, 1-9, 2005.

Beck-Jørgensen, T. B. & Bozeman, B. (2007). The Public Values Universe: an inventory. Administration & Society, 39(3), 354-381.

Beck-Jørgensen, T. B. & Rutgers, M. R. (2015). Public values: core or confusion? Introduction to the centrality and puzzlement of public values research. The American Review of Public Administration, 45(1), 3-12.

Benington, J. & Moore, M. H. (2011). Public Value in Complex and Changing Times. In J. Benington; M. H. Moore (Eds.), Public Value Theory & Practice (pp. 1-30).

Bozeman, B. (2002). Public-value failure: when efficient markets may not do. Public Administration Review, 62(2), 145-161.

Bovens, M. (2007). Analysing and Assessing Accountability: aconceptual framework. European Journal of Law, 13(4), 447-468.

Bozeman, B. (2007). Public values and public interest: Counterbalancing economic individualism. Washington, DC: Georgetown University Press.

Bozeman, B. & Sarewitz, D. (2011). Public value mapping and science policy evaluation. Minerva, 49(1), 1-23.

Bracci, E., Gagliardo, E. D. & Bigoni, M. (2014). Perfomance management system and public value strategy: a caso study. Public Value Management, Measurement and Reporting. 3,129-157.

Brasil. Constituição da República Federativa do Brasil: promulgada em 5 de outubro de 1988.

Broucker, B., De Wit, K. & Verhoeven, J.C. (2018) Higher education for public value: taking the debate beyond New Public Management, Higher Education Research & Development, 37(2), 227-240

Bryson, J.M., Crosby, B.C. & Bloomberg, L.(2014). Public Value Governance: moving beyond traditional public administration and the New Public Management. Public Administration Review, 74(4), 445–456.

Cole, M. & Parston, G. (2006). Unlocking public value. A new model for achieving high performance inpublic service organizations. Hoboken, NJ: Wiley.

Collins, R. (2007). Public value and the BBC: a report prepared for the work foundation’s public value consortium. London: The Work Foundation.

Erridge, A. (2007). Public Procurement, Public Value and the Northern Ireland Unemployment Pilot Project, Public Administration, 85, 4, 1023–43.

Faulkner, N. & Kaufman, S. (2018). Avoiding theoretical stagnation: a systematic review and framework for measuring public value. Australian Journal of Public Administration, 77, 69-86.

Fryer, B. (2011). ‘Learning, Social Inequality and Risk: A Suitable Case for Public Value?’ In J. Benington and M. Moore (eds), Public Value: Theory and Practice. Basingstoke: Macmillan, pp. 225–43.

Fukumoto, E.& Bozeman, B. (2019). Public values theory: what is missing? American Review of Public Administration, 49(6),1-14.

Gil A. C. (2008). Métodos e técnicas de pesquisa social. São Paulo: Atlas.

Hair, J. F. Jr., Black, W. C., Babin, J. B., Anderson, R. E. & Tatham, R. L. Análise multivariada de dados. Porto Alegre: Bookman, 2009.

Hair, J. F. Jr., Hult, G. T. M., Ringle, C. & Sarstedt, M. (2014). A primer on partial least squares structural equation modeling (PLS-SEM). Sage Publications.

Hefetz, A. & Warner, M. (2004). Privatization adn its reverse: explaining the dynamics of the goverment contracting process. Journal of Public Administration Research and Theory, 14(2), 171-190.

Hills, D. & Sullivan, F. (2008). Measuring public value 2: Practical approaches. London: The Work Foundation.

Horner, L.; Lekhi, R. & Blaug, R.(2006). Deliberative democracy and the role of public managers. London: The Work Foundation.

Horner, L. & Hutton, W. (2010). Public value deliberative democracy and the role of public managers. In:J. Benington & M.H.Moore (Eds), Public value: Theory and practice (pp.112-126). Basingstoke: Palgrave Macmillan.

Inamine, R, Erdmann, R.H.& Marchi, J. J. (2012). Análise do sistema digital de compras do governo federal brasileiro sob a perspectiva da criação de valor público. Revista de Administração, 47(1),124-139.

Kelly, G., Mulgan, G. & Muers, S. (2002). Creating public value: an analytical framework for public service reform. The Cabinet Office Strategy Unit, United Kingdom.

Koppell, J. G. S. (2005). Pathologies of accountability: ICANN and the Challenge of "Multiple Accountabilities Disorder". Public Administration Review, 65(1), 94-108.

Lopes, K.M.G. (2016). Fatores direcionadores para a criação de valor público na adoção de serviços digitais pelo cidadão. Dissertação (Mestrado em Administração). Pontifícia Universidade Católica do Rio Grande do Sul.

Lopes, K.M.G., Luciano, E.M. & Macadar, M. A (2018). Key drivers for public value creation enhancing the adoption of electronic public services by citizens. International Journal of Public Sector Management, p.1-17.

Mainwaring, S. (2003).Introduction: democratic Accountability in Latin America. In: Mainwaring, S. & Welna C. Democratic Accountability in Latin America. Oxford University Press, New York, 3-33.

Matos, G.A.S., Amaral, H.F. & Iquiapaza, R. A. (2018) Governance intensity and incidence: assessing state-level financial governance in Brazil, APGS, 10(4), 316-326, 2018.

Meynhardt, T. (2009). Public value inside: What is public value creation? International Journal of PublicAdministration, 32,192-219.

Meynhardt, T. (2015) Public Value: Turning a Conceptual Framework into a Scorecard. In: J.M. Bryson, B. Crosby & L.Bloomberg. Public Value and Public Administration (pp. 147-169).

Meynhardt, T. & Bartholomes, S. (2011) (De)Composing Public Value: In Search of Basic Dimensions and Common Ground. International Public Management Journal, 14(3), 284–308.

Moore, M. (1995). Creating public value. Strategic management in government. Cambridge, MA: Harvard University Press.

Moore, M. H. (2003). The Public Value Scorecard: A Rejoinder and an Alternative to 'Strategic Performance Measurement and Management in Non-Profit Organizations' by Robert Kaplan. Hauser Center for Nonprofit Organizations Working Paper.

Moore, M. H. (2007). Criando valor público por meio de parcerias público-privadas. Revista do Serviço Público, 58(2),151-179.

Moore, M. H. (2013). Recognizing Public Value. Cambridge, MA: Harvard University Press.

Moore, M. & Braga, A. (2004). Police Performance Measurement: A Normative Framework. Journal Criminal Justice Ethics, 23(1), 3-19.

Moore, M. H. & Moore, G. W. (2005). Creating public value through state arts agencies. Minneapolis, MN: Arts Midwest.

Nabatchi, T. (2010). The (re)discovery of the public in public administration. Public Administration Review, 70, 309-331.

Nações Unidas Brasil. Transformando nosso mundo: a agenda 2030 para o desenvolvimento sustentável. Recuperado de https://nacoesunidas.org/pos2015/agenda2030/

O’Flynn, J. (2007). From New Public Management to Public Value: Paradigmatic Change and Managerial Implications. The Australian Journal of Public Administration, 66(3), 353–366.

Papi, L.; Bigoni, M., Bracci, E. & Gagliardo, E. D. (2018). Measuring public value: a conceptual and applied contribution to the debate. Public Money & Management, 38(7), 503-510.

Porto, J.B. (2018). Smart Cities Methodology (SCML): uma metodologia em smart cities baseada em valor público. Tese (doutorado em Administração) Universidade Federal do Rio Grande do Sul.

Public Institutions and Digital Government Department of Economic and Social Affairs, (2018). Recuperado de https://publicadministration.un.org/en/uNSPa.

Richardson, R. J. (2015). Pesquisa Social: métodos e técnicas. São Paulo: Atlas.

Rutgers, M. R. (2015). As good as It gets? on the meaning of Public Value in the study of policy and management. American Review of Public Administration, 45(1), 29-45.

Schlichter, B. R., Svejvig, P., & Andersen, P. E. R. (2014). Value Creation from Public Healthcare IS. IIFIP International Federation for Information Processing, 429, 1–15.

Silveira, J. S. T., Moreira, A. P., Ávila, L. V. & Weyh, C. B. (2013). Construção metodológica, aplicação e interpretação de um índice municipal de accountability. Nucleus, 10(2), 71-86.

Smith, R. F. I (2004). Focusing on Public Value: something new and something old. Australian Journal of Public Administration, 63(4), 68–79.

Spano, A. (2009). Public Value Creation and Management Control Systems. International Journal of Public Administration, 32(3-4), 328-348.

Spano, A. (2014)."How Do We Measure Public Value? From Theory to Practice" .Public Value Management, Measurement and Reporting, 3, 353-373.

Stoker, G. (2006). ‘Public Value Management: a new narrative for networked governance?’ American Review of Public Administration, 36(1), 41– 57

Talbot, C. (2008). Measuring public value. A competing values approach. London: The Work Foundation.

Talbot, C. (2009). Public value – the next ‘big thing’ in public management? International Journal of Public Administration, 32(3–4),167–170.

Tenenhaus, M., Amato, S. & Vinzi, V. E. (2004). A Global Goodness-of-Fit index for PLS Structural Equation Modeling. In Atti della XLII Riunione Scientifica della Società Italiana di Statistica, Roma.

Tenenhaus, M., Vinzi, V.E., Chatelin, Y. & Lauro, C. (2005). PLS Path Modeling. Computational Statistics & Data Analysis, 48, 159-205.

Van Der Wal, Z., Nabatchi, T.; De Graff, G. (2015). From Galaxies to Universe: A Cross-Disciplinary Review and Analysis of Public Values Publications from 1969 to 2012. American Review of Public Administration, 45(1), 13-28.

Williams, I. & Shearer, H. (2011). Appraising Public Value: Past, Present and Futures. Public Administration, 89(4), 1367–1384.

IR