1. Introdução

Em tempos de crise economica, escandalos de corrupcao e necessidade de ajustes fiscais para equilibrio das contas publicas, a sociedade volta sua atencao a qualidade dos gastos, principalmente aqueles relacionados aos servicos oferecidos a populacao (Soares, Flores & Coronel, 2014). Nesse contexto, o municipio, mesmo com recursos escassos, e o ente publico com maior quantidade de servicos disponibilizados ao cidadao. Esses servicos devem ser prestados com eficiencia, sendo necessario apurar seus custos e adotar um sistema de avaliacao de desempenho que auxilie o gestor na tomada de decisao.

Tendo em vista que eficiencia e um dos principios de gestao publica, a aplicacao de recursos exige dos gestores observancia a legislacao, sobretudo quanto ao planejamento, transparencia, controle e responsabilidade. O planejamento refere-se a elaboracao e cumprimento das leis orcamentarias. Sobre o controle, diversas ferramentas podem ser adotadas, dentre elas os Sistemas de custos, cuja finalidade e proporcionar meios para a apuracao, gerenciamento e apropriacao dos gastos, gerando relatorios gerenciais que atendam as necessidades dos diferentes usuarios, alem de dar transparencia a aplicacao dos recursos (Martinez & Alves Filho, 2011). Ja em relacao a responsabilidade na gestao, a avaliacao de desempenho e considerada um instrumento capaz de oferecer informacoes que subsidiam a tomada de decisao.

A apuracao de custos no setor publico e exigida, no Brasil, desde a Lei Federal no 4320/1964, refirmada na Lei de Responsabilidade Fiscal (LRF) e, recentemente, imposta pela Norma Brasileira de Contabilidade Aplicada ao Setor Publico (NBCTSP) 16.11, em atendimento ao processo de convergencia as normas internacionais (International Public Sector Accounting Standards - IPSAS). No entanto, considerando as diferencas existentes entre os municipios brasileiros e seus gestores, poucos fazem uso da apuracao de custos (Da Rosa, Da Silva & Soares, 2015), diferentemente da administracao local em outros paises, onde se adota tal pratica de gestao e admite-se que a avaliacao de desempenho contribui para a eficiencia na prestacao de servicos publicos.

Para Biazzi, Muscat y Biazzi (2011), existe a necessidade de pesquisas que investiguem os sistemas de avaliacao de desempenho utilizados para o aperfeicoamento do setor publico, ou seja, em busca da eficiencia e melhores praticas de gestao. Diante disso, este estudo centra-se na interseccao da literatura internacional, que aborda o tema avaliação de desempenho e custos no setor público para delimitar essa fragmento da producao cientifica, visando identificar oportunidades para futuras pesquisas. Assim, apresenta-se a questao: Como a literatura internacional aborda a avaliacao de desempenho de custos no setor publico e quais sao as lacunas existentes que proporcionam futuras pesquisas sobre o tema? Com isto, o objetivo deste estudo e identificar oportunidades de pesquisas sobre avaliacao de desempenho de custos no setor publico, em especial nos municipios, a partir de um fragmento da literatura internacional. Para tanto, optou-se por utilizar um instrumento de selecao de um Portfolio Bibliografico, denominado Knowledge Development Process – Construtivist (Proknow-C), desenvolvido pelo Laboratorio de Metodologia Multicriterio de Apoio a Decisao – Construtivista (LabMCDA-C), vinculado ao Departamento de Engenharia da Producao e Sistemas da Universidade Federal de Santa Catarina (UFSC).

O presente estudo justifica-se pela importancia, originalidade e viabilidade (Castro, 1977). A importancia ocorre pela necessidade de realizar estudos que identifiquem modelos e variaveis utilizadas na avaliacao de desempenho, considerando os aspectos relativos a apuracao de custos. A originalidade e verificada quando nao foram localizadas, no fragmento da literatura internacional selecionada, pesquisas similares que abordam custos no setor publico, sob a perspectiva da avaliacao de desempenho, enfatizando oportunidade para futuras pesquisas. Em relacao a viabilidade, o estudo justifica-se pela utilizacao de dados publicados em periódicos disponibilizados em meio digital, alem das analises dependerem dos proprios pesquisadores.

Assim, a partir desta introducao, este estudo esta estruturado em outras 4 secoes, sendo a metodología utilizada no estudo descrita na secao 2, seguida do referencial teorico na secao 3. Os resultados da pesquisa sao relatados na secao 4 e as consideracoes finais do estudo sao apresentadas na secao 5, seguida pelas referencias.

2. Avaliação de desempenho de custosno setor público

Durante muito tempo, a maioria das organizaçõesnos países ocidentais baseavam sua gestão na capacidade de produção de bens e serviços (Neely & Austin, 2002). Até a década de 1970, grande parte das medidas adotadas para avaliação de desempenho mantevea ênfase em indicadores financeiros, tais como lucros,vendas e retorno dos investimentos. Assim, os sistemas de contabilidade de custos e controle de gestão foram concebidos com base nestas medidas, onde os modelos tradicionais de contabilidade de custos foram desenvolvidos para a produção em massa e alguns produtos padronizados foram atualizados para acomodaro ambiente de negócios (Kaplan, 1983). No entanto,com o passar do tempo, a insatisfação em relação aos métodos tradicionais, baseados em dados históricos,além do reconhecimento de práticas realizadas empaíses orientais, provocaram uma verdadeira revoluçãonas medidas de desempenho (Neely, 1999), sendo incorporados indicadores não financeiros, tais como qualidade, satisfação do cliente, tempo de produçãoe inovação (Nudurupati, Bititci, Kumar & Chan,2011).

Nesse sentido, uma série de modelos para a mediçãode desempenho surgiram, podendo ser citados os modelos de Medição Estratégica e Técnica Relatório (SMART); Matriz de Medição de Desempenho; Resultados e Determinantes Framework, Balanced Scorecard (BSC); Sistema Cambridge de medição de Desempenho (CPMS), Processo de Design; Sistema integrado de medição de desempenho (IPMS), Modelo de Referência; Performance Prism (PP); Modelo de ExcelênciaEmpresarial, dentre outros (Nudurupati et al., 2011).

Franco-Santos, Kennerley, Micheli, Martinez, Mason,Marr & Neely (2007) mencionam que influenciar o comportamento dos atores envolvidos é um dos aspectos mais importantes do processo de medição de desempenho. Para os autores, com o maior número de pesquisas sobre sistemas de avaliação de desempenho, diferentes definições são identificadas e não há um consenso. Contudo, segundo Neely, Gregory & Platts (1995), admite-se a definição de sistema de medição de desempenho como um conjunto de métricas utilizadas para quantificar a eficiência e eficácia das ações. Embora a medição do desempenho seja considerada como um importante processo, ela não é suficientepara a gestão de uma organização, sendo ela públicaou privada. Nesse ponto, pode ser encontrado na literatura duas perspectivas distintas para sistemas que avaliam o desempenho: Sistemas de Mensuração e Sistemas de Gestão de Desempenho (Melnyk, Bititci,Platts, Tobias & Anderson, 2014)

A maioria dos estudos sobre o tema evidenciam sistemas que apresentam indicadores e conjuntos de métricas voltados a coleta e análise de medidas para avaliar seus resultados, sendo considerados como sistemas de mensuração de desempenho. Porém, estudos que se dedicam a interpretar os resultados obtidos coma avaliação de desempenho e, a partir destes, gerar informações para definir ações de aperfeiçoamento, são considerados sistemas de gestão de desempenho (Melnyk et al., 2014). Independente da abordagem dada aos sistemas de avaliação de desempenho, além de definir as variáveis que serão medidas, percebeu-se que as formas de adoção, sua utilização e atualização denotam possíveis ciclos de vida dos sistemas (Nudurupati et al., 2011). Assim, Bititci, Garengo,Dörfler & Nudurupati (2012) definem três importantes estágios no ciclo de vida de um sistema de avaliação de desempenho: Design; Implantação e Uso. No quese refere ao design, a ênfase se dá no desenvolvimentodos requisitos e a concepção das medidas de desempenho e objetivos são estabelecidos. Já a Implantação busca evidenciar os processos de coleta de dados, subsidiando sua transformação em informações para análise do desempenho. Porém, a fase do uso para fins degestão, refere-se às mudanças estratégicas provocadas na organização, dando conta do aprendizado, aperfeiçoamento (como revisão e melhorias nas medidas de desempenho) e uso dessa informação para tomada de decisão.

Em se tratando de avaliação de desempenho, independente da abordagem e do ciclo de vida dos deferentes modelos, mesmo com a incorporação de variáveis não financeiras, nas organizações públicas, os indicadores de performances avaliam a qualidade dos serviços,o que parece estar associado ao aumento de custos (Evans & Bellamy, 1995). No entanto, os órgãos públicos tem vivenciado um processo de aprendizagem no tocante a avaliação de desempenho, considerando as informações da contabilidade de custos em relação aos benefícios gerados à população (Varela, Martins & Fávero, 2012).

Para enfrentar os crescentes desafios e a maior demanda por serviços públicos de qualidade, as entidades governamentais foram forçadas a perceber a necessidade de alterações estruturais, substituindo as práticas burocráticas tradicionais através de uma reforma estruturaltrazida pela nova gestão pública. Assim, a New Public Management (NPM) reafirmou a importância de práticas de gestão nas organizações públicas, como a avaliação de desempenho (Brow, Waterhouse & Flynn, 2003; Evans & Bellamy, 1995).

Porém, verificada a necessidade de avaliar o desempenho dos entes públicos, as principais dificuldades de sua implementação recai sobre a definição do que medir, sendo executado em grande parte o benchmarking para definir sua eficiência e a qualidade dos serviços, com base em variáveis usadas em outras instituições. Porém, tais procedimentos devem observaros aspectos orçamentários e financeiros específicosdo setor (Klase, 2014).

A administração pública local enfrenta crescente pressão para melhorar a qualidade dos serviços e, ao mesmo tempo, reduzir os custos. Neste sentido, amedição de desempenho é um elemento de modernização dos governos locais, gerando informações úteisà a tomada de decisão (Lo Sorto, 2016). Contudo,a contabilidade de custos apresenta-se como importante ferramenta para melhoria da eficiência do setor público, através da análise dos gastos empregados para oferecer os serviços aos usuários (Mohr, 2015). Um importante aspecto é salientado pelo autor, pois, muitas vezes, a avaliação de desempenho é fortemente dependente das lideranças atuantes nas organizações, ou seja, dos gestores públicos.

Com o propósito de medir a eficiência do setor público local e identificar seus determinantes, estudos recentes são encontrados na literatura, seja por meio da análise envoltória de dados - DEA (Lo Sorto, 2016; Santos, Gonçalves & Ferreira, 2014; Varela & Pacheco, 2012; Pettas & Giannikos, 2014; Besstremyannaya, 2011), ou pela análise cross-country, comparando diferentesentes (Al-Samarrai, 2006; Ballantine, Brignall & Modell, 1998). Conforme Lo Sorto (2016), as pesquisas sobre a avaliação de desempenho de custos nos municípios, considerando a eficiência dos serviços públicos, são realizadas sob três diferentes correntes. A primeira, refere-se aos estudos de avaliação global dos serviços prestados pela administração local (Evans & Bellamy, 1995; Revelli, 2010; Mohr, 2015). Estudos referentes à apuração da eficiência de serviços específicos prestados pelos municípios pertencema segunda corrente (Ballantine et al., 1998; Brown, Walterhouse & Flynn, 2003; Fetter, Thompson & Mills, 1976; Arnaboldi & Lapsley, 2005; Weir, D’Entremont, Stalker, Kurji & Robinson, 2009). Já aterceira corrente compreende estudos realizados sobre avaliação de desempenho de gestão (Groot & Budding, 2004; Matei, 2008; Pettas & Giannikos, 2014).

De acordo com Mohr (2016), os modelos utilizados para medição de desempenho, associados à informações de custos, demonstram a gestão comprometida com a qualidade dos serviços e eficiência do setor, fornecendo apoio necessário para elaboração, implantação e uso de sistemas de medição de desempenho, integrando a contabilidade de custos.

3. Metodologia

Com uma abordagem qualitativa, de acordo com o problema, este estudo tem natureza descritivo/exploratório, conforme seus objetivos, desenvolvido a partirda adoção de procedimentos bibliográficos e de pesquisa-ação (Creswell, 2010). Em relação à coleta de dados, a pesquisa pautou-se em artigos publicados em periódicos (dados secundários) e as interpretações foram atribuídas pelos pesquisadores (dados primários), utilizando o instrumento ProKnow-C (Chaves, Ensslin, Ensslin, Valmorbida & da Rosa, 2013), que permite a identificação de lacunas e oportunidades de pesquisas futuras.

3.1. Instrumento e processo de coleta de dados

O instrumento ProKnow-C foi selecionado para o estudo por se tratar de um processo estruturado que permite a geração de conhecimento, conforme as delimitações atribuídas pelo pesquisador, a partir de uma perspectiva construtivista, por meio de 4 etapas: (i) seleção do Portfólio Bibliográfico (PB); (ii) Análise Bibliométrica; (iii) Análise Sistêmica; e, (iv) Formulação de Perguntas de Pesquisas.

Para a realização da seleção do PB, primeira etapa do processo, que ocorreu entre os dias 13 e 15/04/2016,sem delimitação temporal, foram pesquisados, nos bancos de dados selecionados, os eixos: Avaliação de Desempenho; Custos; e Setor Público. No entanto, com o objetivo de viabilizar os resultados desta pesquisa, foram identificadas as palavras-chave e realizados testes para verificar suas aderências ao tema, sendo necessário repetir o processo cada vez que uma nova palavra obtivesse maior retorno na busca. Assim, o processo foi realizado 6 vezes, alterando e incluindo novas palavras, quando necessário, como Despesa no eixo Custos e Administração local no eixo Setor Público.

Após a identificação das palavras-chave, utilizou-se abusca pela combinação destas nos bancos de dados selecionados no portal de periódicos da Comissão de aperfeiçoamento de pessoal do ensino superior (CAPES): Scopus, Web of Science, Ebsco, ProQuest, Science Direct, Emerald e Wiley. Como resultado retornaram 4.164 artigos, sendo a base Scopus aquela que apresentou o maior número de resultados (1442 artigos), 33% do total do PB bruto; enquanto a base Emerald apresentou menor resultado (50 artigos), em torno de 1% do total.

Realizada a seleção dos artigos brutos (4.164 artigos), procedeu-se as filtragens necessárias para exclusão das duplicações, publicações de livros e capítulos, séries econferências (1.844). Nesse processo restaram 2.320 artigos, fazendo-se necessário realizar a leitura dos títulos com o objetivo de verificar o possível alinhamento com o tema abordado. Nessa fase, foram excluídos 2.193 artigos, restando 127 para análise do reconhecimento científico, atribuído pelo número de citações do artigo publicado em periódico de referência. Deste montante, 98 artigos apresentaram ao menos uma citação, enquanto 29 ainda não foram referenciados pela comunidade acadêmica.

Assim, foi realizada a leitura dos resumos daqueles artigos com reconhecimento científico, sendo descartados 76 deles por não estarem alinhados ao temada pesquisa, restando 22 artigos. Em relação aos 29 artigos que não apresentaram citações, foi realizadaa classificação de acordo com o ano de publicação, com a finalidade de identificar aqueles mais novos (13 artigos com 2 anos ou menos) e aqueles considerados mais antigos (16 artigos) que foram descartados. Para aqueles artigos mais recentes, foi realizada a leitura do resumos para atribuição do reconhecimento científico pelos autores da presente pesquisa,resultando em 3 artigos alinhados com o trabalho e descartados os 10 restantes. Com isto, foram identificados 25 artigos para composição do PB; porém, sua leitura na íntegra se fez necessária, sendo verificada sua disponibilidade gratuita, em que apenas um artigonão estava disponível, ocasionando o total final de 24 artigos no PB.

Os artigos que resultaram da seleção e que compõem o portfólio bibliográfico, a partir das delimitações atribuídas pelos autores, representam um fragmento da literatura sobre avaliação de desempenho de custos no setor público, relativo à administração local, que serão base para a análise bibliométrica, básica e avançada,e análise sistêmica (etapas 2 e 3 do ProKnow-C ).Como complementação do processo de seleção, foram analisadas as referências bibliográficas dos artigos do PB com o intuito de verificar se alguma publicação de relevância ou base de dados não teria sido alcançada pela pesquisa. Nessa fase final, observa-se que 21 artigos referenciados possuem título alinhado ao tema,mas não há destaque de um autor ou periódico que jánão faça parte do PB. Portanto, não foram adicionados outros artigos aos selecionados para análise.

3.2. Análise dos dados

A análise dos artigos do PB foi procedida pela realização das análises bibliométrica e sistêmica. Nestes termos,a bibliometria (etapa 2 do ProKnow-C ) consiste em identificar características sobre o tema de interesse dos pesquisadores, dentre os artigos, sendo aferida a contagem de ocorrência de tais variáveis o que possibilitao cruzamento de informações voltadas à construção do conhecimento. No entanto, a seleção dessas variáveis pode acontecer de forma básica ou avançada.

A bibliometria básica ocorre a partir de variáveis textuais, facilmente identificáveis, ou seja, não se faz necessária a interpretação do pesquisador, como é o caso da bibliometria avançada, onde este emprega seus conhecimentos para desvendar as características teóricas e realizar suas análises. No presente estudo, as variáveis básicas investigadas são: (i) autores com trajetória depesquisa na área do conhecimento; (ii) periódicos quedisponibilizam espaço para publicação de pesquisas relacionadas ao tema; (iii) países onde os estudos estão sendo realizados; (iv) área ou tipo de serviço prestado pelo setor público que desperta maior interesse de pesquisa; e (v) técnica/ abordagem/ modelo/ ferramenta utilizadas nas pesquisa para avaliar o desempenho docusto no setor público.

Em relação às variáveis avançadas, inicialmente este estudo investiga o tipo de sistema de avaliação de desempenho, cuja abordagem ocorre entre Sistema de Mensuração de Desempenho ou Sistema de Gestão de Desempenho (Melnyk et al., 2014). Nos modelos de Sistema de Mensuração de Desempenho, os objetivos do processo são converter dados em informaçõ ese avaliar a eficácia e eficiência da ação (Neely et al.,1995). Os modelos de Sistemas de Gestão de Desempenho,por sua vez, avaliam os resultados obtidos ecomparam com as metas estabelecidas, além de identificar e sinalizar aquelas diferenças críticas à gestão e,quando necessário, adotam e monitoram ações corretivas para tais deficiências percebidas, com a finalidade de sanar as distâncias significativas entre o desempenho medido e o desejado (Melnyk et al., 2014). Outra variável avançada utilizada para análise refere-se aociclo de vida do Sistema de Avaliação de Desempenho,dividido em 3 fases: Design, Implantação e Uso (Bititci et al., 2012). Para os autores, o Design diz respeitoao modelo e estrutura do sistema, onde há preocupação com o que medir e como estruturar os sistemas de avaliação de desempenho. Já na fase da Implantação,uma vez a informação capturada sobre cada medida,ela é implementada observando quatro tarefas: criação de dados, coleta de dados, análise de dados e distribuição de informação. Por fim, na fase do Uso, as medidas de desempenho relevantes e indicadores devem ser revisados para sustentar sua importância frenteà estratégia adotada pela organização. Com isto, asduas variáveis avançadas referem-se à aplicações de modelos de sistemas de avaliação de desempenho, ou seja, tais análises são viáveis apenas em estudos de caso, não sendo possível sua realização em publicações que tratam de pesquisas teóricas, revisionistas e levantamentos (Yin, 2015). A escolha dessas variáveis para análise deve-se à estrutura do PB, que apresenta 22 estudos de casos e apenas 2 artigos teóricos. A análise sistêmica, etapa 3 do ProKnow-C, é um procedimento científico adotado a partir de uma filiação teórica, definida mediante suas perspectivas (aqui chamadas de lentes) para analisar o fragmento da literatura do assunto pesquisado, evidenciando aslacunas e oportunidade existentes para a construçãodo conhecimento. Neste contexto se define-se avaliação de desempenho como um processo para construir conhecimento no decisor, respeitando o contexto específico que se pode avaliar, a partir da percepção do próprio decisor, por meio de atividades que identifiquem, organizem, mensurem e integrem os aspectos considerados necessários e suficientes para sua gestão, permitindo visualizar o impacto das consequências das ações e seu gerenciamento. A partir desse conceitode avaliação de desempenho são identificadas seislentes, que norteiam a perspectiva para análise críticados artigos que compõem o PB, sendo elas: Lente 1:Abordagem; Lente 2: Singularidade; Lente 3: Processode identificação dos objetivos; Lente 4: Mensuração;Lente 5: Integração dos indicadores; Lente 6: Processode Gestão, como apresenta o Quadro 2.

Em relação à primeira lente, a abordagem dos modelos podem ser classificadas como (i) Normativistas, (ii) Descritivistas; (iii) Prescritivistas; ou (iv) Construtivistas,en quanto sua utilização considera se o modelo adotado nos artigos do PB é genérico ou específico, tanto em relação aos dados, quanto ao modelo. A segunda lente tem por fim verificar a singularidade do modelo em termos do decisor e do ambiente físico. Já a terceira lente busca identificar se os objetivos e variáveis utilizadas nos modelos de avaliação de desempenho dos artigos analisados reconhecem a necessidade deampliação do conhecimento do decisor, na maneira como o contexto impacta nos seus interesses, valores e preferências. Na quarta lente, o propósito é analisar, dentre os artigos do PB, se o modelo utilizado abarca a atividade de mensuração dos objetivos definidos, permitindo identificar os níveis de referência de cada indicador, além de identificar se essa mensuração ocorre de maneira adequada. Na quinta lente, onde sua finalidade visa a perceber se há integração dos objetivos e indicadores definidos nos modelos utilizados nos artigos do PB, com base na visão dos decisores, e permitindo uma visão holística e sistêmica do desempenho da organização como um todo. Por fim, a sexta lente tem por objetivo analisar se os artigos do PB utilizam as informações geradas pelos modelos nas atividades de gestão para monitoramento e aperfeiçoamento do desempenho da organização (Valmorbida et al., 2014).

4. Resultados

A partir do Portfólio Bibliográfico (PB) do fragmento da literatura sobre avaliação de desempenho de custos no setor público foram identificadas as características bibliométricas, análise sistêmica e questões à pesquisadores e gestores públicos para futuros estudos.

4.1. Análise bibliométrica

Diante dos 24 artigos que compõem o PB, identificam-se 54 autores. Porém, realizado o cruzamento desses artigos com suas referências, verifica-se que outros 21 estudos alinhados ao tema são referenciados, onde aparecem autores que já compõem o PB e outros que não foram identificados na busca. Contudo, nãose ressalta um autor de expressiva relevância na área. Mesmo assim, pode ser citado o autor Zachary T. Mohr como destaque, contribuindo com dois artigosno PB e, ainda, sendo referenciado uma vez. O autor é professor assistente do departamento de ciências políticas e administração pública da Universidade da Carolina do Norte (EUA). Ainda, outra autora merece destaque, Patrícia Siqueira Varela, professora da Universidade Federal de São Paulo (Brasil), da área de Ciências Contábeis, com ênfase em gestão e contabilidade do setor público, contribuindo com outros dois artigos no PB. Porém, a autora não é referenciada nas demais pesquisas do portfólio. O Quadro 3 apresentaos autores que compõem o PB e foram referenciados por eles.

Da mesma forma, foram identificados os periódicos que têm devotado espaço para publicações referentes à avaliação de desempenho de custos no setor público, considerando, ainda suas referências. Como observado quanto aos autores, diversos periódicos são identificados como interessados no tema. O Quadro 4 destacaos periódicos Public Budgeting & Finance Journal eo International Journal of Public Sector Management, por serem específicos da área pública e apresentarem dois artigos no PB, cada. Quando realizada a análisedos periódicos cruzando os artigos do PB com suas referências, destaca-se o Public Administration Review (PAR), com um artigo no PB e outros dois nas referências.

Analisar o ano em que a publicação do estudo ocorreu mostrou-se interessante para determinar se o tema está em declínio ou em expansão. Nesse ponto, uma característica é percebida: até o ano de 2005, apenas seis estudos dedicaram-se ao tema. A partir de 2006 observa-se a elevação no número de estudos, concentrando a maior parte deles (75%), coincidindo com a última década onde normas internacionais de contabilidade e o processo de convergência nos diferentes países, especialmente na área pública, são implantados. Esse resultado demonstra que se trata de um assunto que está captando a atenção de novos pesquisadores e apresenta espaço para novas pesquisas.

Diante desse dado, analisar os países onde os estudos foram realizados demonstra a importância dada ao tema, considerando que todos os continentes estão representados no PB. Os estudos desenvolvidos nos Estados Unidos da América apresentam maior representatividade frente aos 24 que compõem o PB; porém, se considerados em conjunto, os países da Europa representam um terço dos estudos. Destaca-se que quatro deles foram realizados para comparar diferentes países, ressaltando, aqui, aqueles da África subsaariana e europeus. O Brasil também aparece em destaque com três estudos no PB, realizados em 2012 e 2014. A Figura 2 demonstra os resultados relatados.

Para conhecer os tipos de estudos e áreas de atuação dos serviços públicos investigados, seguiu-se a classificação de Lo Storto (2016). Estudos de serviços específicos são preferidos pela maioria dos pesquisadores, destacando os serviços públicos de saúde com 11 estudos; seguidos de educação e obras de infraestrutura (estradas e transporte), com 2 estudos cada,enquanto a área ambiental (coleta de lixo) aparece com 1 estudo. Já as pesquisas que investigam serviços em conjunto, apurando a eficiência do ente público como um todo, foi realizada por 4 estudos, enquanto outros 4 concentram-se nas áreas de finanças ou planejamento, totalizando os 8 estudos de gestão, como observado na Figura 3.

A Figura 3 demonstra que pesquisas sobre serviços específicos são abordados com maior frequência, quando se trata de avaliação de desempenho e custos no setor público, em especial na área de saúde. Tal resultado é condizente com o número de periódicos verificados dentre os artigos do PB voltados à área médica esaúde pública. No entanto, há que ser mencionada a prestação de serviços de saúde nos países investigados, que denota aspectos divergentes quanto a sua estrutura pública, o que sugere estudos mais específicos. Contudo, as variáveis analisadas, em grande parte dosestudos, são definidas pela Organização Mundial da Saúde (OMS) ou levantadas na literatura.

A última variável básica analisada refere-se às técnicas, ferramentas, modelos e abordagens utilizadas nos estudos que compõem o PB para avaliar o desempenho dos custos no setor público. Nesse aspecto, as pesquisas que visam a evidenciar a eficiência do serviços públicos utilizando a metodologia de análise envoltória de dados (DEA) se destacam, contando com 6 estudos (25%); enquanto o modelo de avaliação de desempenho BSC e a abordagem de custeio baseado em atividades (ABC) apresentam 3 estudos cada. Ainda, outras diferentes abordagens são identificadas,o que demonstra as diversas tentativas do setor em medir seu desempenho. No entanto, dentre os artigos do PB, apenas 2 apresentam características teóricas, ou seja, não são estudos empíricos aplicáveis,o que inviabiliza a classificação das variáveis avançadas e análise sistêmica. A Figura 4 apresenta os resultados.

Considerando a análise bibliométrica básica, verifica-se que a avaliação de desempenho dos custos no setor público é um tema de pesquisa em expansãoem diferentes lugares, sem a existência de um autor de destaque, bem como um periódico especial, pois muitos demonstram interesse na área. Os estudos que enfatizam a medição da eficiência de serviços específicos (como saúde) são preferidos pela maioria dos pesquisadores.

De acordo com as variáveis bibliométricas avançadas, a classificação dos estudos de caso, conforme Melnyk et al. (2014) pode demonstrar a perspectiva dos sistemas de avaliação de desempenho em uso, seja com ênfase na mensuração ou na gestão. Ainda, a análise dos ciclos de vida dos modelos de medição de desempenho,conforme classificação de Bititci et al. (2012) apresentam as fases enfatizadas em tais modelos, destacando os atributos do Design, Implantação ou Uso.O Quadro 5 demonstra tais classificações.

De acordo com a classificação de Melnyk et al. (2014), verifica-se que grande parte dos estudos de avaliação de desempenho de custos no setor público dedicam-seà mensuração dos indicadores. Assim, 19 estudos apresentam preocupação com as variáveis de medição, deixando de apoderar-se das informações geradas nesse processo para melhoramentos na gestão da organização, como percebido em 3 estudos ([1], [6] e [10]).

A partir da análise do ciclos de vida dos modelos, verifica-se que a preocupação dos pesquisadores concentra-se na definição das variáveis e estruturação dos modelos de medição de desempenho, onde 14 estudos destacam o desenho do modelo, estando o resultado alinhado com a análise da abordagem do sistema, que enfatizam os sistemas de mensuração. Apenas 2 estudos ([2] e [3]) conciliam os estágios da implantação com o design do modelo, enquanto outros 6 ([1],[6], [7], [8], [10] e [12]) destacam a utilização de taismodelos no processo de gestão do desempenho.

Cabe salientar que os estudos do PB classificados como teóricos ([9] e [22]) não foram analisados combase nas variáveis bibliométricas avançadas, pois sua estrutura impossibilita a verificação de tais características, cabíveis apenas a estudos de caso, como também não foram submetidos à análise sistêmica.

4.2. Análise sistêmica

A análise sistêmica (etapa 3 do ProKnow-C) consiste em verificar, a partir de lentes, as características do PB sobre o tema. A primeira lente (abordagem) visa a classificar a abordagem utilizada nos modelos de avaliação de desempenho, distinguindo entre Normativista, Descritivista, Prescritivista ou Construtivista. Contudo, para tal análise, considera-se o contexto do ambiente físico para aplicação do modelo, sendo este classificado como Específico (criado para a organização que está aplicando) ou Genérico (originado em outro contexto, mas aplicado na organização).Modelos de avaliação de desempenho Normativistas ou Descritivistas devem apresentar contexto genérico,en quanto modelos Construtivistas ou Prescritivistas deverem ser específicos para estarem em harmonia (Valmorbida et al., 2014).

Conforme a Figura 5, a maior parte dos estudos do PB adota uma abordagem Descritivista (68%), enquanto nenhum estudo constrói um modelo considerando as particularidades da organização que o adotam. Como esperado, dada a abordagem identificada, amaior parte das pesquisas não considera, também, o ambiente específico para adoção do modelo, privilegiando os genéricos (73%). AA Figura 5 apresenta os resultados dessa classificação dentre os artigos do PB.

Conforme a Figura 5 a maior parte dos estudos do PB adota uma abordagem Descritivista (68%), enquanto nenhum estudo constrói um modelo considerando as particularidades da organização que o adotam. Como esperado, dada a abordagem identificada, a maior parte das pesquisas não considera, também, o ambiente específico para adoção do modelo, privilegiando os genéricos (73%). Deste modo, verifica-seque há harmonia entre as abordagens e o contexto na maioria dos estudos do PB sobre avaliação de desempenho de custos no setor público. No entanto, nesse caso, modelos descritivistas e genéricos, apesar de harmônicos, não se apresentam como situação que garanta os benefícios esperados, pois o contexto específico deve ser evidenciado em modelos construídos para a organização que se pretende avaliar.

Em relação à segunda lente de análise, que consiste em definir a singularidade do modelo de avaliação do desempenho, considerando a situação como única, tanto nos termos do decisor, quanto no contexto físico para sua adoção (Chaves et al., 2013), são apresentados na Figura 6.

Conforme Figura 6, apenas 23% dos estudos que compõem o PB são considerados singulares em relação ao decisor, enquanto a maioria apresenta características genéricas. Já o contexto físico e de dados élevado em consideração apenas em 14% dos estudos analisados, salientando que a maioria dos estudos não considera o ambiente físico como único na aplicação de modelos de avaliação de desempenho. Desta forma, ao caracterizar os modelos analisados no PB, em termos de singularidade, tanto no contexto do decisore do ambiente, verifica-se que 14% são considerados singulares, 9% apresentam singularidade parcial, enquanto a maioria (77%) não consideram ambos (decisores e ambiente).

A terceira lente da análise sistêmica visa a identificaros valores e preferências dos decisores na escolha de objetivos, com o intuito de atribuir legitimidade ao modelo. Em relação aos critérios estabelecidos, a avaliação de desempenho precisa considerar os limites de conhecimento dos decisores na elaboração dos critérios. A Figura 7 apresenta os resultados dessa análise com relação ao reconhecimento dos limites do decisor.

Os dados da Figura 7 demonstram que a maior parte dos estudos do PB não considera os decisores na identificação dos critérios e objetivos dos modelos de avaliação de desempenho, percebido em 18 estudos. No entanto, verifica-se que os critérios externos são considerados nas demais pesquisas, em 3 delas os decisores os validam e apenas em 1 estudo os referidos decisores complementam tais critérios externos, apresentando variáveis de seus interesses para os modelos de avaliação de desempenho. Da mesma forma, esta lente permite analisar os interesses, valores e preferências dos decisores na identificação dos objetivos e critérios do modelo, onde se percebe que a maioria dos estudos do PB não reconhece a necessidade de expansão do conhecimento dos decisores (19), como demonstrado na Figura 8.

Deste modo, é possível verificar a legitimidade dos modelos de avaliação de desempenho de custos no setor público, considerando seus critérios e objetivos, bem como a expansão do conhecimento do decisorem apenas 3 modelos (14%) que compõem o fragmento da literatura representada no PB.

A quarta lente de análise tem por objetivo identificarse os modelos do PB realizam a mensuração do desempenho e, destes, classificar os tipos de escalas (nominal,cardinal, intervalar ou razão) e os procedimentos realizados para este fim (Stevens, 1946). Dos 22 estudos de caso do PB, 13 realizam a mensuração e os outros 9, não o fizeram. Porém, as escalas ordinais são identificadas com maior frequência, enquanto as escalas cardinais não são utilizadas. Por fim, é possível perceber que em 13 estudos há compatibilidade entre as escalas adotas e os objetivos de mensuração. A Figura 9 demonstra os resultados referentes à quarta lente:

Dentre os modelos do PB que realizam a mensuração do desempenho, 13 estudos apresentam as características que permitem identificar os melhores e piores desempenhos (Chaves et al., 2013), enquanto outros 9 artigos não realizam a mensuração. Destaca-se, neste ponto, que todos os estudos que realizam o processo, estão alinhados e escolhem os tipos de escalas de acordo com os objetivos do modelo.

Em relação à quinta lente, o objetivo é identificar se o sistema de avaliação de desempenho adotado permite a integração das variáveis que compõem o modelo, demonstrando o desempenho da organização deforma holística. No entanto, esta análise precisa ser realizada sob três aspectos distintos: primeiro deve-severificar se o modelo integra os indicadores; segundo,identificar qual é a forma de apresentação dos resultados do modelo; e terceiro, como é realizada esta integração (Valmorbida et al., 2014). Inicialmente, os modelos de avaliação do desempenho do PB que realizam a integração dos indicadores é verificada em apenas 23% dos estudos. Os dados demostram que em 17 estudos de caso não é percebida a integração dos indicadores para demonstrar o resultado das entidades públicas e seus serviços prestados. Porém, os aspectos relativos à apresentação dos resultados do desempenho podem ser verificados em 5 estudos, de forma global, e outros 3 de forma sistêmica. Ainda, apenas 5 estudos consideram a participação dos decisores no processo de integração dos indicadores. Esses dados podem ser observados na Figura 10.

Os resultados da análise da lente 10 demonstram a falta de informações globais que possibilitam a construção do conhecimento dos gestores e o aperfeiçoamento do desempenho das entidades avaliadas (Valmorbida et al., 2014). Nesse sentido é recomendada a proposta de modelos de avaliação de desempenho que efetivamente apresentem escalas cardinais, que demonstram a situação dos indicadores avaliados, permitindo sua integração e apresentação de forma holística, o que viabiliza a gestão.

A última lente da análise sistêmica visa constatar a existência de ações de monitoramento dos indicadores avaliados nos modelos e aperfeiçoamento da gestão, com afinalidade de melhorias no desempenho. Deste modo, as Figura 11 e 12 apresentam os resultados da análise sob _o ponto de vista da gestão, com relação ao monitoramento no PB e a adoção de práticas para o aperfeiçoamento do desempenho das entidades pesquisadas.

Em 6 estudos do PB não são verificadas ações parao monitoramento do desempenho da entidade, enquanto a maioria dos estudos, de alguma forma, apresenta um diagnóstico dos resultados avaliados, seja de forma geral e textual ([13]), ou apresentandoos pontos fortes e fraquezas da organização ([13]). Destaca-se que nenhum estudo apresenta o diagnóstico deforma gráfica. Esses resultados ressaltam a necessidadede modelos de medição de desempenho que demonstrem visualmente o desempenho da entidade, permitindo o monitoramento das ações e seus resultados.

A Figura 12 mostra que a maioria dos estudos doPB não apresenta modelos onde exista qualquer açãopara o aperfeiçoamento das organizações. Em apenas 3 estudos são verificadas ações gerais de aperfeiçoamento, enquanto outros 2 são mais enfáticos e apresentam sugestões de ações a serem desenvolvidas para melhorar seu desempenho.

4.3. Oportunidades de pesquisa

Os resultados relatados permitem ressaltar oportunidades para futuras pesquisas, a partir da identificação de lacunas existentes e falhas percebidas, tanto em relação aos pesquisadores, quanto em relação aos decisores,gestores públicos e lideranças. Como enfatizado por Mohr (2016), os líderes têm papel fundamental nesse processo e deles dependem o sucesso da avaliação de desempenho. O Quadro 6 apresenta os desafios oportunizados, com base na análise sistêmica.

Os objetivos descritos referem-se às lacunas de pesquisa percebidas nos artigos que compõem o PB, considerando as abordagens para avaliação de desempenho de custos no setor público, onde fica clara a ausência de sistemas de avaliação construídos, levando-se emconta o contexto físico e seus decisores. Também foi considerada a definição de indicadores que façam uso de escalas que possibilitem identificação da situação do desempenho, sejam integráveis e viabilizem ações de gestão para o aperfeiçoamento. Ainda, aos gestores públicos e lideranças, nota-se a necessidade de participação ativa em todas as etapas do processo, desde a elaboração dos sistemas de avaliação de desempenho até a integração dos resultados e a geração de informações para a tomada de decisão.

5. Considerações finais

A busca pela eficiência e qualidade nos serviços prestados pela administração local de município passa pelo controle dos gastos e adoção de ferramentas de medição de desempenho dos custos no setor público. Como objetivo de identificar oportunidades de pesquisas sobre o tema, a partir de um fragmento da literatura internacional, desenvolveu-se o presente estudo, visando contribuir com pesquisadores e decisores,no tocante à estruturação, implantação e utilizaçãode sistemas de mensuração e gestão do desempenho. Para tal, fez-se o uso do instrumento ProKnow-C, porutilizar um processo construtivista, com abordagem qualitativa e que possibilitou a seleção de um portfólio bibliográfico composto de 24 artigos alinhados ao tema de pesquisa, e que permitiu a realização de análises bibliométrica e sistêmica.

A análise bibliométrica básica não evidenciou um autor ou periódico com número expressivo de artigos no PB. No entanto, destacam-se Zachary T. Mohr (EUA) e Patrícia S. Varella (Brasil) como os autores com mais artigos no PB, 2 cada, enquanto o periódico Public Administration Review (PAR) apresenta 1 artigo no PB e outros 2 nas referências. O tema é considerado atual e em expansão, pois verifica-se que, dentre os 24 artigos do PB, 75% deles foram publicados na última década. Ressaltam-se os estudos de medição de desempenho de serviços específicos, commaior frequência na área da saúde (46%), com uso da análise envoltória de dados (DEA) para medir a eficiência (25%), realizados em diferentes países, com destaque para os Estados Unidos da América (EUA). Nesse ponto, há espaço para mais pesquisas que realizem a mensuração do desempenho no conjunto de serviços públicos e das atividades de gestão (planejamento, finanças e gestão).

Os artigos evidenciam, na análise bibliométrica avançada,os sistemas de mensuração de desempenho, identificando variáveis a serem medidas, destacando-se o desenho e a estrutura dos modelos. Estudos relatam que processos de implantação e uso de sistemas de gestão do desempenho são necessários no setor público. Já a análise sistêmica foi realizada com base na definição de avaliação de desempenho de Ensslin, Back& Lacerda (2013) sob seis lentes, sendo destacada a inexistência de modelos construtivistas e específicosàs entidades avaliadas, que reconheçam os limites dos decisores, seus valores, perspectivas e preferências, permitindo a integração dos indicadores para diagnosticara performance de maneira holística e voltados àgestão e ao aperfeiçoamento.

Neste sentido, os resultados constituem-se como ummarco para a literatura acerca do tema, considerando-seque foi realizado um levantamento de oportunidades depesquisa, a partir do desenvolvimento do assunto, conforme identificado nos artigos selecionados no PB, concluindo-se que o tema se apresenta como um campo de estudos em expansão a ser explorado. Destaca-se dentre as oportunidades de pesquisas evidenciadas como contribuição teórica a necessidade de considerar os decisores e o ambiente na elaboração de modelos de avaliação de desempenho, seus indicadores e escalas de mensuração,de forma sistêmica, que permitam diagnosticar o status quo atual dos custos no setor público, visando aperfeiçoamentos e melhorias.

Algumas limitações são percebidas no presente estudo: (i) a formação do PB restringiu-se aos artigos publicados em periódicos indexados em sete bancos de dados disponibilizados no portal CAPES; (ii) as análises bibliométrica avançada e sistêmica partiram da interpretação dos próprios pesquisadores; (iii) a pesquisanão tem a pretensão de desenvolver uma ferramenta de avaliação de desempenho que responda às lacunas apontadas. No entanto, sugere-se, para futuras pesquisas: ampliar o número de bases de dados pesquisadas e construir um sistema de avaliação de desempenho dos custos no setor público com a participação dos decisores, capaz de integrar os indicadores e permitir a gestão de custos dos serviços públicos.

Referências

Al‐Samarrai, S. (2006). Achieving education for all: howmuch does money matter? Journal of international development,18(2), 179-206 https://doi.org/10.1002/jid.1190

Arnaboldi, M. & Lapsley, I. (2005). Activity based costing in healthcare: a UK case study. Research in Healthcare Financial Management, 10(1), 61-75

Ballantine, J., Brignall, S. & Modell, S. (1998). Performance measurement and management in public health services: a comparison of UK and Swedish practice. Management Accounting Research, 9(1), 71-94. https://doi.org/10.1006/mare.1997.0067

Besstremyannaya, G. (2011). Managerial performance and cost efficiency of Japanese local public hospitals: A latent class stochastic frontier model. Health Economics, 20(S1), 19-34. https://doi.org/10.1002/hec.1769

Biazzi, M. R. D., Muscat, A. R. N. & Biazzi, J. L. D. (2011). Process improvement model in public undergraduate education institutions. Gestão & Produção, 18(4), 869-880. https://doi.org/10.1590/S0104-530X2011000400013

Bititci, U., Garengo, P., Dorfler, V. & Nudurupati, S. (2012). Performance measurement: challenges for tomorrow. International Journal of Management Reviews, 14(3), 305-327. https://doi.org/10.1111/j.1468-2370.2011.00318.x

Brown, K., Waterhouse, J. & Flynn, C. (2003). Change management practices: Is a hybrid model a better alternative for public sector agencies? International Journal of Public Sector Management, 16(3), 230-241.

Castro, C. M. (1977). A prática da pesquisa. Sao Paulo: McGraw-Hill do Brasil.

Chaves, L. C., Ensslin, L., Ensslin, S. R., Valmorbida, S. M. I & Da Rosa, F. S. (2013). Sistemas de apoio a decisao: mapeamento e analise de conteudo. Revista Eletrônica de Ciência Administrativa, 12(1), 6-22. https://doi.org/10.5329/RECADM.2013002

Creswell, J. W. (2010). Projeto de pesquisa metodos qualitativo, quantitativo e misto. In Projeto de pesquisa métodos qualitativo, quantitativo e misto. Artmed.

da Rosa, F. S., da Silva, L. C. & Soares, S. V. (2015). Aspectos de convergencia da contabilidade no setor publico: um enfoque sobre a implantacao do sistema de custos segundo a percepcao de contadores municipais do estado de Santa Catarina. Contabilidad y Negocios, 10(19), 27-42.

Denison, D. V., Yan, W. & Zhao, Z. J. (2007). Is management performance a factor in municipal bond credit ratings? The case of Texas school districts. Public Budgeting & Finance, 27(4), 86-98. https://doi.org/10.1111/j.1540-5850.2007.00889.x

Edward, A., Kumar, B., Kakar, F., Salehi, A. S., Burnham, G. & Peters, D. H. (2011). Configuring balanced scorecards for measuring health system performance: evidence from 5 years’ evaluation in Afghanistan. PLoS Med, 8(7), e1001066. https://doi.org/10.1371/journal.pmed.1001066

Eggli, Y., Halfon, P., Chikhi, M. & Bandi, T. (2006). Ambulatory healthcare information system: a conceptual framework. Health Policy, 78(1), 26-38. https://doi.org/10.1016/j.healthpol.2005.09.001

Ensslin, R.S., Ensslin, L., Back, F. & Lacerda, R. (2013). Improved decision aiding in human resource management: a case using constructivist multi-criteria decision aiding. International Journal of Productivity and Performance Management, 62(7), 735-757. https://doi.org/10.1108/IJPPM-04-2012-0039

Evans, P. & Bellamy, S. (1995). Performance evaluation in the Australian public sector: The role of management and cost accounting control systems. International Journal of Public Sector Management, 8(6), 30-38. https://doi.org/10.1108/09513559510100006

Fetter, R. B., Thompson, J. D. & Mills, R. E. (1976). A system for cost and reimbursement control in hospitals. The Yale Journal of Biology and Medicine, 49(2), 123.

Franco-Santos, M., Kennerley, M., Micheli, P., Martinez, V., Mason, S., Marr, B. & Neely, A. (2007). Towards a definition of a business performance measurement system. International Journal of Operations & Production Management, 27(8), 784-801. https://doi.org/10.1108/01443570710763778

Groot, T. & Budding, T. (2004). The influence of new public management practices on product costing and service pricing decisions in Dutch municipalities. Financial Accountability & Management, 20(4), 421-443. https://doi.org/10.1111/j.1468-0408.2004.00202.x

Haubrich, D. & McLean, I. (2006). Evaluating the performance of local government: a comparison of the assessment regimes in England, Scotland and Wales. Policy Studies, 27(4), 271-293. https://doi.org/10.1080/01442870601009939

Kaplan, R. S. (1983). Measuring manufacturing performance: a new challenge for managerial accounting research. In Readings in accounting for management control (pp. 284-306). Springer US. https://doi.org/10.1007/978-1-4899-7138-8_14

Klase, K. A. (2014). The Effects of Benchmarking of Public Works Performance Measures on the Cost- Effectiveness of Service Delivery: Evidence From the North Carolina Benchmarking Project. Public Works Management & Policy, 19(3), 277-298. https://doi.org/10.1177/1087724X14531103

Klazinga, N., Fischer, C. & ten Asbroek, A. (2011). Health services research related to performance indicators and benchmarking in Europe. Journal of Health Services Research & Policy, 16(suppl 2), 38-47. https://doi.org/10.1258/jhsrp.2011.011042

Lo Storto, C. (2016). The trade-off between cost efficiency and public service quality: A non-parametric frontier analysis of Italian major municipalities. Cities, 51, 52-63. https://doi.org/10.1016/j.cities.2015.11.028

Martinez, A. L. & Alves Filho, E. M. (2011). Requisitos Funcionais de um Sistema de Informacoes para Gestao de Custos no Setor Publico. Revista de Administração FACES Journal, 10(2), 79-99.

Matei, A. (2008). performance of the public expenditure management at local level in Romania. Transylvanian Review of Administrative Sciences, 4(23), 59-73.

Melnyk, S. A., Bititci, U., Platts, K., Tobias, J. & Andersen, B. (2014). Is performance measurement and management fit for the future? Management Accounting Research, 25(2), 173-186. https://doi.org/10.1016/j.mar.2013.07.007

Mohr, Z. T. (2015). An Analysis of the Purposes of Cost Accounting in Large US Cities. Public Budgeting & Finance, 35(1), 95-115. https://doi.org/10.1111/pbaf.12059

Mohr, Z. T. (2016). Performance Measurement and Cost Accounting: Are They Complementary or Competing Systems of Control? Public Administration Review, 76(4), 616-625. https://doi.org/10.1111/puar.12503

Neely, A. (1999). The performance measurement revolution: why now and what next? International Journal of Operations & Production Management, 19(2), 205- 228. https://doi.org/10.1108/01443579910247437

Neely, A., Gregory, M. & Platts, K. (1995). Performance measurement system design: a literature review and research agenda. International Journal of Operations & Production Management, 15(4), 80-116. https://doi.org/10.1108/01443579510083622

Neely, A. & Austin, R. (2002). Measuring performance: The operations perspective. In A. Neely (Ed.), Business Performance Measurement: Theory and Practice (pp. 41- 50). Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511753695.004

Nudurupati, S. S., Bititci, U. S., Kumar, V. & Chan, F. T. (2011). State of the art literature review on performance measurement. Computers & Industrial Engineering, 60(2), 279-290. https://doi.org/10.1016/j.cie.2010.11.010

Pettas, N. & Giannikos, I. (2014). Evaluating the delivery performance of public spending programs from an efficiency perspective. Evaluation and Program Planning, 45, 140-150. https://doi.org/10.1016/j.evalprogplan.2014.03.007

Revelli, F. (2010). Spend more, get more? An inquiry into English local government performance. Oxford Economic Papers, 62(1), 185-207. https://doi.org/10.1093/oep/gpp037

Santos, L. M. D., Goncalves, M. A. & Ferreira, M. A. M. (2014). Performance evaluation of expenditure in primary care: the case of Brazil’s southeastern cities. Organizações & Sociedade, 21(70), 467-487. https://doi.org/10.1590/S1984-92302014000300007

Soares, C. S., Flores, S. A. M. & Coronel, D. A. (2014). O Comportamento da Receita Publica Municipal: Um Estudo de Caso no Municipio de Santa Maria (RS). Desenvolvimento em Questão, 12(25), 312-338. https://doi.org/10.21527/2237-6453.2014.25.312-338

Stevens, S. S. (1946). On the Theory of Scales of Measurement. Science, 103(2684), 677-680.

Valmorbida, S. M. I., Ensslin, S. R., Ensslin, L. & Ripoll- Feliu, V. M. (2014). Avaliacao de desempenho para auxilio na gestao de universidades publicas: analise da literatura para identificacao de oportunidades de pesquisas. Contabilidade, Gestão e Governança, 17(3), 4-28.

Varela, P. S., de Andrade Martins, G. & Favero, L. P. L. (2012). Desempenho dos municipios paulistas: uma avaliacao de eficiencia da atencao basica a saude. Revista de Administração, 47(4), 624-637. https://doi.org/10.5700/rausp1063

Varela, P. S. & Pacheco, R. S. V. M. (2012). Federalismo e Gastos em Saude: competicao e cooperacao nos municipios da Regiao Metropolitana de Sao Paulo. Revista Contabilidade & Finanças, 23(59), 116-127. https://doi.org/10.1590/S1519-70772012000200004

Weir, E., d’Entremont, N., Stalker, S., Kurji, K. & Robinson, V. (2009). Applying the balanced scorecard to local public health performance measurement: deliberations and decisions. BMC Public Health, 9(1), 127. https://bmcpublichealth.biomedcentral.com/articles/10.1186/1471-2458-9-127

Yin, R. K. (2015). Estudo de Caso: Planejamento e Métodos. Porto Alegre: Bookman editora.