Resumo: Organizações do Terceiro Setor são financiadas por recursos públicos e privados. Entretanto, para que possam receber esses recursos, necessitam demonstrar os resultados gerados, com base nos objetivos e metas pactuados com seus financiadores. Logo, a adoção de melhores práticas de mensuração de desempenho é importante para assegurar maior transparência e aderência aos resultados esperados. Portanto, o objetivo deste ensaio teórico é apresentar as práticas de mensuração de desempenho adotadas pelo setor e determinar aquelas que podem ser consideradas benchmarkings internacionais. Este trabalho apresenta contribuições ao estabelecer um referencial teórico para avaliação de desempenho que pode ser adotado como instrumento de comparação com os modelos atuais. Desta forma, foi realizada uma pesquisa exploratória qualitativa cujos dados foram tratados por meio de análise de conteúdo. Os achados demonstraram que as melhores práticas de avaliação de desempenho estão relacionadas à mensuração de eficácia e à apuração dos resultados e impactos gerados aos diversos beneficiários.
Palavras-chave:Terceiro SetorTerceiro Setor,DesempenhoDesempenho,EficáciaEficácia,ResultadosResultados,ImpactosImpactos.
Abstract: Third Sector organizations are funded by public and private resources. However, in order to receive these resources, they need to demonstrate the results generated, based on the goals agreed with their funders. Therefore, the adoption of best performance measurement practices is important to ensure greater transparency and adherence to the expected results. So, the objective of this theoretical essay is to present the performance evaluation practices adopted by the sector and to determine those that can be considered international benchmarkings. This paper presents contributions by establishing a theoretical reference for performance evaluation that can be adopted as a tool for comparison to current models. Therefore, a qualitative exploratory research was carried out, whose data were treated through content analysis. The findings demonstrated that the best practices of performance evaluation are related to the effectiveness measurement and by the retrieval of the results and impacts generated to the various beneficiaries.
Keywords: Third Sector, Performance, Effectiveness, Outcomes, Impacts.
Resumen: Las organizaciones del Tercer Sector se financian con recursos públicos y privados. Sin embargo, para que puedan recibir esos recursos, necesitan demostrar los resultados generados, con base en los objetivos y metas pactados con sus financiadores. Por lo tanto, la adopción de mejores prácticas de medición de desempeño es importante para asegurar mayor transparencia y adherencia a los resultados esperados. Por eso, el objetivo de este ensayo teórico es presentar las prácticas de medición de desempeño adoptadas por el sector y determinar aquellas que pueden ser consideradas mejores prácticas internacionales. Este trabajo presenta contribuciones al establecer un referencial teórico para evaluación de desempeño que puede ser adoptado como instrumento de comparación a los modelos actuales. Así, se realizó una investigación exploratoria cualitativa cuyos datos fueron tratados por análisis de contenido. Las mejores prácticas de evaluación de desempeño están relacionadas con la medición de eficacia y por el escrutado de los resultados e impactos generados a los diversos beneficiarios.
Palabras clave: Tercero Sector, Rendimiento, Eficacia, Resultados, Impactos.
Artigos
Avaliação Comparativa de Métodos de Mensuração e Avaliação de Desempenho para Organizações do Terceiro Setor
Benchmarking of Measurement and Performance Evaluation Methods for Third Sector Organizations
Evaluación comparativa de métodos de medición y evaluación de desempeño para las organizaciones del tercer sector
Universidade Federal de Viçosa
Este trabalho está sob uma Licença Creative Commons Atribuição-NãoComercial-NãoDerivados 3.0 Internacional.
Recepção: 06 Janeiro 2019
Aprovação: 27 Novembro 2019
Publicado: 01 Outubro 2020
Segundo Fernandes (1994), Tachizawa (2007) e Til (2009), a sociedade civil está dividida em três setores, a saber: Primeiro Setor, composto pelo Estado e de origem pública, com finalidade pública-estatal; Segundo Setor, do qual faz parte o mercado, cujas entidades são de origem e finalidade privadas, e Terceiro Setor, onde atuam agentes privados que oferecem bens e serviços públicos, mas com finalidades públicas não-estatais.
Porém, o que se observa é que as diversas tentativas de delimitação e caracterização até hoje realizadas não conseguem abranger a diversidade existente de organizações, justamente pelo fato de se desejar separar os setores da sociedade civil em fronteiras exatas, quando, na verdade, eles se interpenetram (Fernandes, 1994), assim como se interpenetram as atividades realizadas pelas próprias organizações que atuam no Terceiro Setor e nos dois outros setores da sociedade civil (Fischer, 2002; Brown, 2006).
Em virtude destas atuações híbridas, os desafios tornam-se ainda maiores, principalmente para a realização de mensurações de desempenho que sejam adequadas às principais partes interessadas (Moore, 2000; Cabral, 2008; 2015). Por isso, os mesmos autores afirmam que avaliações pautadas nas missões institucionais se caracterizam como as mais adequadas à avaliação de desempenho de instituições pertencentes ao Terceiro Setor.
Assim, avaliações sobre a gestão e o desempenho de organizações do Terceiro Setor devem levar em consideração os valores tangíveis e intangíveis, no mínimo de naturezas duais, diferenciando-os daqueles unicamente presentes em instituições públicas ou empresas privadas, mas também devem ser realizadas de forma específica, considerando o impacto dos benefícios, a economicidade das ações e a reprodução dos valores sociais (Moore, 2000; Brown & Moore, 2001; Sawhill & Williamson, 2001). .
Devido ao crescimento em importância e relevância sociais e econômicas, por preencher as lacunas deixadas pelo Estado e absorver uma força de trabalho de 4,36% no mundo (The Johns Hopkins Center for Civil Society Studies, 2004), este setor tem recebido considerável atenção, tanto da mídia quanto de inúmeros pesquisadores, além das próprias instituições governamentais de regulamentação, fiscalização e controle. No entanto, as atividades de controle que precisam ser realizadas pelas diversas partes interessadas serão tanto mais eficazes quanto melhores forem as formas de mensuração de desempenho utilizadas para avaliação e divulgação dos resultados institucionais obtidos e ofertados aos beneficiários das ações.
Por outro lado, a maioria dos trabalhos publicados sobre o tema objetivou avaliar práticas específicas de mensuração, tais como a apuração de indicadores financeiros e estratégicos em determinados tipos de organizações (associações civis, organizações não-governamentais e organizações sociais, por exemplo) e não foi encontrado, até o momento, nenhum mapeamento e consolidação abrangente dos métodos de mensuração e avaliação existentes, aplicados ou testados internacionalmente, e uma avaliação comparativa das melhores práticas obtidas, de acordo com os objetivos a serem alcançados pelas organizações que compõem o Terceiro Setor.
Diante deste contexto, formulou-se o seguinte problema de pesquisa: Quais são as melhores práticas de mensuração e avaliação de desempenho adotadas por organizações que compõem o Terceiro Setor internacional e que podem ser consideradas benchmarkings de avaliação institucional?
Então, tomando como base a pesquisa de artigos e manuais específicos sobre o tema, sem recorte específico de período, objetivou-se mapear o benchmarking de mensuração de desempenho para organizações que pertencem ao Terceiro Setor internacional, complementando tal mapeamento com:
- Levantamento documental das formas de mensuração e avaliação de desempenho praticadas pelas organizações que pertencem ao Terceiro Setor no exterior;
- Desenvolvimento de um referencial teórico base que suporte as melhores práticas de mensuração e avaliação de desempenho adotadas pelas organizações estrangeiras.
Uma composição atualizada do Terceiro Setor estrangeiro pode ser observada a partir de uma adaptação dos estudos realizados por Cordery e Sinclair (2013), Luke, Barraket e Eversole (2013) e Fux, Modesto e Martins (2017):
- Community-Based Organization (CBO): Formada por um contrato livremente estabelecido com seus membros, a fim de exercer atividade comum aos indivíduos ou defender interesses comuns e mútuos. É denominada também de membership organization e executa objetos relacionados a recreação, esporte, cultura, arte, comunidade ou exercícios profissionais.
- Charity, Voluntary e Donee Organizations (CBO, VBO e DBO, respectivamente): Atuam na promoção de assistência social, filantropia empresarial e serviços sociais voluntários nas áreas de saúde, educação, arte, cultura, dentre outras. No entanto, valores intrínsecos de altruísmo, boa vontade e serviço à comunidade as diferenciam de uma CBO, citada anteriormente.
- Co-operative society (CS): Estabelecida por uma sociedade de pessoas, com forma e natureza jurídica próprias, de ordem civil e constituída para prestar serviços aos associados, cujos resultados econômico-financeiros podem ser, em parte, revertidos aos próprios membros.
- Faith-Based Organization (FBO): Formada por igreja ou instituição religiosa que atua em interesse da fé que a direciona, assim como também no interesse de seus membros.
- Foundation: Podem surgir sob a formação de uma CBO, VBO ou DBO.
- Nongovernmental Organization (NGO): Comprometida com a sociedade civil, os movimentos sociais e a transformação social. Diferencia-se de uma CBO por raramente estar voltada para seus próprios membros. Diferencia-se também de uma CBO, VBO ou DBO por não exercer qualquer tipo de caridade ou filantropia. No entanto, defende ideias de construção de autonomia, igualdade e participação de grupos populares.
- Public Benefit Entity (PBE): Entidade que atua no interesse e para benefício público.
- Social Enterprise (SE): Empresa que realiza projetos sociais de interesse público, ocupando as lacunas deixadas pelo Estado, mas que também atua com interesse comercial e lucrativo, competindo com o Segundo Setor da economia, o mercado.
- Social Organization (SO) ou Nonprofit Social Organization (NPSO): Organização privada constituída a partir de uma associação civil sem fins lucrativos, qualificada especificamente para o atendimento ao interesse público e à realização de atividades, projetos e programas sociais, não necessariamente fomentados pelo Estado. Confundem-se, internacionalmente, com as associações civis em geral, representadas pela CBO.
De acordo com Hoefer (2000), Connolly e Hyndman (2004), LeRoux e Wright (2010), Huang e Hooper (2011), Saj (2013) e Arvidson e Lyon (2014), instituições sem fins lucrativos estrangeiras estão sendo cada vez mais cobradas por responsabilização e prestação de contas (accountability), tanto por parte da sociedade quanto por parte de investidores, patrocinadores e doadores de recursos financeiros. Desta forma, elas precisam frequentemente demonstrar os seus valores para justificarem suas existências e minimizarem a visão de que possuem gestões frágeis e ineficazes.
Por isso, além de prestarem contas anualmente sobre os recursos utilizados e suas aplicações em ações e atividades, precisam demonstrar os resultados alcançados na execução de suas ações através de boas formas de avaliação e mensuração de seus desempenhos.
Segundo Richard, Devinney, Yip e Johnson (2009), a mensuração do desempenho organizacional de qualquer tipo de instituição deve levar em consideração três abordagens principais: A financeira, a de mercado e a que considera os objetivos desejados pelos investidores. No entanto, quando os mesmos autores se referem ao desempenho de instituições sem fins lucrativos, acrescentam mais uma dimensão, relacionada ao alcance da missão institucional.
Porém, se o olhar se volta a empresas sociais, instituições reconhecidas como pertencentes ao Terceiro Setor internacional, porém não pertencentes ao Terceiro Setor brasileiro, Bagnoli e Megali (2011) orientam que o modelo de mensuração de desempenho precisa contemplar o desempenho econômico-financeiro (lucro, valor adicionado e eficiência, por exemplo); a mensuração da eficácia social, através da quantidade e qualidade dos produtos e serviços ofertados; os resultados e impactos gerados para beneficiários e comunidade alcançada, e ainda, a legitimidade institucional, representada pela conformidade com a lei e com a missão institucional declaradas pelas empresas sociais.
Portanto, na visão de Huang e Hooper (2011), Saj (2013) e Moxham (2014), a gestão e a mensuração de performance em entidades do Terceiro Setor possui três finalidades principais: Prestar contas das ações, projetos e programas executados, a fim de demonstrar o valor destas entidades aos financiadores e beneficiários; legitimar a existência destas organizações e melhorar o próprio desempenho, através da avaliação de sua eficiência e eficácia e pela comparação dos seus resultados com os de outras instituições.
Salamon, Geller e Mengel (2010) fizeram um levantamento e chegaram à seguinte conclusão sobre as diversas metodologias de avaliação de desempenho utilizadas por organizações do Terceiro Setor (Figura 1).
Figura 1 – Tipo de avaliação de desempenho em uso pelo Terceiro Setor
Fonte: Adaptado de Salamon, Geller e Mengel (2010).
Por outro lado, Ebrahim e Rangan (2010) apontam que, apesar de necessário, não é tão simples para as organizações do Terceiro Setor conseguirem medir suas performances. Um dos fatores está relacionado a conseguir isolar os efeitos sobre um determinado grupo de beneficiários, a fim de conseguir medir os resultados e os impactos gerados diretamente a eles.
Outros fatores de dificuldade estão relacionados à diferença de entendimento do que significam relatórios gerenciais, monitoramento de objetivos e metas, práticas de gestão e de avaliação de desempenho, como também aos custos de realização das mensurações, a diversidade do setor e a aplicabilidade e avaliação dos dados coletados (Carman, 2007; Moxham & Boaden, 2007).
Adicionalmente, o trabalho de Arvidson e Lyon (2014) demonstrou que existem ainda outras barreiras, no nível organizacional, que impactam na avaliação e mensuração de desempenho de entidades sem fins lucrativos, tais como o fato de a obrigação ser advinda de uma demanda externa (doadores e financiadores, por exemplo), a própria resistência do corpo gerencial em realizar a mensuração e a ausência de compromisso organizacional para realizar as avaliações de desempenho necessárias.
Apesar das dificuldades relatadas, Wainwright (2003), Connolly e Hyndman (2004), Moxham e Boaden (2007), Bagnoli e Megali (2011), Epstein e McFarlan (2011) e Ramadan e Borgonovi (2015) orientam que uma prestação de contas adequada para as organizações que compõem o Terceiro Setor, sejam elas focadas nos membros e (ou) em ações voluntárias e sociais, deve ser capaz de demonstrar, tanto em relação às ações executadas quanto em relação àquelas planejadas para o futuro, os seguintes grupos de informações:
- Inputs (entradas): Recursos tangíveis e intangíveis, humanos, físicos e financeiros, que auxiliarão na execução das tarefas ou atividades relacionadas aos processos e aos projetos executados pelas organizações e que ajudarão no alcance de suas missões e estratégias organizacionais;
- Outputs (saídas ou realizações): Produtos e (ou) serviços gerados durante a realização das atividades ou das tarefas relacionadas aos processos e aos projetos executados pelas organizações, mas não necessariamente os desejados em relação aos objetivos e às metas pactuadas, pois podem ser os intermediários, por exemplo;
- Outcomes (resultados): Resultados de curto prazo desejados em relação aos objetivos e às metas pactuadas e que proporcionam mudanças específicas no comportamento dos indivíduos afetados pelos produtos e (ou) serviços gerados durante a realização das atividades ou tarefas executadas pelas organizações;
- Impacts (impactos): Resultados de longo prazo desejados em relação aos objetivos e às metas pactuadas e que proporcionam mudanças específicas e geram benefícios a uma organização, a uma comunidade ou a uma sociedade como um todo, afetados pelos produtos e (ou) serviços gerados durante a realização das atividades ou tarefas executadas pelas organizações.
Portanto, para conseguirem demonstrar seus resultados, as organizações pertencentes ao Terceiro Setor utilizam uma série de metodologias, que Cordery e Sinclair (2013) e Moxham (2014) consolidam sob a forma de abordagens, conforme pode ser observado nos Quadros 1 e 2.
Quadro 1 – Abordagens metodológicas de Cordery e Sinclair (2013)
Fonte: Adaptado de Cordery e Sinclair (2013).
Quadro 2 – Abordagens metodológicas de Moxham (2014)
Fonte: Adaptado de Moxham (2014).
Segundo o estudo State of Evaluation 2016: Evaluation Practice and Capacity in the Nonprofit Sector, as entidades que são financiadas com recursos provenientes de filantropia, caridade e doações têm maior tendência a mensurar resultados do que aquelas que recebem subvenções governamentais, pactuam contratos administrativos ou cobram taxas e associações (Morariu, Athanasiades, Pankaj, & Grodzicki, 2016).
Para a realização da pesquisa, as buscas de trabalhos acadêmicos internacionais foram conduzidas nas bases de dados Scientific Periodicals Electronic Library (SPELL) da Associação Nacional de Pesquisa e Pós-Graduação em Administração (ANPAD) (http://www.spell.org.br/), Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) (http://www.periodicos.capes.gov.br/), Scientific Electronic Library Online (SciELO) (http://www.scielo.org/), EBSCO (https://www.ebsco.com/) e Web of Knowledge (https://webofknowledge.com/).
No entanto, à medida que artigos relacionados ao tema iam sendo encontrados, os sítios de internet dos respectivos periódicos também eram consultados, de forma a elevar a amplitude de captação de conteúdo. Os manuais e guias específicos sobre avaliação de desempenho referenciados nos trabalhos acadêmicos selecionados também foram adicionados à busca, ampliando o conteúdo bibliográfico da pesquisa.
A busca se deu nos campos “Título do Documento”, “Palavra-chave” e “Resumo” de cada portal, a partir das palavras a seguir mencionadas, escritas juntas: “Avaliação de desempenho de organizações sem fins lucrativos” e “nonprofit organizations performance evaluation”, “avaliação de desempenho de associações civis” e “civil associations performance evaluation” ou “community-based performance evaluation”, “avaliação de desempenho de organizações voluntárias” e “voluntary organizations performance evaluation”, “avaliação de desempenho de organizações filantrópicas” e “philanthropic organizations performance evaluation”, “avaliação de desempenho de organizações de caridade” e “charity organizations performance evaluation”, “avaliação de desempenho de organizações baseadas na fé” e “faith-based organizations performance evaluation”, “avaliação de desempenho de organizações sociais” e “social organizations performance evaluation”, “avaliação de desempenho de organizações da sociedade civil de interesse público” e “civil society organizations of public interest performance evaluation ou Public Benefit Entities performance evaluation”, “avaliação de desempenho de organizações não-governamentais” e “nongovernmental organizations performance evaluation”, e “avaliação de desempenho de organizações do terceiro setor” e “third sector performance evaluation”.
Posteriormente, a palavra “organizações” foi trocada por “instituições” e, logo em seguida, por “entidades”, tanto em português, quanto em inglês. Da mesma forma, o termo “avaliação de desempenho” foi substituído por “medida de desempenho” e, logo em seguida, por “desempenho”, tanto em português, quanto em inglês.
Os trabalhos selecionados foram lidos integralmente e separados conforme os métodos de avaliação de desempenho adotados. Aqueles que mencionaram mais de um método de avaliação eram identificados como tal, a fim de possibilitar a análise exploratória de natureza qualitativa dos conteúdos específicos.
Em sequência, os dados obtidos foram analisados sob a forma de análise de conteúdo (Bardin, 2011), agrupando os métodos de avaliação de desempenho através de classificação semântica, segundo as propostas de temas de Cordery e Sinclair (2013) e Moxham (2014), através da realização dos seguintes passos:
- Organização e leitura de todos os dados coletados;
- Separação dos trabalhos por tipo de mensuração de desempenho mencionada, em alinhamento com a proposta de Cordery e Sinclair (2013), levando em consideração o relacionamento teórico com a concepção de Moxham (2014) e demais referenciais teóricos utilizados neste trabalho de pesquisa;
- Classificação das metodologias encontradas nos trabalhos pesquisados, porém não relacionadas diretamente por Cordery e Sinclair (2013) e Moxham (2014), mas por semelhança de aplicabilidade ou de origem metodológica, tal como o framework estratégico Triple Bottom Line (TBL), alocado, para fins desta pesquisa, na abordagem estratégica de Cordery e Sinclair (2013) e, por semelhança, na multidimensional de Moxham (2014);
- Elaboração de descrições detalhadas dos conteúdos das metodologias encontradas nos trabalhos, suas vantagens e desvantagens de adoção e implementação e alocação conforme as abordagens propostas por Cordery e Sinclair (2013), levando em consideração o relacionamento teórico com as abordagens propostas por Moxham (2014) e demais referenciais teóricos utilizados neste trabalho de pesquisa;
- Elaboração de descrições detalhadas dos requisitos necessários de mensuração de desempenho para organizações que pertencem ao Terceiro Setor, apresentados nos próprios trabalhos utilizados neste referencial bibliográfico;
- Proposição de uma narrativa de relacionamento entre as metodologias de desempenho mais aderentes aos requisitos necessários de mensuração de desempenho para organizações do Terceiro Setor;
- Apresentação das formas de mensuração de desempenho consideradas melhores práticas internacionais e que podem ser utilizadas como benchmarking de avaliação para o Terceiro Setor, nacional ou estrangeiro.
Utilizando como base as metodologias de mensuração de desempenho propostas por Cordery e Sinclair (2013), são apresentadas a seguir as descrições das formas de avaliação que foram encontradas na literatura e analisadas para serem apresentadas neste trabalho de pesquisa, a fim de estabelecer o referencial teórico de mensuração de desempenho para organizações pertencentes ao Terceiro Setor internacional.
Essa análise possibilita determinar o mix de ações que possam gerar os melhores benefícios, que, no caso do Terceiro Setor, são sociais. No entanto, como é mais fácil determinar custos do que benefícios, acaba sendo uma análise limitada e ineficaz quando utilizada de forma isolada (Alexander & Smaje, 2008).
É uma metodologia de mensuração especificamente adotada por organizações pequenas e orientadas por valores sociais, em que os dados coletados e as análises produzidas passam por uma auditoria independente antes de seus resultados serem reportados à sociedade (Pearce, 2001; Pearce & Kay, 2005; 2008; Gibbon & Dey, 2011).
Segundo Gibbon e Dey (2011), essa metodologia foi originalmente desenvolvida pela Roberts Enterprise Development Fund (REDF) nos Estados Unidos (EUA) e baseou-se no modelo de mensuração CBA, mencionado anteriormente. A ideia era medir o valor social gerado por empreendedores sociais, entidades que atuam de forma híbrida em relação à finalidade lucrativa e à geração de benefícios sociais, predominantemente em economias desenvolvidas, como as dos EUA e a do Reino Unido (Hall, 2014).
Algebricamente, o SROI é calculado através da razão entre o valor gerado pelos benefícios e o valor dos investimentos efetuados (Hall, 2014). No entanto, a utilização de mensuração de desempenho através de apuração do SROI possui vantagens e desvantagens.
Dentre as principais vantagens, encontram-se: A facilidade em refletir as mudanças causadas pela organização e suas estratégias, maior accountability e habilidade para gerir riscos e a identificação tempestiva de oportunidades e de necessidades no aumento de recursos financeiros para alcance da missão.
Como desvantagens tem-se o mau uso da informação para fins pessoais ou políticos; a possibilidade de manipulação das informações de benefícios, resultados e impactos; o uso de bases de dados inadequadas, e a utilização desta métrica sem considerar outras perspectivas de mensuração, ou seja, pela utilização como indicador único de avaliação de desempenho, o que não é considerado ideal na visão de Lingane e Olsen (2004) e Gibbon e Dey (2011).
Kaplan e Norton (1997) definem o BSC como “uma ferramenta empresarial que mede o desempenho organizacional sob quatro perspectivas equilibradas: financeira, do cliente, dos processos internos da empresa e de aprendizado e crescimento”.
Segundo Ensslin e Vianna (2007), esta ferramenta traduz a missão e a estratégia da organização em um conjunto compreensível de medidas de desempenho que propiciam a formação de uma estrutura de mensuração e de um sistema de gestão eficiente através do alinhamento sinérgico das quatro perspectivas para a execução da estratégia.
De acordo com Kaplan (2001) e Hall (2014), a mensuração de desempenho de organizações com ou sem fins lucrativos apenas por indicadores financeiros não é suficiente para avaliar a realização dos objetivos estratégicos de acordo com suas missões institucionais, por isso, sugerem que, principalmente para organizações do Terceiro Setor, seja utilizada uma estrutura adaptada do BSC, com a missão localizada no topo do Scorecard, como a meta de mais longo prazo a ser alcançada, e as quatro dimensões tradicionais de avaliação da ferramenta mais relacionadas aos objetivos de prazos inferiores, servindo de feedback para melhoria da performance.
Como organizações do Terceiro Setor não possuem clientes apenas como partes interessadas, mas também investidores, doadores e fomentadores de recursos públicos e privados, Kaplan (2001) orienta a uma segunda adaptação do modelo, que é a de colocar os investidores, doadores e fomentadores de recursos em posição paralela a dos beneficiários dos serviços prestados.
A metodologia de planejamento e mensuração de desempenho de projetos Logical Framework Approach (LFA) ou Abordagem do Quadro Lógico (AQL) foi desenvolvida no final da década de 1960 nos EUA e utilizada originalmente por organizações que recebiam doações, sendo, hoje em dia, adotada por diversas entidades públicas e privadas, inclusive as pertencentes ao Terceiro Setor (Gasper, 2000; Jacobs, Barnett, & Ponsford, 2010; Hall, 2014).
Segundo Gasper (2000), Taylor, Thin e Sartain (2003), Jacobs, Barnett e Ponsford (2010) e Hall (2014), o coração do LFA é uma matriz 4 por 4, que na sua estrutura vertical constam as descrições dos projetos e programas através dos objetivos hierarquizados em atividades (tarefas), resultados de curto prazo, propósitos de curto prazo e objetivos de longo prazo (impactos).
Por outro lado, na sua estrutura horizontal constam os indicadores quantitativos e qualitativos de avaliação e mensuração de desempenho, as fontes de dados e os pressupostos e riscos de cada categoria.
Na visão de Connolly e Hyndman (2004), a medida de eficiência é determinada pela razão entre outputs (saídas ou realizações) e inputs (entradas ou recursos).
Por outro lado, Barman (2007) demonstrou em sua pesquisa histórica que a mensuração de desempenho de eficiência em organizações de caridade do Reino Unido era focada no viés financeiro, o mais requerido na visão dos doadores de recursos, principalmente devido à suspeita da possibilidade de fraudes e desvios ocorridos durante a década de 1960.
No entanto, para Hind (1995) os conceitos de custos e de valor do dinheiro não estão localizados no coração do processo de mensuração e avaliação de desempenho do Terceiro Setor, em que a ênfase deve recair sobre a eficácia do projeto ou da atividade realizada por instituições de caridade.
Segundo Connolly e Hyndman (2004), a medida de eficácia é a razão entre os resultados em produtos e serviços gerados e os objetivos definidos pela missão.
Essa definição, em alinhamento com os estudos de Wainwright (2003), Moxham e Boaden (2007), Bagnoli e Megali (2011), Epstein e McFarlan (2011) e Ramadan e Borgonovi (2015), representa então a relação entre os outcomes (resultados que impactam indivíduos) e (ou) os impacts (resultados que impactam uma organização, uma comunidade ou uma sociedade como um todo) obtidos em relação às metas e aos objetivos pactuados, seja no curto ou no longo prazo, respectivamente.
Portanto, a mensuração de resultados e impactos é vista como uma forma de avaliação da eficácia no desempenho de uma organização, no ambiente em que atua (Ebrahim & Rangan, 2010).
Impacto é a consequência causada por determinada ação, estando ela representada por uma atividade, um projeto ou um programa. Muitas organizações sem fins lucrativos entendem que precisam adotar ciclos de boas práticas que gerem impactos positivos a fim de se tornarem cada vez melhores (National Council for Voluntary Organisations [NCVO], 2013).
A fim de reforçar essa visão, Arvidson e Lyon (2014) alertaram que cada vez mais organizações que recebem recursos de investidores e doadores têm apresentado interesse em realizar medidas de impacto social, a fim de promoverem suas ações e demonstrarem boas práticas de prestações de contas às suas principais partes interessadas. Com isso, pretendem também angariar mais recursos para serem aplicados na realização de seus programas, projetos e ações sociais.
No entanto, nem sempre os benefícios na realização desta prática superam as resistências internas do corpo gerencial em entender o alcance de execução desta forma de mensuração, no sentido de não a enxergar apenas como uma imposição dos contratantes e demais partes interessadas.
Um dos passos mais importantes para a realização de mensuração de impacto é a identificação das principais partes interessadas e respectivas informações que lhes sejam relevantes, a fim de possibilitar com que elas tenham ciência do valor total produzido pelas organizações e não apenas do valor adicionado gerado através de suas ações (Dawson, 2010).
Segundo Wainwright (2003), a forma de mensuração de impacto social não é tão direta e padrão, devido à diversidade de categorias de organizações que compõem o Terceiro Setor, como também possui uma série de obstáculos, tais como dificuldades em identificar as relações causa-efeito e em medir os impactos associados a fatos preventivos como mortalidade infantil, por exemplo.
Por isso, Arvidson e Lyon (2014) relatam que existem diversas metodologias que podem ser entendidas como avaliadoras de impacto social e que estão relacionadas às perspectivas econômico-financeira e estratégica, propostas por Cordery e Sinclair (2013).
Para outros autores, tais como Wainwright (2003), Moxham e Boaden (2007) e Dawson (2010), o viés mais adequado para avaliar impacto social deve estar relacionado à mensuração de resultados de longo prazo voltados aos objetivos e às metas que colaboram para o atingimento da missão institucional das organizações e que interferem positiva ou negativamente na comunidade ou na sociedade em que estas instituições atuam.
Considerada, portanto, como a forma mais completa de mensurar o desempenho de organizações que recebem recursos de fomento, investimento, financiamento e doações públicas e privadas, a metodologia de avaliação por impacto deu origem a diversos manuais, guias e catálogos de orientação, por diversos pesquisadores, institutos, universidades, entidades e fundações de ensino e pesquisa no mundo, públicas ou privadas, com ou sem fins lucrativos, de todos os setores da economia (Kellogg Foundation, 2004; World Bank, 2006; Olsen & Galimidi, 2008; Controller and Auditor-General, 2008; NCVO, 2013; Bourantonis, 2014; Enjolras, 2015).
Além disso, essa ferramenta de mensuração possui inúmeras vantagens, destacando-se a visibilidade das tarefas mais relevantes e recursos necessários ao alcance dos resultados e dos impactos esperados para o atingimento da missão e a possibilidade de correção de rumos na estratégia organizacional ao longo do percurso de cada ação, projeto ou programa, seja de natureza social ou não. Por isso, a própria Fundação Kellogg a utiliza em seus programas para medir o impacto de suas atividades de pesquisa e ensino (Kellogg Foundation, 2004).
De acordo com o Banco Mundial (World Bank, 2006), a qualidade das avaliações de impacto é afetada por restrições orçamentárias, de tempo e de dados, por isso, devem ser definidos indicadores adequados que possam mensurar as mudanças, os benefícios e os impactos gerados aos indivíduos, à organização, à comunidade e à sociedade afetados pela intervenção dos projetos, das ações e dos programas executados.
A técnica de mensuração de projetos e programas através da avaliação da mudança mais significativa (MSC) consiste em uma metodologia indutiva de monitoramento e de avaliação participativa a respeito das mudanças mais importantes que estejam sendo geradas pelos projetos e programas realizados por organizações de finalidade pública ou privada, a despeito do uso de indicadores de desempenho (Davies & Dart, 2005; Hall, 2014).
Para Davies e Dart (2005), as principais vantagens em conduzir um processo de mensuração por MSC são: A possibilidade de identificação de mudanças inesperadas; a identificação mais clara e prática do valor agregado das ações, projetos ou programas; a fácil participação e explanação das ideias por diferentes culturas e conhecimentos; o encorajamento à análise e à coleta de dados, porque as pessoas são provocadas a avaliarem os impactos e as diferenças em relação às mudanças; o desenvolvimento de gerentes capazes de analisar dados e conceituar impactos; a obtenção de avaliações mais ricas e simples, e a possibilidade de uso para avaliar ações bottom-up, em que os resultados ainda não estejam predefinidos.
Davies e Dart (2005) ainda indicam os casos de avaliação de programas em que é melhor usar essa técnica, com destaque para os complexos, extensos e com numerosos stakeholders; aqueles focados em mudanças sociais; os participativos; os desenhados em parceria entre gestores e participantes; os de difícil monitoramento por sistemas convencionais, e aqueles com serviços altamente customizados para um pequeno número de beneficiários.
Apesar de os autores Cordery e Sinclair (2013) considerarem as metodologias ORS, SAA, SOA e SROI como de abordagem econômico-financeira, elas também são orientadas pelas perspectivas de mensuração de resultados, como pode ser observado nas próprias definições contidas no Quadro 1.
No entanto, esses resultados ainda estão mais voltados a indicadores financeiros e econômicos do que às demonstrações dos benefícios gerados aos diversos públicos de interesse, em atendimento ao alcance da missão das organizações. O mesmo acontece para avaliações focadas apenas no cálculo da eficiência (Hind, 1995).
Adicionalmente, apesar de a metodologia SAA englobar a avaliação de resultados e impactos ambientais, a mesma não inclui os sociais para contabilização e reporte (Pearce & Kay, 2005), por isso não pode ser considerada como um referencial de mensuração, nem assemelhada ao framework estratégico TBL.
O SROI, por sua vez, preocupa-se com os investimentos realizados pelos diversos financiadores das ações, independente da relação desses investimentos com os objetivos e as metas que contribuirão para o alcance da missão (Hall, 2014), por isso ele não pode ser utilizado como indicador único de mensuração de desempenho (Lingane & Olsen, 2004; Gibbon & Dey, 2011).
As metodologias com abordagens multidimensionais, tais como o BSC e o TBL por exemplo, necessitam de uma adaptação a fim de colocarem o alcance da missão no topo destes frameworks estratégicos e não em igualdade de condições, como são formalmente interpostas as perspectivas atuais dos modelos.
Como uma terceira adaptação derivada do BSC, Moore (2003) apresenta a ferramenta denominada Public Value Scorecard (PVS), que, apesar de representar para Zhang e Wang (2010) uma ferramenta estratégica mais benéfica do que o BSC, por seus objetivos finais serem o valor público e os impactos sociais para os beneficiários cidadãos, ainda não está completamente desenvolvida e não se aplica facilmente para cada tipo de organização (Melo, 2007).
Levando em consideração os achados, é possível elaborar uma associação entre as metodologias que foram encontradas na literatura sobre avaliações de desempenho de entidades que compõem o Terceiro Setor estrangeiro, tomando como base as formas de mensuração e as abordagens propostas por Cordery e Sinclair (2013) e Moxham (2014), a fim de propor um referencial teórico de mensuração de desempenho a ser utilizado como benchmarking a este trabalho de pesquisa.
Esse referencial teórico deve levar em consideração a conjugação da necessidade de entidades do Terceiro Setor visarem avaliações que demonstrem o alcance da missão (Cordery & Sinclair, 2013; Richard, Devinney, Yip, & Johnson, 2009) através da mensuração dos resultados e dos impactos gerados pelos produtos e (ou) serviços ofertados aos beneficiários individuais ou coletivos (Bagnoli & Megali, 2011), a fim de legitimarem suas existências institucionais, por meio da adequada prestação de contas das ações realizadas (Huang & Hooper, 2011; Saj, 2013; Moxham, 2014), indiscutivelmente necessárias ao fortalecimento de suas reputações (Richard, Devinney,Yip, & Johnson, 2009; Lecy, Schmitz, & Swedlund, 2012).
Com isso, mensurações que levem em consideração a apuração de outcomes e impactos, neste caso sociais, são consideradas as mais adequadas a serem adotadas por instituições que pertencem ao Terceiro Setor estrangeiro (Wainwright, 2003; Connolly & Hyndman, 2004; Kellogg Foundation, 2004; World Bank, 2006; Moxham & Boaden, 2007; Controller and Auditor-General, 2008; Olsen & Galimidi, 2008; Bagnoli & Megali, 2011; Epstein & McFarlan, 2011; NCVO, 2013; Arvidson & Lyon, 2014; Bourantonis, 2014; Enjolras, 2015; Ramadan & Borgonovi, 2015).
Considerando, então, as ponderações anteriores, como também as formas de cálculo de eficácia em entidades do Terceiro Setor – relação entre resultados (outcomes e impactos) e os objetivos e metas traçados para as organizações –, em virtude da necessidade de alcance de suas missões (Connolly & Hyndman, 2004), as mensurações que possuem como premissa a apuração de eficácia em relação a outcomes e impactos são as mais relevantes e importantes para as diversas partes interessadas das organizações, sejam elas financiadoras ou beneficiárias das ações realizadas (Hind, 1995; Richard, Devinney,Yip, & Johnson, 2009; Ebrahim & Rangan, 2010; Huang & Hooper, 2011; Lecy, Schmitz, & Swedlund, 2012; Arvidson & Lyon, 2014; Ramadan & Borgonovi, 2015).
Logo, as metodologias de avaliação de desempenho que podem ser consideradas como referenciais para este trabalho de pesquisa são aquelas que estão relacionadas à abordagem por resultados, proposta por Cordery e Sinclair (2013) em adição à abordagem reputacional proposta por Moxham (2014), e que visam à apuração de eficácia, através da avaliação de resultados de micro e macro alcances (Enjolras, 2015) refletidos sob a forma de outcomes e impactos.
Além disso, também podem ser considerados como benchmarking outros modelos de mensuração mais completos e complexos, como o LFA e o MSC, que terminam por demonstrar a apuração de outcomes e impactos em suas próprias estruturas de mensuração.
Figura 2 - Benchmarking de avaliação de desempenho para o Terceiro Setor
Fonte: Elaborada pelos autores
No entanto, a abordagem participativa do MSC possui custo elevado e leva mais tempo para ser realizada do que as outras melhores práticas internacionais (Davies & Dart, 2005), sendo ainda uma metodologia mais indicada quando se deseja aprendizado ao invés de prestação de contas de forma completa e rápida (Davies & Dart, 2005; Cordery & Sinclair, 2013).
A ampla literatura considerada neste trabalho de pesquisa demonstrou que é possível mapear as diversas metodologias de avaliação e mensuração de desempenho já adotadas e testadas em organizações do Terceiro Setor estrangeiro e relacioná-las com os trabalhos acadêmicos que orientam a consolidações de abordagens metodológicas propostas por Cordery e Sinclair (2013), Moxham (2014) e demais referenciais utilizados neste trabalho.
Os resultados obtidos mostram ainda que, através das vantagens e desvantagens de cada método e dos objetivos institucionais das instituições pertencentes ao Terceiro Setor, é possível estabelecer um referencial teórico base que relaciona as melhores práticas de avaliação de desempenho já adotadas internacionalmente e assim estabelecer um benchmarking de avaliação e mensuração.
Além disso, os achados desta pesquisa orientam que essas melhores práticas estão relacionadas à mensuração de resultados (outcomes) e de impactos que beneficiam os indivíduos, as organizações, uma comunidade específica ou a sociedade como um todo, segregados pelos níveis de micro e macro alcances, no curto ou no longo prazo, conforme o que oriente as missões institucionais das organizações.
Esses benchmarkings de avaliação e mensuração de desempenho podem ser encontrados na literatura através de denominações de eficácia, resultados e impactos, ou ainda refletidos em frameworks mais complexos de mensuração, tais como o LFA e o MSC.
Como limitação, destaca-se a indisponibilidade de trabalhos sobre determinadas metodologias existentes na visão de Cordery e Sinclair (2013), dado que não foram encontrados referenciais teóricos e estudos que tenham adotado determinados métodos mencionados pelas autoras, tais como ORS, SOAs, RBA, etc.
Uma sugestão para trabalho futuro envolve o desenvolvimento de um modelo de mensuração que leve em consideração o arcabouço teórico constituinte do benchmarking de avaliação e mensuração de desempenho levantado nesta pesquisa e o agregue em um formato ou framework metodológico único.
Figura 1 – Tipo de avaliação de desempenho em uso pelo Terceiro Setor
Fonte: Adaptado de Salamon, Geller e Mengel (2010).
Quadro 1 – Abordagens metodológicas de Cordery e Sinclair (2013)
Fonte: Adaptado de Cordery e Sinclair (2013).
Quadro 2 – Abordagens metodológicas de Moxham (2014)
Fonte: Adaptado de Moxham (2014).
Figura 2 - Benchmarking de avaliação de desempenho para o Terceiro Setor
Fonte: Elaborada pelos autores
