HTML

ePub

PDF

1 INTRODUÇÃO

Os hospitais universitários são centros de formação de profissionais na área da saúde e também de desenvolvimento de tecnologia. A prestação de serviços à população permite o aprimoramento contínuo do atendimento e a elaboração de novos protocolos técnicos (Brasil, 2018). Nessas insituições são formados os profissionais que prestam serviços à população, lecionam e fazem pesquisas na área de saúde. Essas características tornam o papel dos hospitais universitários (HUs) crítico para o presente e o futuro do sistema de saúde.

Dentre os diversos aspectos relevantes no funcionamento dos HUs um que tem recebido grande atenção governamental é a avaliação de desempenho organizacional. Os HUs brasileiros têm sofrido pressões para melhorar suas práticas de avaliação de desempenho organizacional, inclusive tendo sua viabilidade financeira questionada (Bonacim & Araújo,

2009). Além do mais, torna-se cada vez mais necessária a existência de ferramentas gerenciais que auxiliem os administradores desses hospitais na busca por melhoria dos processos gerenciais e operacionais (Bonacim & Araújo, 2010).

Um dos pontos importantes nesse sentido é a avaliação do desempenho organizacional. Segundo a World Health Organization [WHO] (2003), a mensuração é um conceito fundamental para a melhoria da qualidade hospitalar. Ela oferece um meio para definir o papel real dos hospitais e comparar resultados com as metas originais. Além de que a avaliação de desempenho é reconhecida como uma maneira de estimular a melhoria da qualidade na prestação de serviços de saúde (Ballard, 2003).

Nessa perspectiva, o desempenho em HUs já foi estudado anteriormente por diversos ângulos, como econômico-financeiro (Bonacim & Araújo, 2011), resultados de indicadores isolados (Zucchi & Bittar, 2002), gestão de custos (Bonacim & Araújo, 2010), produtividade (Ozcan et al., 2010), eficiência (Lins et al., 2007), relação entre ensino e assistência (Lobo, et al., 2010), entre outros. Todos esses estudos são pautados em dados de indicadores de desempenho disponíveis nos hospitais. Todavia, nem sempre indicadores de desempenho estão disponíveis nas organizações (Passos & Spers, 2014). Há desafios ligados a forma pela qual o sistema de avaliação de desempenho é conduzido. Dessa forma, é importante compreendr o desempenho de forma mais exploratória, observando-se as atividades da avaliação de desempenho que são conduzidas rotineiramente.

Assim, levando em consideração a importância dos HUs para a para a ciência e para a sociedade e a lacuna de estudos sobre o tema, justifica-se estudar como a Avaliação de Desempenho Organizacional (ADO) tem sido realizada nos Hospitais Universitários [HUs] Públicos do Brasil. Considerando esse contexto, isso leva às seguintes questões de pesquisa: de que maneira os elementos relacionados à avaliação de desempenho organizacional estão presentes nas atividades cotidianas de um hospital universitário? Para responder essa pergunta, uma caracterização das atividades ligadas à avaliação de desempenho é necessária. Assim sendo, foi conduzido um estudo de caso único em um hospital universitário, que contou com entrevista com o gestor responsável pela área de gerenciamento de indicadores e também uma análise dos documentos relacionados a essas atividades.

2 FUNDAMENTAÇÃO TEÓRICA

2.1 Avaliação de Desempenho Organizacional

Olson e Slater (2002) afirmam que o processo de gestão estratégica compreende pelo menos cinco elementos: desenvolver uma missão, analisar a situação da empresa, formar uma estratégia competitiva, implementar a estratégia e monitorar o desempenho (Olson & Slater, 2002). Entre esses elementos, o foco deste trabalho é a avaliação / mensuração do desempenho organizacional.

Segundo Neely, Gregory e Platts (2005) a mensuração do desempenho é o processo de quantificar as ações. Ela determina o quão bem uma organização está atingindo seus objetivos (Carneiro da Cunha & Corrêa, 2013). A avaliação de desempenho organizacional é também um dos modos pelo qual as partes interessadas (sócios, governo, sociedade, entre outros) podem saber como os recursos estão sendo utilizados pela organização.

Uma das principais razões para a realização da avaliação de desempenho organizacional é a necessidade das empresas de gerir o desempenho. A medição do desempenho e a gestão de desempenho não podem ser separadas, ainda que tenham conceitos diferentes (Lebas, 1995). A relação estreita com controle organizacional torna a avaliação um dos aspectos centrais da organização. Sem possuir informações sobre o quanto os objetivos organizacionais estão sendo atingidos não há como monitorar desempenho. Consequentemente, fica aberta uma grande lacuna para ineficiências (Halachmi, 2002).

Diversas podem ser as razões para a implementação ou uso de sistemas de avaliação de desempenho. Ele pode servir para monitorar ou controlar atividades ou área da organização, para se estabelecer e garantir um foco de atuação da organização, para que exista uma decisão estratégica baseada nos objetivos traçados e para legitimar a organização perante o mercado (Hourneaux Jr. et al., 2017). Cabe então aosgestores envolvidos com esses sistemas elaborar indicadores capazes de captar informações adequadas sobre o desempenho que se pretende medir.

2.2 Indicadores de Desempenho nas Organizações de Saúde

Avaliação de desempenho na área da saúde pode incluir uma grande variedade de indicadores. Hermann et al. (2000) avaliaram nos Estados Unidos o Inventário Nacional de Medidas de Saúde Mental e Qualidade e identificaram 86 medidas de desempenho nas seguintes categorias: adequação do tratamento (65% de todos os indicadores), continuidade do tratamento, acessibilidade dos cuidados, coordenação dos cuidados, detecção e prevenção (Luijsterburg, Ham, Brouwers & Smits 2008).

Geralmente os indicadores clássicos utilizados pelos hospitais podem ser agrupados basicamente em três grupos: 1) indicadores de saúde: por exemplo, taxas de mortalidade e fatores de risco; 2) indicadores de utilização dos serviços: como taxas de consultas médicas, intervenções cirúrgicas, exploração e diagnósticos, dias de internação hospitalar e tempo médio de permanência por paciente; 3) indicadores de recursos hospitalares: como número de leitos disponíveis, internações hospitalares, o número de admissões anuais, as taxas de ocupação por serviço e rotação média de leitos / quartos (Urrutia & Eriksen, 2005).

O uso de indicadores pode servir a muitos propósitos em uma organização de saúde: documentar a qualidade do atendimento, fazer comparações ao longo do tempo e entre organizações, melhorar da qualidade do apoio, apoiar as escolhas dos pacientes, julgar e definir prioridades. Além de serem muito úteis para ajudar a cumprir regulamentos e possibilitar acreditações (Mainz, 2003).

Não é por acaso que, principalmente nos anos 1990, ocorreu uma explosão em número de indicadores de desempenho utilizados pelas organizações (Davies & Lampel, 1998). Todavia, esse aumento do uso e do número de indicadores de desempenho na área da saúde se baseia na premissa de que os indicadores utilizados possuem os atributos necessários para refletir os resultados organizacionais tanto da assistência quanto econômicos (Perera, Dowell, Crampton & Kearns, 2007).

Segundo a Organização Pan-Americana de Saúde (2008), a qualidade de um indicador para a saúde depende principalmente de dois aspectos: as propriedades dos componentes utilizados em sua formulação e a precisão dos sistemas de informação (Rede Intergerencial de Informação para Saúde, 2008). A elaboração de um indicador também é afetada pela instuição que está sendo estudada, como hospitais, asilos, grupos de médicos, departamentos especializados e médicos. Uma medida adequada para uma entidade pode não funcionar para outra (Eddy, 1998).

Além de apresentar os atributos citados, os indicadores de desempenho também precisam estar diretamente ligados à estratégia organizacional. Segundo Ondategui-Parra et al. (2004) eles devem prover informações sobre os objetivos operacionais essenciais a serem alcançados. É necessária a implementações cuidadosa de regras e sistemas de informação para assegurar confiabilidade dos indicadores (Luijsterburg et al., 2008). O grande desafio é que os modelos pré-formatados de avaliação de desempenho são limitados para a realidade hospitalar, sendo necessária, muitas vezes, a elaboração de perspectivas e indicadores específicos para cada tipo de organização de saúde (Carneiro da Cunha & Corrêa, 2013).

2.3 Avaliação de Desempenho em Hospitais

Após os anos 1970, a administração hospitalar passou a enfrentar novos desafios em seu ambiente com: a) a atenção primária passa a ser associada ao conceito de democratização da saúde; b) as técnicas de prevenção que ganham força como instrumento para prolongar a vida e reduzir custos dos sistemas de saúde; c) o crescimento da atenção médica baseada no conceito de seguro; d) o aumento do conhecimento e da regulação do setor; e) a multidisciplinaridade crescente da atenção à saúde; f) o crescimento dos mecanismos de defesa do consumidor (Medici, 2001). Adicionalmente, a natureza de burocrática profissional dos hospitais (Denis, Langley & Luxeau, 1991), a existência de pelo menos duas entidades separadas em uma mesma organização (a administração e a equipe médica) (Harris, 1977 apud Eldenburg et al., 2004) e o conjunto diversificado de stakeholders (Mcdonald, 2012) são fatores que limitam o poder dos administradores (Denis, Langley & Luxeau, 1991). Assim sendo, a gestão dessas organizações mais complexa (Marinho, 2001).

2.4 Avaliação de Desempenho Organizacional em Hospitais Universitários

Diante dos desafios apresentados à gestão e à avaliação de desempenho das oganizações de saúde, é importante compreender também as especificidades dos hospitais universitários. Parte-se então da premissa de que a missão de qualquer hospital ao prestar serviços de saúde é resolver os problemas de saúde dos pacientes (eficácia), da melhor forma (qualidade) da forma mais econômica possível (eficiência) (Ioan, Nestian & Tita, 2012). Os HUs devem atender a esses objetivos em sua missão e cumprir outros objetivos, principalmente relacionados ao ensino e pesquisa. Esse fato pode ser evidenciado pelas declarações de missão de alguns hospitais universitários, exemplificados aqui no Quadro 1:

Pode-se perceber que em todas as declarações de missão é enfatizado o papel do HU como um centro de atendimento à população, ensino e pesquisa. Essas insituições têm a necessidade de equilibrar suas três dimensões (ensino, pesquisa e atendimento). Sendo que a viabillidade financeira e a baixa produtividade dos HUs ainda é um desafio que precisa ser superado (Bonacim & Araújo, 2009). A gestão de HUs tem sido estudada por diversos ângulos até o momento, como pode ser visto em alguns exemplos no Quadro 2:

Percebe-se que apenas dois dos trabalhos destacados tratam de alguma forma a avaliação de desempenho em HUs. O estudo de Lobo et al. (2010), está relacionado com a avaliação de desempenho em HUs. Porém ele dirige-se mais à integração entre a assistência e o ensino do que à mensuração dos resultados da instituição como um todo. Já o trabalho de Marinho (2001) mensura a eficiência dos HUs por meio do DEA (Data Envelopment Analysis), mas não se preocupa com o funcionamento interno dessas organizações, e, tampouco, com os mecanismos e atividades de avaliação de desempenho.

Portanto, é importante que se compreenda os elementos de avaliação de desempenho dentro desse contexto dos hospitais universitários públicos. No Quadro 3 estão sintetizados os grupos de variáveis levantadas (categorias teóricas do estudo), os aspectos de avaliação considerados e os autores consultados para este trabalho.

Considerando então os aspectos relacionados às atividades de ensino dos hospitais universitários e aos seus objetivos estratégicos, vale então repensar esses aspectos do ponto de vista da avaliação de desempenho. Isto é, os elementos tradicionais da área de avaliação de desempenho (contidos no Quadro 3) serão utilizados como norteadores para a pesquisa de campo, considerando que especificidades podem surgir apartirdasdefinições apresentadas sobrehospitais universitários.

3 MÉTODO

Quanto à abordage o presente trabalho caracteriza-se como uma pesquisa qualitativa, a qual se relaciona muito mais com os significados que as pessoas dão para um determinado fenômeno (Denzin & Lincoln, 2008). O presente trabalho também é um estudo exploratório, pois visa ampliar o conhecimento a respeito de como é realizada a avaliação de desempenho nos HUs. Nos estudos exploratórios o objetivo é aprofundar o conhecimento sobre um tema ou problema pouco estudado (Sampieri, Collado & Lucio, 2006) esses estudos permitem aumentar a experiência do pesquisador em relação ao problema (Triviños, 2008).

Já o método selecionado para este trabalho foi o estudo de caso único. Apesar de ser um caso só, é um estudo voltado a reportar muitos dados e elementos detalhados de um caso específico, o que pode justificar críticas referentes a problemas de generalização ou validade, tal como defendem Mariotto, Zanini e Moraes (2014). Por isso, o estudo se focou em descrever em profundidade o caso apresentado para que, a partir de seus detalhes, os resultados pudessem ser visto compreendidos dentro da realidade específica estudada.

Importante ainda ressaltar que questões do tipo ‘como’ e ‘por que’ geralmente levam ao uso de estudos de caso, o qual é preferível para estudar eventos contemporâneos que não podem ser manipulados e onde os limites entre fenômeno e contexto não estão claramente definidos. O estudo de caso é utilizado nessas ocasiões por permitir que o pesquisador retenha as características holísticas dos eventos (Yin, 2010). Outras características dos estudos de casos são: existência de muitas variáveis de interesse; utilizar múltiplas fontes de evidência; utilizar a teoria como base para as proposições e para orientar a coleta e análise de dados (Yin, 2010). São critérios atendidos na presente pesquisa e que, portanto, reforçam a escolha do estudo de caso.

Gerring (2006) defende ser possível escolher um caso único para análise de um estudo de caso quando é um caso de extremo valor em suas particularidades. Dessa forma, para a escolha do caso foram utilizados alguns critérios que justificassem as características de um hospital universitário, existência de elementos de avaliação de desempenho que possam ser observáveis e da viabilidade da pesquisa. Assim sendo, os critérios para seleção do caso foram: 1) estar listado no Cadastro Nacional de Estabelecimentos de Saúde [CNES] (2014) como hospital de ensino e pertencer a uma instituição de ensino superior municipal, estadual ou federal; 2) haver autorização da pesquisa via Plataforma Brasil e pelo comitê de ética em pesquisa da instituição em tempo hábil; 3) conter certa maturidade nas atividades de avaliação de desempenho. Considerando esses requisitos, o Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto – HCFMRP-USP foi selecionado devido à sua grande capacidade de atendimento dentro da tipologia de hospital proposta, possibilidade de acesso à pesquisa e por existir um departamento exclusivo para essas atividades no hospital selecionado. Vale ainda expor que para realizar essa pesquisa foi necessária a aprovação da pesquisa pelo comitê de ética da instituição, bem como o anonimato dos respondentes.

3.1 Coleta e Análise de Dados

O presente trabalho utilizou três fontes de dados: documentos de circulação livre e outras informações disponíveis no website da instituição em estudo; documentos de circulação interna fornecidos pela organização; entrevista com gestor da organização. Em relação aos documentos, foram utilizados como fonte de dados o relatório de atividades 2013 do HCFMRP-USP, os resultados do Compromisso com a Qualidade Hospitalar [CQH] (2013), a planilha de metas para indicadores 2013 e o quadro de propostas de indicadores 2014. Esses documentos foram os escolhidos por serem aqueles que continham informações referentes ao uso e divulgação de indicadores de desempenho referentes à avaliação de desempenho do hospital, tal como o histórico da própria organização. É importante ressaltar que existe a possibilidade de não haver todos os indicadores de desempenho coletados e utilizados pelo hospital nesses documentos, todavia, foi possível acessar aqueles que divulgados e observados pelos interessados, respeitando assim o previsto por Carneiro da Cunha, Yokomizo e Bonacim (2013), de se buscar explicitar as limitações e cuidados no uso de documentos para as pesquisas documentais.

Em relação à entrevista conduzida, foi entrevistado um dos profissionais do Grupo de Avaliação de Desempenho [GAD] do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto. O profissional é formado em administração, com 32 anos de experiência no ramo hospitalar e 25 anos com avaliação de desempenho no HCFMRP-USP. Era o gestor responsável pela área e que, portanto, tomava decisões acerca dessa temática, foco do presente estudo. Adicionalmente, esse gestor se caracterizou como informante-chave, sendo o indivíduo mais apto e adequado para responder perguntas referentes aos objetivos do presente estudo. Por meio da entrevista em profundidade o pesquisador pode acessar informações que, de outro modo, ficariam inacessíveis, como experiências pessoais e atitudes (Denzin & Lincoln, 2008), a entrevista também é um modo de obter dados que não podem ser encontrados em registros e fontes documentais, mas podem ser fornecidos por determinados indivíduos (Cervo, Bervian & Silva, 1996).

Neste trabalho a entrevista serviu principalmente para levantar as impressões do gestor sobre a avaliação de desempenho e aspectos práticos (como assuntos discutidos em reuniões) que não estão registrados em outros meios. A pesquisa documental concentrou-se em levantar listas de indicadores e as práticas de avaliação registradas pela instituição estudada. A entrevista buscou levantar as impressões do gestor quanto à avaliação e outros aspectos não registrados, como as barreiras e problemas relacionados à avaliação. O pré-teste do roteiro de entrevista foi realizado com um gestor de um hospital de ensino. O participante do pré-teste foi entregvistado pelo pesquisador e assim que a entrevista foi finalizada o entrevistado questionado sobre possíveis dúvidas quanto às perguntas, inadequações do instrumento e outros comentários sobre o instrumento. O instrumento de pesquisa foi ajustado e aplicado ao entrevistado participante da pesquisa.

Para análise de dados foi utilizada a técnica de análise de conteúdo qualitativa. Trata-se de uma técnica com abordagem de análise direta, que é aquela voltada a usar um arcabouço teórico existente para se analisar um caso em profundidade, buscando eventuais incrementos de teorias (Rossi, Serralvo & João, 2014). Ou seja, pretende-se usar elementos e categorias provenientes da teoria para se entender uma realidade, que pode complementar essa teoria. Para ser congruente com essa proposta, utilizou-se também a análise de conteúdo com abordagem de codificação direcionada, isto é, aquela em que a teoria pode servir de um guia inicial para a proposta dos primeiros códigos de análise e que podem ser complementados com códigos emergentes do campo (Hsieh & Shannon, 2005). O Quadro 3 apresentado anteriormente contém em sua primeira coluna as categorias iniciais de estudo provenientes da teoria existente da área.

Assim, para cada código trazido a partir da teoria, buscou-se descrever a realidade da organização de saúde estudada. Com isso, uma descrição orientada às categorias foi conduzida e houve o cuidado para se capturar dados e informações referentes a categorias emergentes do campo. Ainda que cada categoria e suas subcategorias tenham tido uma pergunta específica no roteiro de entrevista semiestruturado, o trabalho perante cada categoria foi tratado de forma manual. A escolha de se tratar os dados sem o apoio de softwares se deu porque havia uma quantidade de entrevista transcrita e documentos coletados que era factível de ser analisada a partir da marcação manual das informações em papel impresso. Essa documentação de dados física, com as devidas marcações de seus códigos (categorias) e observações dos pesquisadores, pôde ser observada de forma impressa e se tornar visualmente mais atraente que o output de um software de apoio de análise qualitativa.

4 DESCRIÇÃO E ANÁLISE DOS RESULTADOS

4.1 Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto – USP

O Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto [HCFMRP-USP] iniciou suas atividades em junho de 1956. Ele é uma autarquia pública estadual vinculada administrativamente à Secretaria de Estado da Saúde de São Paulo e associado à Universidade de São Paulo para fins de Ensino, Pesquisa e prestação de serviços médico- hospitalares. Regulamentado pelo Decreto nº. 13.297 de 05 de março de 1979, desde 1988 o hospital está integrado ao Sistema Único de Saúde – SUS (HCFMRP-USP, 2013).

O complexo do HCFMRP-USP dispõe de três prédios: o HC-Campus, o Hemocentro (ambos situados no Campus Universitário de Ribeirão Preto - SP) e a Unidade de Emergência – UE (no centro de Ribeirão Preto – SP). A instituição tem como principais atividades proporcionar Assistência Médico Hospitalar e servir de campo de Ensino e de Pesquisa, na área da saúde. Sua missão é “Desenvolver e praticar assistência, ensino e pesquisa em saúde, por meio da busca permanente da excelência, melhoria da qualidade de vida da população” (HCFMRP-USP, 2013).

Ele é considerado um hospital de grande porte, alta complexidade e referência terciária para a região nordeste do Estado de São Paulo. Ele realiza diariamente cerca de 2500 consultas, 60 cirurgias, 90 internações, 6 mil exames laboratoriais, 2 mil exames especializados, 500 exames radiológicos, realiza em média 220 transfusões de sangue e fornece 9500 refeições. A instituição também está inserida no SUS como referência terciária/quaternária e os usuários do Sistema Único de Saúde representam cerca de 95% dos atendimentos realizados. Apesar de ser uma instituição voltada para atendimentos de alta complexidade, devido à carência regional de serviços de saúde, muitas vezes ocupa grande parte de sua capacidade com atendimentos de média complexidade (HCFMRP-USP, 2013).

Em 2013 o HCFMRP-USP possuía 4.668 servidores contratados por processo seletivo, 1.105 servidores contratados pela FAEPA (Fundação de Apoio ao Ensino, Pesquisa e Assistência do HCFMRP- USP), totalizando 5.773 funcionários. Esta força de trabalho é representada por 8,18% servidores de nível básico, 42,84% de nível médio e 48,98% de nível superior (HCFMRP-USP, 2013).

Os cargos de confiança (diretores, assistentes, chefes e encarregados) representam 8,71%. Quanto às categorias profissionais, o quadro de pessoal é composto, percentualmente, por: 37,74% enfermagem, 10,67% médicos, 8,85% técnicos, 19,07 % administrativo e 23,66% operacional. O hospital conta também com serviços terceirizados, tais como: limpeza hospitalar, lavagem de roupa, vigilância, serviço de manutenção de elevadores e serviço de manutenção de equipamentos médico-hospitalares (HCFMRP-USP, 2013).

O HCFMRP-USP mantém um estreito relacionamento com a FAEPA. A fundação gerencia os recursos do faturamento SUS, convênios com agências públicas de fomento à pesquisa científica, entre outros. Ela é uma entidade anexa HCFMRP-USP, de caráter privado, sem fins lucrativos e com autonomia administrativa e financeira. Seu objetivo principal é oferecer financiamento para atividades de ensino, pesquisa e assistência a instituições educacionais, principalmente o HCFMRP-USP (FAEPA, 2014).

4.2 Assistência no HCFMRP-USP

O HCFMRP-USP oferece assistência à saúde para toda região de Ribeirão Preto em unidades ambulatoriais e hospitalares. Suas atividades abrangem cuidados de prevenção, tratamento e recuperação, de natureza clínica e/ou cirúrgicas, serviços complementares de diagnóstico e tratamento, nas especialidades: psiquiatria, pediatria, otorrinolaringologia, ortopedia, oftalmologia, neurologia, ginecologia/obstetrícia , genética, clínica médica, cirurgia de cabeça/pescoço e clínica cirúrgica.

A assistência é prestada por equipe multiprofissional que compreende: médicos, pessoal de enfermagem, psicólogos, fisioterapeutas, terapeutas ocupacionais, fonoaudiólogos, nutricionistas, assistentes sociais, dentre outras. Os principais produtos da assistência são: atendimento ambulatorial, atendimento de urgência e emergência, internações, hospital-dia, cirurgias, transplantes, exames auxiliares ao diagnóstico e ao tratamento, reabilitação física, motora e sensório-motora.

Na área de ensino o HCFMRP-USP oferece residência médica e multiprofissional, aprimoramento profissional, estágio de capacitação em serviços diversos na área da saúde, cursos profissionalizantes na área da saúde, ensino à distância, pós-graduação nos níveis de mestrado e doutorado, local de estágio para os alunos dos cursos de medicina, enfermagem, terapia ocupacional, fisioterapia, nutrição, fonoaudiologia e informática biomédica da USP de Ribeirão Preto e da Faculdade de Ciências Farmacêuticas de Ribeirão Preto. A Tabela 1 contém o número de alunos de estágio do HCFMRP-USP:

Na Tabela 2 são apresentados o número de programas de residência médica e aprimoramento do HCFMRP-USP:

No que se refere à pesquisa, em 2013 foram aprovados 394 projetos, pelo comitê de ética em pesquisa. Os principais produtos das pesquisas são: conhecimento gerado a partir das pesquisas, formação e desenvolvimento de pesquisadores, publicações em periódicos científicos. Na Tabela 3 observa-se o número de trabalhos publicados por cada curso atendido pelo HCFMRP-USP:

4.4 A Avaliação de Desempenho Organizacional no HCFMRP-USP

O GAD é composto por seis funcionários e está sob a responsabilidade do dirigente da assessoria técnica do HCFMRP-USP, que também é responsável por outras áreas. O GAD tem como função gerenciar todas as informações e indicadores de desempenho do hospital. Ele divulga os indicadores de desempenho, elabora os relatórios anuais de atividades e os relatórios de gestão. Estas informações são encaminhadas para todas as unidades do hospital e outros órgãos dos governos estadual e municipal, disponibilizadas no website do HCFMRP-USP e em cópias físicas.

Segundo o entrevistado, quando o HCFMRP- USP decidiu implantar a avaliação de desempenho organizacional, tiveram o apoio da Associação Brasileira de Hospitais Universitários e de Ensino (Abrahue). A Abrahue é uma associação que tem por missão “Congregar e representar os interesses dos

hospitais de ensino, promovendo ações para o

desenvolvimento da excelência no ensino, pesquisa, assistência e gestão”. A Abrahue auxilia os seus

associados em diversas áreas como cooperar com órgãos e entidades educacionais e de saúde, promover o aperfeiçoamento operacional de seus associados e o intercâmbio de informações e experiências. A Abrahue forneceu um modelo base e os indicadores, utilizando esse modelo como referência à equipe do hospital elaborou a estrutura do modelo e selecionou os indicadores que considerava mais adequados.

O sistema atual de Avaliação de Desempenho Organizacional (ADO) é uma combinação entre o modelo da Abrahue e o BSC, adaptado à realidade do HCFMRP-USP, reforçando que não existe uma mera replicação de sistemas prontos, tal como Carneiro da Cunha & Corrêa (2013) alertam para se evitar. Há um sistema que capturou elementos de diversos modelos, de forma que se podem perceber características de outros sistemas, como o uso de pontuação para mensurar o desempenho final da organização, que é uma característica de modelos como o MADE-O (Corrêa, 1986). As dimensões (categorias) e pontuações da avaliação de desempenho podem ser vistas na Tabela 4:

Durante a pesquisa não foi possível identificar os critérios utilizados para chegar a essas pontuações. Considerando que pontuação atribuída a cada uma das categorias é diferente, quanto maior o peso de cada categoria, maior seu impacto no resultado final da avaliação de desempenho. Nesse caso, é possível assumir que a categoria com maior peso, no caso Atenção à saúde, seja prioridade para a gestão do HCFMRP-USP e para o SUS.

A avaliação de desempenho do HCFMRP-USP está ligada diretamente ao pacto (contrato) com o Sistema Único de Saúde (SUS), esse contrato determina os valores que serão repassados pelo governo e as condições para o recebimento. Quadrimestralmente é realizada uma reunião da Comissão Permanente de Acompanhamento do Contrato (CPAC), que possui representantes do HCFMRP-USP, dos gestores estadual e municipal.

Há ainda o interesse do uso do sistema de avaliação de desempenho para monitorar e controlar as áreas em busca de melhorias, tal como defende o entrevistado, dizendo que o sistema de avaliação de desempenho “trás benefícíos sim porque avalia o desempenho, você vê aonde [sic], o quê que está pegando, o quê que você precisa melhorar. É um processo de melhoria”. Ou seja, conforme a distinção de uso de sistemas de avaliação de desempenho proposto por Hourneaux Jr. et al (2017), no caso estudado utiliza-se, prioritariamente, por legitimação perante os órgãos públicos e para que haja monitoramento.

Nessas reuniões são analisados os resultados de 31 indicadores-chave de desempenho, os quais serão discutidos em detalhe na seção 4.5. Conforme os indicadores alcançam, ou não, as metas estabelecidas são adicionadas as respectivas pontuações para o HCFMRP-USP. Nesse processo existe uma regra quanto aos repasses financeiros do SUS, o hospital independente dos resultados da ADO recebe 85% dos repasses que se destinam a ele. Os outros 15% estão diretamente vinculados ao resultado da ADO. As fontes de recursos do HCFMRP-USP podem ser vitos na Tabela 5:

O Faturamento SUS (Faturamento SUS e Termo de Aditivo/Incentivo) correspondeu à 150.913.178 reais no ano de 2013, 25,42% do faturamento total do hospital. Ainda que não seja a maior parcela da receita total, tem um grande impacto financeiro.

Dos 1000 pontos possíveis, mostrados na Tabela 4, o HCFMRP-USP deve atingir no mínimo 900 pontos para receber o valor total desses repasses SUS. Ou seja, os resultados da ADO se refletem diretamente nos resultados financeiros da instituição.

Todo o ano é realizado um novo contrato, ou prorrogado o contrato atual, nessas ocasiões ocorre a revisão dos indicadores-chave e decide-se se haverá ou não mudanças. Os indicadores podem ser excluídos, inseridos ou desmembrados. Nessas reuniões da CPAC também são discutidos os resultados e as metas dos indicadores.

Devido à importância dos resultados dessa avaliação para o HCFMRP-USP, são feitas mensalmente reuniões internas para acompanhar o andamento dos indicadores-chave. Essas reuniões têm como objetivo monitorar os indicadores-chave de modo que, caso exista alguma não conformidade, seja possível corrigi-la antes das reuniões quadrimestrais. Os participantes dessas reuniões mensais são uma equipe técnica formada por representantes de diversos setores, como recursos humanos, enfermagem, centro integrado da qualidade, ambulatório, etc.

Outra prática de gestão relativa à análise do desempenho institucional são as reuniões com os departamentos clínicos e a administração, representada pela assessoria técnica. Nessas ocasiões são apresentados os resultados assistenciais e os referenciais institucionais. Essas reuniões acontecem uma vez ao ano, desde 2006, são convidados os docentes da Faculdade de Medicina de Ribeirão Preto, os médicos assistentes e a equipe de saúde. O objetivo é incentivar a equipe de saúde a olhar para os resultados, acompanhar as atividades e analisar o desempenho das especialidades, o qual é demonstrado em indicadores de produtividade e qualidade.

Segundo o entrevistado, o ato de mensurar os resultados auxilia os gestores a tomarem decisões mais conscientes, não depender de “palpites”. Uma das vantagens de utilizar a ADO no hospital é ver onde são necessárias ou podem ser feitas melhorias.

Segundo o entrevistado foi possível atingir esses resultados somente após a criação e uso de um indicador relacionado à ocorrência de úlceras de pressão, ao conhecer os resultados foi possível criar ações para melhoria. Quanto a possíveis melhorias na ADO, foi mencionado pelo entrevistado melhores ferramentas de sistema de informação como uma possível alternativa, principalmente em relação à coleta de dados e retorno por parte dos setores do HCFMRP- USP.

Ao ser questionado sobre dificuldades que a ADO enfrenta na instituição, o entrevistado afirma que no início da implantação houve alguma resistência por parte dos funcionários do HCFMRP-USP. Muitos dos funcionários tinham dificuldade em entender a necessidade de coletar os dados. A equipe médica inicialmente não foi receptiva a ADO. O entrevistado afirma que houve alguns problemas, sendo que o foco maior dos médicos durante as reuniões era cobrar mais recursos, como equipamentos e pessoal. Entretanto, durante essas reuniões, os participantes discutem e solicitam mais informações sobre indicadores e resultados. Isso mostra que problemas existem na condução da checagem dos indicadores, o usualmente pode ocorrer (Kaplan & Norton, 1992; Behn, 2003; Grigoroudis et al., 2012.). O que não se recomenda é haver falta de resposta da equipe gerencial para esses desafios.

4.5 Indicadores-chave de Avaliação de Desempenho

A avaliação de desempenho do HCFMRP-USP, em um nível estratégico, é feita utilizando 31 indicadores-chave. Como citado anteriormente eles são apresentados e discutidos nas reuniões quadrimestrais da CPAC. No caso de prorrogação ou renovação do contrato com o SUS, os indicadores-chave podem ser excluídos, inseridos ou desmembrados. O interessante é notar que as alterações que podem ocorrer são baseadas em procedimentos formais, o que faz com que mudanças tenham que ser formalmente dicutidas e pensadas. Nas palavras do entrevistado: “tem uma proposta pra entrar [novos indicadores]. Fazem um indicador novo, tem uma proposta, eles preenchem a proposta e manda e aí se a gente não entende a gente chama analisa junto discute tal aí introduz lá no sistema né?!”. Isto é, isso garante que os indicadores utilizados sejam aqueles decididos como os melhores, utilizando-se poucos e bons indicadores e que eles possam ser elaborados ou revisados não por imposição da área responsável pela avaliação do desempenho, mas com a participação dos setores envolvidos, tal como a literatura recomenda (Lebas, 1995). Segundo o entrevistado, no HCFMRP-USP existe a prática de que indicadores recém-criados, durante seu primeiro ano, precisam apenas apresentar a informação de seus resultados. No ano seguinte, utilizando o histórico do indicador, se possível será criada uma meta numérica.

Assim sendo, deve-se apontar que os 31 indicadores-chave estão divididos em quatro categorias, uma delas com cinco subcategorias, como pode ser visto na Tabela 6:

Aproximadamente 51,6% (16) desses indicadores apresentam metas numéricas a serem cumpridas (o “X” representa o resultado de cada indicador no período), os outros 48,4% (15) têm metas não numéricas, como a apresentação da informação, disponibilizar o relatório etc., ou seja, o indicador deve necessariamente ser mensurado, mas não possui um valor de referência com o qual seu resultado será comparado. Há, portanto, metas para os indicadores, tal como a literatura prevê (Ballard, 2003) e relação deles com os objetivos organizacionais (Self, 2004). O entrevistado coloca um exemplo de como essa meta é checada periodicamente: “a enfermagem trabalha com úlcera, com queda com flebite entendeu?! Então ela que vai avaliar se ela está alcançando a meta. Se não está, por quê né?! E aí quando termina o ano ela manda um relatório falando se alcançou o ou não, por que que não alcançou”.

Dentre os indicadores estratégicos, 16 indicadores e 400 pontos estão na categoria atenção à saúde. Eles representam aproximadamente 51,6% dos indicadores-chave e 40% dos pontos da avaliação. Pode-se perceber que todos são indicadores de caráter geral e demonstram resultados da assistência do HCFMRP-USP como um todo.

Na categoria ensino e pesquisa existem quatro indicadores e 155 pontos. Eles representam aproximadamente 13% dos indicadores-chave e 15,5% dos pontos da avaliação. Contudo apesar de estarem na categoria ensino e pesquisa, 2 desses indicadores (registro de horas/homem/treinamento e percentual de funcionários treinados) têm uma relação maior com gestão hospitalar ou gestão de recursos humanos do que com ensino e pesquisa.

Sendo uma das funções dos HUs prover treinamento universitário na área de saúde (Medici, 2001). Esperava-se o uso de indicadores relacionados ao ensino universitário, como número de alunos de residência ou número de estágios oferecidos. Informações as quais o HCFMRP-USP possui registradas, como demonstrado anteriormente, mas não são utilizadas na avaliação de desempenho.

A categoria gestão hospitalar conta com seis indicadores e 195 pontos. Eles representam aproximadamente 19,4% dos indicadores-chave e 19,5% dos pontos da avaliação. Dentre estes quatro indicadores são de natureza financeira (faturamento hospitalar, faturamento ambulatorial, valor médio, por especialidade). Dois relacionam-se fortemente com gestão de pessoas (pesquisa de clima organizacional e índice de absenteísmo de servidores). O último indicador representa a apresentação de atas de comissões.

A categoria comunidade e humanização tem cinco indicadores e 250 pontos. Representa aproximadamente 16% dos indicadores-chave e 25% dos pontos da avaliação. Dentre os indicadores 2 são relativos a pesquisas de satisfação do usuário (paciente). Dois indicadores representam a apresentação de relatório, do Programa de Humanização do HCFMRP-USP e o Relatório de Ações Ambientais. Por fim um indicador representa a taxa de resposta da ouvidoria.

Interessante por fim denotar que os resultados dos indicadores são discutidos trimestralmente, tal como coloca o entrevistado: “a cada três meses nós vamos [discutir os resultados]. A Fulana [nome fictício] que é responsável por esse acompanhamento a cada três meses. Nós alimentamos os indicadores, taxa de ocupação e média de permanência, aí ela vai no mural de todas as áreas e atualiza as informações. E esse painel [...] a gente pede para colocar em um local estratégico pra as pessoas da áreas poder acompanhar”. Isso mostra não somente a existência de reuniões de acompanhamento como divulgação ampla dos indicadores, o que também estimula os feedbacks sobre o que é medido, uma vez que se alguém sentir falta de algum indicador ou perceber a limitação de outro, pode se comunicar com a área de avaliação de desempenho. Dessa forma, a ideia da existência de feedbacks (Jarrar & Schiuma, 2007) está contida no sistema de avaliação de desempenho do hospital estudado.

Vale ainda mencionar o relato do entrevistado que diz que: “Além dessa equipe que avalia aqui, nós temos uma interna que faz reuniões mensais para na hora que chegar nessa reunião já está tudo certinho.

Então não é facil a gente cumprir a meta e tem todo um trabalho para isso. A gente faz reunião mensal para ver se não está bem aonde que a gente pode ir com quem conversar para tentar melhorar”. Isto é, não só se reforça novamente o processo de monitoramento pelos indicadores, como mostra outro ponto de contato em que se podem existir feedbacks sobre o sistema.

4.6 Metas da Avaliação de Desempenho Organizacional

Para a criação de metas para os indicadores de ADO são utilizadas três fontes de dados: o histórico de cada indicador, informações do Sistema de Avaliação de Hospitais de Ensino – SAHE da SES-SP e do sistema de avaliação do Programa Compromisso com a Qualidade Hospitalar – CQH. Para os indicadores- chave as metas também são discutidas nas reuniões CPAC.

Contudo a série histórica de cada indicador é a referência principal para o estabelecimento de metas. Tanto que quanto um indicador novo é criado, em seu primeiro ano de uso, a meta é apenas apresentar as informações de resultado do indicador. A meta numérica é criada normalmente no início do segundo ano de uso do indicador. Caso o indicador seja novo, essa meta é estabelecida após o primeiro ano, tal como aponta o entrevistado: “esse aqui é um indicador novo que a gente não tinha. Então, como não tinha, a gente só apresenta a informação, aí terminando o ano a gente vai fazendo a média anual e tal. Aí a gente pode definir uma meta”.

Vale reiterar ainda que há indicadores com metas e essas são focadas no objetivo organizacional, tal como preconiza Kaplan e Norton (1992). Isso ocorre porque há uma orientação de se estabelecer indicadores dentro de metas (Ballard, 2003). No caso estudado, essas metas têm uma perspectiva histórica para seu estabelecimento. A criação dessas metas e a definição dos seus parâmetros foram feitas para que o hospital pudesse se direcionar ao seu objetivo organizacional. Portanto, há um caso de formulação de meta top-down que se ajusta conforme seu uso. Ou seja, a partir do caso estudado, percebe-se que pode haver uma sistemática para a definição de indicadores: a) a partir do objetivo estratégico estabelecido, indicadores de controle podem ser elaborados; b) esse indicador pode não ter uma meta inicial, mas pode ser atrelado a uma meta quando tiver uma retrospectiva histórica; c) definida essa meta, pode-se calibra-la melhor ao longo do tempo a partir de seu uso; d) confere-se constantemente se essa meta alinha-se com os objetivos gerais da organização. Isso se opõe a ideia de que indicadores são sempre estabelecidos já com metas definidas.

4.7 Resultados da Avaliação na Perspectiva com Outras Instituições

O HCFMRP-USP utiliza duas fontes de informações para comparar seu desempenho, o SAHE da e o sistema de avaliação– CQH. No SAHE é possível comparar os resultados da instituição com os outros HUs do Estado de São Paulo. O HCFMRP–USP informa em planilhas online dados de diversas naturezas como: financeiros, de recursos humanos, satisfação do usuário, infecção hospitalar, produtividade, resultado perinatal, assistenciais de enfermagem etc. Posteriormente o hospital tem acesso aos resultados dos indicadores informados de outros hospitais de ensino do Estado de São Paulo.

Já no CQH, o hospital envia os resultados dos indicadores mensalmente e o CQH devolve as medianas dos resultados dos indicadores dos demais hospitais que monitora. A partir disso, é possível para o HCFMRP-USP fazer a comparação dos seus resultados com outros hospitais e até, a partir disso, buscar alternativas de benchmarking. Ou seja, há aqui uma utilidade do sistema de avaliação de desempenho que é a comparabilidade da organização com o mercado, isto é, uma perspectiva externa à organização. Essa utilidade não está presente naquelas priorizadas por Hourneaux Jr. et al. (2017) porque, muitas vezes, para que uma organização possa estabelecer parâmetros de comparação, o mesmo indicador deve ser igualmente coletado em diferentes organizações, além de haver especificidades de outras organizações que podem comprometer a comparação. O que se extrai do caso estudado é que foi possível essa comparação por existir um agente intermediador que conduz essa coleta e comparação de maneira independente.

O HCFMRP-USP compara com o CQH 65 indicadores, como apresentado na Tabela 7:

Sendo o CQH um programa para a melhoria da qualidade hospitalar (CQH, 2014), é possível perceber que a grande maioria dos indicadores está relacionada diretamente com a assistência. Isso faz com que seja inviável para o HCFMRP-USP comparar seus resultados em outras áreas.

Além de que essa comparação com o CQH é útil, porém tem limitações significativas, como a possibilidade de comparar apenas alguns dos indicadores - geralmente relacionados à assistência - e a dificuldade de comparar o HCFMRP-USP devido à suas particularidades de hospital de ensino com as demais instituições seladas. Por isso é necessário o uso de outras fontes de dados como o SAHE e sua própria série histórica de indicadores.

5 CONSIDERAÇÕES FINAIS

Considerando que este trabalho teve como objetivo avaliar como elementos do sistema de avaliação de desempenho organizacional são utilizados na rotina gerencial de um hospital universitário, algumas conclusões foram elaboradas. Primeiramente, é possível, de fato, verificar a existência de um sistema de avaliação de desempenho, com perspectivas e indicadores-chaves estabelecidos. Esse sistema tem como objetivo principal de utilização a legitimação do seu sistema perante exigências governamentais (por ser um hospital público). Benefícios do uso desse sistema relacionados ao controle e ao monitoramento puderam ser observados, tais como problemas de conflito entre as demandas administrativas e médicas também foram identificados, o que pode gerar resistência no fornecimento de informações para alimentar o sistema. Por fim, rotinas de feedback, revisão do sistema e participação multisetorial também estavam presentes no caso do hospital estudado.

Enretanto, ainda que exista esse aparato todo, isso não significa haver um alinhamento bem definido entre os objetivos organizacionais e as perspectivas e indicadores definidos. Há um desalinhamento entre o planejamento estratégico e a avaliação de desempenho em termos de perspectivas e indicadores-chave. A partir do que é colocado na teoria como melhor prática, esperava-se que as perspectivas estivessem alinhadas, de modo que fosse possível alinhar também os indicadores de desempenho. Principalmente, porque apesar da ADO e o planejamento serem realizados em diferentes setores, há a participação do mesmo profissional em ambas as definições. Para justificar isso parece haver três motivos: a) o feedback realizado se foca mais em revisar a inclusão, exclusão e os resultados indicadores operacionais juntamente com os departamentos e não com o todo; b) os indicadores são elaborados, a priori, por necessidade e sem metas (elas são estabelecidas posteriormente com dados históricos). Essa ausência de metas iniciais pode fazer com que haja uma orientação a medir e não a focar em metas e objetivos; c) a orientação principal para o uso do sistema de avaliação de desempenho não é a decisão estratégica, mas sim a legitimação e, por vezes, o monitoramento. A avaliação de desempenho no nível estratégico do HCFMRP-USP está ligada ao contrato / repasses do SUS e às atividades de avaliação de desempenho tem como foco principal atender demandas das reuniões do CPAC, o que faz com que a orientação estratégica possa se enfraquecer diante dessas demandas consideradas prioritárias para o uso.

Por isso, propõem-se aqui algumas proposições que parecem justificar o desalinhamento estratégico (vertical) da organização hospitalar estudada. A primeira é que o feedback realizado de forma não global no sistema de avaliação de desempenho pode ser motivo do deselinhamento estratégico. A segunda é que a orientação prioritária a se ter controles antes de metas, podem ser motivos para a existência do desalinhamento estratégico. A terceira que parece existir é que quando o principal propósito de uso do sistema de avaliação de desempenho não é a tomada de decisão estratégica, problemas de desalinhamento estratégico podem surgir.

Ainda que o estudo de caso único possa ser interessante para se entender casos numa profundidade de dados e detalhes que não seria possível num estudo com mais casos, este trabalho apresenta algumas limitações relacionadas, principalmente, à impossibilidade de se generalizar os resultados. Outra limitação pode ser relacionada ao fato do estudo ter tido acesso apenas a um entrevistado como fonte de dados de entrevistas. Talvez, entrevistar usuários de outros departamentos poderia oferecer uma visão mais ampliada do caso estudado.

Como recomendação de estudos futuros seria interessante que se pudessem realizar estudos qualitativos multicasos em outros hospitais, especialmente, se comparando casos de hospitais com diferentes níveis de desempenho. Isso ajudaria a entender se o uso adequado do aparato dos sistemas de avaliação de desempenho ajudaria, de fato, a trazer maior desempenho. Seria ainda interessante se outros estudos pudessem focar em discussões específicas aqui levantadas. Por exemplo, seria interessante verificar se a geração de indicadores com metas são elaborados da mesma forma que no caso estudado (sem meta definida a priori) ou se é algo específico e particular do caso ou da realidade estudada. A partir de uma discussão multicaso sobre esse assunto, proposições poderiam ser levantadas.

Referências

Adams, C., & Neely, A. (2000). The performance prism to boost M&A success Measuring Business Excellence, 4(3), 19–23.

Ballard, D. J. (2003). Indicators to improve clinical quality across an integrated health care system. International Journal for Quality in Health Care : Journal of the International Society for Quality in Health Care / ISQua, 15 Suppl 1(October 2001), i13-23.

Behn, R. D. (2003). Why measure performance? Different purposes require different measures. Public Administration Review, 63(October), 586–606.

Bonacim, C. A. G. & Araujo A. M. P. De. (2010). Gestão de custos aplicada a hospitais universitários públicos : a experiência do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da USP. Revista de Administração Pública, 44(4), 903–931.

Bonacim, C. A. G., & Araujo, A. M. P. De. (2011). Avaliação de desempenho econômico-financeiro dos serviços de saúde : os reflexos das políticas operacionais no setor hospitalar. Ciência & Saúde Coletiva, 16(Supl. 1), 1055–1068.

Bonacim, C. A. G., Araujo, A. M. P. De, Alberto, C., Bonacim, G., & Araujo, P. De. (2009). Valor econômico agregado por hospitais universitários públicos. Revista de Administração de Empresas, 49(4), 419–433.

Brasil. Ministério da Educação. (2018). Apresentação: Hospitais universitários. Disponível em: http://portal.mec.gov.br/hospitais-universitarios Acesso em: 3 Abr. 2018.

Cadastro Nacional de Estabelecimentos de Saúde. Secretaria de atenção a saúde. (2014). DATASUS. Recuperado em 18 abril, 2014, de http://cnes.datasus.gov.br

Carneiro da Cunha, J. A. & Correa, H. L. (2013). Avaliação de desempenho organizacional: um estudo aplicado em hospitais filantrópicos. Revista de Administração de Empresas, 53(5), 485-499.

Carneiro da Cunha, J. A., Yokomizo, C. A. & Bonacim, C. A. B. (2013). Miopias de uma lente de aumento: as limitações da análise de documentos no estudo das organizações. Revista Alcance, 20(4), 431-446.

Cervo, A. L., Bervian, P. A. & Silva, (2007). Metodologia científica. (6ª ed.). São Paulo: Pearson.

Chenhall, R. H., & Langfield-Smith, K. (2007). Multiple Perspectives of Performance Measures. European Management Journal, 25(4), 266–282.

Compromisso com a qualidade hospitalar. (2014). Recuperado em 8 setembro, 2014, de http://www.cqh.org.br/portal/pag/inicial.php

Corrêa, H. L. (1986). O estado da arte da avaliação de empresas estatais. Tese de doutorado, Administração de Empresas, Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo - Universidade de São Paulo, São Paulo.

Davies, H. T., & Lampel, J. (1998). Trust in performance indicators? Quality in Health Care : QHC, 7(3), 159–62.

Denis, J., Langley, a, & Lozeau, D. (1991). Formal strategy in public hospitals. Long Range Planning, 24(1), 71–82.

Denton, D. K. (2005). Measuring relevant things. International Journal of Productivity and Performance Management, 54(4), 278–287.

Denzin, N. K. & Lincoln, Y. S. (Eds). (2008). Collecting and interpreting qualitative materials. 3a ed. Sage Publications.

Eddy, D. M. (1998). Performance measurement: problems and solutions. Health Affairs, 17(4), 7–25.

Edvinsson, L. & Malone, M. S. (1998). Capital intelectual: descobrindo o valor real de sua empresa pela identificação de seus valores internos. São Paulo: Makron Books.

IR