INTRODUÇÃO

A Organização Mundial de Saúde (OMS) considera segurança do paciente como “a redução do risco de danos desnecessários relacionados com os cuidados de saúde, para um mínimo aceitável”. “Mínimo aceitável” é uma noção coletiva baseada no conhecimento científico atual, recursos disponíveis e no contexto em que os cuidados foram prestados em oposição ao risco do não tratamento ou de outro tratamento alternativo¹.

A era da segurança do paciente iniciou-se no final da década de 1990, com a publicação do relatório “To err is human” do Institute of Medicine (IOM)^2. No Brasil, em 2013, o Ministério da Saúde lançou o Programa Nacional de Segurança do Paciente (PNSP), através da portaria 529, de 1º de abril de 2013, composto por quatro eixos: (i) o estímulo a uma prática assistencial segura, contendo os protocolos, os planos (locais) de segurança do paciente dos estabelecimentos de saúde, a criação dos núcleos de segurança do paciente e o sistema de notificação de incidentes e eventos adversos no Brasil; (ii) o envolvimento do cidadão na sua segurança; (iii) a inclusão do tema segurança do paciente no ensino (educação permanente, pós-graduação e graduações da saúde) e (iv) o incremento de pesquisa em segurança do paciente.^3,4 A portaria 529, de 1º de abril de 2013, foi regulamentada pela Resolução de Diretoria Colegiada (RDC) n.. 36 da Agência Nacional de Vigilância Sanitária (ANVISA).^4,5

Uma das diretrizes mais importantes do PNSP é estimular a implantação e o monitoramento de protocolos considerados prioritários pela OMS.^4,6 Em todos os protocolos do PNSP existem indicadores propostos para monitorar a sua implantação. Um dos protocolos recomendados é o da higienização das mãos, que foi escolhido em virtude da sua relevância na redução das Infecções Relacionadas com a Assistência à Saúde (IRAS) (Figura 1).

As infecções hospitalares são adquiridas mais frequentemente após a admissão do paciente e podem se manifestar durante a internação ou após a alta⁷. Vale salientar que o termo “infecções hospitalares” sofreu modificações nos últimos anos e, atualmente, os técnicos vêm preferindo a denominação “infecções relacionados à assistência à saúde” ou “infecções associadas aos serviços de saúde”, tendo em vista a dimensão das infecções fora do âmbito hospitalar.

As IRAS representam um problema e, por isso, são objeto de diversas pesquisas, estratégias e ações específicas. A falta de antibióticos efetivos está causando o aumento da morbimortalidade por infecções diretamente relacionada com a crescente resistência aos antibióticos e a falta de perspectiva de criação de novos insumos pelas grandes empresas farmacêuticas⁸. Nesse quadro, cresce a importância da prevenção e controle das infecções hospitalares e existe um consenso de que a higienização de mãos é uma medida de baixo custo e complexidade para enfrentar o problema.^9,10 A fim de promover a higienização das mãos na assistência à saúde em todo o mundo, a OMS elaborou as Diretrizes sobre a Higienização das Mãos na Prestação de Cuidados de Saúde com recomendações aos profissionais e gestores de saúde sobre as melhores evidências científicas para aperfeiçoar as práticas e reduzir as IRAS.¹¹

A implantação de ações de segurança do paciente para evitar IRAS, através da adesão à higienização das mãos e prevenção da transmissão cruzada de germes multirresistentes é essencial. Embora exista a imposição sanitária da implementação de práticas de segurança do paciente, há necessidade de fortalecer e ampliar as ações de monitoramento destas práticas para induzir o cumprimento da legislação vigente.

A adequação do instrumento utilizado para monitorar a higienização das mãos, à realidade de cada instituição é a estratégia para orientar o desenho de medidas que garantam cuidados de saúde mais seguros na área de controle de infecção hospitalar. O objetivo deste estudo é adequar um instrumento de monitoramento da higienização das mãos dos profissionais de saúde de um hospital do Rio de Janeiro, através da validação por especialistas, para que possa complementar práticas de avaliação e permitir melhores resultados na prevenção de IRAS.

MÉTODOS

Este manuscrito foi redigido baseado na dissertação de Mestrado da autora, na Fundação Oswaldo Cruz, Escola Nacional de Saúde Pública Sergio Arouca, Rio de Janeiro, 2017. A pesquisa não recebeu financiamento para a sua realização. Aprovação pelo CEP, conforme resolução 466/2012 do Conselho Nacional de Saúde e o regimento interno do Comitê de Ética em Pesquisa (CEP) da Escola Nacional de Saúde Pública, em 29/05/2017, parecer 2.089.056.

Trata-se de estudo transversal, qualitativo, organizado em duas fases. A primeira fase foi composta por três momentos: revisão da literatura, revisão documental e a elaboração e aplicação de um questionário aos auditores que monitoram a higienização das mãos no hospital de estudo.

Numa segunda fase, um painel com especialistas, utilizando a técnica Delphi, avaliou um novo instrumento de monitoramento elaborado com base nos resultados encontrados na primeira fase do estudo.^12,13

O estudo foi realizado em hospital público, de natureza estadual, de alta complexidade do estado do Rio de Janeiro, de janeiro a dezembro de 2015. A instituição dispunha de um sistema de monitoramento de atividades de qualidade, no qual auditores utilizavam um instrumento de verificação que monitorava, entre outras atividades, a higienização das mãos.

A revisão não sistemática da literatura foi realizada nos temas: segurança do paciente, IRAS e métodos de avaliação de serviços de saúde. Os dados foram obtidos a partir das referências de textos básicos sobre cada tema e textos recomendados por pesquisadores das áreas.^4,14-19

A revisão documental foi realizada através dos registros das duas auditorias realizadas através de um instrumento de verificação, obtidos durante o período do estudo. Verificou-se que, nos documentos pesquisados, a metodologia utilizada pelos auditores para monitorar a higienização das mãos não estava padronizada e que o monitoramento não era uniforme e nem abrangente, ou seja, não contemplava todos os serviços do hospital e nem todos os turnos. Foi realizada por um único auditor, sendo auditado um único serviço.

Considerou-se, neste estudo, uma auditoria abrangente, aquela realizada em todos os serviços de cuidado do hospital, em todos os horários, e uniforme, aquela cuja existência de critérios explícitos norteasse o monitoramento de todos os auditores.

Foi elaborado um questionário eletrônico com noventa perguntas, em função dos dados apurados na revisão documental e da literatura, utilizando o Google Docs, com retorno em 15 dias. A ferramenta foi aplicada aos auditores para identificar eventuais incongruências do monitoramento da higienização das mãos no hospital. Todos os participantes receberam uma carta convite contendo o Termo de Consentimento Livre e Esclarecido (TCLE), com a resposta ao questionário via eletrônica entendida como aceite ao Termo Dos 12 auditores convidados a responder ao questionário, seis responderam (50%), sendo mantido o anonimato de todos os participantes.

A segunda fase do estudo foi dedicada à adequação do instrumento de verificação, com base nos resultados da primeira fase da pesquisa, realizado pela autora. Cada item de verificação passou a ser acompanhado da racionalidade utilizada na sua construção e das fontes bibliográficas principais, complementos que não existiam no instrumento de verificação original e visaram dar mais uniformidade ao monitoramento.

Utilizando como base o modelo da acreditação, o novo instrumento de monitoramento foi organizado com os seguintes campos: (i) item de verificação, que expressa o que se quer avaliar, como se fosse um padrão no modelo da acreditação; (ii) racionalidade, que contém uma explicação sobre o item a ser avaliado, como se fosse o propósito do padrão no modelo da acreditação; (iii) elementos utilizados para avaliar o item de verificação, que especifica para o auditor o que e como avaliar, como se fossem os elementos de mensuração do padrão no modelo da acreditação; (iv) fontes bibliográficas foram disponibilizada para cada item de verificação, considerando tanto textos teóricos como diretrizes legais.¹⁴

O novo instrumento de monitoramento da prática de higienização das mãos foi encaminhado para avaliação de um painel de especialistas, via eletrônica. Através do formulário eletrônico, foram apresentados, via correio eletrônico, aos especialistas as propostas e objetivos do estudo, além do Termo de Consentimento Livre e Esclarecido.

Os especialistas foram selecionados a partir dos seguintes critérios: (i) médico com título de especialista em infectologia e mais de dois anos de experiência profissional em controle de infecção; (ii) enfermeiro com título de especialista em controle de infecção e mais de dois anos de experiência profissional na área; (iii) pesquisador com experiência em avaliação de qualidade e em segurança do paciente; (iv) profissionais com experiência em avaliação/auditoria em serviços de saúde.

Onze especialistas participaram da primeira rodada de respostas. Para a realização da validação do instrumento modificado, foi utilizado o método Delphi. A utilização de técnicas de consenso é útil para validação da confiabilidade da informação. Seu uso tem sido crescente no campo da avaliação de programas de saúde, provavelmente por seu representar uma iniciativa de fortalecimento da capacidade técnica em monitoramento e avaliação.²⁰

O objetivo é obter um julgamento coletivo, qualificado por meio de uma comunicação colegiada para se chegar o mais próximo possível de um consenso sobre um problema complexo.²¹

A utilização do consenso de especialistas parte do pressuposto que várias pessoas pensando em conjunto vão obter um resultado melhor que uma pessoa pesando sozinha.¹³

Foram formuladas questões referentes à relevância, adequação e clareza das questões, referentes ao novo instrumento de monitoramento, para serem respondidas em uma escala de Likert de 1 a 5, em que significam: 1. concordo plenamente; 2. concordo parcialmente; 3. não concordo nem discordo; 4. discordo parcialmente; 5. discordo totalmente.²² As respostas com percentual menor que 75% foram modificadas, tendo como base os comentários dos especialistas na primeira rodada. O percentual de corte foi definido pelos autores. O percentual de concordância de respostas foi apresentado de forma condensada em três níveis: (i) somatório das respostas 1 (concordo plenamente) e 2 (concordo parcialmente) foi apresentada com o termo “concordo”; (ii) nas respostas relativas ao elemento 3 foi mantido o termo “não concordo nem discordo”; (iii) soma dos elementos 4 (discordo parcialmente) e 5 (discordo totalmente) foi apresentada como termo “discordo”.

Os resultados da primeira rodada foram reenviados para os especialistas para que pudessem comparar seu ponto de vista com a média de opinião dos demais especialistas. O anonimato dos pesquisadores foi mantido, para que não houvesse influência nas respostas. Na segunda rodada houve a desistência de um especialista.

RESULTADOS

Foram necessárias apenas duas rodadas para que se obtivesse o consenso dos especialistas sobre as questões do novo instrumento de monitoramento da higienização das mãos. Após o retorno da primeira rodada de respostas, os dados foram analisados e cinco questões com percentual menor que 75% foram modificadas, tendo como base os comentários dos especialistas na primeira rodada (Tabela 1).

Com base nas respostas obtidas na primeira rodada e em informações existentes na literatura, foram realizadas modificações nas questões 1.1, 1.2, 1.4, 1.7 e 2.3, e o instrumento foi reenviado para que os especialistas pudessem comparar seu ponto de vista com a média de opinião dos demais. A análise da segunda rodada de respostas foi realizada através do cálculo do percentual de concordância em níveis condensados da escala de Likert. Todas as respostas obtiveram percentual maior que 75%, sendo consideradas validadas pelo painel de especialistas (Tabela 2).

Foi construído um novo instrumento de monitoramento para a avaliação da adesão ao protocolo de higiene das mãos, adequado pelos especialistas (Quadro 1).

DISCUSSÃO

Mesmo a higienização sendo, comprovadamente, uma medida importante para o controle das IRAS, as mãos dos profissionais de saúde continuam sendo a fonte mais frequente de contaminação e disseminação de agentes patogênicos. As dificuldades para a adoção das recomendações de higienização das mãos, nos níveis individual, de equipe ou institucional se relacionam à complexidade dos processos de mudança comportamental^1.

Para organizar as ações globais no campo da segurança do paciente, a OMS criou a “Aliança Mundial para a Segurança do Paciente” em 2004 e teve como objetivo principal elaborar políticas para mitigar danos sofridos pelos pacientes causados por problemas na prestação do cuidado e, dessa forma, reduzir suas consequências negativas.²³ O primeiro desafio global para a segurança do paciente lançado pela Aliança Mundial para a Segurança do Paciente foi “Uma Assistência Limpa é Uma Assistência Mais Segura”, priorizando a prevenção das IRAS. Essa campanha envolveu estratégias de implantação de ações relacionadas à melhoria da higienização das mãos em serviços de saúde.²⁴

O Brasil criou o PNSP em 2013, entretanto a preocupação com o controle de riscos nos serviços de saúde, no Brasil, antecede o PNSP³. A Portaria MS n. 2616, MS, publicada em 1998, considerou que as infecções hospitalares, como eram denominadas na época, constituíam risco significativo à saúde dos pacientes dos hospitais, e sua prevenção e controle deveriam envolver medidas na assistência hospitalar, na vigilância sanitária, entre outras, para serem tomadas no âmbito dos estados, dos municípios e em cada hospital⁷. A portaria definiu diretrizes mínimas para a composição das Comissões de Controle da Infecção Hospitalar (CCIH) e apresentou alguns conceitos de organização, definições e critérios diagnósticos de IRAS, vigilância epidemiológica, indicadores epidemiológicos das infecções hospitalares, higienização das mãos e recomendações gerais⁷. Mais uma vez a higienização das mãos foi considerada essencial para o controle e prevenção das infecções causadas pelo cuidado.

A mobilização global em torno da segurança do paciente empoderou mais a luta contra as infecções. Apesar da presença de indicadores obrigatórios contidos nos protocolos de higiene das mãos do PNSP²⁴, não foram recomendados instrumentos específicos de monitoramento que avaliassem a sua implantação.. Donabedian alertou sobre a necessidade de mensuração padronizada de indicadores para melhoria da qualidade em serviços de saúde.²⁵Muitos serviços de saúde criaram instrumentos de monitoramento sem o cuidado de obter avaliações abrangentes e uniformes, como no caso do hospital estudado. O monitoramento, conforme vem sendo feito, fornece informações imprecisas, que não permitem realizar um planejamento adequado e boas tomadas de decisão com a correta alocação dos recursos e, consequentemente, melhorar a qualidade da assistência oferecida aos usuários.^26-32

Na prática, observa-se que a criação de programas sem a devida avaliação da sua implementação, somados à falta de padronização de instrumentos levam à interpretação duvidosa dos resultados alcançados.

A primeira fase da pesquisa demonstra claramente esta questão. A análise documental, somada ao questionário eletrônico reflete que a auditoria é subjetiva, com respostas dos auditores conflitantes, não padronizadas.

A adequação da avaliação do instrumento permitirá a imposição de qualidade no instrumento, validado por especialistas. Segundo Deslandes, a avaliação de programas e serviços é utilizada em áreas como Educação, Administração, Economia, Serviço Social e Saúde Pública, sendo que em cada um desses campos temáticos ganha contornos específicos e se apropria de conceitos, indicadores e técnicas de aplicação.²⁹ É importante ressaltar que na saúde, assim como em outros campos de conhecimento, segundo Tanaka e Melo, “ao avaliar, utilizamos teorias, conceitos e instrumentos de diversas outras áreas do conhecimento. Sendo assim, a avaliação deve ser compreendida como uma área de aplicação e não como uma ciência”.³⁰

De acordo com Noronha, um processo clássico de avaliação baseia-se nos princípios da confiabilidade e da isenção dos avaliadores.³¹ Por este motivo, compreendemos que a avaliação deve ser feita baseada em elementos de mensuração com padrões bem definidos que neutralizem a subjetividade do avaliador.

Quanto à classificação da auditoria, observamos que a auditoria interna tem caráter permanente, com o objetivo de assessorar a administração no desempenho efetivo de suas funções e responsabilidades e de constituir um controle gerencial. O controle interno se faz através do exame e da verificação quanto à adequação e eficácia a um custo razoável. O auditor, a partir de suas análises, sugere orientações para elaboração ou reformulações nos padrões e rotinas. Em contrapartida, a auditoria externa é realizada por profissionais liberais, completamente independentes da organização a ser auditada, diminuindo, dessa forma, a subordinação dos auditores à política vigente na organização, o que parece proporcionar uma maior isenção.^31-35

Isto justifica a permanência das auditorias interna e externa no local de estudo, desde que sejam realizadas com a mesma metodologia, utilizando-se de série histórica para comparação, além de capacitação periódica dos auditores, afim de permitir vícios de processos durante a auditoria. Contandriopoulos destaca a importância da avaliação como uma atividade que contribui de forma significativa para a tomada de decisões de forma racional e ressalta que o que se espera é que “as informações produzidas contribuam para o julgamento de uma determinada situação com maior validade, influenciando positivamente as decisões”.³⁶

Desta forma, identificou-se que o processo de validação é contínuo, e necessita atualização periódica, de acordo com as novas demandas do tema, tendo em vista, principalmente, que os protocolos básicos de segurança do paciente estão em discussão há poucos anos, mediante a sua recente obrigatoriedade de implantação nas unidades de saúde. O aprendizado sobre validação de constructo é permanente e certamente, novas propostas de modificação no instrumento de avaliação dos protocolos de segurança de higienização das mãos e dos demais protocolos haverão de ser testados, complementando o trabalho hora realizado.

Este estudo apresenta limitações, dentre elas podemos citar a reduzida amostra dos especialistas do painel, concentrados em um só estado da federação; as restrições da utilização da técnica Delphi, que vão desde a excessiva dependência dos resultados em relação às escolhas dos especialistas, até a dificuldade de se redigir um questionário sem ambiguidades e não enviesado sobre tendências futuras.²¹ Além disso, o painel avaliou apenas o instrumento e não as demais questões referentes a um sistema de monitoramento, como: a criação de um programa de capacitação dos auditores, a definição da periodicidade de realização da auditoria e a criação de uma forma de feedback para os profissionais dos serviços auditados. Entretanto, a maior limitação foi a não aplicação do instrumento no campo.

De um modo geral, este estudo contribui em alguma medida para a segurança do paciente, considerando as limitações do estudo. O novo instrumento proposto nos reflete a diversidade de ferramentas de avaliação de segurança do paciente em nível nacional, o que demonstra a fragilidade do sistema. Além disso, estimula o desenvolvimento de outros estudos no sentido da construção e padronização de ferramentas de avaliação que podem ser utilizadas de forma abrangente, em todo território nacional, permitindo a comparação entre hospitais, estados e unidades de federação.

O fato do tema de higiene das mãos já ter sido estudado há anos e ainda causar IRAS demonstra que a cultura de segurança merece atenção. A prioridade dada no PNSP para a implantação do protocolo de higiene das mãos pelos núcleos de segurança do paciente auxiliará nas ações de redução das IRAS já desenvolvidas pelos serviços de controle de infecção. Esta prática, além de baixo custo, tem grande impacto na qualidade à assistência à saúde dos pacientes.

Tendo em vista que as ações voltadas para segurança do paciente no Brasil ainda são incipientes, o fato do tema de higiene das mãos ter sido estudado por diversos especialistas controladores de infecção há mais de vinte anos demonstram que a cultura de segurança merece atenção, sobretudo nos sistemas de saúde pertencentes ao sistema único de saúde. A integração entre profissionais controladores de infecção e profissionais dos núcleos de segurança do paciente certamente promoverá avanços nesta área, com a disseminação da cultura de segurança no âmbito da higienização das mãos e controle das IRAS, através da utilização de instrumentos de avaliação e monitoramentos adequados e úteis que permitam a comparação entre sistemas e, consequentemente, avanços nas metodologias e processos de trabalho, permitindo que sejam cada vez mais seguros.

REFERÊNCIAS

1. Organização Mundial da Saúde. Guia para implementação: Um guia para a implantação da estratégia multimodal da OMS para a melhoria da higienização das mãos a observadores: estratégia multimodal da OMS para a melhoria da higienização das mãos. Brasília: Organização Pan-Americana da Saúde; Agência Nacional de Vigilância Sanitária; 2008.

2. Kohn LT, Corrigan JM, Donaldson MS. To err is human: building a safer health system. Washington: National Academy of the Institute of Medicine; 1999.

3. Ministério da Saúde. Portaria nº 529, de 1º de abril de 2013. Institui o Programa Nacional de Segurança do Paciente (PNSP). Diário Oficial da União 02 abr. 2013; Seção 1(62):43.

4. Ministério da Saúde. Fundação Oswaldo Cruz; Agência Nacional de Vigilância Sanitária. Documento de referência para o Programa Nacional de Segurança do Paciente. Brasília: FIOCRUZ; ANVISA; 2014.

5. Ministério da Saúde. Agência Nacional de Vigilância Sanitária. Resolução da Diretoria Colegiada (RDC) nº 36, de 25 de julho de 2013. Institui ações para a segurança do paciente em serviços de saúde e dá outras providências. Diário Oficial da União 20 nov.2013; Seção 1(225):77.

6. World Health Organization. World alliance for patient safety: forward programme. Geneva: WHO; 2004.

7. Ministério da Saúde. Portaria n°. 2616, de 12 de maio de 1998. Expede diretrizes e normas para a prevenção e o controle das infecções hospitalares [Internet]. 1998 [citado em 2015 mar 15]. Disponível em: http://bvsms.saude.gov.br/bvs/saudelegis/gm/1998/prt2616_12_05_1998.html

8. Infectious Diseases Society of America. Combating antimicrobial resistance: policy recommendations to save lives. Clin Infect Dis 2011; 52 (Suppl. 5): S397-S428.

9. Pittet D. Improving adherence to hand hygiene practice: a multidisciplinary approach. Emerg Infect Dis 2001; 7 (2): 234-40.

10. Moret L, Tequi B, Lombrail P. Should self-assessment methods be used to measure compliance with hand washing recommendations? A study carried out in a French university hospital. Am J Infect Control 2004; 32 (7): 384-390.

11. World Health Organization. Hand hygiene technical reference manual: to be used by health-care workers, trainers and observers of hand hygiene practices. Geneva: World Health Organization. 2009; 31 p.

12. Dalkey NC, Olaf H. An experimental application of the Delphi Method to the use of experts. Santa Monica: RAND Corporation [Internet]; 1962 [citado em 2015 mar 20]. 17 p. Disponível em: http://www.rand.org/pubs/research_memoranda/RM727z1.html

13. Dalkey NC. The Delphi Method: an experimental study of group opinion. Santa Monica: RAND Corporation [Internet]; 1969 [citado em 2015 mar 22]. Disponível em: http://www.rand.org/pubs/research_memoranda/RM5888.html

14. Joint Commission International. Padrões de acreditação da Joint Commission International para Hospitais. 5 ed. Illinois: JC RINC; 2014.

15. Donabedian A. The quality of care: how can it be assessed? JAMA 1988; 260 (12): 1743-1748.

16. Hartz ZMA. Princípios e padrões em meta avaliação: diretrizes para os programas de saúde. Ciênc Saúde Coletiva 2006;11(3):733-738.

17. Contandriopoulos AP. Avaliando a institucionalização da avaliação. Ciênc Saúde Coletiva 2006; 11(3):705-711.

18. Ministério da Saúde. Assistência segura: uma reflexão teórica aplicada à prática. Brasília: Ministério da Saúde; 2013. Série Segurança do Paciente e Qualidade em Serviços de Saúde.

19. Sousa P, Mendes W. Segurança do paciente: conhecendo os riscos nas organizações de saúde. Rio de Janeiro: EAD/ENSP; 2014.

20. Ucho AAC. Utilizando técnicas de consenso: potencialidades e limites na avaliação da informação em saúde. In: HARTZ, Z.; FELIZBERTO, E.; SILVA, L. M. (eds.). Meta-avaliação da Atenção Básica em Saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p. 253- 282.

21. Wright JTC, Giovinazzo RA. Delphi: uma ferramenta de apoio ao planejamento participativo. Cad Pesq Adm 2000; 1 (12): 64-55.

22. Barnette JJ. Effects of stem and Likert response option reversals on survey internal consistency: if you feel the need, there is a better alternative to using those negatively worded stems. Educ Psychol Meas 2000; 60 (3): 361-370.

23. World Health Organization. World alliance for patient safety. First Global Patient Safety Challenge: clean care is safer care. Genebra: WHO; 2006.

24. Ministério da Saúde. Protocolo integrante do Programa Nacional de Segurança do Paciente. Anexo 01: Protocolo para a prática de higiene das mãos em serviços de saúde. Ministério da Saúde/ Anvisa/ Fiocruz; 2013.

25. Donabedian A. Criteria, norms and standards of quality: what do they mean? American J Public Health 1981; 71(4): 409-412.

26. Soárez PC, Padovan JL, Ciconelli RM. Indicadores de saúde no Brasil: um processo em construção. Rev Adm Saúde 2005; 7 (27):57-64.

27. Marinho N. Avaliação da eficiência técnica nos serviços de saúde dos municípios do estado do Rio de Janeiro. Brasília: Ipea; nov. 2001. Texto para discussão n. 842.

28. Mello JB, Camargo MO. Práticas e conceitos: normas ISO nas áreas médico hospitalar e laboratorial. São Paulo: Best Seller. 1998.

29. Deslandes SF. Concepções em pesquisa social: articulações com o campo da avaliação em serviços de saúde. Cad Saúde Pública. 1997; 13(1): 103-7.

30. Tanaka YO, Melo C. Avaliação de Programas de Saúde do Adolescente: um modo de fazer. Editora da Universidade de São Paulo. São Paulo: 2001.

31. Noronha, MP. O papel do Tribunal de Contas da União na avaliação de programas de governo: diferentes estágios e abordagens. 164 Marilene Barros de Melo/Jeni Vaitsman São Paulo em Perspectiva, v. 22, n. 1, p. 152-164, jan./jun. 2008 2004. 52 f. Monografia. Brasília: Instituto Serzedello Corrêa do Tribunal de Contas da União, 2004.

32. Mautz, RK. Princípios de auditoria. 4. ed. São Paulo: Atlas, 1985.

33. Conselho Federal de Contabilidade. Resolução CFC n. 781/95, de 24 de março de 1995. Dispõe sobre as normas profissionais do auditor interno. Brasília, DF, mar. 1995.

34. Pina V.; Torres L. La contabilidade del sector público, 2001.

35. Peres Júnior, JH. Auditoria de demonstrações contábeis: normas e procedimentos. 3. ed. São Paulo: Atlas, 2004.

36. Contandriopoulos AP. Avaliando a institucionalização da avaliação. Ciência & Saúde Coletiva. 2006; 11(3):705-11.