INTRODUÇÃO

A prática avaliativa, apoiada na sistematização e comunicação de informações que geram a apropriação do conhecimento, fortalece a interação entre profissionais formuladores e executores das ações e, destes, com os tomadores de decisão, contribuindo com a ampliação da visão sistêmica das políticas públicas. Também qualifica a análise sobre a exequibilidade e o impacto das decisões para a melhoria das condições de saúde, desde que as informações sejam analisadas quanto ao grau de confiabilidade e utilidade que possam vir a ter¹ .

Nessa direção, a participação dos usuários das avaliações no processo avaliativo e a identificação de agentes facilitadores comprometidos com o fomento à aprendizagem organizacional são elementos importantes quando se coloca na pauta da discussão questões relacionadas à estrutura, à prática e à utilização da avaliação. Patton² destacou que o apoio às pessoas na direção de auxiliá-las a pensar de forma avaliativa tende a aumentar o uso de uma avaliação, tornando-o eventualmente maior do que o uso das descobertas geradas na mesma avaliação^{3 , 4} . O autor enfatizou a necessidade de ponderação das evidências, considerando as contradições, as inconsistências e os valores articulados e de interpretação das descobertas, examinando possíveis suposições^{1 , 2} . É necessário, portanto, que as questões avaliativas reflitam as preocupações identificadas pelos usuários da avaliação, que as estratégias de comunicação sejam facilitadoras do uso do conhecimento e que o ambiente institucional seja permeável à revisão permanente do processo avaliativo desenvolvido^{1 , 2 , 3 , 4 , 5 , 6} .

Por outro lado, a manutenção sustentável das atividades avaliativas como parte do trabalho cotidiano em uma organização ou mesmo em um sistema de serviços depende do grau de coerência da política de institucionalização da avaliação estabelecida com a missão organizacional⁷ . É, portanto, basilar que os usuários da avaliação sejam protagonistas na escolha da abordagem do método que melhor se ajuste à sua organização, com vistas à adaptabilidade processual e à utilização prevista dos dispositivos desenvolvidos e dos resultados da prática avaliativa, seja ela de monitoramento ou de avaliação¹ . Nesse sentido, é importante desenvolver estratégias que tornem perenes os dispositivos de implantação da prática avaliativa na instituição. Estas devem ser introduzidas na rotina considerando as peculiaridades organizacionais e a influência do contexto político-organizacional na desenvoltura técnica e política dos envolvidos e na evidenciação dos reflexos da cultura avaliativa no sistema⁸ sendo, para isso, fundamental que a construção da capacidade avaliativa ocorra nos espaços de trabalho dos indivíduos⁹ .

A busca por efetividade das ações desenvolvidas pela gestão pública vem, sobretudo a partir da década de 1990, enfatizando a relevância da avaliação focada em resultados e o necessário aprofundamento teórico sobre as práticas gestoras que proporcione o embasamento adequado das evidências e o aprendizado individual e coletivo no âmbito das organizações^{1 , 10 , 11 , 12} . Nesse contexto, a qualidade da tomada de decisão encontra-se na dependência direta da informação e do conhecimento por ela produzido, o que pode ser facilitado pelos processos avaliativos articulados ao modelo de gestão.

No Brasil, a incorporação da teoria avaliativa vem fomentando a condução de processos de gestão focados na avaliação de resultados no Sistema Nacional de Vigilância Sanitária (SNVS), com destaque para o projeto “Elaboração de Indicadores para Avaliação das Ações de Vigilância Sanitária”, que promoveu o debate para a elaboração dos modelos teórico e lógico das ações de vigilância sanitária e a construção de indicadores de efetividade no âmbito nacional¹³ . Em decorrência deste, vem se desenvolvendo junto a dois estados e dois municípios no âmbito do Programa de Apoio ao Desenvolvimento Institucional do Sistema Único de Saúde (PROADI-SUS) e da parceria institucional entre o Hospital Alemão Oswaldo Cruz (HAOC) e a Agência Nacional de Vigilância Sanitária (Anvisa), o projeto “Institucionalização de práticas avaliativas: a gestão estratégica da vigilância sanitária baseada em evidências”.

Esta proposta almeja o desenvolvimento de mecanismos indutores para incorporação da prática avaliativa na gestão da vigilância sanitária. Uma das estratégias consiste no desenvolvimento de modelos avaliativos direcionados à efetividade das ações desenvolvidas no âmbito do SNVS, voltadas para a implantação de medidas preventivas e de proteção à saúde e que resultem na redução dos fatores de riscos provenientes da produção e comercialização de medicamentos, alimentos, cosméticos, saneantes e produtos para a saúde, assim como daqueles decorrentes da prestação de serviços de saúde¹⁴ .

O desafio colocado aos gestores do SNVS é a utilização da estratégia de modelização que permita conhecer as ações desenvolvidas por organizações de Vigilância Sanitária (Visa). Ela servirá de suporte teórico ao desenvolvimento e à utilização de instrumentos de monitoramento do desempenho, compreendendo que uma mesma estratégia poderá apresentar diferentes resultados em decorrência dos diferentes contextos de implantação.

Este artigo teve como objetivo apresentar os resultados decorrentes da modelização em quatro organizações de Visa no Brasil, sendo duas estaduais e duas municipais.

MÉTODO

Realizou-se um estudo de avaliabilidade, que é compreendido como uma análise preliminar e sistemática de um programa, em seu campo teórico e em sua prática, como forma de demonstrar as necessidades de ajustes nos seus componentes e identificar quais aspectos do programa devem ser priorizados na avaliação¹⁵ . Para indução e garantia desta abordagem, foram utilizados fundamentos previstos por Leviton et al.¹⁶ , quais sejam: envolvimento dos potenciais envolvidos (gestores e técnicos das instâncias de Visa), esclarecimento sobre os componentes, subcomponentes e objetivos da intervenção, desenvolvimento e pactuação do modelo lógico e análise da plausibilidade do modelo.

O estudo foi desenvolvido no período de julho a dezembro de 2019 em quatro organizações de Visa: duas estaduais (Minas Gerais e Santa Catarina) e duas municipais (Belo Horizonte e Florianópolis), sendo utilizados os seguintes critérios de seleção: i) adesão aos projetos fomentados pela Anvisa, (ii) implantação de práticas de gestão da qualidade e de gerenciamento do risco sanitário, (iii) disponibilização de fonte de informação para o cálculo dos indicadores de monitoramento e avaliação e (iv) existência de ações pactuadas para qualificação da ação de vigilância sanitária.

Foram consultados documentos e publicações técnicas dos quatro órgãos de Visa, vislumbrando a definição dos objetivos, áreas de atuação e processos de trabalho fundamentais para a composição dos modelos lógicos. Tomou-se como referência prioritária a publicação: “Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica”, cujos objetivos foram identificar e formular indicadores de efetividade das ações de vigilância sanitária em âmbito nacional¹³ .

A participação proativa e contínua dos gestores e técnicos foi ancorada no alinhamento político-gerencial entre a Anvisa e as quatro instâncias gestoras estaduais e municipais, para a abordagem sobre os aspectos de relevância, viabilidade, factibilidade e vulnerabilidade da intervenção, assim como sobre os dispositivos gerenciais que eventualmente fossem necessários criar ou modificar no cotidiano da gestão. Foi realizada uma oficina de sensibilização junto ao corpo gestor e técnico-gerencial das quatro Visa, com exposições dialogadas e debates sobre os pressupostos teórico-metodológicos da avaliação e sua interface como prática ligada à gestão e ao desempenho institucional. Ainda foram identificados atores com potencial capacidade de liderança e articulação com as diversas instâncias técnicas e gestoras dos entes de Visa para a composição de um Comitê Condutor Local (CCL). Sob tutoria de uma equipe de consultores em avaliação e em vigilância sanitária com experiência e/ou interface com a gestão em saúde, os comitês foram responsáveis pela atuação propositiva em todas as etapas do estudo e foram constituídos de acordo com o contexto institucional de cada Visa, pelo seguinte número de integrantes: Minas Gerais (11); Santa Catarina (oito); Belo Horizonte (nove) e Florianópolis (nove).

Para a operacionalização da modelagem foram realizadas quatro oficinas de trabalho (OT) mensais com carga horária individual de 8 h e duas visitas técnicas em cada caso, com a participação dos CCL e eventuais técnicos e gestores convidados pelos comitês. Entre a realização das oficinas foram atribuídas atividades aos grupos com vistas à revisão dos produtos, proposições na redação e/ou no conteúdo do modelo lógico e consulta aos atores locais para aquisição de informações adicionais. Como eixos transversais ao processo de modelização, destacam-se as abordagens teóricas referentes aos conhecimentos básicos sobre as interfaces de um processo de institucionalização de práticas avaliativas, bem como o CCL foi estimulado a compartilhar as ações e os produtos desenvolvidos com as equipes técnicas e instâncias gestoras, no intuito de fomentar uma cultura avaliativa nas respectivas instituições.

O delineamento dos modelos lógicos das organizações de Visa de Santa Catarina e Minas Gerais foi mediado pelo nível de análise estadual, representado pelas ações de planejamento e descentralização, cooperação técnica, cofinanciamento, além da execução das ações de forma direta e/ou complementar. Por conseguinte, nas instâncias de Visa de Belo Horizonte e de Florianópolis tomou-se como parâmetro o nível de análise municipal, representado pelas competências de planejamento, gestão, controle, avaliação e execução das ações de vigilância sanitária nos municípios.

A ênfase no desempenho da gestão da Visa foi comum aos quatro casos, como elemento-chave para apoiar a responsabilização e a gestão baseada em resultados. Nesse sentido, foram discutidos os princípios, as diretrizes e as práticas desenvolvidas pelas instâncias de Visa, bem como foram detalhados os objetivos esperados e as relações entre as atividades e os seus efeitos. Para cada componente do modelo foram consensuados subcomponentes com vistas à melhor caracterização das atividades identificadas como sendo prioritárias para o monitoramento do desempenho da gestão. A pactuação dos modelos junto aos gestores e técnicos foi guiada pelo teste de consistência a revisão dos componentes e subcomponentes da intervenção e verificação das relações entre as atividades e seus efeitos.

Este artigo está em conformidade com o disposto no Art. 1, parágrafo único, Item VII, da Resolução nº 510, de 7 de abril de 2016, no Conselho Nacional de Saúde, que trata de considerações éticas específicas aplicáveis a pesquisas em ciências sociais e humanas.

RESULTADOS

Constatou-se que, apesar das diversidades organizacionais identificadas nos quatro órgãos de Visa, a definição das ações e seus respectivos componentes e subcomponentes apresentaram denominações eventualmente distintas, mas com estreita similaridade e relação com as responsabilidades das esferas de gestão ( Quadro ).

O componente Gestão, presente nos quatro casos, contemplou as atividades de planejamento e direção dos sistemas de Visa por meio do exercício das funções de coordenação, articulação, formação de competências, produção científica, monitoramento e avaliação das atividades em conformidade com os Planos de Ação de Vigilância Sanitária, os Planos de Saúde, os Códigos Sanitários e as Diretrizes do SNVS. Nos modelos estaduais, acrescenta-se a este componente o princípio da descentralização, como elemento norteador da capacidade de execução das ações nas instâncias regionais e municipais.

No componente Regulação emergiram os subcomponentes Legislação e Marco Regulatório e Licenciamento Sanitário, sendo o primeiro a síntese das ações de elaboração, atualização, publicização e execução dos marcos regulatórios sanitários de interesse dos entes do SNVS, além da elaboração e atualização do marco normativo das boas práticas regulatórias. Já o subcomponente Licenciamento Sanitário, não contemplado no modelo de Santa Catarina, foi definido pelos demais casos como: padronização e simplificação dos processos; publicização dos roteiros de inspeção sanitária; e análise dos projetos arquitetônicos. Além desses, a Visa de Florianópolis entende ainda que este subcomponente abrange a emissão de Alvarás e Habite-se sanitários.

O componente Controle do Risco Sanitário está relacionado à ação fiscalizatória na produção e consumo de bens e serviços sujeitos à vigilância sanitária, sendo este componente incluído nos modelos de Minas Gerais, de Santa Catarina e de Florianópolis. Na Visa de Belo Horizonte foi incluído no modelo o componente Segurança Assistencial com vistas à implementação de uma cultura direcionada aos processos e práticas assistenciais do município.

Já o componente Monitoramento do Risco Sanitário está condizente com o monitoramento, o acompanhamento, o atendimento e a orientação técnica às demandas de saúde ambiental, de produtos, de serviços de interesse da saúde, bem como com as relacionadas às emergências sanitárias. Acrescenta-se nos entes estaduais o subcomponente Segurança do Paciente, que se relaciona ao planejamento, à organização e ao monitoramento de ações promovidas pelas instituições de saúde para reduzir o risco de dano desnecessário associado ao cuidado de saúde ao mínimo aceitável.

As ações direcionadas ao relacionamento dos órgãos e serviços de Visa com a sociedade estabeleceram-se como subcomponente em todos os modelos integrando-se em componentes condizentes com a comunicação e educação para a saúde, cujas denominações não foram consensuais. As organizações municipais incluíram neste escopo as parcerias intrasetoriais e intersetoriais, inclusive com o setor regulado ( Quadro ).

Os modelos lógicos delineados nas Figuras 1 , 2 , 3 e 4 apresentam a relação causal entre as práticas de vigilância sanitária e seus efeitos imediatos (relacionados mais diretamente aos componentes, subcomponentes e suas atividades correlatas), os efeitos intermediários (se bem-sucedidos, irão atingir a população-alvo da intervenção) e o impacto, que atinge a população em geral como consequência da realização dos efeitos intermediários, sendo muitas vezes influenciados por fatores externos e/ou pertencentes a outras intervenções.

DISCUSSÃO

A modelagem contribuiu para o esclarecimento dos propósitos da intervenção e para a reflexão sobre as relações causais entre as ações de vigilância sanitária e os seus efeitos esperados, cabendo elucidar a natureza complexa da intervenção¹⁷ . As instâncias municipais e estaduais retratadas neste estudo integram o SNVS, cujas atribuições e áreas de atuação são abrangentes e demandam um conjunto organizado de práticas técnicas e políticas, de natureza intersetorial, multiprofissional e interinstitucional. Acrescenta-se a sua função mediadora entre os interesses dos segmentos regulados e as políticas públicas de proteção da saúde, que atribui responsabilidade no equilíbrio entre os interesses econômicos e sanitários, o que torna a área de vigilância sanitária uma peça-chave para o estabelecimento de relações éticas entre produção e consumo^{18 , 19} .

O elevado grau de complexidade da intervenção amplia a incerteza quanto ao alcance e à natureza dos possíveis resultados, tornando igualmente mais complexa a modelização, sobretudo quando se trata de modelos baseados nos resultados, que tenham por finalidade a instauração de sistemas de monitoramento do desempenho²⁰ . Neste aspecto, o embasamento operacional para a elaboração dos modelos lógicos com robustez e plausibilidade considerou as perspectivas de atores internos e externos, respectivamente o CCL e os especialistas, tendo sido uma abordagem com caráter formativo e propensa à identificação de problemas e explicações sobre os processos relacionados às práticas de vigilância sanitária nos quatro casos estudados^{21 , 22} .

O engajamento dos interessados foi provocado durante o desenvolvimento da modelagem, sendo uma premissa para garantia do protagonismo dos atores internos sobre o conhecimento dos pressupostos teóricos da intervenção e sobre a potencialidade desta etapa para ampliar a utilidade das recomendações de futuros processos de monitoramento e avaliação^{2 , 23} . Além disso, verificou-se a diversidade de pontos de vista diante do envolvimento do corpo gestor e de técnicos de áreas estratégicas das organizações de Visa durante todo o processo. Outros estudos têm feito referências aos ganhos decorrentes da análise de informações gerenciais em equipe, ressaltando a maior capacidade coletiva em relação à soma das capacidades individuais isoladas para o processamento dessas informações^{24 , 25 , 26} .

Ainda, o uso de uma abordagem participativa direcionou o planejamento das oficinas de trabalho que visaram o estabelecimento de um cenário de atuação e negociação em que os atores envolvidos tiveram a oportunidade de fazer valer as suas reivindicações, bem como influenciar as decisões inerentes ao percurso avaliativo. A construção coletiva facilitou o alcance de acordos e consensos sobre componentes da intervenção e as suas relações causais, o que contribuiu para que o modelo tenha significado para os seus usuários.

O envolvimento e a participação de técnicos e gestores atuantes foram essenciais para a inserção de atividades prioritárias e estratégicas para cada Visa. Os componentes e subcomponentes definidos pelos quatro casos guardaram semelhança entre si e com a modelagem das ações de vigilância sanitária em âmbito nacional¹² , sendo pertinente ponderar que esta foi utilizada como referência para o desenvolvimento dos modelos lógicos dos quatro casos estudados. Entretanto, este instrumento, apesar de ser caracterizado como um norteador das modelizações em questão, não impediu a construção de modelos estreitamente coerentes com as conformações institucionais locais. Quer seja por se tratar de instâncias distintas do SNVS, quer seja devido à apropriação dos profissionais sobre suas práticas e áreas de atuação, favorecendo reflexões maduras acerca dos componentes da intervenção e a relação com seus efeitos.

Considerando as especificidades e as peculiaridades dos entes envolvidos no projeto e os diferentes níveis de descentralização das ações de vigilância sanitária no SNVS, os modelos lógicos desenvolvidos buscaram guardar características de reprodutibilidade, zelando pela flexibilidade de sua natureza, na perspectiva de que a experiência possa contribuir com o fomento à sua utilização e ao debate acerca de sua aplicabilidade^{12 , 24} . Uma questão que merece destaque é a abertura necessária a uma revisão periódica do modelo lógico, no sentido de sua readequação, de acordo com a necessidade de contemplar aspectos não previstos, decorrentes do desenvolvimento dos processos de gestão ou de fatores contextuais²⁴ .

No que tange à utilidade, além de ter aprimorado a inteligibilidade das ações de vigilância sanitária e suas consequências, a modelagem configurou-se como eixo condutor para a definição de prioridades e desenvolvimento de processos avaliativos legítimos²⁷ . Pode-se ainda esperar que a opção pela abordagem de natureza participativa e o suporte teórico que embasou a estratégia durante todo o processo sejam propulsores do uso instrumental (suporte à tomada de decisão) e conceitual (voltado à aprendizagem dos atores) da avaliação^{28 , 29} . Este potencial de utilização se enquadra no que Patton³⁰ denomina de process use , que abrange mudanças no comportamento dos atores, na intervenção ou na cultura organizacional quando ocorridas durante o processo avaliativo.

A partir da modelagem, os usuários incorporaram informações sobre a operacionalização da intervenção, o que os torna capazes de influenciar o pensamento, as práticas e as regras de ação coletiva de outras pessoas, o que, por si só, pode subsidiar a tomada de decisão e a mudança. Sobre este aspecto, o pensamento estratégico na composição de CCL com representatividade do núcleo gestor teve como horizonte a elaboração de modelos lógicos coerentes e plausíveis; do mesmo modo que se vislumbrou a seleção de pessoas com capacidade de compartilhar os conhecimentos e habilidades adquiridos e influenciar os seus pares, tendo como objetivo finalístico fomentar uma cultura avaliativa^{9 , 31} .

Buscou-se, ainda, um processo ativo de aprendizagem em que, para além dos produtos, fosse valorizada a sua construção, promovendo mudanças por meio de um conjunto de análises, interpretações e atribuição de novos significados às rotinas institucionais^{4 , 24 , 30 , 31 , 32 , 33 , 34} . Essa perspectiva alimenta a indução, por meio da institucionalização de práticas avaliativas, de um processo de sistematização do conhecimento produzido como elemento integrador e qualificador da gestão. O sentimento de identidade disso decorrente contribui para a efetivação de regras formais e informais no âmbito organizacional, conformando diretrizes que, posteriormente, favorecerão a definição de políticas que tenham como base as referências do campo da avaliação em saúde^{1 , 35 , 36} .

CONCLUSÕES

A presente modelagem almeja fornecer subsídios para o delineamento de processos e práticas avaliativas que possam efetivamente contribuir para a tomada de decisão nas organizações de Visa. Os modelos lógicos construídos coletivamente e legitimados pelos atores institucionais são uma exposição dos mecanismos de operacionalização da intervenção, configurando-se como uma ferramenta potencial para direcionamento das prioridades avaliativas coerentes com as demandas contextuais das quatro instâncias abordadas neste estudo.

Cabe destacar que a metodologia utilizada para o processo de modelização e a sistematização apresentada neste artigo permitem identificar uma estratégia adequada para o desenvolvimento de iniciativas similares em outros cenários organizacionais de Visa. Nesse sentido, recomenda-se que a modelização seja utilizada como catalisador inicial de um processo institucional em que as práticas avaliativas nas instâncias de Visa se tornem, efetivamente, essenciais à racionalização da gestão e das decisões, inclusive na definição sobre a alocação dos recursos.

REFERÊNCIAS

Felisberto E, Samico I, Bezerra LCA, Hartz Z. Institucionalizando a avaliação nas organizações e agências de pesquisas: um estudo de caso exemplar. Saude Debate. 2017;4(esp):387-99. https://doi.org/10.1590/0103-11042017s28

Patton MQ. Utilization-focused evaluation: the new century text. 4a ed. Thousand Oaks: Sage; 2008.

Hartz ZMA. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and sur mesure over ready-made. Cad Saude Publica. 1999;15(2):229-60. https://doi.org/10.1590/S0102-311X1999000200002

Fleischer DN, Christie CA. Evaluation use: results from a survey of US american evaluation association members. Am J Eval. 2009;30(2):158-75. https://doi.org/10.1177/1098214008331009

Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad Saude Publica. 2010;26(6):1079-95. https://doi.org/10.1590/S0102-311X2010000600003

Feinstein ON. Use of evaluations and evaluations of their use. Eval. 2002;8(4):433-9. https://doi.org/10.1177/13563890260620621

Pisco LA. A avaliação como instrumento de mudança. Cienc Saude Coletiva. 2006;11(3):566-8. https://doi.org/10.1590/S1413-81232006000300004

Scheirer MA. Is sustainability possible? A review and commentary on empirical studies of program sustainability. Am J Eval. 2005;26(3):320-47. https://doi.org/10.1177/1098214005278752

Preskill H. Evaluation’s second act: a spotlight on learning. Am J Eval. 2008;29(2):127-38. https://doi.org/10.1177/1098214008316896

Carden F, Earl S. Infusing evaluative thinking as process use: the case of the international development research centre (IDRC). New Dir Eval. 2007;2007(116):61-73. https://doi.org/10.1002/ev.243

Hartz Z. Do monitoramento do desempenho ao desempenho do monitoramento: novas oportunidades para a avaliação na gestão da vigilância em saúde. Cienc Saude Coletiva. 2013;18(5):1221-2. https://doi.org/10.1590/S1413-81232013000500005

Felisberto E, Brito RL, Barca DAAV, Martins MAF, Oliveira AKNBM, Souza NC et al. Modelagem avaliativa para a construção de indicadores de efetividade das ações de vigilância sanitária no Brasil. Rev Bras Saude Mater Infant. 2018;18(3):653-64. https://doi.org/10.1590/1806-93042018000300011

Agência Nacional de Vigilância Sanitária – Anvisa. Avaliação das ações de vigilância sanitária: uma proposta teórico-metodológica. Brasília: Agência Nacional de Vigilância Sanitária; 2018.

Agência Nacional de Vigilância Sanitária – Anvisa. Institucionalização de práticas avaliativas: a gestão estratégica da vigilância sanitária baseada em evidências. Brasília: Agência Nacional de Vigilância Sanitária; 2018.

Thurston WE, Ramaliu A. Evaluability assessment of survivors of a torture program: lessons learned. Can J Program Eval. 2005;20(2):1-25.

Leviton LC, Collins CB, Laird BL, Kratt PP. Teaching evaluation using evaluability assessment. Eval. 1998;4(4):389-409. https://doi.org/10.1177/13563899822208699

Champagne F, Contandriopoulos AP, Brousselle A, Hartz Z, Denis JL. A avaliação no campo da saúde: conceitos e métodos. In: Brousselle A, Champagne F, Conandriopoulos AP, Hartz Z, organizadores. Avaliação em saúde: conceitos e métodos. Rio de Janeiro: Fundação Oswaldo Cruz; 2011. p. 19-40.

Seta MH, Oliveira CVS, Pepe VLE. Proteção à saúde no Brasil: o Sistema Nacional de Vigilância Sanitária. Cienc Saude Coletiva. 2017;22(10):3225-34. https://doi.org/10.1590/1413-812320172210.16672017

Silva JAA, Costa EA, Lucchese G. SUS 30 anos: vigilância sanitária. Cienc Saude Coletiva. 2018;23(6):1953-61. https://doi.org/10.1590/1413-81232018236.04972018

Lipsey MW. Theory as method: small theories of treatments. New Dir Program Eval. 1993;1993(57):5-38. https://doi.org/10.1002/ev.1637

Lahey R. The canadian M&E system: lessons learned from 30 years of development. Washington: World Bank; 2010.

Silva LMV. Avaliação de políticas e programas de saúde. Rio de Janeiro: Fundação Oswaldo Cruz; 2014.

Saunders M. The use and usability of evaluation outputs: a social practice approach. Eval. 2012;18(4):421-36. https://doi.org/10.1177/1356389012459113

Costa JMBS, Felisberto E, Bezerra LCA, Cesse EAP, Samico IC. Monitoramento do desempenho da gestão da vigilância em saúde: instrumento e estratégias de uso. Cienc Saude Coletiva. 2013;18(5):1201-16. https://doi.org/10.1590/S1413-81232013000500002

Falconi V. O verdadeiro poder: práticas de gestão que conduzem a resultados revolucionários. Belo Horizonte: Falconi; 2009.

Raoufi M. Avoiding information overload: a study on individual’s use of comunication tools. In: Procedings of the 36th Hawaii Conference on System Sciences; Hilo, United States of America. Los Alamitos: IEEE Computer Society; 2003.

Leviton LC, Khan LK, Rog D, Dawkins N, Cotton D. Evaluability assessment to improve public health policies, programs, and practices. Annu Rev Public Health. 2010;31:213-33. https://doi.org/10.1146/annurev.publhealth.012809.103625

Alkin MC, King JA. The historical development of evaluation use. Am J Eval. 2016;37(4):568-79.

Almeida CAL, Tanaka OY. Avaliação em saúde: metodologia participativa e envolvimento de gestores municipais. Rev Saude Publica. 2016;50(45):1-10. https://doi.org/10.1590/S1518-8787.2016050006251

Patton MQ. Discovering process use. Eval. 1998;4(2):225-33. https://doi.org/10.1177/13563899822208437

Contandriopoulos D, Brousselle A. Evaluation models and evaluation use. Evaluation (Lond). 2012;18(1):61-77. https://doi.org/10.1177/1356389011430371

Weiss CH, Murphy-Graham E, Birkeland S. An alternate route to policy influence: how evaluations affect DARE. Am J Eval. 2005;26(1):12-30.

Figueiró AC, Hartz Z, Samico I, Cesse EAP. Usos e influência da avaliação em saúde em dois estudos sobre o programa nacional de controle da dengue. Cad Saude Publica. 2012;28(11):2095-105. https://doi.org/10.1590/S0102-311X2012001100009

Silva RR, Brandão D. Os quatro elementos da avaliação. Olho Mag. 2003;10(2):59-66.

Mayne J. Building an evaluative culture: the key to effective evaluation and results management. Can J Program Eval. 2010;24(20):1-30.

Mark MM, Cooksy LJ, Trochim WMK. Evaluation policy: an introduction and overview. New Dir Eval. 2009;(123):3-11. https://doi.org/10.1002/ev.302

Autor notes

* E-mail:lucianadubeux@gmail.com

Declaração de interesses