INTRODUÇÃO

O desenvolvimento da avaliação de políticas e programas de saúde no Brasil tem sido fortemente impulsionado desde o início da década de 2000, decorrente do processo de melhoria contínua do Sistema Único de Saúde (SUS). Resultante da implantação de políticas setoriais que demandam a avaliação dos seus resultados, a prática avaliativa é induzida, também, pelos projetos financiados por instituições internacionais. Ressalta-se ainda a forte interação entre os campos burocrático e científico, característica que distingue o SUS no âmbito das políticas sociais e que favoreceu o debate sobre a necessidade da incorporação da avaliação em diversos âmbitos do sistema ^{1 , 2} . Institucionalizar a prática avaliativa no sistema de saúde requer a implantação de “políticas de avaliação de políticas e programas” voltadas à sua melhoria e à garantia da qualidade dos seus processos e produtos, garantindo os aspectos referentes à responsabilização, prestação de contas, comparabilidade e desempenho. Estas são condições essenciais ao desenvolvimento das instituições e à oferta qualificada de ações e serviços demandados pela população ^{3 , 4} .

Neste aspecto, um referencial teórico essencial a ser observado na proposição de um caminho, entre tantos que o campo da avaliação oferece, é o da avaliação focada na utilização. Essa fundamentação permite apreender, por exemplo, a necessidade do envolvimento dos principais usuários potenciais de uma avaliação desde a sua concepção, o que significa uma participação efetiva na elaboração da justificativa, no desenho teórico-metodológico, na construção da estrutura analítica e nas recomendações necessárias à mudança ^{5 , 6 , 7 , 8 , 9} . Isto confere mais legitimidade e potencialidade à utilização dos processos e dos resultados da avaliação. Ainda, este tipo de avaliação pode ter como foco os processos, os resultados, os impactos, a análise de custos, entre outros; permite a adoção das abordagens quantitativa e qualitativa isolada ou simultânea; pode contribuir com finalidades formativas e somativas e ser ancorada em diferentes tipos de modelização ⁶ . Entretanto, é necessário vincular a sua performance ao nível de envolvimento dos usuários da avaliação, às características de atribuição e contribuição que incorpora e ao contexto organizacional em que se encontram ^{6 , 8} . Nesse sentido, a incorporação das práticas avaliativas tem sido objeto da vigilância sanitária, na busca do aperfeiçoamento e da qualificação das ações regulatórias, normativas e fiscalizatórias, visando a mitigação do risco sanitário no Brasil.

Historicamente, uma reformulação estrutural da Vigilância Sanitária (Visa), consequente à reforma do aparelho de Estado, ocorrida no final da década de 1990, teve um direcionamento estratégico para a implantação de um modelo de administração pública gerencial, com forte caráter regulador, como forma de superação das práticas burocráticas autocentradas ^{5 , 6 , 7 , 8 , 10 , 11} . Por outro lado, para se afirmar o conceito atual de vigilância sanitária – enquanto um conjunto de ações que objetivam eliminar, diminuir ou prevenir riscos à saúde por meio da intervenção sobre problemas sanitários decorrentes do meio ambiente, produção e circulação de bens e da prestação de serviços de interesse à saúde ¹² –, faz-se necessária a elaboração de políticas, normas técnicas, legislações, fiscalizações e planejamento, o que requer a implantação de práticas consistentes de monitoramento e avaliação ^{12 , 13} .

A Agência Nacional de Vigilância Sanitária (Anvisa), em parceria com o Hospital Alemão Oswaldo Cruz (HAOC) no âmbito do Programa de Apoio ao Desenvolvimento Institucional do Sistema Único de Saúde (Proadi-SUS) e articulado com as instâncias gestoras estaduais e municipais, desenvolveu o projeto “Institucionalização de práticas avaliativas: a gestão estratégica da vigilância sanitária baseada em evidências” (IPA), implantado no triênio 2018-2020, com a finalidade de estruturar mecanismos indutores da prática avaliativa consubstanciados em processos de trabalho, tendo como base a sistematização de dados, a comunicação adequada de informações e a apropriação do conhecimento produzido no cotidiano da gestão ¹⁴ .

Esta iniciativa se estabelece na continuidade de outro projeto: “Elaboração de Indicadores para Avaliação das Ações de Vigilância Sanitária”, também resultante da parceria estabelecida entre a Anvisa e o HAOC, executado nos anos de 2016 e 2017, e que propôs uma modelagem avaliativa para a construção de indicadores de efetividade das ações de vigilância sanitária, apresentada na publicação “Avaliação das Ações de Vigilância Sanitária: uma proposta teórico-metodológica”, documento que a Anvisa considera norteador para a discussão técnica e a indução da cultura de avaliação no Sistema Nacional de Vigilância Sanitária (SNVS) ^{12 , 15} .

O Projeto IPA representa um esforço ao desenvolvimento da cultura avaliativa no âmbito do SNVS, de forma articulada e respeitando os princípios de descentralização e autonomia de suas organizações administrativas. Sua implantação deverá estar permeada por características participativas e de integração intra e extrainstitucional. Nesse sentido, é composto por três linhas de execução complementares que buscam favorecer o empoderamento técnico dessas estruturas por intermédio de diferentes ações: (i) Capacidade Avaliativa – desenvolvimento de competências; mecanismos estruturais e técnicos; (ii) Monitoramento e Avaliação – produção, informação e comunicação de resultados; (iii) Redes Colaborativas – cooperação técnica e articulação intersetorial ¹⁴ .

Este artigo teve como objetivo apresentar e expor ao debate o caminho percorrido pela Anvisa e pelo HAOC no processo de construção participativa de mecanismos para o monitoramento do desempenho da gestão em instâncias subnacionais, como parte da implantação da ação – mecanismos estruturais e técnicos – integrante da primeira linha de execução do projeto IPA, considerando a opção pelo monitoramento do desempenho enquanto atividade avaliativa inerente ao processo de gestão e de gerenciamento das ações de vigilância sanitária no SNVS.

MÉTODO

O processo de construção participativa de mecanismos para o monitoramento do desempenho da gestão da Visa partiu da aplicação do modelo teórico ¹⁴ , previamente elaborado, junto a quatro organizações gestoras de Visa, duas estaduais e duas municipais – Minas Gerais, Santa Catarina, Belo Horizonte e Florianópolis. O modelo lógico e o painel de monitoramento do desempenho da gestão foram escolhidos como mecanismos estruturais e operacionais capazes de traduzir e comunicar a teoria subjacente às ações de vigilância sanitária desenvolvidas no âmbito institucional.

Uma vez definida a utilização do monitoramento do desempenho da gestão de Visa como estratégia impulsionadora de um processo institucional em que as práticas avaliativas se tornem, efetivamente, essenciais à racionalização da gestão e das decisões ^{18 , 19} , o primeiro passo essencial para o cumprimento do objetivo da proposição aqui abordada consistiu na aproximação e no envolvimento das partes interessadas, conforme representado na Figura 1 . Nessa direção, realizaram-se reuniões de articulação política entre a Anvisa (proponente) e as gestões das Visa (estadual e municipal), nas quais haveria a aplicação do modelo avaliativo, momento em que foi feita a análise de viabilidade e abordados aspectos relacionados à eventual necessidade de adequação de mecanismos de gestão ²⁰ .

Figura 1
Representação esquemática do processo de implantação - Projeto Institucionalização de Práticas Avaliativas: a gestão estratégica da vigilância sanitária baseada em evidências (IPA), 2019-2020.
Fonte: Elaborada pelos autores, 2021.

Foi solicitado a cada Visa a identificação de um profissional para atuar como Ponto Focal, responsável pelo desenvolvimento de atividades de liderança, gestão, comunicação e negociação, essenciais para a interlocução e o alinhamento com a Anvisa, o HAOC e as áreas técnicas da própria instituição sobre a execução de cada etapa do processo de trabalho. A partir dessa indicação, foram realizadas novas reuniões entre gestores da Anvisa e das quatro Visa selecionadas para consensos iniciais de ordem técnica e, posteriormente, as reuniões foram conduzidas pela equipe de implantação do projeto formada por técnicos do HAOC e consultores especializados, juntamente com um Comitê Condutor Local (CCL), liderados pelo Ponto Focal e composto por atores estratégicos de cada uma das Visa – gestores e/ou referências das áreas técnicas.

Em seguida, foram realizados encontros temáticos com exposições dialogadas e reuniões técnicas com o CCL com discussões em grupos sobre aspectos teóricos e metodológicos da avaliação em saúde, conduzidas pelos consultores. Paralelamente, foi disponibilizado o Curso Introdutório de Avaliação em Saúde com foco em vigilância sanitária, na modalidade a distância, para os profissionais envolvidos no processo visando o desenvolvimento da aprendizagem individual e organizacional no tema. A criação do CCL representou uma estratégia de mobilização de atores locais que viabilizou um processo dinâmico de interação, compartilhamento de informações e interlocução com os tomadores de decisão ²¹ . Na medida em que esse conjunto de atores ia adquirindo e revelando conhecimentos básicos sobre as interfaces de um processo de institucionalização de práticas avaliativas, deu-se início ao processo de construção e proposição de uma estratégia avaliativa a ser submetida à aprovação dos gestores. Esse processo de construção considerou: a existência de experiências prévias de práticas avaliativas, os sistemas de informações utilizados, os dados disponíveis, a leitura de documentos e as publicações técnicas e científicas de interesse.

Nas quatro instituições de Visa, procedeu-se à identificação das experiências prévias de práticas avaliativas que cada uma detinha, à análise de sua adequação ao modelo teórico proposto ¹² , à definição dos referenciais teóricos e metodológicos a serem assumidos por cada instância gestora e à elaboração dos modelos lógicos condutores do processo de implantação. Nesse sentido, foram realizadas 41 entrevistas com atores-chave das Visa por meio de roteiros semiestruturados e consultados diversos documentos técnico-institucionais e normatizações oficiais, procedendo-se à análise contextualizada, também, a partir de roteiro previamente concebido. Em seguida, foram realizadas 18 oficinas de trabalho presenciais e 26 encontros virtuais que substituíram as oficinas em virtude da pandemia da COVID-19, além de oito visitas de assessoramento técnico às Visa. As reuniões consistiram em apresentações teóricas dialogadas e trabalhos em grupo que permitiram a identificação dos elementos constituintes dos quatro modelos lógicos já apresentados em número anterior deste periódico ²² e que integram, em conjunto com outras estratégias, a estruturação do instrumental teórico-operacional e de estratégias de utilização também representadas na Figura 1 .

RESULTADOS E DISCUSSÃO

O envolvimento dos principais interessados na perspectiva do uso do monitoramento

A construção prévia do modelo teórico para a avaliação da efetividade das ações de Visa e sua divulgação por meio de documento técnico institucional ¹² e de uma publicação científica ¹⁵ permitiram à Anvisa uma ausculta mais qualificada em torno da necessidade, percebida por vários dos envolvidos, de estratégias e mecanismos que favorecessem o uso sistemático e organizado das informações produzidas no cotidiano do SNVS.

Nessa direção, considerou-se alguns questionamentos norteadores na trajetória de implantação e balizadores das atividades desenvolvidas: (i) que tipos de informações se encontram disponíveis ou podem ser disponibilizadas a partir do trabalho cotidiano em Visa?; (ii) há fontes de informação suficientes, seguras e alimentadas com regularidade?; (iii) os profissionais de Visa conduzem suas atividades com base nas evidências produzidas por essas informações?; e (iv) esses profissionais estão preparados tecnicamente para o uso adequado dessas informações como suporte à tomada de decisão, necessária ao gerenciamento e à gestão em Visa? Estas quatro questões trazem à reflexão dois elementos importantes a serem considerados: a interpretação e a contribuição.

O elemento interpretação diz respeito ao preparo individual e coletivo das pessoas. Neste, as informações produzidas e o modo como isso ocorre devem integrar um processo de aprendizado permanente, tendo em vista o conhecimento que podem gerar sobre os problemas e as intervenções. A interpretação se relaciona, também, ao grau de certeza a ser atribuído àquela evidência, refletindo a qualidade dos dados e da informação ^{9 , 16} . Já o elemento contribuição está ancorado na avaliação focada na utilização, referencial teórico cada vez mais necessário como suporte às práticas avaliativas, sejam estas focadas no monitoramento ou na pesquisa avaliativa ^{9 , 16} .

Nessa perspectiva, uma premissa inicial é a de que, seja qual for a opção tomada, o monitoramento ou a avaliação propriamente dita, seus principais usuários devem participar ativamente da definição e do desenho do modelo teórico a ser seguido. A modelização da intervenção deverá traduzir suas expectativas, seus valores, e estar adaptada à permeabilidade do contexto em que se dão as ações. Por outro lado, eles devem definir quais tipos de evidências necessitam e quais poderão contribuir com as decisões necessárias. Ou seja, são os usuários da avaliação que irão determinar o grau de contribuição que as evidências terão no processo de trabalho, a partir de sua interpretação. Nesse caso, vale destacar que a participação de avaliadores externos ou consultores especializados deverá ser o de facilitador na organização das evidências e dos critérios de interpretação. Eles deverão emitir juízo de valor sobre a questão apenas quando solicitado pelos usuários da avaliação, fortalecendo, dessa maneira, o caráter colaborativo que poderá, entretanto, variar de acordo com a finalidade de suas atribuições e com o contexto político-organizacional. Nesse aspecto, a função e o tipo de relacionamento deste ator com os usuários da avaliação devem ser negociados e explicitados previamente ¹⁷ .

A estruturação do instrumental teórico-operacional e de estratégias de utilização

Tendo como referência prioritária a publicação “Ações de Vigilância Sanitária: uma proposta teórico-metodológica” ¹² , o debate surgiu naturalmente facilitando a formulação da modelagem adequada à instância local ²² . Foi necessário compreender a contribuição de cada componente do CCL para os resultados das ações desenvolvidas no âmbito da Visa, etapa essencial na composição da arquitetura da proposta avaliativa ^{23 , 24} . A partir desse processo de trabalho interativo foi possível, também, ajustar as necessidades específicas de cada Visa ao contexto local, mantendo o foco nos usos potenciais e desejados do instrumento a ser construído.

A estruturação dos sistemas organizacionais é consequente às necessidades e demandas sociais e prevê arranjos diversos, além de diversificadas formas de intervenções que se organizam em torno de normas, valores, cultura e estrutura social ^{19 , 20 , 21 , 22 , 23 , 24 , 25} . Portanto, é necessário conhecer os dispositivos produzidos para conformar as intervenções e considerar as características da arena em que se encontram as convergências, os conflitos e a dinâmica de poder produzidos, individual e coletivamente pelos atores institucionais, sendo esses aspectos que influenciam o surgimento de novos saberes e formas de diálogo e de utilização do conhecimento e, portanto, iniciativas inovadoras que favorecem o desenvolvimento organizacional ²⁶ . Ainda, deve-se compreender que a implantação de uma intervenção e seus efeitos sofrem influência e influenciam sua sustentabilidade. São diversificados os fatores que podem influenciar a continuidade das intervenções tais como sua relevância e legitimidade, sua estabilidade financeira e sua capacidade de adaptação às mudanças de contextos político-institucionais ^{27 , 28 , 29} . A modelização teórica permite superar a dicotomia intervenção-resultados, possibilitando a exploração das relações que determinam sucesso ou fracasso da intervenção para diferentes públicos e em distintos contextos. As características organizacionais das Visa e as responsabilidades assumidas no âmbito do SNVS foram determinantes para a escolha das estratégias e dos tipos de dispositivos a serem produzidos. Estes, por outro lado, foram desenvolvidos de maneira a permitir que a experiência de implantação em curso possa ser adequada a outras instituições de Visa estaduais e municipais, além de serem permeáveis à incorporação de aspectos não previstos e/ou não priorizados previamente ^{17 , 24 , 30} .

O monitoramento é caracterizado por se configurar em estratégia de acompanhamento sistemático e contínuo de informações relevantes. Neste aspecto, está sempre em risco de promover ações burocráticas, repetitivas e, portanto, pouco reflexivas. Isto prejudica a observação das mudanças ocorridas como decorrência das ações, influenciando negativamente a apreensão dos aspectos relevantes por parte dos usuários. Assim, o caráter formativo do processo de construção deve ser assegurado, o que favorecerá, também, a identificação das fragilidades e potencialidades das mudanças e/ou inovações incorporadas ao longo da execução das ações ^{4 , 17 , 31 , 32} . Por outro lado, desde o seu planejamento, a construção do instrumento deve contemplar atributos que contribuam com a sua sustentabilidade, definindo claramente as finalidades, os recursos estruturais, as pessoas responsáveis por cada etapa do processo, as estratégias para seu uso efetivo e a abertura permanente de espaços de negociação interna na organização. Estes cuidados irão contribuir para a rotinização dessas práticas, constituindo elementos indutores da sistematização de uma política institucional de avaliação ^{19 , 33 , 34} .

O processo de construção desses modelos permitiu conhecer melhor as peculiaridades do sistema de gestão – componentes, atividades e resultados – e as formas de organização dos serviços, além de aspectos relacionados ao financiamento, ressaltando as relações existentes entre as características do projeto IPA, os fatores próprios das organizações de Visa e os fatores do ambiente de implantação ²² . O eixo norteador foi o de identificar os efeitos das ações de Visa, diferenciando-os enquanto produtos, resultados alcançados e contribuição ao aprimoramento do SNVS e ao desenvolvimento institucional da Visa local ²² .

Após a construção dos modelos e sua validação com as instâncias superiores das organizações gestoras, deu-se início uma fase crucial do processo de construção dos instrumentos – a elaboração das perguntas de monitoramento e da matriz de medidas e julgamento. A construção das perguntas obedeceu aos critérios de prioridade, utilidade, relevância e viabilidade e variaram entre 10 e 22 questões elaboradas por cada Visa, classificadas por sua potencialidade em produzir indicadores referentes a três atributos: alcance dos resultados, cobertura das ações e tendência da situação sanitária. Do total de perguntas elaboradas, 54% se referiram ao alcance dos resultados e 31%, à cobertura das ações, o que guarda forte coerência com a natureza do instrumento proposto. Apenas 15% das questões se referiram à tendência da situação sanitária, coerente com a aplicação do critério de viabilidade, concernente à disponibilidade de sistemas de informação em Visa. Ainda, as perguntas foram agrupadas em dimensões e se apresentaram relacionadas: à gestão (35%), à regulação (12%), ao controle do risco sanitário (17%), ao monitoramento do risco sanitário (20%), às ações integradas, informação, comunicação e educação para a saúde (14%) e à segurança assistencial (2%).

A identificação, a construção e a seleção dos indicadores também seguiram critérios bem definidos: validade – se o indicador mede o que foi proposto; sensibilidade – se o indicador capta mudanças na situação monitorada; especificidade – se as mudanças captadas são verdadeiras; relevância – a importância do indicador para a tomada de decisão; oportunidade - se o indicador está disponível quando se necessita dele; simplicidade – se é facilmente compreensível; e custo-efetividade – se os resultados justificam o investimento de tempo e recurso para a sua obtenção ^{35 , 36} . Durante o processo de implantação, o debate coletivo proporcionou a reflexão sobre cada um dos indicadores de maneira exaustiva, resultando em uma média de 20 indicadores por Visa, com uma variação de 15 a 25.

É importante destacar que, além da adaptação de ordem operacional necessária ao processo de trabalho presencial devido à pandemia de COVID-19, esse contexto de emergência em saúde pública também suscitou a necessidade de inserção de perguntas avaliativas e, consequentemente, de indicadores referentes às ações de vigilância sanitária implementadas no monitoramento do risco sanitário e no combate ao novo Coronavírus.

As matrizes de medidas e julgamento construídas sistematizaram, além das perguntas, os critérios, os indicadores, as fontes de informação, a periodicidade com que as informações deverão estar disponíveis, a forma de cálculo e os padrões – que foram definidos a partir de normas, da literatura científica ou baseados em médias obtidas de práticas rotineiras – além de atributos referentes ao mérito: metas, estratificação, resultado e julgamento ^{35 , 36} .

Aspecto importante a ser ressaltado é a construção dos manuais instrutivos, contendo as fichas dos indicadores e o fluxo detalhado de todo o processo de trabalho referente à formatação e à utilização dos painéis de monitoramento. As fichas contêm as seguintes informações: interpretação, fonte de informação, forma de cálculo, periodicidade, meta, setor responsável e observações referentes a cada indicador. O fluxo contempla as etapas do processo interno de operacionalização do monitoramento, além de determinar os responsáveis e os prazos de execução de cada ação, incluindo a reunião de monitoramento que deve ocorrer com periodicidade regular, liderada pelo gestor da Visa e com a presença das lideranças das áreas técnicas e de outras pessoas estratégicas que compõem a organização.

Esta reunião se constitui em momento estratégico e essencial do ciclo de monitoramento, pois é nesta ocasião que as informações ganham destaque, proporcionando a análise dos resultados das intervenções desenvolvidas no período definido e dos processos de trabalho empregados para o alcance das metas. Devem ser discutidas as ações desenvolvidas, as fragilidades e suas causas, os progressos obtidos, os passos seguintes para a correção de rumos e aperfeiçoamento das atividades, além dos responsáveis e dos prazos nos quais as providências devem ser tomadas. É importante definir uma equipe operacional de referência que deverá apoiar os gerentes e técnicos na alimentação de planilhas e operacionalização das ferramentas informatizadas. Esta poderá se integrar com o CCL na constituição de uma unidade de avaliação ²¹ .

O instrumento utilizado na reunião de monitoramento, juntamente com outras ferramentas de apoio, é o Painel de Monitoramento, dispositivo dinâmico de interação, de compartilhamento de informações e de interlocução entre os integrantes das áreas técnicas e os tomadores de decisão, o qual deverá sintetizar as discussões e os encaminhamentos ( Figura 2 ). Os painéis de monitoramento são estruturados em formato de matriz, cujas colunas apresentam os indicadores selecionados pela gestão, agrupados por critérios, os resultados obtidos para cada indicador no período e, ainda, as metas previamente pactuadas pela gestão para o período monitorado. As colunas de resultados e metas são dispostas lado a lado de forma a propiciar uma avaliação comparativa de ambas as informações, fornecendo subsídios à discussão desenvolvida durante a reunião de monitoramento ( Quadros 1 e 2 ).

Figura 2
Fluxo das Informações para o Monitoramento do Desempenho da Gestão da Vigilância Sanitária – Projeto Institucionalização de Práticas Avaliativas: a gestão estratégica da vigilância sanitária baseada em evidências (IPA), 2020.
Fonte: Elaborada pelos autores, 2021.

Quadro 1

Componentes do painel de monitoramento do desempenho da gestão da Vigilância Sanitária nos estados de Minas Gerais e Santa Catarina – Projeto Institucionalização de Práticas Avaliativas: a gestão estratégica da vigilância sanitária baseada em evidências (IPA), 2020.

SEI! MG: Sistema Eletrônico de Informações/Minas Gerais; Redesim: Rede Nacional para a Simplificação do Registro e da Legalização de Empresas e Negócios; UTI: Unidade de tratamento intensivo; PROGVISA: Programa Estadual de Monitoramento da Qualidade de Alimentos; PROGMEC: Programa Estadual de Monitoramento da Qualidade de medicamentos, cosméticos, saneantes, produtos para a saúde e insumos; PROGDia: Programa Estadual de Monitoramento da água para hemodiálise; VIGIÁGUA: Programa Estadual de Vigilância da Qualidade da Água para Consumo Humano; RadioVISA: Programa Estadual de Monitoramento da Qualidade dos Relatórios de Levantamento Radiométrico e Testes de Constância; PECQMamo: Programa Estadual de Controle de Qualidade em Mamografia; Visa: Vigilância Sanitária; BPF: Boas práticas de fabricação; PBA: Projeto Básico Arquitetônico.

Quadro 2

. Componentes do painel de monitoramento do desempenho da gestão da Vigilância Sanitária nos municípios de Belo Horizonte e Florianópolis – Projeto Institucionalização de Práticas Avaliativas: a gestão estratégica da vigilância sanitária baseada em evidências (IPA), 2020.

SUS-BH: Sistema Único de Saúde de Belo Horizonte; Visa: Vigilância Sanitária; DRG: Plataforma Diagnosis Related Groups (Grupo de Diagnósticos Relacionados).

CONCLUSÕES

Além do aporte teórico da avaliação focada na utilização, alguns outros referenciais permearam a adaptação do modelo teórico proposto pela Anvisa ao contexto das instâncias gestoras subnacionais de Visa, como a avaliação baseada na teoria – que utiliza conceitos e métodos baseados nas concepções de aprendizagem organizacional, na análise das evidências e na compreensão dos mecanismos que geram os resultados das ações ^{36 , 37 , 38 , 39} ; a avaliação da gestão do conhecimento – que permite saber de que maneira o conhecimento produzido pelas avaliações circula e influencia a tomada de decisão ^{40 , 41} ; e a avaliação da sustentabilidade – que se preocupa com os fatores relativos à continuidade das práticas no tempo, considerando as mudanças de contexto ^{42 , 43} .

O desenvolvimento da capacidade avaliativa decorreu do aprimoramento técnico dos envolvidos ao longo do processo de implantação, o qual foi favorecido pela oferta de um curso introdutório de avaliação em saúde na modalidade à distância, que de forma complementar teve importância estratégica fundamental para a capacitação dos profissionais. Enfatiza-se aqui que o caráter instrumental e participativo adotado permeou todo o processo, desde a elaboração da estratégia, à modelagem, à formulação dos dispositivos e à análise e interpretação dos indicadores, que foram realizados em conjunto e contou com o envolvimento de todo o corpo gerencial. A análise coletiva favoreceu a uma maior capacidade de utilização das informações, constituindo um espaço de aprendizado que valorizou não só a apreciação dos resultados, mas, também, o próprio processo de produção da informação, contribuindo, assim, com a instituição de mudanças e inovações na execução das ações ^{19 , 22 , 24} .

Por fim, a oportunidade na discussão e inserção de perguntas avaliativas e seus indicadores relacionados à COVID-19 demonstra o quanto o processo implementado é dinâmico e pode ser adaptado ao contexto no qual ele se insere.

Agradecimentos

Às equipes das Visa de Minas gerais e Santa Catarina e dos municípios de Belo Horizonte e Florianópolis pela relevante contribuição que, por meio desta publicação, impulsionará o debate em torno do papel da avaliação no aprimoramento da gestão em Vigilância Sanitária no âmbito do Sistema Nacional de Vigilância Sanitária (SNVS).

REFERÊNCIAS

Furtado JP, Vieira-da-Silva LM. A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cad Saúde Pública. 2014;30(12):2643-55. https://doi.org/10.1590/0102-311x00187113

May E, Shand D, Mackay K, Rojas F, Saavedra J. Towards the institutionalization of monitoring and evaluation systems in Latin America and the Caribbean. In: Proceedings of a World Bank/ Inter-American Development Bank conference; Washington, United States of America. Washington: World Bank; 2006 [acesso 4 set 2020]. Disponível em: http://documents.worldbank.org/curated/en/905381468278118654

Felisberto E. Da teoria à formulação de uma política nacional de avaliação em saúde: reabrindo o debate. Cienc Saúde Coletiva. 2006;11(3):553-63. https://doi.org/10.1590/S1413-81232006000300002

Hartz ZMA. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and sur mesure over ready-made. Cad Saúde Pública. 1999;15(2):229-60. https://doi.org/10.1590/S0102-311X1999000200002

Patton MQ. Developmental evaluation: applying complexity concepts to enhance innovation and use. New York: Guilford Publications; 2010.

Patton MQ, Gornick J. Essentials of utilization-focused evaluation . Thousand Oaks: Sage; 2012.

Patton MQ, Gornick J. Evaluation of the phase 2 evaluation of the Paris declaration: an independent review of strengths, weaknesses, and lessons. Saint Paul; 2011 [acesso 30 ago 2020]. Disponível em: http://www.oecd.org/dataoecd/22/29/48461537.pdf

Bjørnholt B, Larsen, F. The politics of performance measurement: ‘evaluation use as mediator for politics’. Evaluation. 2014;20(4):400-11. https://doi.org/10.1177/1356389014551485

Patton MQ. A utilization-focused approach to contribution analysis. Evaluation. 2012;18(3):364-77. https://doi.org/10.1177/1356389012449523

Silva JAA, Costa EA, Lucchese G. SUS 30 anos: vigilância sanitária. Cienc Saúde Coletiva. 2018;23(6):1953-61. https://doi.org/10.1590/1413-81232018236.04972018

Brasil. Lei Nº 9.782, de 26 de janeiro de 1999. Define o Sistema Nacional de Vigilância Sanitária, cria a Agência Nacional de Vigilância Sanitária, e dá outras providências. Diário Oficial União. 27 jan 1999.

Agência Nacional de Vigilância Sanitária – Anvisa. Avaliação das ações de vigilância sanitária: uma proposta teórico-metodológica. Brasilia: Agência Nacional de Vigilância Sanitária; 2018.

Vecina Neto G, Marques MCC, Figueiredo AM. Vigilância sanitária no Brasil. In: Campos GWS, Bonfim JRA, Minayo MCS, Akerman M, Drumond Júnior M, Carvalho YM, organizadores. Tratado de saúde coletiva. 2a ed. São Paulo: Hucitec; 2007. p. 689-714.

Agência Nacional de Vigilância Sanitária – Anvisa. Projeto: institucionalização de práticas avaliativas: a gestão estratégica da vigilância sanitária baseada em evidências. Diário Oficial União, 20 abr 2018.

Felisberto E, Brito RL, Barca DAAV, Martins MAF, Oliveira AKNBM, Souza NC et al. Evaluation model for developing effective indicators for health surveillance actions in Brazil. Rev Bras Saúde Mater Infant. 2018;18(3):653-64. https://doi.org/10.1590/1806-93042018000300011

Delahais T, Toulemonde J. Applying contribution analysis: lessons from five years of practice. Evaluation. 2012;18(3):281-93. https://doi.org/10.1177/1356389012450810

Felisberto E, Samico I, Bezerra LCA, Hartz Z. Institucionalizando a avaliação nas organizações e agências de pesquisas: um estudo de caso exemplar. Saúde Debate. 2017;41(spe):387-99. https://doi.org/10.1590/0103-11042017s28

Tanaka OY, Melo C. Uma proposta de abordagem transdisciplinar para avaliação em saúde. Interface. 2000;4(7):113-8. https://doi.org/10.1590/S1414-32832000000200009

Hartz Z, Ferrinho PDLGM. Avaliação de desempenho dos sistemas de saúde: um contributo para o plano nacional de saúde 2011-2016. In: Gradiva, organizador. A nova saúde pública: a saúde pública da era do conhecimento. Lisboa: Gradiva; 2011. p. 58-79

Patton MQ. Facilitating evaluation: principles in practice. Thousand Oaks: Sage; 2017.

Vázquez ML, Vargas I, Unger JP, Paepe P, Mogollón-Pérez AS, Samico I et al. Evaluating the effectiveness of care integration strategies in different healthcare systems in Latin America: the Equity-LA II quasi experimental study protocol. BMJ Open. 2015;5(7):1-10. https://doi.org/10.1136/bmjopen-2014-007037

Dubeux LS, Alves CKA, Felisberto E, Medeiros GAR, Ávila SG, Barca DAAV et al. Institucionalização de práticas avaliativas em vigilância sanitária: aprimorando coletivamente a gestão por meio da modelização das intervenções. Vigil Sanit Debate. 2020;8(4):27-36. https://doi.org/10.22239/2317-269x.01698

Lahey R. The Canadian monitoring and evaluation (M&E) system: lessons learned from 30 years of development. Washington: Word Bank; 2010 [acesso 23 ago 2020]. Disponível em: http://documents.worldbank.org/curated/en/865531468226748462/The-Canadian-monitoring-and-evaluation-M-E-system-lessons-learned-from-30-years-of-development

Costa JMBS, Felisberto E, Bezerra LCA, Cesse EAP, Samico IC. Monitoramento do desempenho da gestão da vigilância em saúde: instrumento e estratégias de uso. Cienc Saúde Coletiva. 2013;18(5):1201-16. https://doi.org/10.1590/S1413-81232013000500002 .

Chelimsky E. The political environment of evaluation and what it means for the development of the field: evaluation for a new century: a global perspective. Am J Eval. 1995;16(3):215-25. https://doi.org/10.1177/109821409501600301

Felisberto E, Bezerra LCA, Costa JMBS, Alves CKA. Institucionalização da avaliação em saúde. In: Goes PSA, Moysés SJ, organizadores. Planejamento, gestão e avaliação em saúde bucal. São Paulo: Artes Médicas; 2012. p. 149-56.

Felisberto E, Freese E, Bezerra LCA, Alves CKA, Samico I. Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cad. Saúde Pública 2010; 26(6): 1079-1095. https://doi.org/10.1590/S0102-311X2010000600003 .

Jacob S. Réflexions autour d’une typologie des dispositifs institutionnels d’évaluation. Can J Prog Eval. 2005;20(2):49-68.

Contandriopoulos AP. Avaliando a institucionalização da avaliação. Cienc Saúde Coletiva. 2006;11(3):705-11. https://doi.org/10.1590/S1413-81232006000300017

Pisco LA. A avaliação como instrumento de mudança. Cienc Saúde Coletiva. 2006;11(3):566-8. https://doi.org/10.1590/S1413-81232006000300004

Mayne J. Building an evaluative culture: the key of effective evaluation and results management. Can J Prog Eval. 2010;24(2):1-30.

Hartz Z. Do monitoramento do desempenho ao desempenho do monitoramento: novas oportunidades para a avaliação na gestão da vigilância em saúde. Cienc Saúde Coletiva. 2013;18(5):1221-2. https://doi.org/10.1590/S1413-81232013000500005

Hunter DEK, Nielsen SB. Performance management and evaluation: exploring complementarities. Performance management and evaluation. New Direct Eval. 2013;2013(137):7-17. https://doi.org/10.1002/ev.20042

Bezerra LCA, Cazarin G, Alves CKA. Modelagem de programas: da teoria à operacionalização. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010. p. 65-78.

Alves CKA, Natal S, Felisberto E, Samico I. Interpretação e análise das informações: o uso de matrizes, critérios, indicadores e padrões. In: Samico I, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 89-107.

Martins MAF, Barca DAAV, Brito RL, Felisberto E, Samico IC. Indicadores para avaliação das ações de vigilância sanitária: uma revisão narrativa da literatura. Vigil Sanit Debate. 2020;8(4):134-14. https://doi.org/10.22239/2317-269x.01590

Lam TCM. Theory-based evaluation and objective-based evaluation: an integration of the two approaches. In: Proceedings of European Evaluation Society Conference; Seville, Spain. Rotterdam: European Evaluation Society; 2002.

Knaap P. Theory-based evaluation and learning: possibilities and challenges. Evaluation. 2004;10(1):16-34. https://doi.org/10.1177/1356389004042328

Leeuw FL, Donaldson SI. Theory in evaluation: reducing confusion and encouraging debate. Evaluation. 2015;21(4):467-80. https://doi.org/10.1177/1356389015607712

Bennet G, Jessani N. The knowledge translation toolkit: bridging the know-do gap: a resource for researchers. Thousand Oaks: Sage; 2011.

Denning S. What is knowledge? Definitions of knowledge. Understand Knowledge. 2016[acesso 2 ago 2020]. Disponível em: http://www.stevedenning.com/Knowledge-Management/what-is-knowledge.aspx

Scheirer MA. Is sustainability possible? A review and commentary on empirical studies of program sustainability. Am J Eval. 2005;26(3):320-47. https://doi.org/10.1177/1098214005278752

Green LW. Comment: is institutionalization the proper goal of grantmaking? Am J Health Prom. 1989;3(4). https://doi.org/10.4278/0890-1171-3.4.44

Notas

Autor notes

* E-mail: ana_albuquerque1@hotmail.com