Avances en la evaluación integral: aportes para programas sociales de intervención en pobreza en organizaciones no gubernamentales^*

Progress in Comprehensive Assessment: Contributions to Social Programs for Poverty in Non-governmental Organizations

Avanços na avaliação integral: contribuições para programas sociais de intervenção em pobreza em organizações não governamentais

En las últimas décadas se ha tomado mayor conciencia acerca de los efectos adversos que tiene la pobreza sobre el bienestar y la calidad de vida de las personas que padecen esta situación, razón por la cual se ha relevado como un asunto urgente y prioritario de intervenir (Banco Mundial 2018; FSP 2010; UNDP 2016). Esto coincide, además, con el objetivo del milenio planteado por las Naciones Unidas de superar la pobreza extrema (UN 2014), así como con uno de los temas centrales en los Objetivos de Desarrollo Sostenible (UN 2016). De esta forma, se constata un aumento de programas sociales dirigidos a personas en situación de pobreza, tanto en Latinoamérica como en el mundo (ECLAC 2009; Fiszbein et al. 2009; Heller 2010; Ramos y Calderón 2011; UNDP 2003).

En la base de las intervenciones hay distintas formas de conceptualizar la pobreza. Diversos autores e instituciones han realizado importantes reflexiones al respecto (Chacín 2016; Feres y Villatoro 2012; FSP 2013; Kanbur y Squire 1999) y han tendido a agrupar los enfoques sobre la pobreza en dos grandes modelos. Por un lado, está el modelo tradicional, centrado en la pobreza objetiva ligada a los ingresos o a la satisfacción de necesidades básicas, conocido como enfoque de carencias (Feres y Mancero 2001a y 2001b). Por otro lado, están los enfoques basados en el desarrollo humano con una mirada multidimensional, que van más allá del mero crecimiento económico (Sen 2000; Raczynski 2002; PNUD 2012), donde la pobreza es comprendida como un fenómeno complejo que involucra diversas dimensiones, desde las de tipo material hasta la vivencia subjetiva de la pobreza (Chacín 2016). Esta perspectiva incorpora la conceptualización y medición desde el enfoque tradicional centrado en los ingresos (Denis, Gallegos y Sanhueza 2010), variables asociadas a la denegación de oportunidades, la limitación del despliegue de capacidades personales, la vivencia de exclusión social (FSP 2010), la falta de participación en la toma de decisiones y el sentimiento de falta de poder (Raczynski 2002), entre otras.

Este tipo de dimensiones psicológicas, relacionales y sociales de la pobreza deben ser abordadas por los programas para contribuir a la movilidad y el desarrollo social (FSP 2010; Raczynski 2002). Así, esta conceptualización de la pobreza llama a fortalecer y complejizar también la evaluación de aquellos programas que la abordan, considerando su diversidad de dimensiones y sus características objetivas y subjetivas.

En el ámbito social, se ha ido revelando que tan importante como intervenir, es contar con buenas evaluaciones que den cuenta de su quehacer, dado que la evaluación de programas sociales cumple un rol crucial al ofrecer recomendaciones para perfeccionarlos (Briones 2008; Valadez y Bamberger 1994), instalar buenas prácticas en las instituciones (Wholey y Hatry 1992), generar reflexiones para futuros diseños (Olavarría y Figueroa 2012; Stufflebeam y Shinkfield 2007), conseguir financiamiento y tomar decisiones (Mertens y Wilson 2018) y contribuir a visibilizar su importancia (Flores y García 2013). Además, la evaluación permite movilizar la discusión sobre el quehacer en el ámbito social en general. Así, un sistema de evaluación adecuado puede repercutir de un modo directo en el bienestar de las personas a quienes están dirigidos los programas, más allá de corresponder a un mero control de gestión.

Clásicamente, la evaluación de programas sociales puede entenderse de múltiples maneras, según el foco en aspectos distintivos de su labor, tales como verificar el cumplimiento de objetivos o metas (Valadez y Bamberger 1994), analizar la estructura y el funcionamiento de un programa (Briones 2008) o detectar resultados previstos, o efectos inesperados (Ballart 1992; Fernández-Ballesteros 1996). Dichas acciones evaluativas permitirían conocer la utilidad de un programa (Rossi, Freeman y Lipsey 2019), establecer un juicio de valor sobre este (APA 2004) y tomar decisiones (Mertens y Wilson 2018).

Existen distintos modelos de evaluación que ponen énfasis en uno o más aspectos de estas definiciones. Desde una perspectiva histórica, es en el ámbito educacional donde se impulsó la evaluación de programas (Aguilar y Ander-Egg 1992); es posible rastrear investigaciones con un énfasis evaluativo como la desarrollada por Smith y Tyler (1942). Sin embargo, la evaluación no entró en auge sino hasta la década de 1960, momento en el que hubo mayor inversión en evaluación, tanto en Estados Unidos como en Europa, lugares en los que se comenzó a exigir rigurosidad en las estrategias utilizadas para la constatación del cumplimiento de las metas planteadas por los programas (Rossi, Freeman y Lipsey 2019). Para ello, se privilegió una aproximación analítica empleando métodos cuantitativos, a partir de lo cual surgieron numerosos modelos, por ejemplo, la evaluación de impacto causal (Campbell y Stanley 1963) y la evaluación formativa y sumativa (Scriven 1980), como resultado de la evaluación econométrica (Baker 2000).

Hacia 1970 se empezaron a cuestionar estos modelos, pues se consideraron limitados por no incluir la perspectiva de las personas participantes sobre el valor del programa. Así, surgieron nuevas propuestas basadas en métodos cualitativos (Ballart 1992). Los modelos más emblemáticos provienen, nuevamente, de la educación, donde destacan la evaluación responsiva (Stake 1973), la evaluación iluminativa (Parlett y Hamilton 1972) y la evaluación de tipo naturalista (Guba 1978). A estos modelos se les criticó el ser poco rigurosos y dejar de lado aspectos relevantes de los programas, como el cumplimiento de metas.

Así, ante las limitaciones encontradas en ambos paradigmas de evaluación, se desarrollaron modelos que empleaban métodos mixtos (Bouza 2005), como el modelo de utilización focalizado en educación (Patton 1978). Sin embargo, a estos modelos se les cuestionó, a su vez, la falta de integración de sus resultados, y se observó también que muchas veces hacían un uso secundario (Aguilar y Ander-Egg 1992; Valadez y Bamberger 1994) o errado de los métodos cualitativos (como en Plewis y Mason 2005).

Más adelante, se desarrolló un enfoque de evaluación de impacto más cercano y sensible a las particularidades del ámbito social, a las instituciones implicadas y al bienestar integral de las personas destinatarias de los programas sociales (como es el caso de Pichardo 2014). Además, se reconoció la propuesta de enfoques de evaluación basados en la participación (Núñez et al. 2014), tales como la evaluación colaborativa, la evaluación participativa práctica, la evaluación participativa transformadora y la evaluación para el empoderamiento. Si bien los anteriores destacan por su carácter dialógico, el respeto por las perspectivas de todos los/as actores y la promoción del aprendizaje colectivo y organizacional, tienden a ser utilizados solo en contextos limitados y/o en proyectos acotados. A estos enfoques se suman en las últimas décadas los aportes del modelo de evaluación transformadora (Mertens 2008), que mediante la intersección de métodos cualitativos y cuantitativos busca una aproximación culturalmente adecuada a las inequidades sociales, ofreciendo bases para el cambio social desde la perspectiva de los/as sujetos y desde herramientas e instrumentos académicos. Asimismo, se reconoce la evaluación con enfoque de derechos humanos -un aporte fundamental en el contexto de las organizaciones no gubernamentales que se desempeñan en pobreza-, que evalúa de qué manera estos programas avanzan efectivamente en garantizar derechos humanos (Schmitz 2012) y en qué medida promueven el empoderamiento de los/as participantes, en especial de aquellos grupos discriminados, por medio de métodos participativos e inclusivos (Faúndez y Weinstein 2014).

Además, se aprecia en este mismo periodo el avance hacia un enfoque integral en la evaluación de políticas públicas, donde se reconoce la necesidad de trascender el análisis de eficacia, el razonamiento costo-beneficio y las perspectivas económico-administrativas (Amaya 2010). Desde este enfoque, se reconoce la importancia de producir información durante la implementación de los programas, que permita su reestructuración y el fortalecimiento del diseño de la política, con la participación de todos los/as agentes involucrados (Luna 2014). Esto conecta con la posibilidad de instalar y/o desarrollar capacidades evaluativas en las personas y organizaciones implicadas en determinado proyecto social (Bucheli y Rotondo 2009), lo que resulta ser una alternativa muy relevante en el contexto de las organizaciones no gubernamentales de intervención en pobreza. Sin embargo, se identifica en estos enfoques un desarrollo teórico aún en proceso, así como una escasez de modelos específicos para aplicarlo de manera más concreta y sistemática.

Además de las limitaciones señaladas, muchos de los modelos de evaluación suelen ser complejos técnicamente o difíciles de implementar por su alta demanda de tecnología, recursos y tiempo (Olavarría y Figueroa 2012). Así, el desafío que surge en el contexto de este artículo consiste en efectuar una evaluación integral que, retomando algunas fortalezas y diversos aspectos clave de estos enfoques, sea suficientemente compleja y profunda, a la vez que factible de aplicar en contextos con recursos escasos, como en las organizaciones no gubernamentales.

En el caso chileno, se puede constatar que la evaluación en el ámbito social ha sido una tarea más bien reciente. Al rastrear evaluaciones de programas sociales implementados por el Estado chileno, estas corresponden mayoritariamente a las últimas dos décadas, lo cual coincide con el impulso que han tenido los programas sociales en este periodo (Olavarría y Figueroa 2012). Estas evaluaciones se han centrado en aspectos presupuestarios y de la cobertura (Ministerio de Desarrollo Social 2016), pero la evidencia sobre los resultados o efectos sustantivos de los programas sociales y de otros aspectos relevantes de su implementación es escasa (Briones 2008; Centro de Estudios de Emprendimientos Solidarios 2012).

Este desarrollo reciente de la evaluación de programas sociales caracteriza también la situación a nivel latinoamericano (Cardozo 2006), donde, si bien desde el 2000 se comenzaron a dirigir mayores esfuerzos hacia la evaluación (por ejemplo, el caso de México, con la evaluación de alta calidad de su principal programa gubernamental de intervención en pobreza [Cardozo 2003]), aún se hace evidente la importancia de desarrollar una práctica más sistemática metodológicamente. De manera específica, se reconoce la necesidad de formalizar la actividad evaluativa, pues es una disciplina central para mejorar las acciones orientadas a la superación de problemáticas sociales predominantes en la región, como la pobreza y la exclusión social (Lagos y Cabrera 2014).

De esta forma, la evaluación de programas resulta ser una tarea a la que no siempre se le han otorgado la centralidad y dedicación que merece, especialmente en las organizaciones no gubernamentales que ejecutan programas sociales con financiamiento estatal. Al respecto, cabe aclarar que, en Chile, gran parte de la implementación y evaluación de políticas sociales es licitada a terceros, que consisten, mayoritariamente, en organizaciones no gubernamentales pequeñas y con escasos recursos. Así, para el caso chileno, se ha reportado hace ya varios años que, a pesar de la estrecha relación entre Estado, organizaciones gubernamentales y/u organizaciones de la sociedad civil, y del fundamental rol que estas últimas tienen en la ejecución de programas públicos, no se suelen realizar evaluaciones sistemáticas de los impactos de las acciones de estos organismos (Ferrer, Monje y Urzúa 2005). Esta situación, en la que dichas organizaciones tienen una participación muy limitada en la evaluación y retroalimentación de los programas ejecutados, se ha mantenido hasta la actualidad (Irarrázaval, Sagredo y Streeter 2019), lo cual establece una gran distancia entre la intervención y la evaluación. En este contexto, es necesario avanzar en materia de evaluación de programas sociales y en la certificación de tales organizaciones, valorando las experiencias de sus equipos e incentivando su participación en los procesos de evaluación (Centro de Estudios de Emprendimientos Solidarios 2012).

Esta distancia entre la evaluación y la intervención produce una serie de problemas. Las evaluaciones pocas veces se traducen en un aporte real a los programas y cumplen, más bien, un rol de fiscalización -asociada a la sustentabilidad y a garantizar o no la continuidad del programa (Dirección de Presupuestos del Ministerio de Hacienda 2018)- o de verificación -relacionada con el cumplimiento de metas (por ejemplo, para el caso chileno, el número de personas atendidas [Arenas y Berner 2010]), o con la realización de actividades dentro de los plazos estipulados (Irarrázaval, Sagredo y Streeter 2020)-. Asimismo, en los programas gubernamentales chilenos, las evaluaciones suelen ofrecer recomendaciones genéricas que no permiten efectuar cambios concretos en estos (Centro de Medición Pontificia Universidad Católica de Chile 2005). Además, al tener escaso conocimiento acerca de los programas, no se puede aprender de ellos, lo que impide ofrecer un servicio de calidad (Guba 1978; Wholey y Hatry 1992).

No tener información disponible obstaculiza la toma de decisiones políticas y económicas respecto a los programas sociales (Stufflebeam y Shinkfield 2007), lo que puede repercutir en la dificultad de conseguir financiamiento y poner en riesgo la continuidad de los programas. Todo esto se relaciona con un tema ético ineludible: si se trabaja con población en riesgo, que por esto mismo requiere intervenciones de máxima calidad, es una negligencia no chequear que los programas sean efectivos. Así, se perpetúan los problemas sociales, se cometen los mismos errores y se replican programas ineficientes.

El análisis de las barreras para la evaluación de programas sociales ha sido realizado, principalmente, en el marco de las políticas públicas. Desde esta perspectiva, es posible destacar los aportes tempranos desde Francia, en relación con la existencia de obstáculos sociopolíticos, administrativos y metodológicos (Nioche 1982) que dificultan el desarrollo de la evaluación, incluso en países desarrollados. Al respecto, en el ámbito de la política pública (que va de la mano con el quehacer de muchas organizaciones no gubernamentales que ejecutan programas públicos), es posible reconocer una serie de barreras para la evaluación, como la falta de recursos económicos y la dificultad para persuadir a quienes toman decisiones de actuar en consonancia con los resultados de las evaluaciones (Orr 2018). Asimismo, Assumpção y Goulart (2017) reconocen la compleja relación entre los actores políticos y quienes toman decisiones en el contexto de la evaluación de políticas públicas. En ese sentido, se reconoce que la labor de evaluar encuentra una serie de resistencias en este ámbito y en la consecuente toma de decisiones políticas.

Para el caso de los programas sociales en general, esta situación no es tan distinta. Sin embargo, dado su carácter situado y específico, es necesario un análisis de las condiciones inmediatamente implicadas en la evaluación, desde un enfoque interactivo y operativo del programa social. Por ello, a partir de una revisión teórica y empírica, así como desde la experiencia práctica en el ámbito social, es posible plantear que la falta de evaluaciones de calidad en los programas sociales responde a una serie de barreras.

Barreras de formación y lenguaje. La interacción entre personas de diferentes disciplinas, a menudo hiperfocalizadas, puede reducir las posibilidades de colaboración y restringir el trabajo multidisciplinario, lo que limitaría el alcance de la mirada evaluativa.

Barreras metodológicas y de diseño. Las primeras se manifiestan en la clásica división entre métodos cuantitativos y cualitativos, desavenencia histórica tanto en sus marcos paradigmáticos como en el estilo de trabajo cotidiano de los equipos (Cook y Reichardt 2005; Dávila 1995; Sandoval 1996), que puede llevar a una elección superficial del método, ya sea porque “está de moda” o porque es lo que maneja el equipo. Las segundas se expresan en la réplica de diseños de evaluación exitosos sin adecuación a los programas o sin la consideración de la evaluación desde su inicio, lo que puede llevar a la improvisación y a la falta de prolijidad. Además, como las evaluaciones suelen ser complejas técnicamente, puede crearse una dependencia en los evaluadores externos, lo que restringe la continuidad de estas.

Barreras de los actores y su interacción. Los diversos actores implicados suelen tener concepciones distintas sobre la evaluación, los aspectos por evaluar y cómo evaluarlos, según el rol que ocupen en las instituciones. Así, se observa una distancia entre los técnicos (policy makers o ejecutores de programas), los evaluadores (académicos o consultores internos/externos) y los equipos de los programas (que pueden ver la evaluación como un trabajo adicional) (Briones 2008). A esto se suma el usual riesgo de que los miembros del personal del programa se puedan sentir amenazados por la evaluación (Linfield y Posavac 2018), por el temor de que se cuestione su quehacer o de que los resultados repercutan negativamente en la comunidad donde se efectuó el trabajo.

Barreras de contextualización. Aluden a la distancia que algunos evaluadores establecen con los programas y sus participantes (Bebbington 2005), con una precaria o nula inserción en el terreno, que produce una lejanía del “campo” por evaluar y no permite llegar a conocer características básicas e importantes de los programas, los/as participantes o el contexto, y que pueden influir en la evaluación.

Barreras de poder. Dada la confluencia de instituciones en el momento de evaluar, puede haber “agendas” particulares involucradas, así como un “uso político” de la evaluación (Weiss 1975). Por ejemplo, al decidir no evaluar por el “riesgo” que pueden implicar los resultados u optar por mostrar solo algunos de estos. Un hito que amenaza la realización y continuidad de las evaluaciones es el de los cambios de autoridades y/o contrapartes, y, con ello, de los intereses institucionales, tanto en el mundo público (asociado a los periodos presidenciales) como en el privado (por la rotación del personal).

Barreras económicas. Estas afectan de manera muy importante las posibilidades reales de evaluar los programas sociales (Valadez y Bamberger 1994). Realizar una evaluación de calidad implica un costo financiero que varía según el tipo de evaluación y que es vital de considerar cuando existe un marco de restricción presupuestaria. Por ejemplo, elegir entre una metodología cuantitativa o cualitativa involucra, en términos económicos, diferencias no menores relativas a los requerimientos humanos y logísticos para llevar a cabo la evaluación. Además, la dependencia de financiamiento externo, que conlleva fondos de los cuales muchas veces no se tiene certeza, puede significar que se vean alterados los tiempos y los focos de la evaluación.

Barreras operativas. Existen múltiples barreras asociadas al quehacer práctico de la evaluación. Por ejemplo, la burocracia de las instituciones (que se expresa en una rutina de convenios y contratos que se dilatan y acuerdos que en ocasiones no se cumplen); los impedimentos de los distintos actores para reunirse y trabajar en conjunto (ineficiencia de las reuniones y falta de reflexión en torno a la evaluación); la dificultad en el acceso efectivo al campo (trabajo en terreno y contacto con los/as participantes del programa); o la falta de capacitaciones de quienes ejecutan labores de recolección de datos.

Todas estas barreras se pueden convertir en amenazas para la evaluación, que provocan tensión y frustración que se pueden extender a los distintos actores involucrados, como el equipo de evaluación, las instituciones y los/as participantes del programa. El modelo propuesto en este artículo intenta hacerse cargo de estos problemas y barreras, y ofrece una aproximación compleja y profunda a los programas sociales, sin dejar de lado su posibilidad real de realización en organizaciones no gubernamentales.

A partir del análisis documental y el trabajo propositivo, y teniendo en cuenta además la experiencia práctica en evaluación de programas sociales, se propone un modelo de evaluación integral orientado a la evaluación de programas sociales en organizaciones no gubernamentales, que pueden o no corresponder a iniciativas gubernamentales con financiamiento estatal. En caso de que sí lo fueran, cabría agregar otros fundamentos o etapas asociados a la lógica pública de gestión. Considerado esto, el modelo propuesto es elaborado a partir de tres fundamentos y está organizado en ocho fases. En cuanto a sus fundamentos, estos son:

1. 1. Integrar la evaluación con la intervención. La evaluación debería acompañar desde el inicio a los programas sociales, nutriéndolos en su formulación, retroalimentándolos durante el proceso y valorándolos al final (Aguilar y Ander-Egg 1992; Matos 2005; Valadez y Bamberger 1994). Esto motiva a que durante la implementación del programa y del proceso de evaluación se generen reflexiones útiles para efectuar ajustes y recomendaciones, sin necesidad de esperar hasta el final de ambas acciones. Este tipo de resultados ayuda a perfeccionar los programas, pues permite constatar aquello que se está haciendo bien y reforzarlo, así como a poder realizar correcciones al terminar el ciclo de la intervención. Esto último evita que tales ajustes modifiquen las condiciones de la evaluación e interfieran en la captación de los resultados del programa. A su vez, los ajustes en la intervención deberían llevar a modificaciones en las próximas evaluaciones.
2. 2. Integrar métodos cualitativos y cuantitativos. Tal como discuten Arancibia et al. (2015), son escasas las evaluaciones que combinan métodos cualitativos y cuantitativos para estudiar los procesos y/o resultados de los programas sociales. Sin embargo, esta aproximación, que persigue la amplitud, profundización, comprensión y corroboración de la información generada (Johnson, Onwuegbuzie y Turner 2007), permite captar elementos claves de los programas, tanto desde la experiencia subjetiva de sus participantes como al registrar resultados objetivos. Ambas dimensiones son importantes, en especial si se busca conocer el funcionamiento y los efectos de un programa (Raczynski 2002), y para ello es necesario lograr una mayor compatibilidad y triangulación entre ambas aproximaciones metodológicas (Pardo 2011). Si bien los métodos mixtos han recibido críticas asociadas al eclecticismo metodológico y el pragmatismo, su uso ha sido aconsejado cuando los problemas y preguntas de investigación son complejos y se necesita convocar equipos multidisciplinarios (como es el caso de los programas sociales de intervención en pobreza), o cuando los fines prácticos requieren la implementación de políticas o la elaboración de recomendaciones (aspectos centrales de la evaluación de programas sociales) (Mendizábal 2016). En efecto, si se acepta que la naturaleza de los resultados de los programas sociales no es exclusivamente cuantitativa ni cualitativa, se hace necesario poner en conversación ambas aproximaciones, para posibilitar, así, un análisis que permita acercarse a una comprensión más profunda de los programas evaluados.
3. 3. Integrar las voces de diferentes actores relevantes. Usualmente, los sistemas de evaluación se orientan a medir los logros objetivos sobre las personas, dejando de lado las valoraciones que estas llevan a cabo sobre su participación en el programa evaluado, así como también las de otros actores relevantes que podrían contribuir a una visión interdisciplinaria, multiestamental y aplicada que asegure la utilidad de los hallazgos (por ejemplo, agentes de intervención, coordinadores y directivos) (Lagos y Cabrera 2014). Lo anterior es fundamental si se considera que todas las personas involucradas tienen algo que aportar para comprender el programa y sus resultados (Montero 2006), y, por tanto, es necesario complementar miradas y triangular la información desde distintas perspectivas (Cornejo y Salas 2011). De esta manera, el modelo propuesto asume que, para que en efecto haya un puente entre evaluación e intervención, es fundamental involucrar al equipo de trabajo de la institución y reivindicar la voz de sus participantes. Ello no solo permite dar un sentido a la evaluación del programa, sino también comprometer a quienes lo ejecutan, o son sus participantes, en su comprensión y mejoramiento, y favorecer la instalación de capacidades evaluativas (Bucheli y Rotondo 2009). Además, la incorporación de los equipos de intervención potencia el aprendizaje organizacional y una mayor comprensión de la teoría que se encuentra en la base de los programas sociales, asuntos que destacan en países con amplia trayectoria en la evaluación de programas sociales, como es el caso de Canadá (Quiroz et al. 2016; Sieppert 2005). En este contexto, la interacción entre el evaluador y los actores es clave, con potencial de ser altamente colaborativa, y donde el primero actúa como consultor o facilitador para un grupo de partes interesadas que asumen la responsabilidad principal de planificar, dirigir y usar la evaluación (Rossi, Freeman y Lipsey 2019), y se compromete con el proceso evaluativo y sus resultados.

Considerando estos fundamentos, el modelo propuesto sigue una serie de fases, flexibles en su aplicación, que permiten concretar la mirada integral y enfrentar las barreras anteriormente detectadas. Estas fases, cuya presencia y cuyo orden son importantes de ajustar a cada caso, fueron diagramadas en la figura 1 y son explicadas a continuación.

Figura 1
Modelo de evaluación integral
Fuente: elaboración propia.

1. 1. Fase preparatoria. Su objetivo es llevar a cabo un acercamiento preliminar para conocer el programa y sus actores y los resultados que busca, y adecuar la evaluación a las particularidades del programa. Esta fase se puede efectuar desde una aproximación cualitativa por medio de la revisión de documentos y la realización de entrevistas, grupos focales y reuniones evaluativas con los distintos actores. Esta fase ayuda a contestar la pregunta ¿cuál será el sentido de esta evaluación? y permite levantar aspectos de interés y pensar sobre la posible relación entre dichos aspectos.
2. 2. Fase de diseño. Su propósito es delimitar el diseño de la evaluación, con énfasis en lograr una mirada integral del programa -sus efectos y procesos-. Esto obliga a plantear varias preguntas que es necesario abordar reflexivamente con los distintos actores implicados: ¿qué evaluar? -para detectar variables y dimensiones de análisis-; ¿cómo evaluar? -que contempla estrategias para la recolección de datos cuantitativos y la producción de datos cualitativos-; ¿cuándo evaluar? -asociado a la temporalidad de la evaluación-; ¿a quiénes evaluar? -que variará según el tipo de programa y las preguntas que se tengan-; y, para efectos de este modelo de evaluación, también es fundamental la pregunta ¿quiénes evalúan?, pues permite derivar tareas de la evaluación a las personas que implementan el programa y, por tanto, instalar capacidades y enriquecer los resultados a partir de sus experiencias en el proceso. Además, es necesario realizar una reflexión sobre aquello que permite asegurar buenas prácticas en la evaluación, asociado a los aspectos éticos.
3. 3. Fase de construcción de dispositivos. Esta fase tiene como objetivo elaborar y/o seleccionar los dispositivos metodológicos necesarios para efectuar la evaluación. Para los instrumentos de medición cuantitativos, se debe seguir el procedimiento tradicional de elaboración de escalas o cuestionarios, o bien, seleccionar instrumentos estandarizados que se adecuen a la evaluación y validarlos, así como realizar un pre-test y estimar la confiabilidad. Por otro lado, se deben generar los dispositivos de producción de datos cualitativos, cuidando de llevar a cabo ajustes durante el proceso, para lograr abarcar más aristas de los fenómenos conexos con el programa. Esta fase ofrece la oportunidad de chequear el “modelo de cambio”, muchas veces asociado a la relación entre las variables o dimensiones por evaluar, así como al pilotaje de la evaluación. Es necesario asegurar la rigurosidad de los registros (por ejemplo, digitación y grabación) y capacitar a las personas implicadas, para lo cual es prioritaria la elaboración de un manual de la evaluación. También es importante considerar los registros administrativos de los programas, particularmente cuando se cuenta con un control de gestión (por ejemplo, número de beneficiarios y sus características, acciones o actividades ejecutadas, tasa de deserción, entre otros).
4. 4. Fase de recolección inicial. El objetivo de esta fase es establecer una línea base cuantitativa. Se aplican los instrumentos de medición a los/as participantes del programa al iniciar las actividades. En esta fase es importante instaurar la práctica de chequear la información obtenida, por ejemplo, la correcta digitación de las encuestas. Una vez sistematizados los datos, estos se deben analizar y complementar con la información obtenida previamente de manera cualitativa. Esta fase de recolección inicial es una oportunidad para informar a los/as participantes del programa sobre la evaluación, así como para explicarles su importancia y asegurarles la confidencialidad -aspectos éticos relevantes de la evaluación-. En este punto, es importante incluir una mención explícita respecto a que la decisión de participar o no en la evaluación no tiene ni tendrá ninguna consecuencia sobre la participación en el programa.
5. 5. Fase de monitoreo. El propósito de esta fase es efectuar un monitoreo de la evaluación en proceso. En esta, se pueden sostener reuniones evaluativas con los actores involucrados en la evaluación, con miras a resolver asuntos prácticos de esta, realizar ajustes y complementar la interpretación de los primeros resultados desde la perspectiva de las distintas personas implicadas. Esta fase permite constatar qué está ocurriendo con el programa y con la evaluación.
6. 6. Fase de recolección final. Su propósito es determinar, por medio de la aplicación de instrumentos cuantitativos, la línea de salida del programa para conocer los efectos esperados. Así, también se busca identificar, por medio de la producción de datos cualitativos, resultados no esperados -facilitadores u obstaculizadores de la intervención-, entre otros fenómenos emergentes.
7. 7. Fase de seguimiento. Esta fase es opcional y ayuda a profundizar en fenómenos identificados en el análisis de las fases anteriores. Se sugiere realizarla, dado que los tiempos en que ocurren los resultados de los programas no siempre son inmediatos, así como para observar si los efectos detectados se sostienen tras la intervención. Se pueden aplicar métodos cualitativos y cuantitativos.
8. 8. Fase de análisis integral. Su objetivo es lograr una mirada holística del programa y una discusión integrada de sus resultados y procesos, centrada fuertemente en las implicaciones prácticas de lo encontrado y en dar recomendaciones concretas. Esto se puede desarrollar por medio de talleres de análisis participativos con el equipo de la institución que implementa el programa, así como con los/as participantes del programa en las interpretaciones realizadas, a modo de inter-analistas. Es importante efectuar estos talleres durante todo el proceso de la evaluación y no solo al final. Además, se sugiere llevar a cabo una evaluación de la evaluación, que consiste en reflexionar junto con los diversos actores acerca del acto completo de evaluar, sus facilitadores y obstaculizadores. Con esto, se busca implementar mejoras, en caso de desarrollar evaluaciones sucesivas. También es importante considerar los hitos reflexivos que han surgido durante el proceso de evaluación y que permiten ejecutar ajustes, redefiniciones y cuestionamientos sobre la evaluación misma, la intervención y la institución.
9. 9. Proceso transversal de comunicación constante. Discurre sobre la devolución, difusión y socialización de la información generada de manera transversal a todas las fases señaladas. Según este modelo, la devolución deja de ser un acto único y final al constituirse en un proceso permanente y de reflexión continua con los diversos actores del programa. Además, siguiendo las consideraciones éticas del trabajo con población en riesgo, también es importante la devolución de los resultados a los/as participantes del programa. A su vez, la difusión de los informes y publicaciones elaborados, así como la presentación de los resultados, deberían exponerse a un público perteneciente al ámbito social, a la academia y a creadores de políticas públicas. Con ello, se debería buscar la socialización de la información con una audiencia más amplia, por medio de redes sociales, medios de comunicación y nuevas tecnologías.

Finalmente, un punto crucial que se debe tener en cuenta es que, si bien para este modelo se definió un marco general que incluye ciertas fases, en el momento de implementarlo resulta importante efectuar ajustes en dos líneas. Primero, la institución que decida aplicarlo debe adaptar el modelo a la realidad de los programas que pretende evaluar. Segundo, en caso de mantener un proceso de evaluación continuo de los programas, el modelo tiene que ser flexible y receptivo a los posibles cambios realizados al diseño o a los objetivos de estos -producto de las evaluaciones previas-, así como considerar en las evaluaciones sucesivas posibles focos interesantes por profundizar. De esta forma, el presente modelo, al ofrecer fundamentos y fases claramente delimitados -pero flexibles-, sirve de lineamiento inicial y/o general -deberán llevarse a cabo ajustes de acuerdo a los contenidos de cada programa y a lo que se busca evaluar-.

Tras presentar las bases del modelo y los procedimientos que permiten un acercamiento integral a los programas sociales, se piensa que el mayor aporte de esta propuesta es que sea factible de realizar, particularmente, cuando se trata de instituciones pequeñas y con escasos recursos, como es el caso de muchas organizaciones no gubernamentales.

Para retratar esto, se presentan las reflexiones derivadas de la aplicación del modelo en Acción Emprendedora, organización no gubernamental chilena que lleva más de quince años formando a microemprendedores en situación de vulnerabilidad social y/o económica. Se trabajó durante dos años junto con la organización para ajustar el modelo a su programa de capacitaciones microempresariales, afinar el diseño de la evaluación y realizar el registro y análisis de la información a lo largo de todo el proceso -siempre con la invaluable colaboración de los/as profesionales y encargados/as de la institución-. La aplicación del modelo no solo logró captar interesantes resultados, lo cuales se encuentran disponibles en Daher (2015), sino también desarrollar importantes reflexiones sobre el proceso evaluativo, presentadas a continuación.

Con respecto a los problemas de la evaluación, se constató que esta forma de evaluar fue un aporte real, pues ofreció una comprensión profunda del programa y proporcionó recomendaciones concretas, lo que posibilitó tomar decisiones y, así, asegurar la calidad de las intervenciones. Asimismo, conversar sobre las implicaciones de los resultados de la evaluación, no solo desde el efecto estadístico, sino desde la explicación que los/as participantes del programa y los/as profesionales y encargados/as de la institución le daban, permitió pensar acerca de los contenidos de la intervención. Por ejemplo, al considerar los contenidos señalados como relevantes por los/as participantes del programa, se decidió incluir asesoría legal dentro de los cursos de manera más explícita, y, para ello, se realizaron convenios con espacios universitarios, con el fin de instalar un estudio jurídico. En cuanto a lo anterior, se comentó lo siguiente:

Participante 1: Gracias a esto podemos ver si hay mejoras, podemos sustentar lo que estamos haciendo, y si nos estamos equivocando nos podemos dar cuenta también.

Participante 2: Entonces, yo creo que, para nosotros, ahora es mucho más fácil poder orientarnos, “acá debe haber una mejora porque aquí se muestra que en verdad no se está entregando lo que se debería entregar” [refiriéndose a las capacitaciones].

Entonces, nos orienta mucho. (Evaluación de la evaluación, Santiago de Chile, 2014)

Además, la evaluación ofreció insumos para que la institución se revisara a sí misma -por ejemplo, con respecto a su misión y a sus prioridades-, pues, inicialmente, no se tenía contemplado el desarrollo de los negocios como un objetivo explícito por alcanzar, y el enfoque estaba solo en la transmisión de conocimientos. Lo anterior motivó su reformulación.

En lo referente a las barreras de la evaluación, la aplicación de este modelo permitió que estas se abordaran a través de la promoción del trabajo con personas de distintas disciplinas, lo que posibilitó superar la distancia que se establece entre profesionales. En este caso, si bien al inicio fue complejo “entenderse”, a medida que avanzó la evaluación se fue construyendo un lenguaje común. Así, por ejemplo, para una psicóloga, fue posible comprender nociones relacionadas con el “mundo de los negocios”, así como para un ingeniero, aquellas nociones asociadas a las “habilidades personales”.

La mirada integral que promueve el modelo facilitó la reflexión sobre la pertinencia de los métodos que se querían emplear, considerando sus aportes y riesgos. También, posteriormente, incentivó la interacción de los resultados provenientes de distintas fuentes de información. De esta forma, se abordaron las barreras metodológicas y de diseño, por medio de la complementariedad de estrategias, lo que enriqueció el trabajo evaluativo y generó una mirada holística del programa y sus efectos. Esto ayudó a profundizar y complejizar el conocimiento que la organización tenía sobre tales efectos. Un funcionario lo explicó de la siguiente manera:

También fueron súper importantes los cuestionamientos que se originaron a partir de estos resultados. Fue como decir “¡oh, esto está pasando acá!” y preguntarse “¿por qué?”. Por ejemplo, te ayuda a entender el perfil de ese microempresario que está llegando y los problemas que ese microempresario trae asociados. Entonces, ayuda justamente a ver nuestra oferta de capacitaciones. Creo que de todas formas es beneficioso. (Taller de Análisis, Santiago de Chile, 2014)

Además, la aplicación del modelo generó un verdadero trabajo en equipo, que permitió abordar las barreras entre actores y su interacción, acercando así la brecha establecida por la posición institucional. Esto ocurrió a medida que se formalizó la inclusión de los diversos actores en reuniones y talleres de análisis, entre otros espacios, lo cual posibilitó conciliar opiniones, intereses y visiones, a la vez que nutrió la evaluación desde dentro. Ahora bien, ello fue viable gracias a que dichas actividades se basaron en el respeto, la confianza y la validación del trabajo mutuo. Un integrante del equipo central de la institución mencionó lo siguiente al respecto:

Lo que facilitó, sin duda, el proceso fue la coordinación del equipo. Al inicio estuvimos bien descoordinados, pero al fin logramos coordinarnos en la distribución de esta labor y no dejarle solamente al encargado de la evaluación de resultados la aplicación de los instrumentos. Eso facilitó enormemente el proceso. (Reuniones Evaluativas, Santiago de Chile, 2014)

Otro punto rescatable respecto a la aplicación de este modelo de evaluación fue que, al instalar un estilo de trabajo colaborativo, en el que se implicaba activamente a los actores en la recogida de datos y el reporte de los resultados parciales de la evaluación, se ganó mayor comprensión y se entendió el sentido de esta. Ello generó mayor compromiso y apoyo mutuo, y se superó, así, la barrera de contextualización dada por la falta de inserción y conocimiento sobre el campo en el momento de evaluar. Así lo declaró una de las personas encargadas de aplicar el instrumento cuantitativo:

A mí me parece que lo que vimos ayer [presentación de resultados en un Taller de Análisis] nos sirvió para tomarse más en serio para qué sirve la evaluación. Yo sabía que los instrumentos eran importantes, pero no me lo tomaba tan en serio. Ahora, creo que a todos nos quedó bien claro y se le dio mayor importancia. […] En definitiva, a pesar de los tropiezos [refiriéndose a la situación inicial de estrés], se logró generar un aprendizaje y ahí están los resultados. (Evaluación de la Evaluación, Santiago de Chile, 2014)

Además, el acto de participar en la evaluación, independiente de la tarea que se cumplió o el rol que se tenía, generó una concientización en los actores involucrados. Esto movilizó a la organización y a sus dirigentes a instalar la evaluación como una práctica habitual. Esta participación en la evaluación también facilitó la continuidad de esta; aun cuando encargados/as claves de la institución renunciaron o fueron sustituidos, fue posible lidiar con las barreras de poder que surgen en estos casos.

Asimismo, el instalar capacidades para la evaluación de programas en el equipo de trabajo -al contar con espacios de asesoría externa solo si esta era requerida- redujo los costos asociados a la evaluación, haciéndola posible de mantener en el tiempo. Ello permitió superar las barreras económicas que presentaba la institución al respecto.

Por último, conversar sobre el proceso de evaluación produjo ajustes operativos sobre esta. Por ejemplo, se hicieron mejoras (de diseño y lenguaje) en el instrumento y se afinó la coordinación entre los diversos actores (desde las personas dedicadas a la producción de datos hasta el director de la organización y financistas). Se validaron la elaboración del manual de la evaluación y los espacios de capacitación como instancias fundamentales para entender la importancia de la evaluación, disminuir la ansiedad asociada a implementar algo desconocido e instalar el hábito de evaluar dentro de su actividad cotidiana. Todo ello permitió impulsar acciones frente a las barreras operativas típicas de la evaluación.

De esta forma, la aplicación del modelo tuvo una evaluación general positiva por parte de los actores involucrados. Tanto funcionarios/as de la institución como participantes de las intervenciones señalaron que les parecía muy adecuada y pertinente esta forma de evaluar. Así, fue una sensación común entre los integrantes de la organización la satisfacción con el proceso implementado, pues generó un respaldo de su quehacer. Estas personas expresaron que los resultados aportaron al mejoramiento de la intervención y al crecimiento como institución, con grandes aprendizajes que sustentan su labor y actúan como elementos motivadores y orientadores. Así, se validó la importancia de evaluar:

Con la incorporación de la evaluación de los resultados, yo creo que hay un antes y un después en Acción Emprendedora. Sin lugar a dudas, es un avance gigante y el trabajo ha sido potente; los resultados son interesantes y nos tranquilizan. Me hace decir que todo este esfuerzo ha valido la pena. Nos potenció a movilizarnos como organización. (Evaluación de la Evaluación, Santiago de Chile, 2014)

Por su parte, los/as participantes del programa tuvieron una muy buena acogida y disposición durante toda la evaluación; estaban muy deseosos/as de compartir sus experiencias y hacer comentarios sobre el programa. Apreciaron el rol protagónico que tuvieron en la evaluación, no solo al ser consultados/as por las capacitaciones, sino también al preguntarles por su valoración del programa y sus opiniones sobre los facilitadores, obstaculizadores y recomendaciones para mejorarlo. Así, los/as participantes del programa realizaron grandes aportes a este y dieron sugerencias concretas. Una persona señaló al respecto:

Ha sido buena experiencia conocerlos [refiriéndose a Acción Emprendedora]; el que siempre estén pendientes de nosotros, de los que pasamos por aquí, es bueno. Es bueno que hagan este seguimiento y que uno quede en la base de datos. Le permite a uno devolver la mano. En este caso, ustedes requieren de esta información, ya que hay un curso detrás, y uno también puede cooperar [refiriéndose a la posibilidad de ofrecer recomendaciones de mejora]. (Reunión Evaluativa, Santiago de Chile, 2014)

La pobreza es un asunto complejo y urgente de abordar, que exige intervenciones de calidad y cuya evaluación se torna crucial. Sin embargo, aunque es ampliamente reconocida la importancia de la evaluación, existen problemas y barreras que dificultan su aplicación y que hacen necesario el desarrollo de modelos capaces de hacerse cargo de la complejidad creciente del fenómeno de la pobreza y de las estrategias que se emplean para abordarla, en especial en el contexto de las organizaciones no gubernamentales.

El modelo propuesto da respuesta a dicha complejidad al integrar la evaluación con la intervención, rescatar la dimensión objetiva y subjetiva por medio del uso complementario de métodos, e incluir la voz de los distintos actores involucrados, particularmente de las personas que participan y las que ejecutan los programas. Ahora bien, se considera que el mayor beneficio de este modelo es que permite generar una mirada profunda sobre los programas y sus resultados, y, a la vez, es factible de ejecutar por estar dentro de las posibilidades reales de organizaciones pequeñas y sin fines de lucro. Este aporte conecta claramente con el contexto de las evaluaciones, en el cual los recursos rara vez son suficientes y las presiones del tiempo son sobresalientes (Trochim 1998, citado en Rossi, Freeman y Lipsey 2019), lo que exige modelos precisos y eficientes.

Respecto al primer fundamento del modelo propuesto -integrar la evaluación con la intervención-, se puede señalar que la intervención se vuelve más integral en la medida en que la evaluación la modela con esa mirada. Esto releva la importancia de llevar a cabo un proceso de evaluación que vaya retroalimentando la intervención en el curso de esta, y que, intencionalmente, ubique la mirada sobre la evaluación más allá de sus resultados, lo que posibilita cambios a futuro. Esto conecta con la idea de que la evaluación no es un evento de una sola vez, sino que, en palabras de Mertens y Wilson (2018, 10), “es un ejercicio que involucra evaluaciones de diferentes alcances, varios puntos en el tiempo en respuesta a las necesidades cambiantes de conocimiento evaluativo y aprendizaje durante el esfuerzo por lograr un resultado”. Se trata, entonces, de un tipo de evaluación en la que los resultados no se reducen a un juicio sobre el éxito o el fracaso final del programa, sino que estos matizan dicha valoración indicando, además, aquellos aspectos que sobresalen o que modifican la intervención, con miras a su continuo mejoramiento.

En cuanto al segundo fundamento -integrar métodos cualitativos y cuantitativos-, si se considera que, hoy por hoy, los programas sociales de intervención en pobreza suelen operar bajo una concepción multidimensional de esta -que tiene en cuenta los aspectos objetivos o tangibles de la pobreza, así como los aspectos subjetivos o intangibles de esta (Raczynski 2002)-, se hace necesario el uso de metodologías de evaluación que recojan dichas dimensiones. Esto se traduce, más allá del uso paralelo de métodos cualitativos y cuantitativos, en un posicionamiento en el que ambas dimensiones estén imbricadas en la comprensión de los fenómenos. Tal como exponen Creswell y Plano Clark (2007), más que simplemente recolectar y analizar ambos tipos de información, se trata de incorporar, más bien, el uso de ambos enfoques en conjunto, de tal forma que la solidez del estudio sea mayor. Además, se hace fundamental la integración de los datos tanto en la recolección como en el análisis y en la interpretación (Mendizábal 2016). De esta manera, se apela a la integración de métodos para constatar cómo estas dimensiones se entrelazan y dan cuenta de manera profunda del programa y el fenómeno de la pobreza. Así, es posible evaluar, con la profundidad y pertinencia necesarias, aspectos objetivos de la pobreza (asociados al enfoque centrado en los ingresos [Denis, Gallegos y Sanhueza 2010] o a la denegación de oportunidades), así como aspectos subjetivos (relacionados con la limitación del despliegue de capacidades personales o la vivencia de exclusión social, entre otros aspectos [FSP 2010]).

En relación con el tercer fundamento -integrar las voces de diferentes actores relevantes-, las personas, al ser consideradas como agentes activos y no meros “sujetos de investigación”, se van empoderando y formando en el proceso de evaluar, y esto permite que se establezca una distancia con el paradigma analítico cartesiano (Montero 2006) y se avance hacia el modelo de evaluación empoderadora (Donaldson 2017) o transformadora (Mertens 2008). A los/as participantes de los programas se los ve como agentes competentes que se encuentran en una situación que pueden superar, y por lo cual tiene sentido incluir su perspectiva en la evaluación. Esto último se relaciona con la restitución del derecho básico de las personas a levantar su voz y ser tenidas en cuenta en asuntos que incumben a sus propias vidas (Sen 2000), como lo es participar en un programa social. Además, al incorporar a los agentes de intervención y al equipo a cargo de los programas, estos pueden participar efectivamente en la evaluación y retroalimentación de los programas que ejecutan (Irarrázaval, Sagredo y Streeter 2019), aportando su visión sobre la intervención social en la definición de los aspectos por evaluar, dando su opinión acerca del proceso de evaluación y sus implicaciones, generando interpretaciones y proponiendo análisis adicionales. Así, se potencian la aplicabilidad y futuras replicaciones de la evaluación.

Todo esto demuestra que evaluar no es solo ejecutar un diseño (de evaluación), sino pensar y repensar sobre la marcha y reflexionar, a partir de los resultados, sobre la intervención y la institución. Esta corresponde a una poderosa herramienta de la evaluación integral, entendida también como una forma de Investigación Acción Participativa (Durston y Miranda 2002), donde las personas participantes no solo son los/as participantes de los programas, sino también quienes están a cargo de estos y de quienes dependen las futuras modificaciones. Esto coincide con la importancia de incorporar en las evaluaciones tanto a los/as participantes de los programas como a los/as profesionales y/o encargados/as de los programas (Quiroz et al., 2016; Sánchez Pérez 2016), en reconocimiento de su experiencia y experticia (Centro de Estudios de Emprendimientos Solidarios 2012). La importancia de incorporar a estos últimos conecta con el reconocimiento de la evaluación como una acción que posibilita el aprendizaje de la experiencia y, así, el desarrollo del aprendizaje organizacional que se debe potenciar en el ámbito social (Sieppert 2005). Esto permite, a su vez, reorientar la operación de los programas a través de la adecuación o adaptación de los diseños a las condiciones cambiantes del contexto (Perea 2017). Además, favorece que el foco de la evaluación no esté solamente en el “problema”, sino en pensar la información que necesita la comunidad (en este caso, la organización) para su mejora continua (Mertens 2008).

De esta manera, promover la evaluación integral de programas sociales permitirá avanzar hacia una etapa de mayor complejidad en la evaluación, en la que será posible obtener una comprensión más amplia de los fenómenos que subyacen en los programas o que emergen de estos. Más allá del cumplimiento de los objetivos, esto se hace con el fin de explorar la “caja negra” de los programas o proyectos sociales, es decir, los mecanismos a través de los cuales dichos efectos suceden (Solmeyer y Constance 2015), y donde la visión de los encargados del programa, profesionales, participantes del programa y otros actores relevantes se constituye en un aporte central.

Esta forma de comprender la evaluación coincide con la planteada por González (2019), quien, a partir de una revisión sistemática de los enfoques teóricos en la base de la evaluación de la intervención social, sostiene que en la actualidad se detecta una tendencia a un enfoque teórico y metodológico integrador, pragmático y adaptado que esté orientado a generar información para solucionar problemas sociales. Así, gracias a la evaluación es que se pueden acercar las “buenas intenciones” a una estrategia factible y pertinente de superación de la pobreza.

Teniendo a la vista nuevas preguntas y agendas de investigación, se propone extender el uso del modelo propuesto en programas gubernamentales en el contexto latinoamericano y chileno, así como en otras áreas de intervención social (por ejemplo, en salud y/o educación). Tal como argumenta Vendung (2017), la evaluación se constituye en un mecanismo clave para monitorear, sistematizar y calificar las actividades del gobierno y sus resultados, y para que, desde ahí, los/as funcionarios/as públicos/as, en su trabajo orientado hacia el futuro, puedan actuar de la manera más responsable, creativa y eficiente posible. Esto exige, sin embargo, la modificación de los enfoques hegemónicos y la flexibilización de criterios para proteger, así, siempre la calidad de la evaluación. De todas formas, se reconocen iniciativas incipientes en la política social chilena de intervención en pobreza, que permiten realizar evaluaciones con las características del modelo propuesto en este artículo, como el fondo concursable Chile Compromiso de Todos o el concurso Innova FOSIS (FOSIS 2020; Ministerio de Desarrollo Social y Familia 2019).

Considerando una perspectiva relacional de la pobreza (Simmel 2011) y la importancia de fortalecer los vínculos entre las personas que viven esa situación, los actores públicos (entre ellos, ejecutores de iniciativas gubernamentales) y otros círculos sociales de interacción significativa (Araya 2016), se identifican dos aspectos por explorar en la aplicación de este modelo de evaluación. Se podrían analizar dimensiones asociadas, por un lado, al trabajo en red (Martínez 2006) y, por el otro, al vínculo entre agentes de intervención y participantes (Daher, Jaramillo y Rosati 2018), con miras a generar conocimiento e insumos para la asistencia técnica de los programas sociales de intervención en pobreza desde una perspectiva relacional.

Por último, retomando la perspectiva ética señalada al inicio, trabajar con personas en situación de pobreza exige ofrecerles intervenciones de máxima calidad, y para ello es necesario saber si dicha entrega cumple con esta exigencia. Ello es posible de recoger con este tipo de evaluación. Se espera, por tanto, que este modelo sea de utilidad para distintas organizaciones no gubernamentales y para los programas sociales de intervención en pobreza en general, y que lo puedan ajustar a sus propias necesidades para así asumir el desafío de captar la complejidad en la base de tales programas.