Ecosistemas Locales de Cuidado de larga duración: una propuesta de evaluación

1. Introducción

Los cambios demográficos y el envejecimiento de la población incrementan la demanda de cuidados y la pandemia provocada por la covid-19 los sitúa en primer plano de la agenda política institucional

(Ministerio de Trabajo y Economía Social, 2022; Gobierno Vasco, 2023; Diputación Foral de Gipuzkoa, 2022a). En este marco, en el contexto español, aumentan los esfuerzos para avanzar hacia la reconfiguración del modelo de provisión de cuidados familista (Martinez-Buján, 2014, 2019). La Ley 39/2006, de 14 de diciembre, de Promoción de la Autonomía Personal y Atención a las personas en situación de dependencia (en adelante, LAPAD), constituye un hito en este sentido, aunque su desarrollo efectivo haya sido calificado de insuficiente (Artiaga, 2021), desigual y determinado por el reparto competencial y la coyuntura política y económica (Martinez-Buján, 2014; 2019). Más recientemente, se impulsan programas y experiencias de cuidado de larga duración que promueven la activación comunitaria. Así, en el sur de Europa “el cuidado en comunidad se conecta de forma exploratoria con la institucionalidad pública, particularmente la municipal” (Vega Solís et al, 2018: 35).

Los Ecosistemas Locales de Cuidado (en adelante, ELC) desarrollados en el Territorio Histórico de Gipuzkoa, junto con los proyectos Radars (Moreno-Colom, 2018; Celi y Ezquerra, 2020), Baixem al Carrer (Celi y Ezquerra, 2020) y las Superilles Socials (Moreno-Colom, 2021, Kussy et al, 2023) en Barcelona, constituyen ejemplos de iniciativas de cuidado comunitario promovidas por las administraciones públicas (top-down). En paralelo, emergen experiencias desde la sociedad civil (botton-up) para responder a las necesidades de cuidado en la vejez de forma autogestionada (Mogollón García y Fernández Cubero, 2019; Artiaga, 2021; García et al, 2021; Keller y Ezquerra, 2021, entre otros). Asimismo, con la pandemia, surgen redes para cubrir necesidades de cuidado no atendidas por las administraciones públicas (Bodoque y Sanz, 2022).

Tomando en cuenta todo ello, el artículo tiene como objetivo describir el diseño de la evaluación del programa pionero Pasaia Zaintza HerriLab, basada en la Teoría del Cambio que opera en el ELC de Pasaia. Concretamente, se presenta el modelo lógico, la matriz de evaluación y las técnicas para la producción y análisis de datos. Se espera que pueda servir de referencia para evaluaciones de iniciativas público-comunitarias desarrolladas en el contexto vasco y fuera de él. Con ello, se pretende contribuir a llenar el vacío existente respecto a la evaluación de experiencias público-comunitarias de cuidado debido tanto a su temprano desarrollo, como a la falta de cultura evaluativa en las Administraciones Públicas y entidades del Tercer Sector (Rebollo, et al, 2016). Lo expuesto se basa en el trabajo de diseño de evaluación llevado a cabo entre enero y julio de 2023 por el equipo que firma el artículo como agente activo de la estrategia de escalado de los ELC y ha constituido la base para implementar una evaluación cuyos resultados se han presentado de forma pública en el municipio de Pasaia en febrero de 2024.

2. Caracteristicas de los Ecosistemas Locales de Cuidado y contexto de la evaluación

Los ELC son iniciativas lideradas por los ayuntamientos que actualmente se desarrollan, con diferentes grados de madurez, en catorce municipios del Territorio Histórico de Gipuzkoa (Gobierno Vasco, 2023). Se sitúan en el marco de la estrategia Zaintza HerriLab impulsada por la Diputación Foral de Gipuzkoa (Diputación Foral de Gipuzkoa, 2021), puesto que según Ley 12/2008, de 5 de diciembre, de Servicios Sociales, en la Comunidad Autónoma del País Vasco (en adelante, CAPV) la cobertura de los cuidados de larga duración es competencia de las diputaciones forales. Además, cuentan con apoyo financiero del Gobierno Vasco (Gobierno Vasco, 2023). Si bien se implementan como proyectos piloto, pretenden consolidarse como un nuevo modelo de cuidados para todo el Territorio Histórico (Diputación Foral de Gipuzkoa, 2022a). Se trata de una actuación innovadora y compleja.

Los ELC realizan un esfuerzo deliberado por conectar diferentes tipos de servicios (salud, servicios sociales y socio-sanitarios) y actuaciones de distintos agentes (administraciones públicas, organizaciones del Tercer Sector, empresas, comunidades y familias, centros tecnológicos, universidades y otros centros de conocimiento) con el fin de responder a la provisión de cuidados de larga duración desde una perspectiva de la fragilidad y mediante la prevención y la activación comunitaria. Su objetivo último es promover la desinstitucionalización y alargar la permanencia en el hogar de las personas mayores con una mayor integración social con autonomía y salud. Entienden el cuidado como un “continuum” con diferentes fases y prestado en diversos contextos, a menudo, simultáneamente, configurando un “mosaico de recursos” (Soronellas-Masdeu et al. 2021) que trasciende y complementa el cuidado familiar. Así, promueven la “desfamiliarización del cuidado” (Keller y Ezquerra, 2021). Además, sin reducir la mirada a las situaciones de dependencia, tal como establece la LAPAD, desde una perspectiva preventiva, los ELC intervienen también sobre la fragilidad. Consideran la fragilidad como un proceso que sitúa a las personas mayores en una situación de vulnerabilidad ante enfermedades agudas, caídas, discapacidad, condicionantes sociales y asistenciales, así como en riesgo de desarrollar un deterioro funcional que puede derivar en una situación de dependencia (Hurkoa, s/f). Al incorporar la fragilidad y la prevención en la intervención, superan uno de los límites de la LAPAD: focalizarse en los casos más graves de dependencia (Artiaga, 2021).

Pese a su carácter local y sus particularidades, todos los ELC comparten cinco componentes (Diputación Foral de Gipuzkoa, 2021): 1) gobernanza colaborativa, que implica la coordinación efectiva para la gestión del cuidado entre servicios de salud (atención primaria y secundaria) y servicios sociales (municipales y forales), así como entre agentes públicos, privados y sociales 2) nuevos modelos de atención sobre los que diseñar y gestionar itinerarios individuales de atención, entendidos como procedimientos para que las personas que precisan atención accedan a servicios que respeten sus necesidades y sus preferencias 3) aprendizaje y transferencia, referente al uso de metodologías para formar y sensibilizar a familias, profesionales y comunidad, así como a la sistematización de experiencias piloto y creación de capacidad institucional 4) experimentación e innovación, vinculadas al uso de nuevas metodologías que reúnan a actores involucrados y a la evidencia generada por proyectos piloto, para traducirla en futuras políticas y emplearla en la mejora de los servicios 5) evaluación y sostenibilidad, mediante el diseño e implementación de modelos de evaluación sistémica, para garantizar la sostenibilidad de los ELC a largo plazo.

Dadas sus características, en línea con la Comisión Europea, la innovación desarrollada por los ELC es social “tanto en sus fines como en sus medios” (Hubert, 2010:25). Por un lado, respecto a los fines, los ELC enfocan las políticas públicas hacia la búsqueda de una redefinición del bien común y la mejora del bienestar, de modo que plantean un desafío para la tendencia tradicionalmente dominante de innovación social (Dubois, 2014). Por otro lado, respecto a los medios, como en otras iniciativas público-comunitarias de cuidado, en los ELC la colaboración entre agentes se torna esencial para configurar el nuevo sistema de provisión de cuidados (Moreno-Colom, 2018). Así, acorde con la tendencia general de transformación del territorio gipuzkoano hacia un modelo de gobernanza colaborativa (Barandiaran, et al, 2023), los ELC se cimientan sobre una concepción de la innovación social identificada por Gurrutxaga y Galarraga (2019) como tercera tipología: centrada en la adaptación del rol de los gestores públicos y en la consolidación de nuevos modelos de gobernanza que fomentan la participación ciudadana y la coordinación. En esta línea, a través de los ELC se promueven procesos de co-producción y co-creación (Zuniga, et al, 2021) al incentivar la implicación de la ciudadanía en el diseño, gestión, implementación y evaluación de servicios y recursos, de forma que respondan mejor a las necesidades y demandas de las personas involucradas.

Además, mediante el aprendizaje y la transferencia, los ELC aspiran a desarrollar una estrategia de escalado, con el fin de realizar, siguiendo a Simmons et al (2007), esfuerzos deliberados para aumentar el impacto de las innovaciones locales probadas con éxito en proyectos piloto, y lograr que se beneficie a más personas y se fomente el desarrollo de ELC de forma duradera. En esta línea, como apuntan Hardee et. al. (2012), para escalar el programa se ha de conocer el grado de éxito de su implementación, por lo que la evaluación constituye un paso previo imprescindible. Por esta razón, en el marco de la estrategia Zaintza HerriLab se crea una estructura, denominada HUB de Escalado, para diseñar y poner en marcha una infraestructura de escalado que contempla la sistematización, monitorización, evaluación, transferencia y difusión de los ELC. En el HUB de Escalado participan agentes públicos, privados y del Tercer Sector, entre los que se encuentra el equipo firmante del artículo, al que se le ha encargado la evaluación del programa Pasaia Zaintza HerriLab para el desarrollo de un ELC en el municipio de Pasaia. Pasaia Zaintza HerriLab es pionero y se considera “punta de lanza” en el desarrollo de los cuidados del futuro (Gobierno Vasco, 2023). Por esta razón ha sido elegido por la Diputación Foral de Gipuzkoa y el Gobierno Vasco para ser evaluado en el marco de la estrategia de escalado.

3. Diseño de la evaluación sistémica para los Ecosistemas Locales de Cuidado

Tomando en cuenta las características de los ELC, se apuesta por un modelo de evaluación sistémica guiada por la Teoría del Cambio (en adelante, TdC), capaz de identificar los principales procesos, resultados e impactos respecto a tres ámbitos interconectados, preestablecidos en el encargo de la evaluación: 1) modelo de gobernanza e innovación, 2) calidad de vida y aprendizajes y 3) eficacia y sostenibilidad. La propuesta de evaluación presentada se circunscribe al ELC del municipio de Pasaia, pero pretende ser útil para la evaluación de cualquier ELC.

3.1. Marco general de la evaluación

El primer paso en el diseño de la evaluación consiste en delimitar el evaluando, es decir, el objeto de estudio que se pretende evaluar: Pasaia Zaintza HerriLab, el ELC que se está desarrollando en el municipio de Pasaia, en el marco de la estrategia Zaintza HerriLab (Diputación Foral de Gipuzkoa, 2021, 2022a). Es un programa cuya ejecución comienza en 2018. Tiene como población objetivo las personas del municipio mayores de 65 años que integran el continuo de atención entre fragilidad y dependencia. Está estructurado en cinco objetivos estratégicos que persiguen otros tantos resultados a través de dieciséis líneas de trabajo, una de las cuales contempla la implementación de cinco proyectos experimentales (Diputación Foral de Gipuzkoa, Municipio de Pasaia y Fundación Adinberri, 2020).

El objetivo general o propósito de la evaluación es la mejora del programa Pasaia Zaintza HerriLab, facilitando la toma de decisiones informadas basadas en las evidencias de la evaluación. Por tanto, se centra en dos de los cuatro propósitos posibles de los ejercicios evaluativos planteados por Greene (2007): mejora del programa y toma de decisiones, relacionados principalmente con los intereses o requerimientos de los actores con capacidad de decisión sobre el programa y de los responsables de su implementación. Para el logro del propósito general se persiguen tres propósitos específicos: 1) estimar en qué medida los ELC tienen la capacidad de conectar a los actores a diferentes niveles y generar interacciones fructíferas entre ellos, 2) estimar en qué medida los ELC mejoran la calidad de vida de las personas usuarias en términos de menor desinstitucionalización y mayor integración social con autonomía, salud y permanencia en el hogar y 3) estimar en qué medida los ELC son una estrategia de atención eficaz y sostenible a nivel local.

Se decide evaluar las dimensiones del programa desde un enfoque sistémico, que entiende la intervención como un sistema conformado por un conjunto de elementos articulados e interdependientes entre sí (Ligero, 2016). Tomando en cuenta el uso de conceptos de sistemas en el diseño de evaluaciones (Williams y Hummelbrunner, 2010) y experiencias de evaluación sistémica del ámbito de sistemas comunitarios de salud (Boyd et al, 2007), en consonancia con los principios de la evaluación sistémica en las políticas sociales del Territorio Histórico de Gipuzkoa (Diputación Foral de Gipuzkoa, 2022b), se busca orientar la evaluación hacia los resultados e impactos en la provisión de servicios sociales, teniendo en cuenta que la calidad de vida y el bienestar de las personas durante todo su ciclo vital depende de factores dinámicos personales, familiares, económicos, educativos, institucionales y comunitarios, como son el autocuidado, la comunidad afectiva, los recursos en el largo plazo, la formación y capacitación, los servicios públicos y las redes vecinales y de organizaciones locales.

La elección del modelo de evaluación se realiza bajo la perspectiva que recoge la Guía de Evaluación de Políticas Públicas del Gobierno Vasco (Gobierno Vasco, 2014), considerando su simplicidad y sencillez a la hora de ser interpretado y aplicado, su flexibilidad, la posibilidad de ser revisado, su capacidad de generar datos cuantitativos y cualitativos, así como de medir impactos. Para esto último, se pretende que la evaluación sea capaz de vincular distintos aspectos de la gestión, implementación y resultados del programa, estableciendo las relaciones causales existentes entre ellos, es decir, la atribución causal, que la OCDE-CAD define como "la imputación de un vínculo causal entre cambios observados (o que se espera observar) y una intervención específica" (2010:17).

Por todo lo anterior, al realizar la elección de modelo conceptual, se opta por una evaluación orientada por la TdC, un tipo de aproximación evaluativa que puede catalogarse como evaluación basada en la teoría (Weiss, 1997; Davidson, 2000; Stufflebeam, 2001). Con ella se plantea estudiar el desarrollo del programa Pasaia Zaintza HerriLab abordando sus componentes de manera interrelacionada. Así, no sólo se analizan los resultados obtenidos, sino que se buscan claves explicativas de los mismos en los procesos y elementos estructurales. Esta aproximación persigue reconstruir el modelo teórico de Pasaia Zaintza HerriLab, para identificar los cambios esperados y los mecanismos desplegados para lograrlos.

La TdC del programa es un constructo metodológico, aplicable en intervenciones complejas, orientado a explicar de manera clara y con la máxima robustez posible cómo y por qué las actividades producen una serie de resultados que contribuyen a lograr los impactos finales o el cambio social (Rogers, 2008 y 2014). Se trata de un enfoque donde el equipo promotor y gestor del programa, los actores y agentes y el equipo evaluador trabajan juntos para explorar y representar (gráficamente) la trayectoria de cambio esperada e identificar los pasos clave para su desarrollo, de manera que las interrelaciones más decisivas para alcanzar los resultados previstos puedan ser observadas y medidas, teniendo en cuenta el contexto donde se desarrolla el programa (Weiss, 1998; Rogers y Weiss, 2007).

Llevar a cabo una evaluación orientada por la TdC permite observar de manera diferenciada dos cuestiones clave (Weiss, 1998; Funnel y Rogers, 2011): 1) la teoría del programa, que identifica los mecanismos que producen los cambios en forma de respuestas generadas por las actividades y 2) la teoría de implementación o acción, que predice de manera descriptiva los pasos que deben ser adoptados en la aplicación del programa. Así, si el programa no consigue los resultados esperados, una evaluación orientada por la TdC facilita diferenciar entre qué ha podido fallar en la teoría y qué ha podido fallar en la implementación (Espinosa-Fajardo y Franco, 2019).

La TdC sirve para orientar la atribución causal al evaluar el impacto de un programa y puede resultar un elemento muy útil para evaluar dicho impacto cuando no se pueda estimar la situación contrafactual (lo que hubiera pasado en ausencia de la intervención, para lo que se deben utilizar grupos de control o comparación en diseños experimentales o cuasi-experimentales), ya que da la opción de comprobar la coherencia de las pruebas empíricas respecto a las relaciones causales explicitadas (Rogers, 2014). Así, una TdC que describe lo que el programa trata de lograr y cómo (los procesos de cambio y cómo los propiciarán las actividades programáticas), junto con los objetivos de la evaluación, ayuda a guiar el enfoque de la evaluación, a determinar las dimensiones del programa que se deben estudiar y a plantear las preguntas de evaluación (Goodrick, 2014). En el siguiente apartado se describe cómo se desarrollan tales cuestiones en el diseño de la evaluación del programa Pasaia Zaintza HerriLab.

3.2. Reconstrucción de la teoría del cambio e identificación de necesidades informativas

La especificación de la TdC del programa Pasaia Zaintza HerriLab se realiza mediante la construcción de un modelo lógico que explicita en un gráfico sistémico las dimensiones de la intervención y sus interrelaciones. A partir de la TdC y sus dimensiones, se plantean las preguntas de evaluación, los indicadores y las técnicas de generación de información que, recogidas en una matriz, guían la evaluación.

Se hace referencia a la “reconstrucción” de la TdC, porque se trata de evaluar una intervención en ejecución, que en el momento del diseño de la evaluación está siendo implementada en base a un modelo lógico implícito. Para la reconstrucción y la identificación de las necesidades informativas de la evaluación, se sigue un proceso estructurado, tomando como base orientaciones metodológicas de Es, et al (2015) y Ligero (2016). Teniendo en cuenta todo ello, se diseñan y elaboran las técnicas y herramientas para la producción y análisis de datos. Tal proceso se desarrolla en seis fases entre enero y julio de 2023. A continuación, se explican las fases y los pasos comprendidos en cada una de ellas:

Fase I: Identificar la teoría del programa y reconstruir el modelo lógico. Se orienta a conocer y sistematizar el programa Pasaia Zaintza HerriLab, su contexto, aplicación y agentes involucrados, así como a realizar un acercamiento al campo por parte del equipo evaluador. Para ello se documenta y reúne lo que ya se sabe o está escrito en términos de la teoría del programa, la evidencia de investigaciones y evaluaciones anteriores de algunos de los proyectos que conforman el programa y los datos de seguimiento o monitoreo recogidos hasta la fecha. La metodología utilizada consiste en una combinación de revisión documental y participación en reuniones formales e informales con agentes que conforman el HUB de Escalado.

Fase II: Profundizar y contrastar el modelo lógico e identificar las necesidades informativas de la evaluación. En esta fase se concreta el propósito de la TdC del programa: ayudar a revisar sus metas y los mecanismos que despliega para lograr el cambio, profundizar en su comprensión y facilitar con la evaluación un proceso de aprendizaje reflexivo sobre lo que ha funcionado en la iniciativa y por qué, con el fin de comprender el pasado y planificar el futuro. El equipo amplía la información recogida en la fase anterior (Fase I), de forma que puede completar el análisis de la situación del programa, describir los cambios buscados y las sendas de impacto previstas por éste, así como clarificar las principales dimensiones a considerar en la TdC e identificar las necesidades informativas de distintos agentes. La metodología utilizada se basa fundamentalmente en entrevistas semidirigidas con agentes clave que participan en diferentes fases del diseño y/o la implementación del programa Pasaia Zaintza HerriLab.

Fase III: Graficar la teoría del cambio. Mediante la profundización y el contraste del modelo lógico y la identificación de las necesidades informativas de distintos agentes, se completa formalmente la TdC del programa, presentada en un gráfico que muestra sus diferentes componentes y las cadenas causales que conducen de las actividades (agrupadas por procesos) a los resultados finales. Las actividades, productos, resultados intermedios y finales están representadas en la TdC mediante cajas que se conectan entre sí a través de flechas. Se realiza mediante el trabajo de gabinete llevado a cabo por el equipo evaluador.

Fase IV: Presentar, argumentar y validar el modelo lógico. En esta fase se validan las cadenas causales y vías de impacto mapeadas, y se explicitan y resuelven las diferencias entre agentes en las explicaciones para los mecanismos causales, mediante varias iteraciones para modificar y enriquecer el modelo lógico hasta lograr un acuerdo. Para ello, se desarrollan dos sesiones grupales de co-creación: la primera con todos los agentes del HUB de Escalado y la segunda sólo con los institucionales y los encargados de la monitorización de los ELC.

Fase V: Construcción de la matriz de evaluación. Se utiliza el modelo lógico obtenido, la TdC del programa, como marco para determinar las variables a medir en la evaluación e identificar, de cada dimensión, los aspectos clave de la lógica a ser tenidos en cuenta y medidos. Así, se asegura la inclusión en la matriz de evaluación de cuestiones que cubren toda la lógica de la intervención, para después comprobar el cumplimiento de las relaciones causales asumidas por el programa. Se desarrolla mediante el trabajo de gabinete realizado por el equipo evaluador.

Fase VI: Creación de cuadernos metodológicos. En la última fase, mediante el trabajo de gabinete realizado por el equipo evaluador, se crean los cuadernos metodológicos que contienen las herramientas de producción y análisis de datos. Constituyen el producto bisagra entre las fases de operacionalización, diseño y trabajo de campo de la evaluación. Se elaboran con el objetivo de englobar en ellos toda la información necesaria para la aplicación de cada técnica, de modo que constituyen la herramienta que permite estructurar y planificar su implementación en el trabajo de campo. Cada cuaderno recoge la información necesaria para su aplicación e incluye: descripción genérica breve, población destinataria, diseño de la técnica, consentimiento informado, y otras especificaciones que sean necesarias.

3.3. Dimensiones del modelo lógico y representación gráfica de la teoría del cambio

El modelo lógico que describe la intervención se compone de cinco dimensiones: estructura, procesos, productos, resultados intermedios y resultados finales. Dichas dimensiones sirven de base para guiar todo el proceso de indagación posterior y sus características principales se describen brevemente a continuación: 1) Estructura: es el marco de posibilidad en el que se enmarcan los ELC. Está compuesta por los medios o recursos financieros, humanos y organizativos que permiten activar los diferentes procesos. 2) Procesos: comprende las diferentes acciones que se realizan para conseguir los resultados. Mediante la puesta en marcha de estrategias de co-creación, los procesos derivados de la gobernanza colaborativa se conectan con procesos de innovación y los derivados en el modelo de cuidados con procesos de aprendizaje. 3) Productos: son los elementos logrados por la activación de los procesos y cristalizados en componentes concretos (por ejemplo, documentos, formaciones, herramientas y servicios). 4) Resultados intermedios: son los cambios que, con la puesta en marcha de la intervención, se pretenden conseguir en las diferentes poblaciones destinatarias (personas usuarias, familiares, personal trabajador y comunidad). 5) Resultados finales: son los beneficios finales que se pretenden conseguir para la población meta o las personas usuarias del programa, es decir, cambios duraderos que ocurren a medio o largo plazo.

Las cinco dimensiones se muestran de manera ordenada en la representación gráfica del modelo lógico. La estructura precede al resto, pues es la base que las hace posible. Los procesos tienen forma de flecha que apunta a los productos porque, mediante su activación, se logran estos últimos. La contribución, directa o indirecta, de los productos a la consecución de resultados intermedios se refleja mediante flechas con línea continua en el primer caso y discontinua en el segundo. Todos los resultados intermedios contribuyen directamente a generar resultados finales, como se refleja mediante flechas con línea continua. Además, procesos, productos y resultados se distinguen por colores, reflejando los tres ámbitos preestablecidos en el encargo de la evaluación. A continuación, se muestra la representación gráfica del modelo lógico:

Figura 1.

Modelo lógico del programa Zaintza HerriLab

Fuente: Elaboración propia.

3.4. Matriz de evaluación

Una vez definido el modelo lógico de la intervención y teniendo en cuenta el propósito y los ámbitos de la evaluación, descritos anteriormente, se procede al diseño de la matriz de evaluación. La matriz de evaluación muestra las preguntas de evaluación, los indicadores y las técnicas para la recogida de la información y de los datos necesarios para responder a las preguntas de evaluación de manera exhaustiva. Las preguntas de evaluación se orientaron por las dimensiones del modelo lógico previamente diseñado: estructura, procesos, productos y resultados. La matriz incluye 50 preguntas de evaluación y 70 indicadores. 12 indicadores incorporan de manera específica la perspectiva de género. Una misma pregunta de evaluación puede ser contestada por varios indicadores y técnicas, permitiendo la integración de datos e información. A continuación, se muestra la matriz de evaluación. Se ha incluido la población (parte interesada o stakeholder) a la que se dirige cada técnica y se han omitido los indicadores para aportar mayor claridad.

Tabla 1.

Matriz de evaluación

Fuente: Elaboración propia.

3.5. Técnicas y herramientas de producción y análisis de datos

Alonso (1998) considera que lo social está compuesto por una realidad fáctica y por una realidad simbólica. La fáctica está estructurada por hechos externos cuyo tratamiento estadístico-cuantitativo genera datos numéricos y la simbólica está estructurada por significaciones y símbolos, conforma el campo de la discursividad, y su tratamiento es fundamentalmente comunicativo, lingüístico y semiológico. Teniendo en cuenta tal distinción, se ha optado por una integración metodológica (Bericat, 1998) que permita tomar en consideración ambas dimensiones de la realidad objeto de evaluación. Así, se han elegido técnicas de investigación tanto cuantitativas como cualitativas para producir datos y generar información que responda a las preguntas de evaluación. Además, se han diseñado análisis de segundo nivel sobre información producida por dichas técnicas. En concreto, se han elegido las técnicas descritas a continuación para producir y analizar datos e información:

1.- Cuestionarios. Se llevan a cabo sendas encuestas dirigidas a profesionales y a personas usuarias. La encuesta a profesionales se administra a través de una plataforma de formularios online y es dirigida a trabajadoras de atención y cuidados, tanto sociales como sanitarios, de Pasaia. La encuesta a personas usuarias se administra de forma presencial a 135 personas mayores de 60 años usuarias de los servicios de atención sanitaria y de cuidados del municipio de Pasaia, elegidas a través de un muestreo aleatorio estratificado con afijación proporcional según cuotas de sexo, grupo de edad y zonificación.

2.- Entrevistas semidirigidas. Se llevan a cabo con cinco grupos de stakeholders: agentes institucionales, agentes que participan en el HUB de Escalado, representantes de proyectos experimentales, familiares de personas beneficiaras del programa, y personas beneficiarias del programa. Las personas beneficiarias del programa y las personas familiares a entrevistar son seleccionadas teniendo en cuenta su género, las necesidades de apoyo de la persona beneficiaria del programa, el uso que hacen de los servicios de atención y la participación en proyectos experimentales.

3.- Grupo triangular. Conformado por tres informantes, a modo de "triángulo", ocupa una posición intermedia entre las entrevistas y los grupos de discusión. Siguiendo a Conde (2008), se considera particularmente idóneo para captar los discursos emergentes, todavía no cristalizados, en proyectos o intervenciones con un alto grado de innovación o dinamismo, ya que se dirige a capturar los espacios discursivos que exceden el "yo" subjetivo, pero para los que no se ha generado socialmente un discurso tácito o acordado que pueda ser reproducido en un grupo de discusión. El grupo triangular se compone de profesionales de diferentes perfiles, encargados de llevar a cabo procesos de cuidados en diferentes ámbitos del programa (servicios de atención sociales y sanitarios), para indagar y poder contrastar sus secuencias de aplicación.

4.- Análisis de marcos interpretativos. Para analizar los indicadores relacionados con el grado de coherencia del ELC y del programa Pasaia Zaintza HerriLab con las estrategias y la normativa de referencia (la Estrategia Europea de Cuidados; la Ley 12/2008, de 5 de diciembre, de Servicios Sociales; el II Plan Estratégico de Servicios Sociales de la CAPV; y el Libro Blanco "Gipuzkoa 2030: El futuro de la atención y los cuidados en las Políticas Sociales"), se plantea un análisis de marcos interpretativos o Policy Frame Analysis, basado en la metodología utilizada por Bustelo y Lombardo (2013). Asumiendo que los marcos de política plasmados en los textos tienen un formato típico de diagnóstico y pronóstico del problema que se aborda, el análisis de marcos interpretativos trata de identificar los marcos de diagnóstico y pronóstico que operan explícita o implícitamente en los textos, comparar su lógica interna y valorar en qué puntos se distancian o aproximan entre sí. Así, se comparan los textos en ciertos puntos clave (definición del problema y cómo se representa, qué solución se ofrece, cuál es el grupo objetivo de las medidas, entre otros) para identificar los procesos de exclusión, es decir, quiénes no tienen voz en la interpretación del problema y su solución. Este proceso permite valorar el grado de coherencia entre los planteamientos plasmados en los documentos y los de la intervención objeto de la evaluación.

5.- Análisis de datos de registros. Se realiza un análisis de datos de registros administrativos disponibles en instituciones públicas. Concretamente, provienen de dos fuentes de información diferentes y complementarias, de modo que se emplean, por un lado, datos anonimizados sobre el uso de diversos servicios sociales dirigidos a la población, facilitados por el Departamento de Políticas Sociales de la Diputación Foral de Gipuzkoa para el periodo 2010-2022 y, por otro, datos anonimizados del servicio público de teleasistencia BetiON, para el periodo 1997-2023, suministrados por la Dirección de Servicios Sociales del Gobierno Vasco.

6.- Análisis de sostenibilidad. Se lleva a cabo una valoración de la influencia de los factores de sostenibilidad mediante una síntesis específica y transversal de las preguntas de evaluación sobre los principales factores de sostenibilidad detectados en el marco de la evaluación. Se trata de un análisis de segundo nivel sobre información producida por técnicas cualitativas y cuantitativas empleadas en la evaluación y descritas anteriormente, que pone el foco en la sostenibilidad. Según Varela y Santomé (2002:3) “aunque la sostenibilidad real no puede evaluarse a priori”, ya que se estaría valorando algo que todavía no ha ocurrido, es decir, la supervivencia o no del proyecto, “sí pueden evaluarse las perspectivas de sostenibilidad a través de la determinación de la extensión en la que se han incorporado en el diseño del proyecto aquellos aspectos que la experiencia demuestra que son factores de influencia”. Esto es especialmente relevante en proyectos piloto o que se encuentran en sus fases iniciales de desarrollo. El análisis de la sostenibilidad se desarrolla en dos fases: la primera orientada a la identificación de los factores condicionantes de la sostenibilidad relevantes en el programa y la segunda a la evaluación del diseño y ejecución del programa bajo el prisma de la influencia de cada factor sobre las perspectivas de sostenibilidad.

7.- Análisis de seguimiento. El objetivo de este análisis es responder a la pregunta de evaluación mediante la indagación en la información específica generada por el sistema de seguimiento y monitorización del programa en torno a un indicador: el grado de madurez alcanzado por el ELC. La madurez de un ELC se define como el desarrollo alcanzado en los hitos o acciones clave de despliegue o puesta en marcha del ELC respecto a lo planeado por el programa. Por tanto, se trata de un análisis de segundo nivel sobre información producida por técnicas cualitativas y cuantitativas empleadas por el sistema de seguimiento.

El proceso evaluativo ha sido diseñado siguiendo una perspectiva de integración metodológica con una doble orientación (Greene et al, 1989): la triangulación y la complementación. Siguiendo a Bericat (1998), por un lado, la triangulación se basa en el empleo de más de un método con un mismo propósito, organizando las técnicas cuantitativas y cualitativas para capturar un mismo objeto de la realidad social y reforzar así la validez de los resultados; por otro lado, la complementación no persigue tanto la convergencia de los datos, sino la simultaneidad de dos imágenes diferentes que amplíen la comprensión de los hechos. En la evaluación del programa Pasaia Zaintza HerriLab la triangulación se utiliza para dar respuesta a una pregunta de evaluación a través de más de un indicador, cuando cada indicador se alimenta de un tipo de dato (cuantitativo o cualitativo). Por su parte, la complementación sirve para producir información sobre una dimensión o subdimensión de la evaluación mediante varias preguntas de investigación que se responden con indicadores cualitativos y cuantitativos. A través de la triangulación y la complementariedad se pretende ofrecer robustez a los resultados obtenidos en la evaluación.

4. Consideraciones finales

El artículo describe el diseño de evaluación del programa pionero Pasaia Zaintza HerriLab para el desarrollo de un ELC en el municipio gipuzkoano de Pasaia. Los ELC se desarrollan en el marco de la estrategia Zaintza HerriLab impulsada por la Diputación Foral de Gipuzkoa y apoyada por el Gobierno Vasco. Forman parte de una política novedosa, que incluye en su diseño la evaluación con una mirada a la mejora de los procesos organizacionales y las capacidades institucionales, al aumento de la calidad de vida de las personas y a la sostenibilidad de las intervenciones en su conjunto. Plantean la evaluación como complementaria a la sistematización para el aprendizaje, la transferencia y, en última instancia, el escalado de los ELC, tanto a través de su ampliación a otros municipios del Territorio Histórico de Gipuzkoa y de la CAPV, como fuera de ellos. En este marco, una de las aportaciones de la evaluación del programa Pasaia Zaintza HerriLab es que permite avanzar en el desarrollo y consolidación de políticas basadas en evidencias.

La reconstrucción de la TdC del programa ofrece un marco conceptual para complementar el seguimiento y diseñar la evaluación. El proceso seguido para explicitar el modelo lógico, llevado a cabo de forma iterativa e integrando los aportes y visiones de las partes implicadas responsables del diseño y gestión del programa, permite clarificar aspectos importantes en relación a la forma en la que se pretenden lograr los resultados e impactos previstos, a la vez que fomenta el aprendizaje institucional. Asimismo, el trabajo para reconstruir la TdC realizado conjuntamente entre el equipo evaluador y los agentes responsables del diseño y gestión del programa sirve para recoger las evidencias existentes hasta la fecha sobre el funcionamiento del programa y contrastarlas con lo planteado en su diseño conceptual, antes de comenzar su implementación. De esta forma, se tienen en cuenta las diferencias existentes y se representa una TdC ajustada a la situación actual, identificando y consensuando las dimensiones del modelo lógico más importantes para la evaluación del programa.

La reconstrucción de la TdC sirve para profundizar en la comprensión de la intervención y mostrar su complejidad plasmando las cadenas causales implícitas y las interrelaciones entre sus componentes, así como para que las responsables del diseño y gestión del programa tomen conciencia de los retos que plantea la evaluación y tengan un modelo de referencia también para otros ELC. Las dimensiones del modelo lógico se han sistematizado y operacionalizado en la matriz de evaluación mediante las preguntas de evaluación e indicadores, que ofrecen la posibilidad de guiar la evaluación de cualquier ELC. Además, la descripción de las técnicas de producción y análisis datos permite que sean utilizadas en diferentes contextos geográficos y temporales, de modo que los resultados obtenidos puedan ser comparados.

Con todo, el modelo lógico, la matriz de evaluación y las técnicas definidas para la evaluación del programa Pasaia Zaintza HerriLab tienen carácter dinámico, ya que pueden ser adaptados o corregidos después de realizarse la evaluación, en función de las conclusiones que arroje. Asimismo, se pueden seguir utilizando en el futuro, en fases posteriores del programa, realizándose las modificaciones necesarias en función de los resultados que se vayan consiguiendo, los nuevos objetivos previstos y el devenir de los procesos actualmente en marcha. Por ello, ofrecen una base sólida para describir y operacionalizar la TdC de otros ELC que están siendo implementados en el Territorio Histórico de Gipuzkoa, así como para guiar sus evaluaciones, pues permiten adaptarse fácilmente a las especificidades de cada caso concreto. La utilización de este tipo de herramientas resulta recomendable de cara a afianzar un modelo de políticas basadas en evidencias. Por último, gracias a su carácter performativo, el modelo lógico y la matriz de evaluación pueden ofrecer también una base o referencia para el diseño mismo de otros ELC, así como de intervenciones similares de provisión público-comunitaria de cuidados de larga duración en otros contextos.

Clasificación JEL: I18; I31; I38; J11; J12; J14; J16; J17; J18

redalyc-journal-id: 289