HTML

ePub

PDF

1. Introducción

1.1. Estado de la cuestión

Las instituciones públicas más innovadoras intentan mejorar su gestión mediante la planificación y la mejora continua de sus intervenciones. Ello les permite reformular sus actuaciones, legitimar sus actos, generar confianza hacia ellas y, como fin último, satisfacer las necesidades de sus administrados. Para lograrlo suelen someter a sus políticas a un reiterativo proceso de análisis mediante el seguimiento y evaluación de las mismas.

En Europa esta práctica será introducida por el Libro Blanco de la Gobernanza (Comisión Europea, 2001), documento que enfatiza la necesidad de evaluar las políticas de la Unión Europea para garantizar su calidad y eficacia; se consolidará con el Libro Blanco sobre la Gobernanza Multinivel (Comité de las Regiones, 2009), que recomienda que sea el propio Comité el que, junto con la Comisión, concierte un Plan de Acción Territorial que comprenda mecanismos de evaluación; y se institucionalizará a través de la Estrategia Europa 2020 (Comisión Europea, 2010), en la cual se asume la necesidad de realizar el seguimiento y evaluación de las políticas comunitarias a través de la elaboración por parte de la Comisión de informes periódicos en los que hacer constar los impactos de sus intervenciones; así como del programa ESPON (del inglés European Observation Network for Territorial Development and Cohesion o Red de Observación Europea para el Desarrollo y la Cohesión Territorial), adoptado por la Comisión Europea con el objetivo de dotar de base institucional y científica las propuestas recogidas en la Estrategia (ESPON, 2004, 2006, 2007, 2013 y 2018). Todas estas iniciativas han tenido una escasa cristalización en el corpus legislativo europeo, pues sólo Francia, Holanda y Suiza cuentan con una ley específica sobre Evaluación de Políticas Públicas (Sociedad Española de Evaluación de Políticas Públicas, 2019), mientras que en España Navarra ha sido la pionera al aprobar la Ley Foral 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos.

Una de las políticas públicas que más ha incentivado la Unión Europea entre sus Estados Miembros, los verdaderamente competentes, ha sido la planificación territorial, tal y como confirma la Carta Europea de Ordenación del Territorio (Consejo de Europa, 1983), documento que ha inspirado buena parte de las leyes y planes de ordenación territorial comunitarias (Hildenbrand Scheid, 1996). Sin embargo, hasta muchos años después no se reconocerá la importancia de la evaluación en estas políticas, circunstancia que se recoge en la Estrategia Territorial Europea (Comisión Europea, 1999) y se ratifica en la Agenda Territorial Europea (Unión Europea, 2007).

Con todo, no existe un modelo a seguir, sino que más bien esto se ha dejado al albur de cada Estado Miembro, para que en virtud de sus competencias y su interés avance en la evaluación de sus respectivas planificaciones territoriales. Esta circunstancia ha hecho que en España se carezca hasta la presente de una metodología expresa al respecto (Bueno Suárez y Osuna Llaneza, 2013), habiéndose dedicado los principales esfuerzos al desarrollo de la evaluación ambiental (Farinós Dasí, 2011) y bastante menos a la evaluación de impacto territorial (Soto Rueda y Garrido Clavero, 2019). Y es que “lo cierto es que no se cuenta con experiencias de gestión de los planes, de hecho no contamos apenas con informes de seguimiento y evaluación (aunque así se establezcan en algunos planes) que nos muestren cuál ha sido el grado de cumplimiento de los mismos” (Benabent Fernández de Córdoba, 2007). Circunstancia que pese al tiempo transcurrido no parece haberse mejorado, a tenor de las últimas manifestaciones ofrecidas en las principales reflexiones y conclusiones del IX Congreso Internacional de Ordenación del Territorio, cuando se sostiene que

(…) La introducción de este tipo de mecanismos de control, como son los sistemas de evaluación y seguimiento, se está desarrollando, no obstante, de forma lenta y difícil en España, ya que únicamente algo más de la mitad de las Comunidades Autónomas contemplan sistemas de evaluación y seguimiento específicos, mediante la elaboración de planes o informes, y solo unas pocas los han aplicado. Además, hay que remarcar que no existe un marco conceptual y metodológico para monitorizar los planes territoriales, que incluya un procedimiento claro y sistemático aceptado de forma generalizada, por lo que el desafío en este ámbito se presenta como una tarea ardua y compleja. (Nogués Linares, 2019, p. 1119).

El objetivo principal del presente trabajo es adelantar el que bien pudiera ser el primer estadio que habría que abordar al enfrentarse a la evaluación de planes territoriales generales, parciales y sectoriales de ámbito supramunicipal en España, el planteamiento de un cuestionario a formular para obtener las evidencias y hechos contrastados que han de reforzar la toma de decisiones; luego vendrían el cuándo, quién y cómo. Es por ello que con el mismo se van a revelar algunas de las preguntas que cabría plantearse antes de iniciar el proceso de evaluación en sí mismo, para tomar así plena conciencia de los aspectos que no han de escapársele al evaluador. Con posterioridad, estas “preguntas iniciales deben servir de hilo conductor del informe” (Agencia Estatal de Evaluación de Políticas Públicas y la Calidad de los Servicios [AEC], 2010, p. 106) tanto de seguimiento como de evaluación, para evitar así dispersarse y centrarse en su conclusión.

1.2. Marco teórico

Siguiendo la acepción de la legislación andaluza de referencia, la Ley 1/2014, de 24 de junio, de Transparencia Pública de Andalucía, “se considera evaluación de políticas públicas el proceso sistemático de generación de conocimiento encaminado a la comprensión integral de una intervención pública para alcanzar un juicio valorativo basado en evidencias respecto de su diseño, puesta en práctica, resultados e impactos. Su finalidad es contribuir a la mejora de las intervenciones públicas e impulsar la transparencia y la rendición de cuentas” (artículo 12.1).

Por consiguiente cabe decir que, a grandes rasgos, la evaluación de políticas públicas puede realizarse siguiendo el modelo estándar, que no suele indagar en las causas quedándose en las consecuencias, o el modelo integral, “que analizaría tanto el ciclo completo de la política, como las políticas conexas y el contexto complejo que les afecta” (Gutiérrez Díaz, 2014:111). Por las particulares características de las políticas públicas de planificación territorial, se considera más oportuno este último, ya que interesan las consecuencias, pero también las causas, pues en ellas se ocultan muchas de sus deficiencias (Faludi, 2004). Así, tal y como señalan algunos autores, el modelo integral “puede y debe aplicarse a todo el ciclo de la intervención desde el diseño y planificación (evaluación ex ante), continuando con la implementación (evaluación in itinere) y finalizando con la verificación de los efectos finales (evaluación ex post)” (Ruíz, 2013, p. 10), debiéndose analizar los planes territoriales en cuestión, pero también cómo se han gestionado.

De ello se deduce que la evaluación de planes territoriales puede adscribirse casi que perfectamente al Ciclo Vital de las Políticas Públicas, es decir: Formación de la Agenda —definición del problema/necesidad—, Formulación de la Política —redacción en sí misma—, Implementación de la Política —gestión de la misma—, Efectos de la Política —consecuencias de ella—, Evaluación de la Política —propiamente dicha— y Retroalimentación de la información —para su mejora o terminación—, tal y como puede observarse en la Tabla 1. No obstante, por las mencionadas peculiaridades de la planificación territorial, se ha visto más acertado concretar estas etapas en las siguientes: Diseño —que incluiría la formación de la Agenda y la Formulación de la Política—, Implementación, Resultados e Impactos —que se separan para atender más precisamente a las consecuencias derivadas de la implementación del Plan en virtud de los logros obtenidos y los efectos producidos—, Terminación y Reciclaje.

Para acabar de comprender el sentido en el que se expresan estas etapas, a continuación se precisa la definición que resulta más acorde con la finalidad de este trabajo:

1. - Diseño del plan: Para aprobar la formulación de un plan territorial es necesario escoger entre distintas opciones. La primera es “por qué hay que adoptar una decisión sobre algo concreto, es decir, por qué un tema determinado se convierte en materia sobre la que se hace necesario actuar en alguna forma” (Losada Maestre, 2014, p. 48). En algunos casos es a demanda ciudadana (enfoque pluralista), pero con frecuencia depende de la voluntad de interesados (enfoque elitista), ya sean los mismos gobernantes o un conjunto de élites, movidas unas veces por intereses económicos, otras por evidencias científicas; pero en cualquier circunstancia es por una decisión política. Generalmente, esta decisión política se adopta cuando existe un problema públicamente reconocido.

2. - Implementación del plan: Con la castellanización de este término inglés, implementation, se designa la etapa de un plan a partir de la cual se producen actuaciones que, en el contexto de un marco de intenciones preestablecido, trata de alcanzar las metas marcadas. Así pues, básicamente se está hablando de la gestión del plan, etapa a la que tradicionalmente no se le ha prestado mucha atención, por cuanto que se suponía que por inercia entraba en funcionamiento, a diferencia de la de formulación, donde se concentraban los esfuerzos en realizar un plan perfectamente aquilatado. Sin embargo, hoy en día esta tendencia ha cambiado y la importancia conferida a la gestión, la implementación de los planes, es tal que resulta determinante para marcar el grado de éxito del mismo, pues, de qué sirve un plan magníficamente configurado si después, en su día a día, no se cumple por falta de labor inspectora, por ejemplo.

3. - Resultados del plan: Al margen del procedimiento de desarrollo del plan y del cumplimiento de objetivos, este tiene unas consecuencias y unos efectos. Cuando estos efectos son causa de las iniciativas adoptadas en la formulación del plan se habla de resultados y cuando estas iniciativas no surten efecto se habla de ausencia de resultados. En consecuencia, los resultados representan lo conseguido en la resolución de los problemas inicialmente considerados, de forma que si guardan relación directa con estos se puede decir que son resultados esperados y si no es así se trataría más bien de resultados no esperados.

4. - Impactos del plan: Además de los resultados obtenidos en aplicación de las determinaciones del plan, la implementación de un plan no resulta inocua y produce otra serie de efectos que, al igual que en el caso de los resultados, puede ser sometida a la categorización planteada para ellos, es decir, impactos esperados o previstos e impacto no esperados o sobrevenidos. Igualmente se puede diferenciar entre impactos positivos e impactos negativos, atendiendo a si estos han producido efectos perniciosos o beneficiosos.

5. - Terminación del plan: La terminación de cualquier política pública tiene sus reticencias. La más importante es que los encargados prefieren dedicarse a las nuevas políticas, antes que “aquellas que han quedado desfasadas o son simplemente ineficientes” (Román Masedo, 2014, p. 131), ya que ello supondría, en cierta forma, el reconocimiento de un fracaso. Pero también está el hecho de ¿Por qué gastar presupuesto en rematar un plan? ¿Acaso no es preferible “dejarlo morir”?, tal y como se expresa coloquialmente en algunas Administraciones. Sin embargo, en momentos de recortes presupuestarios, la terminación de un plan vuelve a plantearse como una opción, porque al contrario de lo que se piensa, los costes de mantenerlo activo, aunque sea a bajo rendimiento, pueden resultar más altos que derogarlo definitivamente (piénsese, por ejemplo, en los pleitos a los que puede seguir dando lugar). En consecuencia, hay que terminar los planes cuando proceda. Ahora bien, hay que rematarlos correctamente, procurando no dejar lastres que pudieran afectar negativamente a otras planificaciones o vacíos que dejasen sin regulación o planificación determinados territorios o cuestiones sectoriales, tal y como ha pasado en algunas ocasiones, como en el caso del Plan Especial de Protección del Medio Físico y Catálogo de la provincia de Granada, que al derogarse en aquellos municipios que tienen ordenación del territorio supramunicipal, pero no cuentan con planeamiento urbanístico general, han perdido grado de precisión en su planificación (Garrido Clavero, 2017). Igualmente es muy conveniente dejarle un heredero, directo (el plan que lo sustituye) o indirecto (el plan o los planes que asumen sus determinaciones), y hacer referencia expresa a esta circunstancia en los mismos.

6. - Reciclaje del plan: El seguimiento de un plan territorial, así como su evaluación, tiene un objetivo prevalente: saber qué hacer con él. Normalmente, tras la evaluación de un plan hay que pensar en su prorrogación o su terminación, y en el caso de prorrogarse en si debe mantenerse tal cual, actualizarse (refundición en un documento único y completo de las determinaciones a las que hubieran dado lugar las modificaciones aprobadas o de los ajustes resultantes de su desarrollo y ejecución), modificarse (alteración de sus determinaciones que no se produzcan en un proceso de revisión, sin considerar los ajustes resultantes de su desarrollo y ejecución) o revisarse (sustitución del plan por la alteración de sus objetivos territoriales o la adopción de determinaciones sustancialmente distintas a las previstas en relación con el modelo territorial). Aunque estas son las opciones que ofrece el que fuera el primer plan de ordenación del territorio de Andalucía, el Plan de Ordenación del Territorio de la Aglomeración Urbana de Granada, bien pudieran extrapolarse a cualquier otro plan territorial. Así pues, siguiendo esta categorización, en estos tres últimos casos es cuando se reciclaría el plan, yendo de la menor trasformación a la más profunda.

En suma, teniendo en cuenta el sentido de estas definiciones y valorando el innovador enfoque conferido al cuestionario para que las etapas que habitualmente siguen los planes territoriales casen y se interrelacionen con las etapas del Ciclo Vital de las Políticas públicas, la que posiblemente sea la distribución más comúnmente admitida para las políticas públicas, a continuación se expone la propuesta de batería de preguntas iniciales a las que podrían someterse los planes territoriales para su seguimiento y evaluación.

2. Metodología

Tal y como se ha visto en el apartado anterior, como punto de partida se ha optado por adaptar la distribución por etapas del Ciclo Vital de las Políticas Públicas al proceso que habitualmente siguen los planes territoriales, supuesto que estos también son políticas públicas en sí mismos. Así, se ha escogido como punto de referencia de esta idea el esquema del “ciclo vital” de Lasswell (1971), porque otras opciones como las de Hogwood y Gunn (1984), que tomando como punto de partida el esquema de Lasswell distinguía nueve fases o Pallares Porta (1988) que identifica tres grandes momentos del proceso: la formulación de las políticas, la implementación o su proceso de aplicación práctica y la evaluación de su rendimiento, se ajustaban más difícilmente a las etapas del seguimiento y evaluación de planes territoriales.

De esta manera, para cada una de las etapas se han propuesto aquellas cuestiones que mejores resultados podrían aportar. Por consiguiente, para cada una de estas etapas se han planteado una serie de preguntas con las que dar respuesta a los distintos ítems que hay que ir cubriendo en el proceso de seguimiento y evaluación del plan territorial correspondiente. Y es que “El sistema con que se irá creando la estructura lógica de la evaluación se basará en una serie de interrogantes e hipótesis que permitirán hacer operativa la puesta en marcha de una evaluación (…) Se trata de concretar el problema a evaluar hasta hacerlo manejable” (AEC, 2010, p. 80). Así, “Necesitamos (…) preguntas que nos den libertad y flexibilidad para explorar el fenómeno a evaluar en profundidad… esta amplitud de la pregunta o preguntas iniciales va a ir focalizándose a lo largo del proceso de investigación/evaluación al ir descubriendo la relevancia o irrelevancia de los conceptos y sus relaciones” (Corbin y Strauss, 1990, p. 18).

Para ello, se ha buscado una triple fuente para la formulación de estas preguntas:

De un lado estaría el escaso, pero cada vez más completo, análisis científico del seguimiento y evaluación de planes territoriales, abordado por distintos académicos (Benabent Fernández de Córdoba, 2007, 2014, 2016; Garrido Clavero, 2017; Garrido Clavero y Soto Rueda, 2019; Segura Calero y Pedregal Mateos, 2014, 2017; Segura Calero, 2017, 2019; Segura Calero y Elorrieta Sanz, 2019; Soto Rueda y Garrido Clavero, 2019…) y algún proyecto de investigación específico, como el GOBEFTER II Gobernanza Efectiva del Territorio: Actualización y Propuestas para la aplicación de una política de ordenación del territorio comprehensiva en España (Proyecto I+D+i. Convocatoria 2016. Programa Estatal de Investigación, Desarrollo e Innovación Orientada a los Retos de la Sociedad CSO2016-78169-R).

De otro lado estarían las frecuentes alusiones que las distintas legislaciones y guías que para el seguimiento y evaluación de políticas públicas han desarrollado las respectivas administraciones, destacando entre ellas:

• La pionera Ley Foral de Navarra 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos, en la que ya se formulaban en sus contenidos de la evaluación algunas de las preguntas aquí planteadas.

• La Ley 1/2014, de 24 de junio, de Transparencia Pública de Andalucía, en la que se establece cómo los planes y programas deberán ser sometidos a evaluación para concretar sus resultados y grado de cumplimiento.

• Los Fundamentos de evaluación de políticas públicas (Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios [AEC]), por precisar los conceptos y las preguntas a través de una exhaustiva enumeración histórica de los principales autores y la aportación de “qué les falta y les sobra a las definiciones de las que disponemos frente a las exigencias del nuevo milenio” (AEC, 2010, p. 75).

• La Guía de seguimiento y evaluación de los planes de actuación de los servicios públicos del Observatorio para la Mejora de los Servicios Públicos (Observatorio para la Mejora de los Servicios Públicos [OMSP]) por resultar un documento de gran adaptación al seguimiento y evaluación de planes territoriales, y permitir pasar de los conceptos teóricos a los conceptos medibles a través de la propuesta de un complejo método con el que “tras su operativización, transformando los conceptos teóricos en elementos medibles, puede procederse a la creación de indicadores que expresarán la relación y el modo de medición y análisis” (OMSP, 2008, p. 42), proceso último al que han de llegar las preguntas planteadas, pues si no pueden cristalizar en unas respuestas plausibles carecen de interés práctico.

• El Cuestionario para el análisis de evaluabilidad de planes y programas (Instituto Andaluz de Administración Pública [IAAP]), que incluye 61 preguntas fundamentales con las que facilitar “el análisis de las condiciones que permiten que planes y estrategias sean susceptibles de evaluación, es decir, que cuentan con las características necesarias para llegar a ser evaluados” (IAAP, 2019, p. 2).

Y por último se ha acudido a la experiencia directamente adquirida por el propio autor.

• En primer lugar, al realizar su tesis doctoral sobre el seguimiento y evaluación del Plan Especial de Protección del Medio Físico y Catálogo de la provincia de Granada, un seguimiento y evaluación ex post del plan provincial de planificación territorial más antiguo de los actualmente vigentes en Andalucía (1987); lo que permite una amplia retrospectiva de los hechos territoriales sucedidos, si bien dificulta el recuperar los aspectos más cruciales en el inicio del planteamiento del plan.

• En segundo lugar, al haber realizado algunos trabajos profesionales de seguimiento in itinere de plantes territoriales subregionales, destacando el inédito Informe de valoración del grado de cumplimiento del Plan de Ordenación del Territorio de la Aglomeración Urbana de Granada (Secretaría General de Ordenación del Territorio y Sostenibilidad Urbana de la Consejería de Medio Ambiente y Ordenación del Territorio de la Junta de Andalucía [SGOTSU]); plan emblemático en la ordenación territorial andaluza por resultar el más longevo (1999) y el más reiteradamente evaluado (3 veces: Informe de 2003, Informe de 2009 e Informe de 2016); circunstancia que se hacía muy propicia para que desde esta Administración se plantease una revisión en profundidad de la metodología a aplicar en el seguimiento y evaluación de los demás planes territoriales aprobados en la Comunidad Autónoma y que ha permitido al autor obtener denominadores comunes entre los tres informes realizados, así como trazar una línea evolutiva entre ellos.

• Y en último lugar, al haber participado en la evaluación ex ante de un plan comarcal, en concreto en la evaluación ambiental estratégica del Plan Especial de Ordenación de la Vega de Granada (2017), que incorpora un apartado expreso sobre el seguimiento del mismo, así como un preciso sistema de indicadores.

Quíntuple circunstancia que ha permitido indagar tanto en el seguimiento como en la evaluación, en tres tiempos diferentes (ex post, in itinere y ex ante), sobre tres tipos diferentes de ámbitos (regional/provincial, subregional y comarcal) y para tres tipos de planes (generales, parciales y sectoriales).

Así, supuesto que “Las preguntas pueden provenir de la propia comunidad beneficiaria, de los gestores del proyecto o programa o de las autoridades políticas y se suelen plasmar en cinco criterios estándares aprobados por el Comité de Ayuda al Desarrollo: pertinencia, eficacia, eficiencia, impacto y sostenibilidad” (AEC, 2010, p. 38), a continuación se procede a encuadrar las preguntas preliminares planteadas en estos criterios, si bien adaptándolos a la realidad de los planes territoriales. El resultado es que estas se formularán, tal y como se precisa en la Tabla 2, atendiendo a: la fase del Ciclo Vital de las Políticas Públicas en el que se enmarcan, las dificultades que entrañan para ser respondidas, la información que han de aportar, a quién deben dirigirse, la repercusión o el impacto territorial que pueden desvelar, la implicación que tiene en el cumplimiento de los objetivos y las determinaciones del plan o la posibilidad que existe de poder relacionarle indicadores cuantitativos o cualitativos.

Por último manifestar que no cabe duda de que esta batería de preguntas deberá adaptarse al tipo de plan territorial considerado, así como al territorio y la población a la que se dirige, pues las diferencias geográficas y culturales que concurren en cada circunstancia hacen imprescindible mantener en todo momento una cierta fenomenología en su planteamiento. Así, como mínimo “deben adaptarse a los objetos de estudio, a los sistemas de información, los recursos disponibles y las hipótesis planteadas” (Bueno Suárez y Osuna Llaneza, 2013, p. 101). Es por ello que no se pretende presentar una relación maximalista de aspectos a inquirir, sino más bien plantear una batería de preguntas básicas que no deberían pasar desapercibidas al afrontar este tipo de evaluaciones, la cual sería completada y rectificada en sucesivos procesos analíticos y experimentales.

3. Resultados

Siguiendo la sistemática planteada en la metodología, sintetizada en el Gráfico 1, a continuación se presentan algunas de las preguntas preliminares que tanto para el seguimiento como para la evaluación de planes territoriales debería plantearse antes de iniciar su análisis. Así, como puede apreciarse en la Tabla 3, estas se enumeran atendiendo a la etapa del seguimiento y evaluación de planes territoriales que se ha establecido, precisándose cuando corresponde los aspectos a los que afecta.

3.1. Durante la etapa de diseño del plan:

Lo primero que habría que plantearse es la existencia misma de un problema y si ese problema requería de una solución imperiosa, es decir, si el problema se había convertido en una necesidad y para quién era una necesidad; pues a veces estos problemas están solo en la agenda institucional (listado de problemas a los que los decisores públicos sienten la necesidad de dar una respuesta, en principio, independientemente de si la sociedad los siente como problema o no) y no en la agenda sistémica (todos aquellos problemas que lo son en tanto en cuanto la sociedad los comienza a percibir como tales), según la distinción que hace Losada Maestre (2014). Así, una vez tomada la decisión de que el problema es merecedor de atención, de incorporarse a la agenda política, hay que conceptualizar el propio problema, las necesidades surgidas y las soluciones planteadas. Es lo que algunos autores consideran como la parte operativa de la formulación de un plan (López Sánchez, 2014), la cual puede subdividirse a su vez en el análisis de alternativas y la programación y planificación de acciones. “Así, la formulación aporta un análisis de los objetivos fijados, de los medios y recursos necesarios, de las posibilidades de alcanzar los objetivos, de la sostenibilidad de las medidas, del grado de transformación social de cada una, de los grupos objetivos, de los posibles efectos no deseados, etc.” (López Sánchez, 2014, p. 69). Todas estas cuestiones suelen sintetizarse en los diagnósticos de los planes territoriales a través de sus bases, objetivos y estrategias; siendo clave conocer si los objetivos están relacionados adecuadamente con los problemas, necesidades y retos planteados (IAAP, 2019). Por tanto, habrá que preguntar si el diagnóstico contempló convenientemente todos estos aspectos, pues de ello dependerá que el plan naciera viciado o no. Un paso adelante lo supondrá el precisar la viabilidad de estos objetivos y estas medidas, tanto en si eran realistas, como en si estaban debidamente reforzadas con presupuesto, medios, temporización y coordinación con otras iniciativas, ya que de ello suele depender su éxito o fracaso. También interesa saber la difusión dispensada al plan en sus inicios, así como las reacciones que suscitó, sobre todo para justificar posibles problemas de conocimiento y aceptación. Por último, ayuda al seguimiento y evaluación de un plan saber si este ya surgió desde este prisma, es decir, si ya en sus orígenes proponía el ser seguido y evaluado, o no; de ser así, se podría revisar el sistema previsto, ejecutarlo y compararlo con el recién realizado, para extraer conclusiones más allá de su mera repristinación.

3.2. Durante la etapa de implementación del plan:

Durante la implementación del plan es crucial sondear la actitud de los stakeholders (IAAP, 2019), es decir, los responsables, agentes gestores y población a la que se dirige el plan, revelando su nivel de conocimiento, su grado de implicación y haciendo balance de las principales críticas manifestadas al mismo. De ello dependerá la aversión o afección al mismo, su consideración a escala intemporal, inter-escalar, intersectorial e intergubernamental, y en definitiva que sea tenido en cuenta o no en sus acciones cotidianas. También es preciso preguntar por si se están siguiendo los procedimientos prefijados para la implementación del plan y si ha sido necesario improvisar otros procedimientos para atender condiciones sobrevenidas. Por supuesto que confirmar la suficiencia de los recursos empleados, tanto financieros como materiales, humanos y técnicos, será clave, no ya sólo para confirmar el acierto de las previsiones, sino para detectar futuros requerimientos de provisión, cuestión fundamental para seguir garantizando la vigencia del plan. Igualmente interesa saber cómo se incardina el plan con otros planes y políticas públicas. Si ha habido cambios sustanciales tanto en los contenidos del plan como entre los agentes encargados de su gestión, incluyendo oscilaciones políticas de relevancia. Si se ha llevado a cabo algún tipo de seguimiento o evaluación durante el periodo transcurrido desde su entrada en vigor. Si fruto de las mismas o por iniciativa menos fundada se ha pensado en su derogación, sustitución o revisión. Y si todo este camino se ha visto acompañado de un proceso de amplia participación y plena transparencia, ya fuese consignado en el debido Plan de Comunicación o Difusión, ya fuese improvisado a iniciativa de qué parte, pues no hay que olvidar que “la evaluación, en el contexto político actual, aparece ligada a la transparencia democrática, así como a la ya clásica rendición de cuentas” (Gutiérrez Díaz, 2014, p. 103).

3.3. Durante los resultados del plan:

De entrada es preciso discernir entre aquellos resultados que son debidos casi que en exclusividad a las acciones del plan y aquellos otros logros que se han debido más bien a la influencia de factores ajenos al mismo (otros planes, otras políticas públicas, desaparición “natural” del problema, etc.). Seguidamente es preciso determinar cuánta repercusión han tenido las acciones programadas en la consecución de esos resultados, para poder demostrar si obedecen a la lógica planteada en las bases, objetivos y estrategias, o por el contrario han sido fruto de una cierta improvisación afortunada; esto es lo que se denomina resultados esperados y no esperados. Todo ello conduce a un diagnóstico de los resultados obtenidos, en el que será preciso diferenciar a quién afectan fundamentalmente (la población destinataria del plan, sus responsables, sus gestores e incluso entes menos personalizados como el medio ambiente o la sociedad); si los efectos han sido inmediatos o por el contrario han requerido de plazos más o menos dilatados, ya que esta periodicidad puede ayudar a tomar decisiones en cuanto a la prorrogación del plan; y si los efectos han resultado ser directos y concretos o han sido fruto de una concatenación de reacciones, pues ello puede ayudar a precisar la cirugía de la acción y así ahorrar costes a la par que se evitan efectos colaterales indeseados.

3.4. Durante los impactos del plan:

Partiendo de que un plan puede producir más efectos que los resultados obtenidos, la primera cuestión a afrontar es qué habría sucedido de no intervenirse; este es el primer impacto a tener en cuenta, la denominada “alternativa cero”, y que no es otra cosa que una simulación de qué es lo que habría pasado si no se ponen en funcionamiento las acciones del plan. A partir de aquí se pueden ir desgranando los impactos a través de un complejo diagnóstico que ha de tener en cuenta múltiples variables (ambientales, económicas, sociales, políticas, culturales, etc.) y debe concretarse en impactos esperados o previsibles, impactos no esperados o sobrevenidos, impactos positivos e impactos negativos. Con esta última clasificación la evaluación puede proceder a corregir las desviaciones y afecciones del plan, lo que llevará al debate de su derogación, revisión o sustitución.

3.5. Durante la terminación del plan:

Para acabar un plan correctamente y transmitir sus determinaciones a otra planificación o regulación, es fundamental conocer con exactitud cuál ha sido su validez, cuál ha sido su eficacia y eficiencia, así como la percepción y grado de satisfacción que del mismo han tenido entre los administrados y administradores. En cuanto al grado de satisfacción se han desarrollado algunos instrumentos como los análisis de la demanda y grado de satisfacción ciudadana o la recopilación de quejas y sugerencias (Ley Foral 21/2005 de Navarra, capítulos VII y VIII), sin embargo no dejan de ser extrañezas al día de hoy y la mayor parte de las iniciativas de participación pública se concentran en el diseño del plan. Por su parte, la determinación de la validez, eficacia y eficiencia está aún menos desarrolladas,

(…) Parece que la Administración no dedica mucha atención a este aspecto y si hay estudios que hayan analizado esta cuestión no son públicos… En todo caso debe decirse que conocer o medir la eficacia de un plan es una cuestión compleja… [pues] si los objetivos, los valores o los fines son abstractos o poco concretos poco pueden contribuir a medir la eficacia al compararlos con los resultados. Pero aún hay más, la dificultad estriba en que el concepto eficacia en planificación es un concepto vago, que puede ser interpretado de manera distinta, bien como la capacidad del plan de responder a las distintas funciones encomendadas, es decir su rendimiento, o bien como la capacidad de producir el efecto adecuado al problema planteado… El plan no puede juzgarse desde una posición neutra, porque los planes tienen efectos diferenciados sobre los agentes y sobre los grupos sociales, y enjuiciar el plan sólo se puede realizar a partir de los valores de los intereses de cada uno de estos grupos sociales. (Benabent Fernández de Córdoba, 2007, p. 324).

Así pues, como mucho, la Administración se ha limitado a revelar el estado del cumplimiento de objetivos y determinaciones, así como el estado de ejecución de las actuaciones programadas (Norma 163 del Plan de Ordenación del Territorio de Andalucía [POTA]). En definitiva, hay que justificar y fundamentar muy bien la terminación de un plan para cerrar con el pasado y abrir las puertas del futuro, aunque lamentablemente esto resulte poco frecuente.

3.6. Durante el reciclaje del plan:

Teniendo en cuenta que un plan puede concluirse o puede prorrogarse, y que en este último caso puede actualizarse, modificarse o revisarse, según la nomenclatura fijada en el marco teórico de este trabajo, cabría preguntarse qué opción es la más conveniente para el mismo. Para ello es clave calibrar la repercusión que el plan tiene no solo sobre el territorio y las cuestiones que planifica y regula, sino también sobre el resto de regulaciones y planificaciones con las que se relaciona, a fin de evitar vacíos, obsolescencias o contradicciones. Solo indagando en ello se podría reciclar un plan territorial que, como es sabido, suele ser enorme y complejamente interdependiente con otras políticas.

Nota aclaratoria: PEPMFC (Informe de seguimiento y evaluación del Plan Especial de Protección del Medio Físico y Catálogo de la provincia de Granada). POTAUG´03, POTAUG´09 y POTAUG´12 (Informe de valoración del grado de cumplimiento del Plan de Ordenación del Territorio de la Aglomeración Urbana de Granada de 2003, 2009 y 2016 para el Informe de Seguimiento del mismo). PEOVG (Evaluación ambiental estratégica del Plan Especial de Ordenación de la Vega de Granada).

4. Discusión de resultados

4.1. Durante la etapa de diseño del plan:

Con la veintena de preguntas planteadas para esta etapa se puede proceder a la evaluación del diseño del plan. Sin embargo, conviene advertir que responder a estas cuestiones puede resultar complejo, especialmente cuando ha transcurrido un importante periodo de tiempo o han cambiado el staff político y los gestores, ya que se habrá perdido la perspectiva que entonces y aquellos tuvieron sobre el problema. De todas formas, muchas de estas preguntas se pueden entrever de la lectura del propio plan y su expediente administrativo, cuestión que si se pasa convenientemente por el matiz de la temporalidad y la ideología predominante en su momento puede ayudar a responderse.

Como ha podido apreciarse, es muy importante que exista una adecuada concatenación de fundamentos (considerar primero los problemas, luego las necesidades, las soluciones, los objetivos, los instrumentos y medidas de intervención, los medios, la difusión, y los pronunciamientos, para concluir finalmente con el seguimiento y la evaluación del plan), pues cualquier salto en esta secuencia podría dar lugar a deficiencias en su análisis, así se hace constar en la innovadora Ley Foral de Navarrra 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos, cuando sostiene que “Las evaluaciones de las políticas públicas podrán versar, entre otros, sobre los siguientes extremos: a) Problemas detectados y problemas que se pretenden resolver. b) Objetivos que se pretenden conseguir. c) Resultados alcanzados. d) Relación entre los tres elementos anteriores” (artículo 10). De seguido, es preciso atender a si estos pasos fueron debidamente identificados y si se conceptualizaron correctamente, pues a veces se confunden problemas con necesidades o soluciones con objetivos, por poner solo unos ejemplos. Y por último es muy importante concretar lo más precisamente las circunstancias de cada problema, necesidad, solución, objetivo o medida previstos, para determinar si estuvieron bien fundamentados. Así pues, la información que aporta el seguimiento y evaluación del diseño del plan puede resultar crucial para detectarle defectos de origen, de formulación; igualmente, “facilita la fiabilidad y validez de las conclusiones y, además, permite extraer indicaciones valiosas en relación con las metodologías y los resultados obtenidos en la implementación de políticas o planes anteriores… [así como] validar el modelo de intervención diseñado” (OMSP, 2008, p. 20).

En cuanto a quién deberían dirigirse estas preguntas, resulta evidente que habría que planteárselas a los que en su día incorporaron la formulación del plan a la agenda política del momento, hecho que no siempre será posible porque, como se dijo anteriormente, cuando haya pasado mucho tiempo puede que se difuminen los motivos, cabe la posibilidad de que los responsables hayan cambiado o que simplemente ya no quieran colaborar en el recuerdo de aquella etapa. No obstante, y en su defecto, la versión que puedan aportar los presentes protagonistas será muy útil para determinar la evolución del problema, su vigencia, cambio de orientación o definitiva desaparición, y entiéndase como protagonistas tanto los actuales gestores del plan como la población afectada.

La repercusión y el impacto que pueda ser atribuible al diseño del plan está muy relacionada con esa concatenación de fundamentos de la que se hablaba antes. De esta manera, es muy posible que al haber dejado atrás un problema esto tenga mucho que ver con que no se haya resuelto, lo cual estaría dentro de lo esperable. Pero a veces se producen impactos, positivos o negativos, totalmente inesperados y que se fundamentan en una imprecisión en el proceso de diseño del plan. El mejor ejemplo lo suele suponer la disposición de medios para cumplir las medidas previstas, que por regla general resultan insuficientes o son manifiestamente ficticios. Así pues, con el planteamiento de estas preguntas se pueden revelar algunos de estos impactos, en cierta forma “imprevistos” o “inadecuadamente previstos”. Ahora bien, cuando estos impactos se deben a condiciones que han sobrevenido después del diseño del plan, es necesario realizar un estudio específico de esas condiciones sobrevenidas para revelar la relación entre el impacto y las nuevas circunstancias. Este sería el caso, siguiendo el ejemplo antes expuesto, de la aparición de nuevas partidas de medios distintas a las previstas inicialmente para sufragar los costes de las medidas planteadas, que en apariencia pudieran hacer suponer que tales medidas estuvieron bien provistas, pero la realidad es que debieron ser revisadas precisamente por una deficiencia en su cuantificación.

La implicación en el cumplimiento de los objetivos y determinaciones del plan de las cuestiones abordadas durante esta fase de diseño no serán tan relevantes como la de otras fases, caso de la implementación. Sin embargo, en algunas circunstancias ha resultado clave. De esta manera, cuando se pregunta si el plan contó con una correcta divulgación, en realidad lo que se está haciendo es reflexionar sobre el hecho de que los objetivos y determinaciones del plan no se hayan cumplido por desconocimiento, no ya sólo de la población, sino incluso de sus propios gestores. El caso más gravoso sería aquel en el que los planteamientos del plan no llegan a buen puerto simplemente por error de tramitación durante su diseño —caso del Plan de Protección del Corredor Litoral de Andalucía, anulado por aprobarse con un gobierno en funciones, o de los Planes Especiales de Protección del Medio Físico de las provincias andaluzas, carentes de vigencia por no publicarse su normativa hasta 20 años después de su aprobación—.

Por último, la posibilidad de relacionar estas primeras indagaciones a un sistema de indicadores prefijado resulta ciertamente difícil pero no imposible. Por ejemplo, podría ser medible la programación establecida para los objetivos, determinándose si se han cumplido los plazos y las prioridades; los medios inicialmente previstos podrían valorarse, tanto confirmándose si efectivamente se han invertido como si han cambiado los precios o costes unitarios a lo largo del tiempo; y la previsión de compatibilidad del plan con otras políticas, planes o programas se puede cotejar comprobando que efectivamente estos otros no contradicen las determinaciones ni las propuestas del plan en cuestión.

4.2. Durante la etapa de implementación del plan:

Con las dieciocho preguntas propuestas se puede hacer un seguimiento y se puede evaluar la implementación de un plan territorial. Algunas preguntas son más fáciles de responder que otras, y sobre todo algunas preguntas son menos costosas que otras —por ejemplo, es menos gravoso inquirir a los responsables o agentes gestores que a la población, que generalmente requiere un muestreo mucho más amplio, fundamentalmente a los principales agentes sociales (representantes de equipos redactores de planes, de promotores, de colegios profesionales, de colectivos proteccionistas, etc.)—. Particularmente dificultosos resultan los cálculos sobre la suficiencia de los recursos empleados, lo que con frecuencia requiere la intervención de un especialista (economistas, laborales, etc.), la elaboración de complejas memorias económicas (estudio económico financiero, informe de sostenibilidad económica, etc.) y la constante actualización de los costes; costes que cuando son monetarios se pueden precisar con cierto grado de exactitud, pero que cuando son humanos tienen sus imprecisiones, por cuanto que entran en juego factores más estrictamente psicológicos como el compromiso, la implicación, la satisfacción, etc.

La información que pueden aportar estas preguntas se centra en la responsabilidad que cada agente (políticos, gestores y población) ha jugado en la implementación del plan, así como en la repercusión de los medios empleados. Así, el grado de cumplimiento de las determinaciones del plan depende no sólo de sus gestores, sino también del grado de aceptación de la sociedad a la que se dirige y de la disponibilidad que ofrezca el staff político para el mantenimiento de su vigencia, pues sin la coparticipación de alguno de ellos el plan podría fracasar. Igual sucede con las adaptaciones y variaciones que se van sucediendo desde su aprobación, que también requiere de la mutua aceptación por todas las partes implicadas. La cuestión de las adaptaciones/variaciones es muy interesante de valorar, ya que aquel plan que haya cambiado un importante número de planificaciones o legislaciones adquirirá el rango de plan influyente y transversal, mientras que aquel otro que reiteradamente haya tenido que reformularse por incidencia de otros planes o legislaciones deberá ser considerado como plan colateral o subsidiario. Finalmente, preguntar por cuestiones de balance durante esta etapa es crucial para las etapas posteriores, ya que permitirá contar con información de primera mano de la evolución del plan; así, si se ha practicado algún tipo de seguimiento, evaluación, inventario de cambios sustanciales, difusión o planteamiento de derogación, sustitución o revisión durante su implementación debe ser inmediatamente recogida, pues resultará de vital importancia para los informes de seguimiento o de evaluación que se hagan con posterioridad, detectándose los vaivenes que ha tenido la vida activa del plan y aquellos aspectos a los que ha resultado más vulnerable.

En lo que concierne a quién deberían dirigirse las preguntas, siempre es muy conveniente empezar a distinguir entre staff político, responsables o gestores del plan, población directamente afectada y población en general. El staff político es el que tiene mayores obligaciones con la ejecución del plan, pues del grado de éxito de sus políticas prácticamente depende su subsistencia, su responsabilidad social pública o gubernamental, e incluso, en algunos casos, su responsabilidad penal. Los gestores tienen, además de esta responsabilidad, el compromiso deontológico y su propia calidad laboral. Por su parte, es preciso hacer distinción entre la población directamente afectada y el resto, por cuanto que cambian los niveles de información y opinión sobre el plan, pudiéndose dar el caso, como sucede en muchas ocasiones, que el interés particular choca frontalmente con el colectivo. En otro sentido, uno de los aspectos más polémicos es si estas preguntas se pueden plantear para testar el estado del medio físico, pues a decir de algunos ecólogos y ambientalistas (Hernández del Águila, 1985), el medio, la naturaleza, responde a nuestras demandas con hechos y manifestaciones sutilmente leíbles. En esta ocasión se ha preferido delegar esta cuestión en los resultados e impactos del plan, donde debería abordarse esa hipotética respuesta del medio a las determinaciones y acciones del plan.

Las indagaciones practicadas durante el estudio de la implementación del plan tienen como primer hito valorar los reparos que los responsables, gestores y población en general han planteado al mismo durante su periodo de vigencia, circunstancia que en determinados casos pueden testarse a través de una unidad responsable de la gestión de quejas y sugerencias dentro de la propia administración, como recoge la propia Ley Foral de Navarra 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos (Capítulo VIII). En estos reparos se fundamentan muchos de los cambios sufridos por el plan durante su implementación; cambios que suelen dar lugar a resultados no previstos y a impactos no esperados inicialmente. Una queja habitual por parte de los responsables y gestores es que las instrucciones para el cumplimiento de las determinaciones del plan no son claras ni precisas, o que estas no se han difundido todo lo que se debiese entre el distinto personal y estamentos implicados. Esto suele traducirse en una ejecución de las iniciativas del plan con un bajo índice de control y, lo que es peor, a veces incurriendo en contradicciones con las estipulaciones del plan. Cuando así sucede, se crea cierta confusión para el resto de agentes implicados, promotores y ciudadanía, que encuentran en los pronunciamientos de la Administración falta de unanimidad de criterio. Por su parte, promotores y población en general reciben el impacto de la burocratización de los trámites, las restricciones a sus acciones y en general la afección a sus intereses personales, cuestión que no por sabida debe ser desdeñada.

Por último destacar la repercusión que la articulación del plan tiene en referencia a otros planes, normas o políticas; a veces los planes se articulan convenientemente con la planificación existente, pero no siempre ha sido así y en ocasiones han surgido discrepancias que han llevado al pleito entre distintas administraciones en defensa de sus competencias o entre la administración y la ciudadanía afectada en defensa de sus intereses. Fruto de esta articulación suelen ser las actualizaciones, modificaciones e incluso revisiones por la que pasan los planes más duraderos, siendo este el principal impacto que puede recibir un plan, ya que puede suponer su transformación parcial o incluso su sustitución o derogación.

En cuanto a la implicación en el cumplimiento de los objetivos y determinaciones del plan, la implementación es crucial. Según se gestionen las acciones propuestas se cumplirá o no con lo previsto, ya que los problemas que pueden surgir en la arrancada y el mantenimiento de una propuesta serán claves para lograr su plena efectividad. Así pues, en la etapa de implementación de un plan es donde se construye su cumplimiento, luego distintos avatares y condiciones sobrevenidas concretarán el sentido de este cumplimiento, pero el momento de la acción es éste, y de él depende no sólo su éxito, sino incluso su viabilidad.

En última instancia la posibilidad de relacionar indicadores a la etapa de implementación es manifiesta por cuanto que ya en este momento de las políticas públicas se pueden hacer seguimientos y evaluaciones in itinerem, durante su vigencia, con el fin de corregir las desviaciones que hubieran surgido durante el proceso de gestión. Sin embargo estos indicadores deben ser lo suficientemente flexibles e inmediatos como para corregir prácticamente en tiempo real estas desviaciones, por lo que no deberían resultar extremadamente complejos de obtener. Así pues, estos indicadores suponen “instrumentos para la observación continua de los progresos y el ajuste de las actuaciones para alcanzar mejores resultados” (OMSP, 2008, p. 20).

4.3. Durante la etapa de resultados e impactos del plan:

Preguntarse sobre los resultados alcanzados, la distribución de los efectos o los impactos que se han constatado y sectores sobre los que se han producido ya se reconoce en la que fuese la primera legislación española sobre evaluación de las políticas públicas (artículo 10 de la Ley Foral de Navarra 21/2005). Pero hay que advertir que aunque es en esta etapa cuando menos impedimentos se tienen para contestar a las preguntas planteadas, sin embargo es cuando más complejas se vuelven las respuestas. Los impedimentos son pocos porque basta con la decisión del responsable y la capacitación del evaluador para responder a las preguntas. Pero la complejidad es tal que es quizás la etapa en la que el evaluador debe emplearse más a fondo. Para contestar a muchas de estas preguntas se requiere de un importante ejercicio de abstracción, ya que muchas de las respuestas se encuentran ocultas o son difícilmente deducibles a primera vista (resultados o impactos no esperados por deberse a circunstancias sobrevenidas desde la aprobación del plan, incidencia de factores externos como la entrada en vigor de nuevas legislaciones o planificaciones, etc.), o bien requieren de un mayor esfuerzo de conceptualización (efectos inmediatos, como los sucedidos en un determinado corto plazo de tiempo a fijar desde la entrada en vigor de las determinaciones del plan; efectos directos, como los que en la relación causa-efecto es manifiestamente palpable; efectos concretos, como los que se cumplen certeramente y sin apenas efectos secundarios; incardinación con los objetivos y acciones planteados, cuando guardan una estrecha relación entre los objetivos, acciones y resultados obtenidos; etc.). En consecuencia, hay que ser muy precisos, conocer muy bien la sistemática y tener un amplio conocimiento holístico para dar contestación a una serie de cuestiones que, con frecuencia, superan las especialidades disciplinarias.

La información que aportan estas etapas suelen ser las más determinantes del seguimiento y evaluación, pues de ellas depende en gran medida lo que pase con posterioridad con el plan, hasta el punto de que con unos resultados pobres y unos impactos negativos muy altos con frecuencia la terminación del plan suele ser inminente (tal y como ha podido constatar el autor en los planes evaluados). Es por ello por lo que es tan importante distinguir entre resultados e impactos esperados y no esperados, y entre resultados e impactos positivos y negativos. La conclusión de esta matriz será el instrumento fundamental que servirá para decidir si acabar con un plan o prorrogarlo, y en qué condiciones.

Precisamente por esta abstracción y conceptualización de la que antes se hablaba, en esta etapa las preguntas se dirigen hacia el propio evaluador, que podrá recabar la opinión de los demás agentes implicados, pero que al final será él mismo quien habrá de encasillar si un determinado resultado o impacto ha sido esperado o no esperado, positivo o negativo, caso de no existir un sistema de indicadores previamente establecido.

Como podrá entenderse, la repercusión que los resultados e impactos son capaces de revelar es total. Esta es la esencia misma del seguimiento y evaluación de planes territoriales y así es comúnmente admitido, hasta el punto que las principales evaluaciones territoriales trabajadas en nuestro entorno llevan por nombre la Evaluación de Impacto Ambiental y la Evaluación de Impacto Territorial, muestra significativa de qué es lo que se pretende: evaluar los resultados e impactos de una determinada intervención.

La implicación en el cumplimiento de objetivos y determinaciones es alta, en especial cuando se trata de resultados e impactos esperados y positivos. Sin embargo, los resultados e impactos no esperados y negativos adquieren tal envergadura que aquellos pasan a un segundo plano frente a éstos, pues lo que ya interesa de verdad no es tanto que se haya cumplido con lo previsto entonces, como valorar si la situación actual requiere de otras intervenciones.

Por último, relacionar indicadores a los resultados e impactos es muy oportuno porque ayudan a detectar buena parte de los hechos no esperados, mientras confirma los esperados. Mas si en su día estos no se previeron, cómo podrían haberse anticipado indicadores al respecto. Es por ello que en esta etapa prevalece la capacidad interpretativa del evaluador más que cualquier otra fuente de información, no obstante:

(…) cuando los resultados y efectos directos e indirectos son observables, los datos de indicadores obtenidos durante la fase anterior sirven de datos de referencia para analizar una comparación entre lo esperado y lo observado. Esta nueva información permite a los/as responsables y agentes gestores/as reajustar metas y el propio sistema de indicadores. (OMSP, 2008, p. 20)

4.4. Durante la etapa de terminación y reciclaje del plan:

La dificultad de las preguntas que se plantean durante estas etapas radica más que en ser contestadas en sí misma, en ofrecer unos resultados concluyentes, claros y concisos, a partir de los cuales quienes tienen que decidir si prolongar o finiquitar el plan puedan pronunciarse con fundamento. Fijar la validez de los distintos aspectos internos que conforman el plan requiere de un importante esfuerzo sintético y valorativo, normalmente traducido en un informe de seguimiento, un informe de evaluación o una Memoria de Gestión del Plan (Norma 163 del Plan de Ordenación del Territorio de Andalucía [POTA]), dependiendo del caso y del encargo, en el que hay que tener en cuenta no solo el momento de la evaluación sino también el recorrido del plan y los logros adquiridos por este a lo largo de su vigencia. Es el momento de plantearse si “¿Los planes son efectivos?, ¿En qué aspectos no están funcionando?, ¿Cuáles son las dificultades de aplicación?, ¿Por qué? (Benabent González de Córdoba, 2007). Es por ello que durante estas etapas es clave contar con la participación de varios evaluadores que permitan obtener distintas ópticas y distintos pareceres, lo que puede hacerse a través de la incorporación de sus distintas versiones en el mencionado informe de seguimiento o informe de evaluación, o bien encargando varios de estos informes con los que llevar a cabo un careo entre ellos, ya sean internos, como proponen algunos autores (Ferrao y Mourato, 2011), ya sean externos, como apuestan otros (Serrano Rodríguez, 2011).

Uno de los principales aspectos que han de destacar estos informes es la eficacia y la eficiencia del plan. De ello dependerá, en buena medida, que se tome la decisión de que el plan se termine ahí, o de que se prorrogue su vigencia y las condiciones en las que esta prórroga debe llevarse a cabo —dejándolo tal cual o redefiniéndolo a través de su simple actualización, modificándolo en aquellos aspectos que lo requieran o revisándolo íntegramente si es necesario que siga vigente pero sometiéndose a una profunda transformación—. Al margen de este fin, la determinación de la eficacia y eficiencia del plan contará como una experiencia de gran valor para la formulación de sucesivos planes.

Como puede argüirse de la propia formulación de las preguntas, quien ha de responderlas son: por un lado, la ciudadanía, que habrá de contestar a cuestiones de percepción del plan, así como de grado de satisfacción respecto a las expectativas creadas, distinguiéndose, si es posible, entre población directamente afectada y población no afectada directamente, pues sus respuestas diferirán; para ello se pueden emplear estudios de análisis de la demanda y de evaluación de la satisfacción de los usuarios con respecto a sus servicios, utilizando para ello técnicas de investigación cualitativas y cuantitativas, tal y como precisa la propia Ley Foral de Navarra 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos (Capítulo VII). El staff político, que valorará si ha mejorado la situación de partida o incluso si le presta rédito electoral. Y los responsables y gestores, que deben expresar los quebraderos de cabeza que le han dado y cómo deberían evitarse, además de los problemas que le han supuesto en relación con sus superiores (el staff político) y los administrados (la ciudadanía), con los que siempre deben congraciarse. El cuestionario se puede ampliar a otros profesionales como los redactores de planes o los promotores de actuaciones, en el primer caso para obtener la valoración que recibe el plan en comparación con otros planes similares, y los segundos para intentar ver de qué manera se articularían mejor sus iniciativas sin contravenir las determinaciones del plan.

Los impactos que las preguntas son capaces de revelar durante esta etapa son tan variados como las causas que justifican qué hacer con el plan a partir de la evaluación. Pero si hubiera que resumirlos en alguna categoría haría referencia a la efectividad del plan, a si se han logrado unos resultados eficaces con costes eficientes, o todo lo contrario. Siempre se va a valorar mejor la eficacia, la consecución de los objetivos planteados, pero también hay que tener en cuenta a que coste se han logrado y si este coste está en relación con las mejoras conseguidas. También hay que tener en cuenta que lograr objetivos no es solo cumplir los inicialmente previstos, sino también haber sido capaces de adaptarse a las condiciones sobrevenidas y, sobre todo, recibir una percepción favorable por parte de los distintos agentes implicados.

En consecuencia, es quizás aquí donde un sistema de indicadores adecuado cobra mayor repercusión. Este no solo ayudará a cuantificar las conclusiones, tan importantes de exponer como se ha visto, sino que además coadyuvará a la exportación de la experiencia del plan, ya sea para someterlo a debates científicos sobre sí mismo, ya sea para que sirva de aprendizaje para otros planes.

4.5. Aplicación de las preguntas preliminares en los planes analizados:

Para comprobar estos resultados, las citadas preguntas se han aplicado a la evaluación de tres planes territoriales realizados por un equipo interdisciplinar que encabezaba el autor (el Plan Especial de Protección del Medio Físico y Catálogo de la provincia de Granada, el Plan de Ordenación del Territorio de la Aglomeración Urbana de Granada y el Plan Especial de Ordenación de la Vega de Granada), constatándose su funcionamiento; funcionamiento que deberá ser ratificado, modificado o refutado por la comunidad científica y los profesionales en la materia con base en sus propias experiencias, pero que a grandes rasgos ofrece los siguientes resultados:

• En cuanto a la diferenciación entre seguimiento y evaluación: Los seguimientos (POTAUG 2003, 2009 y 2016) han resultado contener menos preguntas de las formuladas que las evaluaciones (PEPMFC y PEOVG), particularmente a partir de la etapa de Diseño. Se intuye que ello puede deberse a que las evaluaciones intentan profundizar más en las causas y consecuencias que los seguimientos, así como en la repercusión que el plan ha tenido o está teniendo.

• En cuanto a la diferenciación entre el momento del seguimiento o evaluación: El ex ante (PEOVG) es el que más preguntas parece contener, seguido de cerca por el ex post (PEPMFC) y a distancia por el in itinere (POTAUG 2003, 2009 y 2016). En parte ello se debe a que cuanto más reciente ha sido el seguimiento o evaluación, más atención se ha prestado a estos asuntos, constatándose por tanto una cierta evolución en el planteamiento de las preguntas propuestas. Igualmente se infiere que en los informes intermedios se dispone de menos capacidad de maniobra para formular determinados tipos de preguntas, singularmente los que tienen que ver con el sondeo de opinión y los recursos empleados, toda vez que al estar en pleno funcionamiento el plan estos son datos difíciles de recopilar y por tanto no suele preguntarse por ellos de manera exhaustiva.

• En cuanto a la diferenciación entre el tipo de ámbitos: Difícilmente se pueden obtener conclusiones claras al respecto, pues aunque se supone que a mayor ámbito mayor complejidad para responder preguntas y por consiguiente se deberían formular menos preguntas, lo cierto es que en el análisis realizado no se puede ratificar este extremo, pues si bien el ámbito más reducido, el comarcal del PEOVG, es el que más preguntas contiene, a él le sigue el ámbito más extenso, el regional/provincial del PEPMFC, en vez del subregional del POTAUG, que resulta ser el más parco.

• En cuanto a la diferenciación entre el tipo de plan: Al igual que en el caso anterior, con los casos analizados no se puede concluir diferencias entre planes generales (PEPMFC), planes parciales (POTAUG) y planes sectoriales (PEOVG). Se presupone que los sectoriales pueden afinar más al presentar sus interrogantes, pero también es cierto que tienen algunos hándicaps, como el hecho de no poder concluir si los resultados o impactos son debidos al propio plan o a otras iniciativas, lo que les pudiera cohibir a la hora de interpelar en este sentido.

5. Conclusiones

Recapitulando, de la etapa de diseño hay que recuperar los principios que inspiraron el plan para comprobar si estos siguen siendo una prioridad hoy; de la etapa de implementación es clave indagar en los problemas y dificultades que surgieron durante su gestión para corregirlos, si procede; de la etapa de resultados e impactos hay que poner en una balanza si los resultados e impactos positivos compensan los negativos; y de la etapa de terminación y reciclaje es crucial presentar un informe de seguimiento o de evaluación en el que determinar la eficacia y eficiencia del plan para decidir su prorrogación o no y, en caso de prorrogarse, en qué condiciones.

Así pues, asumida la factibilidad y la conveniencia de realizarle procesos de seguimiento y evaluación a los planes territoriales, tal y como se hace en otras políticas públicas —estas con un proceder bastante consolidado ya—, se ha propuesto una batería de preguntas con las que arrancar estos procedimientos, supuesto que no se tiene constancia de que exista una sistemática prevista, ni siquiera de que haya una homogeneización de criterios al respecto, más allá de la precisión que de los contenidos que han de tener las evaluaciones se hace en la Ley Foral 21/2005, de 29 de diciembre, de evaluación de las políticas públicas y de la calidad de los servicios públicos de Navarra.

Del chequeo practicado a los tres planes territoriales, que en total suman cinco informes de seguimiento/evaluación, se constata que varias preguntas preliminares son comunes y están presentes en diferentes tipos de planes, con especial coincidencia en los casos del PEPMFC y el PEOVG. En cuanto a las etapas, existe una manifiesta presencia de las preguntas planteadas especialmente durante el diseño y el reciclaje de los planes, lo que hasta ahora parece haber interesado más a las administraciones competentes; mientras que en las demás etapas (implementación, resultados, impactos y terminación) se infiere una clara diferenciación entre las evaluaciones, más completas, y los seguimientos, con menos presencia de estas preguntas. Similares circunstancias suceden con el momento del seguimiento/evaluación, dándose el caso de que tanto en los ex ante como en los ex post se suelen plantear más preguntas que durante los in itinere, pudiendo deberse esto a que los seguimientos/evaluaciones intermedias requieren de más inmediatez que las iniciales y finales por cuanto que sus resultados quedarán rápidamente desfasados por el paso del tiempo.

Así pues, las preguntas más reiteradas han sido las que guardan relación con: el certero diagnóstico de los problemas que motivaron el plan, la idoneidad de las soluciones y objetivos planteados para resolver esos problemas, la eficacia de los instrumentos y medidas previstos para desarrollar los correspondientes objetivos, la correcta gestión del plan, la compatibilidad con otras normas o planificaciones, y los resultados obtenidos sobre todo en cuanto al medio físico.

Como ha podido comprobarse en el análisis practicado, existen algunas carencias, pero estas no restan validez a la lista de cuestiones preliminares planteadas, sino que muestra la heterogeneidad de las evaluaciones actuales y la necesidad de completar las metodologías que se están empleando, lo que requeriría de un mayor estudio de casos. No obstante, se reitera que esta es una primera aproximación al estado de la cuestión, a expensas de trabajos más específicos. Igualmente, hay que considerar que aunque no se expone cómo deberían contestarse estos interrogantes, solo con el planteamiento mismo de estas preguntas ya se estaría haciendo una labor evaluadora en sí misma; si bien, efectivamente, esta debería desarrollarse con una metodología y una práctica que deberían ser, también, motivo de investigación y desarrollo en el futuro.

Lo más importante ahora es que con el inédito planteamiento de estas preguntas, distribuidas por etapas —etapas que se relacionan directamente con el ciclo vital de las políticas públicas en el que ya existe un amplio consenso científico—, cualquier evaluador de planes territoriales podría emprender el análisis de un plan en vigor y reflexionar sobre sus éxitos y fracasos, para a partir de ahí facilitar la decisión de sus responsables de prorrogarlo, modificarlo o caducarlo.

Pero estas preguntas no atienden solo a las necesidades de los responsables de planes territoriales, sino que van más allá y responden a las inquietudes que el staff político tiene sobre la repercusión que el susodicho plan tiene para sus intereses a la hora de legitimar su actuación y generar confianza; responden a las demandas de seguridad jurídica que reiteradamente reclaman los gestores de estos plantes, nada propicios a las ambigüedades y muy partidarios de evitar cualquier tipo de conflicto; y dan cumplida respuesta a la población en general, ya que se hacen eco de la percepción que tienen sobre el plan, las expectativas creadas, sus principales reparos, el grado de aceptación que recibe y la satisfacción que les depara.

Ítem aparte, la consolidación de un procedimiento de seguimiento y evaluación de planes territoriales, el cual necesariamente tendría que pasar por esta primera fase del planteamiento de preguntas de partida, podría suponer un hito para la comunidad científica por cuanto que permitiría realizar análisis comparados inter-planes; información clave para corregir la planificación territorial vigente, orientar la futura e, incluso, revelar el estado de cada espacio ordenado en relación con lo previsto para él.

En suma, las preguntas aquí planteadas, las cuales se han sometido a un primer análisis de dificultades, potencialidades, viabilidad, eficacia y calibrado, han de cumplir la función de dinamizar el seguimiento y evaluación de planes territoriales, en línea con lo que está sucediendo con otras políticas públicas, primero para mantenerse a la vanguardia epistemológica del seguimiento y evaluación de políticas públicas, segundo para instaurar en la Administración iniciativas tan loables como la transparencia, la presentación de resultados y la rendición de cuentas, y tercero para mejorar los resultados y aceptación de los planes, así como de la propia política de Ordenación del Territorio.

Referencias

Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios (AEC), (2010). Fundamentos de evaluación de políticas públicas. Madrid: Ministerio de Política Territorial y Administración Pública, Gobierno de España.

Benabent Fernández de Córdoba, M. (2007). Los planes de Ordenación del Territorio en España. De la Instrumentación a la Gestión. En Actas del V Congreso Internacional de Ordenación del Territorio. Málaga: FUNDICOT.

Benabent Fernández de Córdoba, M. (2014). Introducción a la teoría de la planificación territorial. Sevilla: Universidad de Sevilla.

Benabent Fernández de Córdoba, M. (2016). Teorías de la planificación territorial: métodos de decisión. Ciudad y Territorio. Estudios Territoriales, XLVIII(189), 353-368.

Bueno Suárez, C. y Osuna Llaneza, J.L. (2013). Reflexiones epistemológicas y metodológicas para la evaluación de políticas públicas. Andamios, Revista de Investigación Social, 10(21), 95-117. https://doi.org/10.29092/uacm.v10i21.300

Comisión Europea. Estrategia Territorial Europea Hacia un desarrollo equilibrado y sostenible del territorio de la UE (1999). Recuperado de http://ec.europa.eu/regional_policy/sources/docoffic/official/reports/pdf/sum_es.pdf

Comisión Europea. La gobernanza europea - Un Libro Blanco, COM (2001) 428 final-Diario Oficial C 287 de 12.10.2001 EUR-Lex - l10109 - EN - EUR-Lex § (2001). Recuperado de http://eur-lex.europa.eu/legal-content/ES/TXT/?uri=LEGISSUM%3Al10109

Comisión Europea. Europa 2020. Una estrategia para un crecimiento inteligente, sostenible e integrador, /* COM/2010/2020 final */ § (2010). Recuperado de http://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex:52010DC2020

Comité de las Regiones. Libro Blanco del Comité de las Regiones sobre la Gobernanza Multinivel (2009). Recuperado de http://cor.europa.eu/en/activities/governance/Documents/CoR%27s%20White%20Paper%20on%20Multilevel%20Governance/ES.pdf

Consejo de Europa. (1983). Carta Europea de Ordenación del Territorio. Presentado en Conferencia Europea de Ministros Responsables de la Ordenación del Territorio, Torremolinos (España). Recuperado de https://alojamientos.uva.es/guia_docente/uploads/2013/474/46059/1/Documento37.pdf

Corbin, J.M. & Strauss, A. (1990). Grounded theory research: Procedures, canons, and evaluative criteria. Qualitative Sociology, 13(1), 3-21. https://doi.org/10.1007/BF00988593

ESPON. (2013). Territorial Impact Assessment of Policies and EU Directives. A practical guidance for policymakers and practitioners based on contributions from ESPON projects and the European Commission. Recuperado de https://www.espon.eu/topics-policy/publications/guidance/territorial-impact-assessment-policies-and-eu-directives

ESPON 2.3.1. (2007). Application and effects of the ESDP in the Member States. Recuperado de https://www.espon.eu/topics-policy/publications/guidance/territorial-impact-assessment-policies-and-eu-directives

ESPON 2.4.2. (2006). Integrated analysis of transnational and national territories. Final Report. Recuperado de https://www.espon.eu/sites/default/files/attachments/fr-3.2_final-report_vol1.pdf

ESPON 3.1. (2004). Integrated tools for European spatial development. Final Report. Recuperado de https://www.espon.eu/sites/default/files/attachments/fr-3.2_final-report_vol1.pdf

ESPON 2020. (2018). The territorial dimension of future policies. Working Paper. Recuperado de https://www.espon.eu/future-policies

Faludi, A. (2004). Las tradiciones de planificación territorial en Europa: su papel en el proceso de la Estrategia Territorial Europea (ETE). En J. Farinós Dasí y J. Romero (Coords.), Ordenación del territorio y desarrollo territorial: el gobierno del territorio en Europa (pp. 17-44). Ediciones Trea.

Farinós Dasí, J. (2011). De la Evaluación Ambiental Estratégica a la Evaluación Territorial: ¿Camino de ida y vuelta?. En J. Farinós Dasí (Ed. y Coord.), De la Evaluación Ambiental Estratégica a la Evaluación de Impacto Territorial: Reflexiones acerca de la tarea de evaluación (pp. 17-34). Valencia: Publicaciones de la Universidad de Valencia.

Ferrao, J. y Mourato, J. (2011). Evaluación y ordenación del territorio en Portugal: de exigencia legal a fuente de aprendizaje político y de innovación institucional. En J. Farinós Dasí (ed. y coord.), De la Evaluación Ambiental Estratégica a la Evaluación de Impacto Territorial: Reflexiones acerca de la tarea de evaluación (pp. 471-498). Valencia: Publicaciones de la Universidad de Valencia.

Garrido Clavero, J. (2017). La incidencia de las políticas públicas en las transformaciones territoriales: el PEPMFC de la provincia de Granada (Tesis doctoral inédita). Universidad de Granada. TESEO.

Garrido Clavero, J. y Sánchez del Árbol, M.A, (2018). Evaluación del Plan de Protección del Corredor Litoral de Andalucía en la provincia de Granada. Cuadernos Geográficos, 57, 110-131. https://doi.org/10.30827/cuadgeo.v57i1.5529

Garrido Clavero, J. y Soto Rueda, J.M. (2019). El decano de la planificación territorial en Andalucía: Seguimiento y evaluación del PEPMFC para la provincia de Granada. En Actas del IX Congreso Internacional de Ordenación del Territorio. Santander: FUNDICOT.

Gutiérrez Díaz, E. (2014). La evaluación de las políticas públicas. En G. Pastor Albaladejo (Ed.), Teoría y práctica de las políticas públicas (pp. 101-128). Valencia: Tirant Lo Blanch.

Hernández del Águila, R. (1985). La crisis ecológica ¿De dónde viene, a dónde nos conduce?. Barcelona: Laia/Divergencias.

Herrador Lindes, I. y Martín Mesa A. (2010). Evaluación y planificación estratégica territorial. En A. Martín Mesa y R. Merino Rodríguez (Dirs.), Planificación Estratégica Territorial: Estudios Metodológicos (pp. 117-134). Sevilla: Consejería de Gobernación. Junta de Andalucía.

Hildenbrand Scheid, A. (1996). Política de ordenación del territorio en Europa. Sevilla: Universidad de Sevilla.

Hogwood B.W. y Gunn L.A. (1984). Policy Analysis for the Real World. Osford: Oxford University Press.

Instituto Andaluz de Administración Pública (IAAP), (2019) Cuestionario para el análisis de evaluabilidad de planes y programas en la Junta de Andalucía. Recuperado de http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/documentacion.epp

Lasswell, H.D. (1971). El futuro de la ciencia política. Madrid: Tecnos.

López Sánchez, E. (2014). La formulación de las políticas públicas. En G. Pastor Albaladejo (Ed.), Teoría y práctica de las políticas públicas (pp. 67-82). Valencia: Tirant Lo Blanch.

Losada Maestre, R. (2014). La formación de la agenda como punto de partida de las políticas públicas. En G. Pastor Albaladejo (Ed.), Teoría y práctica de las políticas públicas (pp. 47-66). Valencia: Tirant Lo Blanch.

Nogués Linares, S. (2019). Relatoría Área D. Los retos de las ciudades y territorios ante las nuevas economías, la disrupción tecnológica y las nuevas formas de movilidad. En Actas del IX Congreso Internacional de Ordenación del Territorio (pp. 1117-1133). Santander: FUNDICOT

Observatorio para la Mejora de los Servicios Públicos de la Dirección General de Modernización e Innovación de los Servicios Públicos (OMPS), (2008). Guía de seguimiento y evaluación de los planes de actuación de los servicios públicos. Sevilla: Consejería de Justicia y Administración Pública, Junta de Andalucía.

Palladares Porta, F. (1988). Las políticas públicas: el sistema político en acción. Revista de estudios políticos, 62, 141-162. Recuperado de https://dialnet.unirioja.es/servlet/articulo?codigo=27007

Román Masedo, L. (2014). La terminación de las políticas públicas. En G. Pastor Albaladejo (Ed.), Teoría y práctica de las políticas públicas (pp. 129-148). Valencia: Tirant Lo Blanch.

Ruíz, A. (2013). La evaluación como intervención pública. Proceso estándar de evaluación. Madrid: Análisis y Evaluación de Políticas y Servicios Públicos, Goberna.

Seasons, M. (2003). Monitoring and Evaluation in Municipal Planning: Considering the Realities. Journal of the American Planning Association, 69(4), 430-440. https://doi.org/10.1080/01944360308976329

Segura Calero, S. y Pedregal Mateos, B. (2014). Mecanismos de evaluación y seguimiento en planes de ordenación del territorio de Andalucía. Perspectiva Geográfica, 19(2), 357-378. https://doi.org/10.19053/01233769.4104

Segura Calero, S. y Pedregal Mateos, B. (2017). Monitoring and Evaluation Framework for Spatial Plans: A Spanish Case Study. Sustainability, 9, 1706, 1-19. https://doi.org/10.3390/su9101706

Segura Calero, S. (2017). Mecanismos de evaluación, seguimiento y gestión de instrumentos de ordenación del territorio. Análisis internacional comparado (Tesis doctoral inédita). Universidad de Sevilla. TESEO.

Segura Calero, S. (2019). Marco conceptual y componentes clave para el seguimiento y evaluación en la ordenación del territorio. TERRA Revista de Desarrollo Local, 5, 83-104. https://doi.org/10.7203/terra.5.14526

Segura Calero, S. y Elorrieta Sanz, B. (2019). El seguimiento y la evaluación de planes territoriales en España: una visión regional comparada. En Actas del IX Congreso Internacional de Ordenación del Territorio (pp. 1135-1150). Santander: FUNDICOT.

Serrano Rodríguez, A. (2011). La evaluación de las políticas de impacto ambiental: Una reflexión desde la toma de decisiones. En Farinós Dasí, J. (ed. y coord.) De la Evaluación Ambiental Estratégica a la Evaluación de Impacto Territorial: Reflexiones acerca de la tarea de evaluación (pp. 211-252). Valencia: Publicaciones de la Universidad de Valencia.

Sociedad Española de Evaluación de Políticas Públicas. (2019). El Diario de la Evaluación. La Sociedad Española de Evaluación ha celebrado un workshop para definir claves para la futura Ley de Evaluación de Políticas Públicas de Andalucía. Recuperado de https://www.diarioevaluacion.com/noticialey

Soto Rueda, J.M. y Garrido Clavero, J. (2019). La evaluación de Impacto Territorial (EIT): Sobre la posibilidad de su institucionalización en Andalucía (España). En Actas del IX Congreso Internacional de Ordenación del Territorio (pp. 1175-1190). Santander: FUNDICOT.

Unión Europea. (2007). Agenda Territorial de la Unión Europea. Hacia una Europa más competitiva y sostenible de regiones diversas. Recuperado de http://www.ecourbano.es/imag/REF%20Agenda%20Territorial_UE.pdf

Información adicional

Cita bibliográfica: Garrido Clavero, J. (2020). Cuestiones preliminares a abordar en la concreción de una propuesta metodológica para el seguimiento y evaluación de planes territoriales en España. Investigaciones Geográficas, (73), 75-94. https://doi.org/10.14198/INGEO2020.GC

IR