Introducción

Las Áreas Naturales Protegidas (ANP) son una de las principales herramientas de conservación en México. Su propósito central es reducir presiones humanas sobre áreas que albergan diversidad biológica y que generan servicios ecosistémicos (Ferraro y Pressey, 2015). Debido a los impactos sociales negativos que ocasiona la exclusión en el acceso a recursos, se ha cuestionado el modelo de “fortalezas de la conservación” que considera a los pobladores locales como una amenaza (Brockington y Wilkie, 2015). En cambio, se ha propuesto un modelo integral de conservación y desarrollo que procura la protección ecológica y el bienestar de los pobladores locales (UNESCO, 2013). Es una tarea compleja cumplir con esa doble expectativa, pues las ANP se ven afectadas por presiones dinámicas que requieren respuestas ad hoc (CONANP, 2016).

En este contexto, es necesario orientar las decisiones de manejo de las ANP al reconocer si las acciones están funcionando o no. Esto ha impulsado el interés por las evaluaciones, pues se considera que mejoran la efectividad de las organizaciones al permitir que sus integrantes aprendan y corrijan el rumbo de los proyectos (Chelimsky, 1997; Cousins et al., 2014). Sin embargo, diversas investigaciones sobre el uso de las evaluaciones han cuestionado ese supuesto, pues las evaluaciones con frecuencia son irrelevantes en la toma de decisiones al interior de las organizaciones (Weiss, 1999; Ebrahim, 2005; Guijt, 2008). En general, aprender a partir de las evaluaciones ha sido una buena intención que pocas veces es considerada en términos metodológicos y políticos. Se suele ignorar la forma en que las organizaciones y las relaciones de poder funcionan y, por ello, se sabe poco sobre cómo institucionalizar el aprendizaje derivado de evaluaciones (Guijt, 2008).

A pesar de los llamados para que los practicantes de la conservación mejoren su capacidad de hacer evaluaciones orientadas al aprendizaje, con frecuencia su propósito se ha reducido a la elaboración de reportes de rendición de cuentas (Stem et al., 2005). En algunos escenarios, las consecuencias en caso de obtener resultados negativos, como la pérdida de credibilidad y financiamiento, han sido una barrera para el manejo adaptativo de los proyectos (Craigie et al., 2015; McKinnon et al., 2015).

Este artículo presenta un análisis de la arquitectura de evaluación de la Comisión Nacional de Áreas Naturales Protegidas (CONANP), dependencia responsable del manejo de ANP en México. La finalidad es reconocer factores que promueven e inhiben el uso de evaluaciones para dirigir la toma de decisiones al interior de la dependencia. En particular, se analiza si las evaluaciones influyen en las decisiones de manejo de los guardaparques que administran un ANP en el centro de México. La visión de los guardaparques es fundamental, pues deberían ser los principales usuarios de evaluaciones que sirvan para adaptar el manejo en contextos que cambian constantemente. Sin embargo, su perspectiva ha sido poco estudiada.

En México, la política de evaluación del gobierno federal considera que los usuarios de las evaluaciones son funcionarios de gobierno de primer nivel (Cardozo, 2015). En torno de la CONANP, las investigaciones se han centrado en esa escala, al estudiar las evaluaciones externas de sus programas de subsidio (Orta et al., 2013; Sotelo et al., 2015). En ese sentido, no hay investigaciones sobre el sistema de evaluación diseñado por la dependencia. Por estos motivos, es relevante analizar el sistema de evaluación de la CONANP desde el punto de vista de los guardaparques. Es importante enfatizar que la investigación no pretende evaluar la efectividad de los proyectos de la CONANP en el ANP estudiada. En cambio, se exploran las causas por las que personal de la dependencia utiliza, o no, evaluaciones como una herramienta de aprendizaje. Las preguntas que se busca responder son: ¿Cómo se hacen y usan evaluaciones relacionadas con el manejo del ANP?, ¿En qué grado las evaluaciones se han utilizado para el manejo adaptativo del ANP?, ¿Cuáles son las principales barreras para que los guardaparques aprendan a partir de esas evaluaciones?

Metodología

Técnica de investigación

Los estudios de caso son un tipo de investigación cualitativa que estudia un fenómeno en su propio contexto. El método permite vincular datos empíricos con proposiciones teóricas. Por ello, es útil para verificar si las teorías funcionan en el mundo real (Yin, 2009). En el marco de un estudio de caso, se utilizaron técnicas de investigación etnográfica para conocer la influencia que tiene el sistema de evaluación de la CONANP sobre la toma de decisiones de los guardaparques que administran un ANP en el centro de México.

Las técnicas de investigación (entrevistas semiestructuradas, observación participante y revisión de documentos) facilitaron la interacción con el personal de la dependencia para entender cómo su comportamiento es afectado por reglas, procedimientos, valores, creencias, y relaciones de poder (Lewis et al., 2003; Mosse, 2004). Las entrevistas se hicieron a personal directivo y operativo que labora o laboró en la CONANP. El criterio de selección de los entrevistados fue la relación con diferentes procedimientos de evaluación. Sin embargo, la selección incluyó personal que se encuentra en diferentes posiciones¹, dada la posible existencia de diferencias intraorganizacionales. Las entrevistas permitieron recolectar información sobre la puesta en práctica de las evaluaciones, entremezclada con la opinión y reflexiones de los entrevistados en torno al tema.

A través de la observación participante, fue posible explorar la cotidianidad e interacciones del personal de la dependencia. Esto permitió hacer descripciones detalladas de diferentes aspectos relacionados con la cultura organizacional. La recopilación de documentos relacionados con las evaluaciones se llevó a cabo a través de una exploración de la página web institucional de la CONANP, y a través de solicitudes directas al personal directivo de la dependencia. De esa manera se tuvo acceso a evaluaciones externas, informes, y documentos de planeación estratégica.

A partir de una revisión de literatura, se seleccionaron variables relacionadas con el uso de las evaluaciones. Su estudio es complejo y contextual; sin embargo, se ha destacado la relevancia de distintos factores metodológicos, organizativos e institucionales que se entrelazan entre sí (Cousins y Leithwood, 1986; Shulha y Cousins, 1997; Cardozo, 2015). Sobre cada uno de ellos se desarrollaron ítems para estructurar las observaciones, las entrevistas y la revisión de documentos. Las fuentes de información fueron las siguientes:

• Once entrevistas semiestructuradas al personal de la CONANP (personal directivo que labora o laboró en la dependencia, y guardaparques del ANP elegida).

• La revisión de documentos institucionales (CONEVAL y CONANP).

• Observación participante al acompañar a los guardaparques a salidas de campo para implementar programas de subsidio.

El acceso a la información² fue el principal reto de la investigación. Las evaluaciones suelen generar ansiedad, pues reflejan una preocupación por el estatus (Donaldson et al., 2002). A nivel organizacional, esto se traduce en el temor de perder credibilidad y de recibir sanciones en caso de no cumplir con expectativas de desempeño (McKinnon et al., 2015). Para que los integrantes de una organización puedan involucrarse en la reflexión sobre su práctica, es necesario que existan altos niveles de confianza, de forma que sea seguro compartir abiertamente su opinión y experiencia (Serrat, 2010; Kusters et al., 2011). Por ello, se tomó la decisión de garantizar el anonimato de los guardaparques que participaron en la investigación. Como consecuencia, no se brinda información específica sobre el ANP que manejan. Las limitaciones del enfoque utilizado son las propias de cualquier investigación exploratoria de un problema complejo. No se puede esperar como resultado la identificación de relaciones causales entre las variables, pero sí la detección de patrones que permitan cuestionar supuestos existentes y generar nuevas hipótesis de trabajo.

El sistema de evaluación de la CONANP

La CONANP es un órgano descentralizado de la Secretaría de Medio Ambiente y Recursos Naturales (SEMARNAT). La dependencia tiene a su cargo la conservación de la biodiversidad en los ecosistemas más representativos de México. Actualmente, a través de nueve direcciones regionales, la CONANP administra 182 ANP de carácter federal que abarcan más de 90 millones de hectáreas (CONANP-GIZ, 2018). A escala local, las direcciones de ANP son el brazo operativo de la dependencia. En ellas laboran guardaparques que implementan acciones de conservación, idealmente, siguiendo un programa de manejo orientado a la atención de problemáticas locales. Uno de los principales retos de la dependencia es cubrir la brecha financiera para lograr el manejo efectivo de las ANP. A pesar de que la superficie protegida continúa creciendo, en 2017 el presupuesto de la CONANP tuvo una reducción del 22% (Chacón y Garduño, 2017). En este contexto de limitación presupuestal, las evaluaciones tienen un papel estratégico para orientar las decisiones de manejo e incrementar la efectividad de su protección.

En diferentes documentos institucionales es claro que la CONANP considera a la evaluación como una herramienta valiosa para poder cumplir con su misión (CONANP, 2010a, 2010b, 2014a, 2016). La dependencia afirma que la evaluación es una herramienta de aprendizaje organizacional, la cual permite tomar decisiones con un enfoque adaptativo, mejorando el manejo ante ambientes cambiantes (CONANP, 2014a). Además, desde un enfoque de gestión basada en resultados, la evaluación permite rendir cuentas sobre los resultados obtenidos, lo que asegura fuentes de financiamiento presentes y facilita la gestión de recursos adicionales (CONANP, 2010a).

En la estructura operacional de la dependencia, es atribución de la Dirección de Evaluación y Seguimiento (DES) proponer los procedimientos para hacer evaluaciones. Esta instancia es fundamental, pues articula todo el sistema de evaluación de la CONANP. El sistema de evaluación tiene distintos niveles de análisis (nacional o ANP) y propósitos (planeación estratégica, manejo adaptativo, rendición de cuentas, evaluación del desempeño). Esto incide en la metodología de las evaluaciones y define quién es su usuario potencial, ya sea personal directivo o guardaparques (CONANP, 2010a). En ese sentido, para valorar de forma adecuada los efectos del sistema de evaluación sobre la toma de decisiones de los guardaparques, es importante tener clara la finalidad de cada tipo de evaluación (Cuadro 1).

Cuadro 1.
Tipos de evaluación de la CONANP

Fuente: elaboración propia.

Evaluaciones externas a programas de subsidio	Nacional	Planeación estratégica Rendición de cuentas	Personal directivo
Evaluación de programas de manejo de ANP	ANP	Manejo adaptativo	Guardaparques
Evaluación del Programa Operativo Anual (POA)	Nacional ANP	Manejo adaptativo Rendición de cuentas Evaluación del desempeño Planeación estratégica	Personal directivo Guardaparques
Evaluación de la efectividad en el manejo	Nacional ANP	Manejo adaptativo Planeación estratégica Rendición de cuentas	Personal directivo Guardaparques

Evaluaciones externas a programas de subsidio

Las evaluaciones externas a programas de subsidio forman parte de la política de evaluación del gobierno federal. Su propósito es evaluar la obtención global de resultados y emitir recomendaciones para mejorar el desempeño de los programas (Cejudo, 2011). Por su escala y propósito, el usuario potencial es el personal directivo de la dependencia, quien puede retomar la información para rediseñar los programas. En la CONANP, es responsabilidad de la DES atender las recomendaciones de mejora, con la finalidad de integrarlas a la planeación estratégica de la dependencia. Si bien, las evaluaciones externas no se dirigen hacia los guardaparques, sí permiten identificar características del sistema de evaluación de la dependencia que inciden en su disponibilidad de información para tomar decisiones.

El programa de subsidio más importante de la CONANP, en términos presupuestales, es el Programa de Conservación para el Desarrollo (PROCODES). La Auditoría Superior de la Federación ha hecho dos auditorías de desempeño (2012 y 2016) y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) ha efectuado diversos tipos de evaluación a lo largo de nueve años³. Las evaluaciones han observado, en repetidas ocasiones, que el indicador de propósito utilizado⁴ no permite medir los efectos generados. En este sentido, las recomendaciones se han dirigido hacia dos aspectos: 1) modificar el diseño del programa, de forma que el indicador de resultado refleje el efecto causado por la intervención, 2) llevar a cabo una evaluación de impacto que mida los cambios atribuibles al programa.

Evaluación de programas de manejo de ANP

El reglamento de la Ley General del Equilibrio Ecológico y la Protección al Ambiente (LGEEPA) en materia de ANP indica que el programa de manejo (PM) es el instrumento rector de planeación y regulación de las ANP. Es responsabilidad de las direcciones de ANP elaborar, evaluar y actualizar el PM de su área, pues en él se basan su planeación operativa (CONANP, 2014b). El reglamento indica que el PM será revisado por lo menos cada cinco años con el objeto de evaluar su efectividad y proponer posibles modificaciones. Para cumplir con este mandato, la CONANP desarrolló la cédula de evaluación de la efectividad del PM. En ella, los guardaparques evalúan el cumplimiento de los objetivos trazados en los diferentes componentes del programa y, en caso de ser necesario, explican las razones por las que hay que replantear las estrategias y acciones.

Para hacer el análisis, es necesario que los PM cuenten con un sistema de “seguimiento y monitoreo de los proyectos” que permita evaluar los avances anualmente (CONANP, s/f). Es atribución de las direcciones conformar un sistema de información que concentre datos sociales, económicos, y biológicos del ANP que administran, de forma que pueda utilizarse la información para evaluar la efectividad del manejo. Además, las direcciones deben promover el establecimiento de un consejo asesor, el cual colabore en el seguimiento del PM del área (CONANP, 2014b). Por su escala y propósito, el principal usuario de este tipo de evaluaciones es el guardaparques, pues brinda insumos para identificar áreas de mejora en el manejo que hace del ANP.

Evaluación del Programa Operativo Anual (POA)

Como procedimiento organizacional, cada dirección de ANP tiene la obligación de elaborar un Programa Operativo Anual (POA) que se base en los objetivos de su PM. El instrumento permite ajustar las acciones al presupuesto anual disponible para el ANP. El POA tiene dos propósitos adicionales:

1. 1. Alinear las acciones de las direcciones de ANP al Programa Nacional de ANP (PNANP). La DES tiene la responsabilidad de comunicar el grado de cumplimiento de las metas establecidas en el PNANP, documento de planeación estratégica de la dependencia. Por ello, para facilitar la integración de la información, desarrolló el Sistema General de Programas Operativos Anuales (SGPOA) (Cuadro 2). A través de un catálogo de actividades y unidades de medida, el sistema estandariza la información que las direcciones de ANP pueden reportar, con la finalidad de que sirva para alimentar los indicadores de resultado con los que se mide el desempeño global de la dependencia.
2. 2. Evaluar el desempeño de las direcciones de ANP. La DES y las direcciones regionales utilizan el grado de avance de las actividades comprometidas en el SGPOA como un mecanismo para evaluar trimestralmente el desempeño de las direcciones de ANP.

Cuadro 2.
Algunos indicadores del Programa Nacional de Áreas Naturales Protegidas (PNANP)

Fuente: CONANP, 2017a

Conservación y manejo de la biodiversidad	Programas de Acción para la Conservación de Especies (PACE) elaborados
	ANP con acciones de restauración
	ANP que implementan monitoreo de especies prioritarias
	Comités de vigilancia comunitaria para la protección y monitoreo de la biodiversidad
Economía de la conservación	Proyectos productivos sustentables apoyados con Programas de subsidio
Comunicación, educación, cultura y participación social para la conservación	Porcentaje de ANP con Programa de educación ambiental
	Consejos Asesores y otros mecanismos de gobernanza formalmente instalados

Como herramienta de visualización, el sistema genera un puntaje que clasifica las áreas protegidas en tres rangos (rojo, amarillo y verde), el cual representa el porcentaje de cumplimiento de las actividades. Esto permite visualizar con facilidad retrasos y acciones no implementadas. En su caso, los guardaparques pueden explicar las razones por las que es necesario reprogramar o cancelar las actividades definidas en su POA. Anualmente, las evaluaciones de desempeño se utilizan para retroalimentar a los guardaparques y tomar decisiones presupuestarias. En ese sentido, en caso de que una dirección de ANP haya planteado una serie de metas no cumplidas, esa información puede utilizarse como evidencia para asignar un presupuesto menor, con la finalidad de ajustarlo a sus capacidades de implementación. Del mismo modo, en caso de cumplir con todas las metas, es posible que la dirección de ANP reciba un aumento presupuestal (personal directivo, comunicación personal, 8 de febrero de 2017).

Los usuarios potenciales de la evaluación del POA son tanto los guardaparques como el personal directivo de la dependencia. En la escala local, los guardaparques podrían retomar la información para evaluar el cumplimiento de los objetivos de su programa de manejo y retroalimentar la planeación operativa. A escala nacional, el personal directivo la utiliza para rendir cuentas sobre los resultados de la dependencia, para evaluar el desempeño de su personal, y, posiblemente, como un insumo para su proceso de planeación estratégica.

Evaluación de la efectividad en el manejo

México adquirió el compromiso de cumplir con la meta 11 de Aichi ante el Convenio de Diversidad Biológica. Esta meta establece que para el año 2020, el 17% de la parte terrestre de México, así como el 10% de su superficie marina estarán bajo un régimen de conservación, y que esa superficie será administrada de manera efectiva. Por ello, uno de los indicadores estratégicos del PNANP es el número de ANP incorporadas a un proceso de evaluación de la efectividad (CONANP, 2014c). Para la CONANP, la evaluación de la efectividad de manejo sirve para estimar el progreso y apoyar a los directores en el manejo adaptativo de las ANP (CONANP, s.f.). A lo largo de los años la dependencia ha utilizado diferentes metodologías, entre ellas la ficha de evaluación de condiciones ecológicas (Scorecard), el Índice de Implementación y Gestión (Indimapa), o la Herramienta de Seguimiento de la Efectividad del Manejo (METT) (Cuadro 3).

Cuadro 3.
Metodologías de evaluación de la efectividad que han sido utilizadas por la CONANP

Fuente: elaboración propia.1 Entre los que se encuentran: Plan de manejo, Recursos humanos, Recursos financieros, Estructura administrativa, y Monitoreo de la biodiversidad.

Scorecard	Busca evaluar las condiciones y tendencias de tres elementos en las ANP: agua, hábitat y recursos biológicos.	Comisión para la Cooperación Ambiental, 2011
Indimapa	Su objetivo es establecer si las ANP terrestres de América Latina poseen las condiciones institucionales, normativas y operativas necesarias para ser efectivas. Para ello, obtiene información sobre distintos indicadores vinculados a la gestión de un ANP1. La herramienta genera un índice que clasifica las áreas protegidas en tres rangos (rojo, amarillo y verde) correspondientes a un nivel bajo, mediano y alto de implementación y gestión.	Organización Latinoamericana y del Caribe de Entidades Fiscalizadoras Superiores, 2015
METT	Evalúa la efectividad de manejo de un ANP al revisar la presencia de diferentes aspectos que son condiciones necesarias de un buen ciclo de gestión de proyectos de conservación. Esto permite identificar acciones que rectifiquen debilidades en el manejo.	Stolton y Dudley, 2016
Evaluación de áreas marinas protegidas	Contempla indicadores biofísicos, socioeconómicos y de gobernabilidad para evaluar la efectividad de áreas protegidas marinas.	Pomeroy et al., 2004

Por otro lado, como indicador de la efectividad en el manejo, la CONANP implementa programas de monitoreo biológico articulados a los POA de las ANP. En ese sentido, el seguimiento de la población de especies en riesgo o de especies indicadoras de las condiciones del hábitat permite establecer si las acciones de conservación han tenido un efecto o no. Otro indicador utilizado por la CONANP es la tasa de cambio de las cubiertas del suelo en las ANP (CONANP, 2014c).

Para contar con un estándar propio, la DES diseñó el sistema permanente de evaluación de la efectividad en el manejo de las Áreas Naturales Protegidas Federales de México (i-efectividad). El sistema cuenta con 48 indicadores que se retomaron de otros instrumentos de evaluación⁵, con ellos se calcula un índice que clasifica la efectividad en cinco rangos (CONANP, 2017b). El proyecto se encuentra a prueba con áreas piloto, pero la intención es que el método se aplique cada tres años en las ANP administradas por la CONANP (Personal directivo, comunicación personal, 26 de junio de 2017).

El usuario potencial de este tipo de evaluaciones es tanto el personal directivo como los guardaparques. A escala local, el sistema permite identificar fortalezas y áreas de oportunidad en la gestión de las áreas. A escala nacional, la metodología pretende ser un medio de verificación de la meta 11 de Aichi y, a la vez, ser útil para elaborar reportes de rendición de cuentas sobre los resultados de la dependencia (CONANP, 2017b).

Caracterización del equipo de guardaparques

La dirección de ANP estudiada forma parte de la Dirección Regional Centro y Eje Neovolcánico, que agrupa las áreas de 11 estados del centro de la República Mexicana. Se conforma por diez guardaparques, los cuales cuentan con un perfil profesional relacionado con el manejo de recursos naturales (biología, ingeniería forestal, veterinaria) y, en menor medida, con áreas administrativas (administración, turismo).

En la estructura organizacional del ANP existe una dirección, una subdirección, una unidad administrativa y una jefatura de proyectos. Estas subunidades son responsables de la coordinación, planificación y supervisión de las actividades del núcleo operativo. El área operativa se compone de seis técnicos, cada uno con diferentes funciones: educación ambiental, monitoreo biológico, revisión de evaluaciones de impacto ambiental, regulación de actividades turísticas, promoción y ejecución de programas de subsidio⁶, vigilancia, protección contra incendios, y restauración de ecosistemas. Sin embargo, debido a la extensión del ANP⁷ y a restricciones presupuestales, el personal tiene una carga de trabajo que le lleva a cubrir múltiples funciones a la vez.

El equipo de guardaparques cuenta con experiencia en la planificación de proyectos utilizando el marco lógico, que es una manera de presentar la lógica causal de objetivos, actividades y resultados, utilizando indicadores para medir los avances. Además, ha recibido más de 100 horas de capacitación en gestión y evaluación de proyectos. En específico, el personal directivo ha asistido a talleres sobre el modelo de gestión Capacity Works⁸, en donde ha participado en la revisión y elaboración de POA e indicadores de impacto.

Resultados

Tipos de evaluación

Los guardaparques del ANP interactúan con tres tipos de evaluación:

1. 1. Evaluación del Programa Operativo Anual (POA). La elaboración del POA es un procedimiento organizacional obligatorio, con una frecuencia anual de evaluación. Se utiliza como insumo para retroalimentar la planeación operativa de los guardaparques y, a la vez, como un mecanismo para evaluar el desempeño global de la dirección de ANP.
2. 2. Evaluación del PM. De 2014 a la fecha el equipo de guardaparques trabaja en la actualización del PM, el cual tiene más de 15 años de antigüedad. Como parte del procedimiento elaboraron la cédula de evaluación de la efectividad del PM.
3. 3. Evaluación de la efectividad del manejo.

   • Indimapa. Se ha llevado a cabo anualmente entre 2014 y 2017, con base en las respuestas del director del ANP a cuestionarios de opción múltiple. En este periodo la dirección de ANP se ha ubicado en un rango alto de implementación y gestión.

   • i-efectividad. La evaluación estaba en proceso al momento de la investigación. La metodología solicita responder un cuestionario de opción múltiple para valorar la efectividad del 2013 al 2016. La evaluación se enviará a la DES para recibir su retroalimentación sobre fortalezas y áreas de mejora.

A continuación se presentan una serie de factores que inciden en el uso de las evaluaciones para retroalimentar la planeación operativa de los guardaparques (Cuadro 4).

Cuadro 4.
Factores que inciden en el uso de las evaluaciones en el ANP

Fuente: elaboración propia.

Tipo de evaluación	Propósito	Barreras		Efectos de la evaluación
		Diseño de las evaluaciones	Capacidad organizacional
Evaluación del POA	Planeación operativa Evaluación del desempeño	Indicadores	Seguimiento Carga de trabajo Recursos Manejo de información y conocimiento	(+) Aprendizaje (-) Comportamiento administrativo estratégico (-) Visión de corto plazo (-) Atención de la agenda local
Evaluación de programas de manejo de ANP	Actualización del PM			(+) Aprendizaje
Evaluación de la efectividad en el manejo	Identificar fortalezas y áreas de mejora en la gestión del ANP	Obtención de resultados		(?) Hace falta un análisis futuro de la influencia de este tipo de evaluación

Diseño de las evaluaciones

En este apartado se describen aspectos vinculados con la adecuación metodológica de las evaluaciones. Este aspecto busca identificar si su diseño permite generar información sobre la efectividad de las acciones, con la finalidad de que los guardaparques utilicen ese conocimiento para hacer ajustes.

Indicadores de gestión

Las unidades de medida del POA sirven para medir la obtención de resultados inmediatos (outputs), pero no para medir el efecto de las acciones (outcomes) (Cuadro 5).

Cuadro 5.
Actividades del Programa Operativo Anual (POA)

Fuente: extracto del POA 2017.

Vigilancia	Prevenir y disminuir la ocurrencia de los ilícitos ambientales en el Área Natural Protegida	Gestionar la integración de comités de vigilancia comunitarios	Número de comitésintegrados	Convenios
Restauración de ecosistemas	Promover la recuperación de ecosistemas originales	Apoyar la producción de plantas nativas	Número de viverosoperando	Convenio de Concertación,memoria fotográfica
Recuperación de especies en riesgo	Contribuir en la conservación de especies clave	Realizar actividades de conocimiento (monitoreo) y educación ambiental (talleres)	Número de acciones	Reporte y memoriafotográfica

Estos indicadores, estandarizados y evaluados por el SGPOA, no son útiles para estimar la efectividad del manejo. La limitación de este tipo de evaluación es reconocida por los guardaparques:

“… al estar evaluando cuánto trabajo se hizo en número de reuniones, de talleres, de hectáreas cercadas, se está evaluando el trabajo y no los resultados” (Guardaparques #1, comunicación personal, 14 de enero de 2017).

“… los indicadores que se usan no son indicadores de conservación, pues una actividad de educación ambiental en la que participaron cien personas, no quiere decir que esas cien personas ya fueron concientizadas. A lo mejor el indicador adecuado sería que estas personas están haciendo acciones de conservación, pero obviamente eso te implicaría un mayor esfuerzo de medición” (Guardaparques #2, comunicación personal, 12 de enero de 2017).

La carencia de información sobre los efectos de las acciones es una limitante para evaluar la efectividad del PM. Como resultado, la evaluación elaborada por los guardaparques se concentró en el cálculo de porcentajes de implementación al comparar las acciones realizadas con las acciones originalmente previstas en el PM. De cualquier forma, el procedimiento de la cédula de evaluación no especifica la forma en que se medirá la “efectividad” o el “cumplimiento” de los objetivos. Tampoco el PM del ANP ofrece orientación en ese sentido, pues la mayor parte de sus indicadores sólo estiman la obtención de resultados inmediatos (por ejemplo, número total de acciones aplicadas derivadas del PM, número de programas de conservación, número total de investigaciones científicas básicas y aplicadas, o el número total de proyectos productivos sustentables).

El uso exclusivo de indicadores de gestión ha sido reconocido como una limitante por la dependencia. Una revisión de los indicadores del PNANP 2007-2012 concluyó que era necesario reformular varios indicadores para que pudieran medir la efectividad de las acciones (CONANP, 2010b). La Agencia de Cooperación Alemana para el Desarrollo (GIZ, por sus siglas en Alemán) elaboró una propuesta para fortalecer el SGPOA con la integración de indicadores de “manejo adaptativo” y la georreferenciación de actividades (CONANP-GIZ, 2018). Actualmente se encuentra en fase piloto en otras direcciones de ANP.

Obtención de resultados

Por su diseño, las metodologías para evaluar la efectividad empleadas por los guardaparques (INDIMAPA; i-efectividad) no permiten reconocer si las acciones generan los resultados de conservación esperados. En cambio, las herramientas identifican la presencia de elementos que se consideran imprescindibles en un buen ciclo de gestión de proyectos de conservación (por ejemplo: existencia de mecanismos de seguimiento que retroalimenten las decisiones de los guardaparques, suficiencia de recursos para la operación, contar con un PM). Por ello, en sentido estricto no valoran la efectividad de las acciones, sino precondiciones organizacionales que son la base para obtener resultados. Su propósito es identificar áreas de oportunidad para mejorar el manejo que hace la dirección de ANP en el área.

Capacidad organizacional

Se identificaron una serie de factores relacionados con la capacidad de la dependencia para brindar medios y oportunidades para que las evaluaciones ocurran (Serrat, 2010). Esto incide sobre la disponibilidad de información para que los guardaparques tomen decisiones.

Falta de procedimientos de seguimiento

No existe un procedimiento organizacional para dar seguimiento a las acciones. Uno de los factores que influye en esa limitación es el año fiscal de la administración pública.

“En cuestiones de seguimiento nosotros básicamente no hacemos nada, aplicamos los programas y terminando el año fiscal y el papeleo, básicamente no volvemos a ir a las comunidades, a ver cómo funcionó, quién si lo sigue haciendo, o quién tiene problemas” (Guardaparques #3, comunicación personal, 7 de marzo de 2017).

“… muchas veces por la dinámica que traemos en los propios programas, y en general en la administración pública, no nos damos a estas tareas fundamentales de decir: está bien, aplicamos el programa, aplicamos tanto recurso, tantos proyectos, ahora ¿cuál es el impacto real que se observa de la aplicación en cada uno de estos proyectos?” (Guardaparques #4, comunicación personal, 12 de febrero de 2018).

Carga de trabajo

La saturación laboral de los guardaparques es uno de los motivos que dificulta el seguimiento de las acciones. A diferencia de la Comisión Nacional Forestal (CONAFOR), que se apoya en la contratación de asesores técnicos externos para diseñar e implementar las acciones de sus programas de subsidio, en la CONANP son los guardaparques los que absorben esa carga. Esto implica que participan en el diagnóstico, diseño, acompañamiento y supervisión de los proyectos, comprometiendo su disponibilidad de tiempo.

“En cada uno de los técnicos no recae una sola función, hacemos dobles o triples funciones porque somos pocos. El área es muy extensa y el territorio es poco accesible en algunos puntos” (Guardaparques #4, comunicación personal, 12 de febrero de 2018).

Falta de recursos

Uno de los motivos transversales por los que no se pueden llevar a cabo actividades de seguimiento es la falta de recursos. Por ello, en las ANP el presupuesto se destina a cubrir gastos administrativos y acciones de manejo.

“Sería lo ideal evaluar si realmente las áreas están cumpliendo con sus objetivos, pero ahora el presupuesto está súper bajo, no hay dinero para salir a campo, las pocas salidas son muy limitadas, porque ya no hay recursos, no hay gasolina, no hay viáticos. Ahora, agregarle que se tuviera que estar revisando en campo si se tiene impacto, se me hace muy complicado” (Guardaparques #2, comunicación personal, 12 de enero de 2017).

“… Véelo como para ti, si tienes poco dinero para alimentarte ¿Destinarías la mitad en una evaluación psicológica para ver cómo andas? Yo creo que no” (Personal directivo, comunicación personal, 26 de junio de 2017).

Manejo de información y conocimiento

La dirección de ANP no cuenta con un sistema para almacenar y distribuir la información y conocimiento generados con la implementación de las acciones. Esto incide sobre la cantidad de información disponible para la toma de decisiones futura. El conocimiento se refleja en la experiencia de los guardaparques, pero está vulnerable en caso de que éstos dejen la dependencia.

“… no hay alguna plataforma donde se comparta la información que se genera, simplemente, al estar todos dentro de la oficina, se hacen algunas reuniones para ver cómo vamos… al final muchas cosas se determinan por lo que uno sabe aunque no esté escrito, es muy difícil que un técnico realmente aterrice un informe físico en el que explique lo que sabe” (Guardaparques #3, comunicación personal, 7 de marzo de 2017).

“Si uno busca qué ha sucedido en administraciones pasadas pues no tenemos información, la información muchas veces se va con las personas, a veces no queda todo documentado…” (Guardaparques #4, comunicación personal, 12 de febrero de 2018).

Esto es relevante, pues en los últimos nueve años, la Dirección de ANP ha tenido cuatro directores diferentes, reflejando cierta inestabilidad en el puesto. Además, en el periodo del director actual, ha tenido lugar rotación de personal, principalmente ocasionada por las bajas percepciones laborales del personal operativo.

Efectos de las evaluaciones sobre la toma de decisiones de los guardaparques

En este apartado se describen los efectos de las evaluaciones sobre el comportamiento de los guardaparques. En específico, se rastrea la influencia de los procedimientos sobre sus decisiones de manejo.

Aprendizaje

A falta de actividades de seguimiento, la evaluación interna del POA permite a los guardaparques recuperar el aprendizaje acumulado a través de la implementación de los proyectos. La reflexión colectiva sobre las experiencias del año anterior genera información útil que les permite hacer ajustes en su POA, con la finalidad de incrementar su efectividad.

“El POA se genera entre todo el equipo de trabajo. Se hizo un ejercicio diagnóstico de cuáles son las áreas que cubrimos, cuáles no hemos podido alcanzar, cuáles son los problemas que se presentan y las estrategias para poder cubrirlos. Entonces cada uno en su área plantea sus necesidades de equipo, de capacitación o de recursos para poder realizar las actividades, y entre todo el equipo vamos dando opiniones sobre cómo sería la mejor manera de que impacte” (Guardaparques #5, comunicación personal, 10 de enero de 2018).

A través de sesiones de trabajo donde se analiza lo que salió bien, lo que falló, y lo que podría mejorar, los guardaparques aprenden a mejorar el manejo de los proyectos, haciendo adaptaciones en su práctica.

“… nos vamos hacia atrás y vemos que quienes aplicamos el recurso, quienes hicieron las cuestiones de dar talleres y dar el equipamiento fue mal dirigido y fue mal hecho, por eso a los apicultores aquí les cuesta mucho subir y producir, han tenido pocas herramientas realmente eficientes. Entonces, todo ese recurso debería hablar por sí solo a la hora que tú muestres a tus apicultores exitosos, pero nos dimos cuenta de que no había sido así” (Guardaparques #3, comunicación personal, 7 de marzo de 2017).

De esta manera, si bien no hay un seguimiento formal, canalizado a través de una evaluación, esto no quiere decir que los guardaparques no tengan conocimiento sobre el funcionamiento de los proyectos, y sobre las variables que intervienen en su éxito o fracaso. Los momentos de intercambio reflexivo suceden a través de reuniones en la oficina, fomentadas por la necesidad de generar el siguiente POA, pero también ocurren al compartir un vehículo, o una comida. Por su parte, al percatarse de que no contaban con información para evaluar algunos de los componentes del PM, la evaluación de la efectividad del PM permitió a los guardaparques identificar deficiencias en los procedimientos para almacenar información. Además, independientemente de las limitaciones de la evaluación, el proceso sirve a los guardaparques como un medio para reflexionar en las estrategias que requiere la actualización del PM.

Comportamiento administrativo estratégico

Un efecto difícil de detectar, pero que fue mencionado por los guardaparques, es la modificación del comportamiento para evitar sanciones por incumplir con expectativas de desempeño. Específicamente, como respuesta al uso de la evaluación del POA para juzgar la capacidad de las direcciones de ANP y tomar decisiones presupuestales.

“Cuando la calificación de tu POA te aseguraba un mejor presupuesto para el año entrante, ahí entonces empezó la gente a alimentar el sistema para tener una mejor calificación” (Personal directivo, comunicación personal, 8 de febrero de 2017).

Esto puede verse reflejado en el diseño del POA, al privilegiar la selección de actividades “seguras”, sin problemas de implementación. Esta decisión permite minimizar el riesgo de no cumplir, pero puede orientar las acciones hacia resultados superficiales y efímeros.

“Lo que sí uno cuidaba mucho era que lo que está en tus manos, sí asegúralo, que nada más dependa de ti como área. Por ejemplo, —voy a gestionar a través de la CONAFOR o de SAGARPA tantas cosas—, pero sabes que eso no está en tus manos, entonces usaba palabras como gestionar. Gestionar quiere decir, —yo gestioné pero no se logró, nada más se metió el oficio—…Ya cuando dices ejecutar, quiere decir que sí lo hiciste o lo vas hacer… con el paso del tiempo vas aprendiendo a que no te ahorquen” (Guardaparques #2, comunicación personal, 12 de enero de 2017).

Visión de corto plazo

Al vincular la evaluación de desempeño con la comprobación de actividades, algunos guardaparques identificaron el riesgo de privilegiar resultados inmediatos, perdiendo de vista los objetivos de largo plazo estipulados en el PM.

“Yo siento que sí hay un poco la tendencia a cumplir con los números establecidos… a lo mejor yo sí cumplí con aplicar los cinco proyectos que me propuse, pero bueno el siguiente año qué va a suceder con estos proyectos, ¿siguen trabajando?, ¿realmente están dando las ganancias que esperábamos que tuviera la gente?, ¿son proyectos que tendríamos que seguir apoyando?” (Guardaparques #4, comunicación personal, 12 de febrero de 2018).

Atención de la agenda local

Debido a un interés por cierto tipo de acciones e indicadores, algunas actividades del POA son definidas por otras instancias de la estructura organizacional y no por el equipo de guardaparques.

“Por ejemplo, acá yo quisiera hacer monitoreo de cuestiones estratégicas que no son especies, yo me he metido mucho a la cuestión del agua pero a nivel regional mi estudio no es bien visto, pues no son especies que puedan cacaraquear los entes arriba. Si yo no alimento buenos indicadores para la CONANP en los que estén obteniendo buenos resultados y se vea reflejado que se están haciendo acciones para la conservación pues entonces no les sirven mucho los esfuerzos que tú haces. Si pones la actividad [en el POA], y no les hace sentido, entonces no le destinan recursos a lo que estás haciendo y tienes que buscar por fuera” (Guardaparques #3, comunicación personal, 7 de marzo de 2017).

“… vienen directrices de arriba... ahora fue ‘tienen que hacer proyectos productivos’ y hemos estado haciendo más proyectos productivos. Algunos a veces no tienen fundamento, uno no les ve mucha seguridad, pero por cuestiones de arriba y porque son los que nos llegaron, pues tenemos que ver cómo los apoyamos” (Guardaparques #4, comunicación personal, 12 de enero de 2017).

Discusión

Un factor que incide en el uso de las evaluaciones es la pertinencia de su metodología para conseguir los fines deseados (Chelimsky, 1997). En ese sentido, si se busca el manejo adaptativo, se requiere que las evaluaciones identifiquen relaciones de causalidad para ajustar la dirección de los proyectos. Por su diseño, la evaluación del POA se centra en la valoración del desempeño de los guardaparques. Las métricas utilizadas miden avances en la implementación al aportar información descriptiva que documenta la generación de productos comprometidos (por ejemplo: talleres de capacitación, hectáreas reforestadas, número de comités operando). El procedimiento, estandarizado a través del SGPOA, facilita la síntesis de los resultados obtenidos por la dependencia.

En este tipo de evaluaciones, el significado del concepto “resultados” se relaciona con la obtención de productos tangibles que se asume son predictores del valor público generado. Sin embargo, para confiar en los indicadores que miden la ejecución de actividades como una métrica de impacto, sería necesario que existiera una alta predictibilidad entre la acción y el efecto esperado. Esto no sucede así con el manejo de una ANP, donde la causalidad no es previsible de forma lineal. Por ello, la evaluación del POA no genera información sobre el cambio producido. Para cubrir esta limitación en la herramienta, parece un paso en la dirección correcta la propuesta de incorporar indicadores de efectividad en el SGPOA.

Se ha probado que, más allá de la metodología, se necesita la confluencia de recursos, tiempo y capacidad de decisión para hacer y usar evaluaciones (Cousins et al., 2008; Kusters et al., 2011). Por ello, es crucial complementar la incorporación de indicadores con sistemas organizacionales que soporten su medición. Esto es relevante porque, dada la brecha presupuestal de la dependencia y las restricciones impuestas por procedimientos administrativos, los guardaparques del ANP no cuentan con medios para dar seguimiento a las acciones. A pesar de ello, la evaluación y reelaboración del POA juega un papel importante en su proceso de aprendizaje. Los guardaparques acumulan una gran cantidad de experiencias y las utilizan para tomar decisiones constantemente. De esa manera, aunque no ofrezca evidencia rigurosa, el procedimiento fomenta espacios de intercambio que permiten al grupo entender qué es lo que pasa con la implementación de los proyectos. El proceso es informal e imperfecto, pero útil para orientar decisiones colaborativas.

Para que este proceso de planeación estratégica ocurra, tiene un papel fundamental el liderazgo del director de ANP. En buena medida, de él depende la orientación hacia objetivos de largo plazo en el manejo del área. Investigaciones sobre el tema han concluido, en un sentido similar, que cuando no es posible evaluar el impacto del trabajo realizado, es más relevante valorar el liderazgo y la disposición del personal por compartir las dificultades que enfrentan, así como su capacidad de aprendizaje (Guijt, 2008; Raeside, 2011).

Por este motivo, las metodologías de evaluación de la efectividad que utiliza la dependencia son pertinentes. El propósito de metodologías como INDIMAPA o i-efectividad se orienta hacia el aprendizaje, al identificar aspectos susceptibles de mejora en el manejo de las ANP. Como resultado, los instrumentos tienen la intención de incorporar prácticas gerenciales que incrementen la efectividad del equipo de guardaparques. Sin embargo, sería un error usar este tipo de evaluación para demostrar el impacto de las acciones, pues los puntajes obtenidos no son predictores confiables de la obtención de resultados de conservación (Carranza et al., 2014). A su vez, asumir que la información de estas evaluaciones será utilizada para mejorar el desempeño puede ser una idea equivocada. Como indica Guijt (2008), al hacer evaluaciones se suele hacer énfasis en la información, suponiendo que con ella todo caerá en su lugar, pero no se entienden las relaciones sociales que inciden sobre su uso.

En el caso de estudio, el director del ANP considera que la información del INDIMAPA ha sido útil para que la DES haga un diagnóstico global de la situación de las ANP en el país, y no para tomar decisiones directamente en el área. La implementación de la evaluación i-efectividad se encontraba en marcha cuando se hizo la investigación, por lo que no se cuenta con datos sobre su influencia. Es importante que el uso de este tipo de evaluaciones sirva para hacer cambios en las áreas, y no sólo para que la dependencia compruebe el cumplimiento de la meta 11 de Aichi. Para ello, los guardaparques necesitan concebir la herramienta como un medio para apoyar sus esfuerzos, y no como un procedimiento para reportar información hacia arriba que se sume a su carga de trabajo.

En este sentido, por sus efectos sobre el comportamiento, se ha destacado la influencia que tiene la percepción de las consecuencias que podrían derivarse de las evaluaciones (Ebrahim, 2005; Guijt, 2008). En específico, se ha documentado la regularidad con la que las evaluaciones de desempeño son distorsionadas cuando usan métricas cuantitativas. Esto es así, pues causan que aquellos que son valorados ajusten sus decisiones al cumplimiento de los indicadores (Campbell, 1976; Bovens et al., 2008). En la dirección de ANP, el temor a las consecuencias negativas de la evaluación del POA ha generado el desplazamiento de objetivos. De esa manera, en ocasiones los guardaparques han procurado el cumplimiento de metas anuales, aunque eso no implique necesariamente la obtención de resultados de largo plazo. Es posible que esta presión se replique a nivel directivo si se tiene la expectativa de que la dependencia cumpla con metas anuales predeterminadas.

Lejos de contribuir al manejo adaptativo, estos esquemas erosionan la posibilidad de construir diálogos reflexivos entre los grupos involucrados, al enfatizar la satisfacción de los requerimientos por sobre la necesidad de un mejor desempeño en el mundo real (Cousins et al., 2015). Esta ha sido una crítica recurrente al enfoque de Gestión basada en resultados, especialmente cuando se parte del supuesto de que el cambio se puede proyectar y que toda desviación es responsabilidad del implementador (Eyben, 2008). Dado lo anterior, se ha dicho que en contextos complejos la rendición de cuentas debería hacerse al demostrar el grado en el que se tomaron decisiones basadas en lo aprendido, y cómo esto permitió responder mejor al contexto de la intervención (Perrin, 2002; Guijt, 2010). Cuando ese es el propósito, el valor de una evaluación se mide en función de su capacidad para fomentar procesos colectivos de aprendizaje (Roetman, 2011).

Después de todo, una de las condiciones para lograr un manejo adaptativo es que los guardaparques tengan autonomía para ajustar la operación con base en su conocimiento de las condiciones del área. Por lo dicho, el uso potencial de la evaluación i-efectividad como herramienta de aprendizaje estaría en función del liderazgo del director de ANP, de su percepción de las consecuencias que traería, y de la capacidad del equipo para llevar a cabo ajustes en su manejo del área.

Conclusiones

Por su cercanía a los proyectos de conservación, los guardaparques son el usuario principal de evaluaciones que fomentan un manejo adaptativo. Esto hace que su punto de vista sea crucial para identificar las fortalezas y debilidades de las evaluaciones empleadas. La investigación analizó la influencia del sistema de evaluación de la CONANP sobre las decisiones de manejo de guardaparques que administran un ANP en el centro de México. Se identificó que éstos interactúan con tres tipos de evaluación: 1) evaluación del POA, 2) evaluación de la efectividad del Programa de Manejo (PM), 3) evaluaciones de la efectividad del manejo.

La evaluación del POA no involucra la medición del efecto de las acciones. Por ello, de manera formal el procedimiento no genera información para que los guardaparques tomen decisiones con base en el conocimiento de los cambios generados. De cualquier modo, existe una baja capacidad en la dependencia para dar seguimiento a las acciones. En este contexto, el procedimiento tiene una consecuencia positiva para el proceso de aprendizaje de los guardaparques. Al vincularse con la planeación operativa, se convierte en un espacio de reflexión donde fluye información que parte de la experiencia de implementación de los guardaparques. Su posición epistémica preferencial les permite identificar errores y hacer propuestas de mejora.

Dado que estas reuniones de planeación estratégica dependen del liderazgo del director de ANP y lo único que se reporta es el POA finalizado, es recomendable que el procedimiento incorpore la sistematización del aprendizaje obtenido. En específico, los guardaparques podrían asociar teorías del cambio a las actividades de su POA y a los proyectos financiados por medio de programas de subsidio. Este tipo de modelos son un paso esencial para conducir evaluaciones, pues permiten identificar si la lógica causal es correcta. Al contrastar la teoría con la práctica, el modelo facilita la identificación de relaciones y supuestos que no se habían considerado, lo que mejora la comprensión del problema (Margoluis et al., 2013).

La inclusión formal de teorías del cambio como parte de la planeación anual permitiría incorporar indicadores de impacto y asegurar que el aprendizaje es retenido por la organización. Sin embargo, el valor del procedimiento se perdería si no existe apertura organizacional hacia el reporte de fallas, o cuando los guardaparques no tienen autonomía de decisión. La evaluación de la efectividad del PM se concentró en la medición del cumplimiento de las acciones comprometidas en el programa. Sin embargo, esta información no permite deducir si se cumplieron sus objetivos de conservación y desarrollo. Por esta razón, es limitado el aprendizaje que pueden derivar los guardaparques. Aun así, la experiencia adquirida al elaborar la cédula de evaluación permitió a los guardaparques identificar áreas de mejora en sus procedimientos para almacenar información y sirvió como insumo para la actualización del PM.

En teoría, este tipo de evaluación se debe realizar cada cinco años. Por ello, sería conveniente incorporar indicadores de impacto en la actualización del programa, como la dinámica de la cubierta vegetal, la variación poblacional de especies en riesgo o la medición de indicadores de bienestar en las localidades. Debido a la extensión del ANP, en ella confluyen múltiples actores que intervienen el territorio. Esto hace que no sea atribución exclusiva de la CONANP la promoción de objetivos de desarrollo sostenible. En este contexto, y dadas las limitaciones presupuestales de la dependencia, sería recomendable conformar una alianza para evaluar el impacto de las acciones.

Las evaluaciones de la efectividad del manejo (INDIMAPA, i-efectividad) reflejan el interés de la dependencia por las evaluaciones como una herramienta de aprendizaje. Sin embargo, por la experiencia con el INDIMAPA, es necesario garantizar un balance entre la generación de información para audiencias externas y el propósito de apoyar, con información, las decisiones de los guardaparques. La herramienta i-efectividad aún se encuentra en proceso de institucionalización, pues se está probando su metodología en áreas piloto. Con el procedimiento aún por consolidarse, se podría esperar que la dependencia se concentre más en hacer la evaluación que en su capacidad para utilizarla. Por ello, sería conveniente hacer un análisis futuro de la influencia de este tipo de evaluación sobre las decisiones de manejo de los guardaparques en ésta y otras ANP.

En el ANP estudiada, algunas barreras a superar se relacionan con el margen de maniobra de los guardaparques para implementar cambios. Por un lado, debido a limitaciones presupuestales que inciden en su capacidad operativa y, por el otro, por las consecuencias negativas de un enfoque evaluativo que exige demostrar resultados cuantificables en el corto plazo.

Referencias

Bovens, Mark; Schillemans T., y Hart, Paul (2008). “Does public accountability work? An assessment tool”. Public Administration, 86(1), pp. 225-242.

Brockington, David y Wilkie, David (2015). “Protected areas and poverty”. Philosophical Transactions of the Royal Society B, 370, 20150103.

Campbell, Donald (1976). Assessing the Impact of Planned Social Change. Hanover, Estados Unidos: Dartmouth College, 70 pp.

Cardozo, Myriam (2015). “Capítulo XXI. Revisión de la literatura”. En Myriam Cardozo (coord.), Institucionalización de procesos de evaluación. Calidad y utilización de sus resultados. Ciudad de México: Universidad Autónoma Metropolitana, pp. 363-381.

Carranza, Tharsila; Manica, Andrea; Kapos, Valerie, y Balmford, Andrew (2014). “Mismatches between conservation outcomes and management evaluation in protected areas: A case study in the Brazilian Cerrado”. Biological Conservation, 173, pp. 10-16

Chacón, Gina y Garduño, Javier (2017). ¿Cuánto invierte el gobierno en la protección de nuestro hogar... nuestro patrimonio natural? México: FUNDAR. Recuperado de http://www.noroesteenlamira.org.mx/wp-content/uploads/2017/03/infografia-APN-web.pdf

Cejudo, Guillermo (2011). “De las recomendaciones a las acciones: El uso de la evaluación en la mejora del desempeño del gobierno”. En Guillermo Cejudo y Claudio Maldonado (eds.), De las recomendaciones a las acciones: La experiencia del premio 2011 Programas Federales Comprometidos con el Proceso de Evaluación. México: CIDE-SFP, pp. 11-28

Chelimsky, Eleanor (1997). “The coming transformation in evaluation”. En Eleanor Chelimsky y William Shadish (eds.), Evaluation for the 21st Century. A Handbook. Londres: SAGE Publications, pp. 1-26

Comisión Nacional de Áreas Naturales Protegidas (CONANP) (s/f). Términos de Referencia para la Elaboración de los Programas de Manejo de las Áreas Naturales Protegidas Competencia de la Federación. México: SEMARNAT. Recuperado de http://www.conanp.gob.mx/que_hacemos/pdf/programas_manejo/TERMINOS%20DE%20REF-PAGINA.pdf

Comisión Nacional de Áreas Naturales Protegidas (CONANP) (2010a). Evolución del Sistema de Información, Monitoreo y Evaluación para la Conservación. México: SEMARNAT, 62 pp.

Comisión Nacional de Áreas Naturales Protegidas (CONANP) (2010b). Revisión y evaluación de medio término sobre la Ejecución del programa nacional de áreas Naturales protegidas 2007-2012. México: SEMARNAT, 55 pp.

Comisión Nacional de Áreas Naturales Protegidas (CONANP) (2014a). Estrategia hacia 2040: una orientación para la conservación de las áreas naturales protegidas de México. México: SEMARNAT, 80 pp.

Comisión Nacional de Áreas Naturales Protegidas (CONANP) (2014b). Manual de organización general. México: SEMARNAT, 119 pp.

Comisión Nacional de Áreas Naturales Protegidas (CONANP) (2014c). Programa Nacional de Áreas Naturales Protegidas (2014-2018). México: SEMARNAT. Recuperado de https://www.gob.mx/conanp/documentos/programa-nacional-de-areas-naturales-protegidas.

Comisión Nacional de Áreas Naturales Protegidas (CONANP) (2016). Estrategia para la Evaluación de la Efectividad en la gestión de las Áreas Naturales Protegidas marinas y terrestres de México. México: SEMARNAT, 9 pp.

Comisión Nacional de Áreas Naturales Protegidas (CONANP) (2017a). Programa Nacional de Áreas Naturales Protegidas 2014 – 2018. Revisión y Evaluación de Medio Término. México: SEMARNAT, 19 pp.

Comisión Nacional de Áreas Naturales Protegidas (CONANP) (2017b). Sistema permanente de evaluación de la efectividad del manejo de las áreas naturales protegidas de México. México: SEMARNAT, 14 pp.

Comisión Nacional de Áreas Naturales Protegidas-Agencia de Cooperación Alemana para el Desarrollo (GIZ) (2018). Lecciones Aprendidas del Proyecto Conservación de la Biodiversidad en el Eje Neovolcánico 2014-2018. México: Comisión Nacional de Áreas Naturales Protegidas, 104 pp.

Comisión para la Cooperación Ambiental (2011). Guía para la elaboración de fichas de evaluación ecológica en áreas marinas protegidas de América del Norte. Montreal: CEC. Recuperado de http://www.cec.org/islandora/en/item/4184-guide-ecological-scorecards-marine-protected-areas-in-north-america-es.pdf

Cousins, Bradley y Leithwood, Kenneth (1986). “Current empirical research in evaluation utilization”. Review of Educational Research, 56, pp. 331-364.

Cousins, Bradley; Amo, Courtney; Bourgeois, Isabelle; Chouinard, Jill; Goh, Swee, y Lahey, Robert (2008). “Organizational capacity to do and use evaluation: results of a pan-canadian survey of evaluators”. The Canadian Journal of Program Evaluation, 23(3), pp. 1–35.

Cousins, Bradley; Goh, Swee; Elliott, Catherine; Aubry, Tim, y Gilbert, Nathalie (2014). “Government and voluntary sector differences in organizational capacity to do and use evaluation”. Evaluation and Program Planning, 44, pp. 1-13.

Cousins, Bradley; Hay, Katherine, y Chouinard, Jill (2015). “The third perspective. Uniting accountability and learning within an evaluation framework that takes a moral-political stance”. En Christina Christie y Anne Vo (eds.), Evaluation use and decision making in society. A tribute to Marvin Alkin. Estados Unidos: Information Age Publishing, pp. 91-112

Craigie, Ian; Barnes, Megan; Geldmann, Jonas, y Woodley, Stephen (2015). “International funding agencies: potential leaders of impact evaluation in protected areas?”. Philosophical Transactions of the Royal Society B, 370, 20140283.

Donaldson, Stewart; Gooler, Laura, y Scriven, Michael (2002). “Strategies for Managing Evaluation Anxiety: Toward a Psychology of Program Evaluation”. American Journal of Evaluation, 23(3), pp. 261-273.

Ebrahim, Alnoor (2005). “Accountability Myopia: Losing sight of organizational learning”. Nonprofit and Voluntary Sector Quarterly, 34(1), pp. 56-87.

Eyben, Rosalind (2008). “Power, Mutual Accountability and Responsibility in the Practice of International Aid: A Relational Approach”. IDS working paper, 305, 51 pp.

Ferraro, Paul y Pressey, Robert (2015). “Measuring the difference made by conservation initiatives: protected areas and their environmental and social impacts”. Philosophical Transactions of the Royal Society B, 370, 20140270. doi: 10.1098/rstb.2014.0270

Guijt, Irene (2008). “Seeking Surprise: Rethinking monitoring for collective learning in rural resource management” (Tesis Doctoral). Holanda: Universidad Wageningen. Wageningen, 350 pp.

Guijt, Irene (2010). “Accountability and Learning. Exploding the Myth of Incompatibility between Accountability and learning”. En Jan Ubels; Naa-Aku Acquaye-Badoo y Alan Fowler (eds.), Capacity Development in Practice. Londres y Washington: Earthscan, pp. 277-291

Kusters, Cecile; van Vugt, Simone; Wigboldus, Seerp; Williams, Bob, y Woodhill, Jim (2011). Making evaluations matter: A practical guide for evaluators. Wageningen, Holanda: Centre for Development Innovation, 118 pp.

Lewis, David; Bebbington, Anthony; Batterbury, Simon; Shah, Alpha; Olson, Elizabeth; Siddiqi, Shameem, y Duvall, Sandra (2003). “Practice, power and meaning: frameworks for studying Organizational culture in Multi-agency rural development projects”. Journal of International Development, 15, pp. 541-557.

Margoluis, R.; Caroline, Stem; Swaminathan, Vinaya; Brown, Marcia; Johnson, Arlyne; Placci, Guillermo; Salafsky, Nick, y Tilders, Ilke (2013). “Results chains: a tool for conservation action design, management, and evaluation”. Ecology and Society, 18 (3), pp. 22.

McKinnon, Madeleine; Mascia, Michael; Yang, Wu; Turner, Will, y Bonham, Curan (2015). “Impact evaluation to communicate and improve conservation non-governmental organization performance: the case of Conservation International”. Philosophical Transactions of the Royal Society B, 370, 20140282.

Mosse, David (2004). “Is Good Policy Unimplementable? Reflections on the Ethnography of Aid Policy and Practice”. Development and Change, 35(4), pp. 639-67.

Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) (2013). The world network of biosphere reserves. Ecological Sciences for Sustainable Development. Recuperado de http://www.unesco.org/new/en/natural-sciences/environment/ecological-sciences/man-and-biosphere-programme/

Organización Latinoamericana y del Caribe de Entidades Fiscalizadoras Superiores (2015). Áreas Protegidas América Latina. Auditoría coordinada. Brasilia, Brasil: Organización Latinoamericana y del Caribe de Entidades Fiscalizadoras Superiores, Comisión Técnica de Medio Ambiente (COMTEMA), Tribunal de Cuentas de la Unión, 32 pp.

Orta, Marisa; Cardozo, Myriam; Méndez, Hugo; Arredondo, Concepción, y Espejel, Ileana (2013). “Análisis del sistema de evaluación de un programa ambiental de la política mexicana: el Proders y su transformación al Procodes”. Investigación ambiental. Ciencia y Politica Pública, 5(1), pp. 44-61.

Perrin, Burt (2002). “How to —and How Not to— Evaluate Innovation”. Evaluation, 8(1), pp. 13-28.

Pomeroy, R.; Parks, J. y Watson, L. (2004). How is your MPA doing?: a guidebook of natural and social indicators for evaluating marine protected area management effectiveness. Estados Unidos: IUCN, 215 pp.

Raeside, Ashley (2011). “Are INGOs Brave Enough to Become Learning Organisations?”. En Holly Ashley; Nicole Kenton y Angela Milligan (eds.), How Wide are the Ripples? From Local Participation to International Organisational Learning. Participatory Learning and Action 63, IIED. Recuperado de http://www.pubs.iied.org/pdfs/14606IIED.pdf

Roetman, Eric (2011). A can of worms? Implications of rigorous impact evaluations for development agencies. Working paper 11, International Iniciative for Impact Evaluation. Recuperado de http://www.ieimpact.org/en/publications/working-papers/working-paper-11/

Serrat, Olivier (2010). Building a learning organization. Washington DC: Asian Development Bank, 413 pp.

Shulha, Lyn y Cousins, Bradley (1997). “Evaluation use: Theory, research, and practice since 1986”. American Journal of Evaluation, 18, pp.195-208.

Sotelo, Esthela; Rosas, Angélica, y Rodríguez, Laura (2015). “Capítulo XI. Medio Ambiente”. En Myriam Cardozo (coord.), Institucionalización de procesos de evaluación. Calidad y utilización de sus resultados. Ciudad de México: Universidad Autónoma Metropolitana, pp. 143-158.

Stem, Caroline; Margoluis, Richard; Salafsky, Nick, y Brown, Marcia (2005). “Monitoring and evaluation in conservation: a review of trends and approaches”. Conservation Biology, 19(2), pp. 295-309.

Stolton, Sue y Dudley, Nigel (2016). METT Handbook: A guide to using the Management Effectiveness Tracking Tool (METT). Woking, Inglaterra: WWF-UK, 74 pp.

Weiss, Carol (1999). “The Interface between Evaluation and Public Policy”. Evaluation, 5(4), pp. 468-486.

Yin, Robert (2009). Case Study Research: Design and Methods. Thousand Oaks, Estados Unidos: Sage Publication, 219 pp.

Notas

Información adicional

Consuelo Lorenzo Monterrubio: Editora asociada