Resumen: El presente artículo describe algunas consideraciones metodológicas para la evaluación de políticas y programas relacionados con el sector energético, en específico dentro del contexto del sistema de evaluación mexicano. Lo anterior se debe a que el sistema de evaluación de México no está diseñado para realizar evaluaciones ad hoc a los programas de energía, es decir, de aquellos relacionados con el sector eléctrico o de los hidrocarburos, sino para realizar evaluaciones cuyo interés principal es el componente social y, más específicamente, el de la reducción de la pobreza. Provocando un desajuste entre los elementos a observar en un programa social y un programa energético, cuyos fines, medios y elementos, entre otras cuestiones metodológicas, son muy diferentes, y en algunos casos contradictorios, a aquellos cuyo contenido es predominantemente social.
Palabras clave:Política energéticaPolítica energética,sistema de evaluaciónsistema de evaluación,programa energéticoprograma energético,evaluaciónevaluación.
Abstract: The present article describes some methodological considerations for the politics evaluation and programs related to the energy sector, specifically within the context of the Mexican evaluation system. This is due to the Mexico evaluation system that is not designed to evaluate the energy programs ad hoc, in other words, those related to the electric or hydrocarbon sector, but to create evaluations which main interest is the social component and, specifically, the one from the poverty reduction. Causing a mismatch between the elements to observe in a social and energy program, which aims, means and elements, among other methodological issues, are completely different, and in some occasions, contradictory, to those whose content is merely social.
Keywords: Energy policy, evaluation, evaluation system, energy program.
Artículos
Consideraciones metodológicas para la evaluación de políticas y programas de energía en México
Methodological consideration for the politics evaluation and energy programs in Mexico
Universidad Autónoma de Nuevo León
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivar 4.0 Internacional.
Recepción: 02 Febrero 2017
Aprobación: 07 Abril 2017
El sistema de evaluación mexicano puede es considerado como uno de los sistemas evaluadores más innovadores desde la década de los noventa por su gran aportación a la construcción de herramientas metodológicas para el análisis, seguimiento y evaluación de las políticas de combate a la pobreza (Castro et al, 2009). En cierta forma, una gran parte de los países en desarrollo, sobre todo de América latina y del Caribe, utilizan la experiencia mexicana para replicar los modelos en sus propios sistemas de evaluación. Pero es precisamente en este punto en donde reside una de sus mayores debilidades: su enfoque exclusivamente social. En efecto, el sistema de evaluación mexicano utiliza en sus metodologías, sobre todo en sus análisis ex ante y durante, el enfoque del desarrollo social y no otros enfoques metodológicos acordes al tipo de políticas que se pretenden evaluar.
Lo anterior puede observarse en las herramientas metodológicas proporcionadas por el Consejo Nacional de Evaluación de la Política de Desarrollo Social ( CONEVAL 2015) o en el mismo Modelo Sintético de Información de Desempeño de la Secretaría de Hacienda y Crédito Público (SHCP) y que se refleja en sus informes de evaluación, pues hasta la fecha se considera a estas instituciones como las únicas entidades gubernamentales con la experiencia y capacidad técnica en evaluación de programas públicos. En éstas, las evaluaciones de diagnóstico de programas nuevos, de diseño de los programas, de consistencia y resultados, de evaluación específica de desempeño, de procesos y de impacto, contienen en su mayoría variables e indicadores creados específicamente para evaluar programas de desarrollo social o programas presupuestarios con la finalidad del desarrollo social o del combate a la pobreza, pero no para otro tipo de programas, como los de índole energético.
Por lo anteriormente expuesto, la postura inicial de este trabajo consiste en mencionar, en primer lugar, algunas metodologías para la evaluación de las políticas y programas del sector energético, y en segundo, en plantear que las variables e indicadores utilizados para evaluar programas públicos en México, desde un punto de vista social, son los más adecuados, pero no para evaluar en su totalidad otros programas con una naturaleza distinta a la social. En otras palabras, los programas relacionados con el sistema de seguridad y de justicia, los de movilidad y de transporte, de infraestructura o los programas culturales deberían de ser evaluados con metodologías acordes a su sector y no someterlos en todas sus fases a un enfoque de tipo social. Lo anterior aplica con mayor razón a las políticas y programas de energía, pues su objetivo final no es sólo contribuir a reducir las enormes brechas de desigualdad que existen en el país, sino también para otro tipo de fines y subrayamos fines porque en general se confunden los medios con los fines que persigue un determinado sector, fines que requieren observaciones diversas, a saber, garantizar la seguridad energética del país, contribuir a la reducción de gases de efecto invernadero, asegurar la rentabilidad del sector energético para el Estado, fomentar la igualdad, la equidad y la justicia energética, e incluso, lograr la democratización de la energía para sus ciudadanos.
Para ilustrar mejor esta postura, construiremos este trabajo sobre tres premisas básicas; en primera instancia, mencionaremos algunos marcos metodológicos aplicados a la evaluación de las políticas y los programas de energía; en segundo lugar, mostraremos los tipos de evaluación existentes y las variables que desencajan con el tratamiento energético; y en tercer sitio, ilustrando las variables utilizadas en otros sistemas de evaluación y que podrían introducirse en las metodologías de evaluación de México.
El objetivo principal de este segmento es comentar y reflexionar, pues hasta allí llega su alcance, sobre el marco metodológico más adecuado para evaluar políticas y/o programas relacionados con el sector energético, bien sea con la industria de los hidrocarburos o de la electricidad.
A su vez, reiteramos que una política, un plan o un programa de energía; entendida la primera como la directriz principal de un gobierno, y los segundos, como las estrategias y los diseños con que se llevarán a cabo esas directrices; son ante todo un medio y no un fin en sí mismo. Es decir, toda política y todo programa de energía es un medio para conseguir algo más, pero un medio que debe ser correctamente definido, que debe ser congruente con los objetivos nacionales e internacionales, que debe estar bien administrado en cuanto a su eficiencia (relación costo-beneficio), su eficacia (logro de resultados independientemente del costo), su calidad (ejecutado de la mejor forma posible); y armónico con un conjunto de valores nacionales que marcan el rumbo de una determinada sociedad y protegido por un conjunto de instituciones.
Así, por ejemplo, puede que la política energética de un país como Alemania vaya acorde con algunas directrices principales relacionadas con la seguridad energética, pero al final, de esas directrices se desprenderán un conjunto de planes nacionales, programas por sector y proyectos específicos que son, en suma, el aterrizaje concreto de esas directrices principales. O bien, como en el caso de México, cuya principal directriz, entendida como política, es, ante todo, garantizar el abastecimiento energético ?oportuno? y a precios ?accesibles? para el conjunto de actores que necesitan de los insumos energéticos ( PESENER, 2013). También en este caso, de esa directriz se desprenderán un conjunto de planes, programas, estrategias y proyectos encaminados a darle fondo y forma a esa directriz y a sus objetivos secundarios. Sea cual sea el caso, los países replican modelos,[ 2] establecen políticas e instrumentan planes, programas y proyectos ejecutados por un conjunto de instituciones con conocimientos científicos y técnicos y que deberán resolver un problema determinado a fin de coadyuvar al logro de esos objetivos planteados.
Si bien podría afirmarse que, aunque sus evaluaciones están basadas en métodos reconocidos y aceptados, no siempre éstas estarán exentas de tendencias, prejuicios, errores o de una u otra manera, pre condicionados por paradigmas científicos y perspectivas teóricas aprendidas durante su socialización y que impregnarán sus conclusiones futuras. Por ello, los resultados de dichas evaluaciones, independientemente del tipo de evaluación del que se trate, pueden llegar a conclusiones también diferentes ( Kuhn, 1980).
Pero entonces, ¿existe o no un tipo ideal de evaluación o una forma correcta de llevar a cabo una evaluación? Como toda construcción científica mucho depende del contexto en que se lleve a cabo una evaluación. Diferentes sistemas de evaluación de distintos países, regiones o comunidades pueden tener disímiles tipos de evaluaciones o elementos constitutivos dentro de un mismo tipo de evaluación, puede también que tengan distinto nombre, diferente peso o formas de conceptualización. Lo cierto es que, para llevar a cabo una determinada evaluación es necesario partir de las preguntas principales, a saber, para qué queremos una evaluación, quién la necesita, qué se pretende obtener o modificar con dicha evaluación, qué aspecto de la realidad necesitamos conocer, y con base en ello determinaremos el tipo de evaluación, sus premisas teóricas, sus métodos y sus técnicas, y por ende, las conclusiones a las que llegaremos.
Si de evaluar políticas o programas de energía se trata, existen múltiples enfoques y métodos para llevarlos a cabo, en gran parte, la mayoría de ellos se observa en las políticas energéticas nacionales y en indicadores que sirvan de comparación con otros países. A su vez, cada uno de estos enfoques enfatiza en aspectos que son importantes para un país en particular o para la agencia que diseñó las metodologías y los indicadores, en estos casos tenemos metodologías que analizan un aspecto en particular del área energética. Es decir, es imposible contar con una teoría universal que abarque absolutamente todos los aspectos de la evaluación de políticas energéticas. Lo que si tenemos en cambio, son variables o categorías que son de mayor peso para una agencia u otra, como la sustentabilidad y/o la sostenibilidad, la participación ciudadana, la seguridad energética o de criterios económicos como la eficiencia y la intensidad energética.
De esta forma, en el plano internacional tenemos la propuesta de los Indicadores Energéticos para el Desarrollo Sostenible (IEDS). Estos indicadores fueron creados en 1999 por Arshad Khan y Garegin Aslanian de la sección de Planificación y Estudios Económicos de la Organización Internacional de Energía Atómica (OIEA). Dichos indicadores, como mencionamos anteriormente, son indicadores energéticos de seguimiento en el contexto del desarrollo sostenible. Es decir, que introducen una categoría a considerar por cualquier sistema de evaluación, la sostenibilidad de los programas públicos, en este caso por el sector energético. Estos han sido referentes de los indicadores de Desarrollo Sostenible adoptados por los estados miembros de las Naciones Unidas y las organizaciones internacionales al amparo del Programa 21 y de la Comisión sobre el Desarrollo Sostenible de las Naciones Unidas.
Estos indicadores de seguimiento de la política energética, fueron tratados en un texto por el Organismo Internacional de Energía Atómica en conjunto con el Departamento de Asuntos Económicos y Sociales de las Naciones Unidas (DAESNU), la Agencia Internacional de la Energía (AIE), el EUROSTAT[ 3], y la Agencia Europea de Medio Ambiente (AEMA). Los IEDS, como son llamados, son utilizados por la mayoría de los países que conforman las Naciones Unidas para evaluar sus sistemas energéticos y hacer un seguimiento de sus progresos en lo tocante a la consecución de objetivos y metas de desarrollo sostenible fijados a nivel internacional ( OIEA, 2008).
Los indicadores están divididos en tres dimensiones: la social, la económica y la medioambiental, a su vez, están divididos por siete temas: equidad, salud, perfiles de uso y producción, seguridad, atmósfera, agua y tierra; y 19 subtemas. Contienen un total de 30 indicadores conocidos en su versión original como Energy Indicators for Sustainable Development o EISD.
Comencemos por la primera dimensión; la dimensión social. Esta dimensión asume que la disponibilidad de energía tiene una repercusión directa sobre la pobreza, las oportunidades de empleo, la educación, la transición demográfica, la contaminación en ambientes cerrados y la salud, y posee implicaciones relacionadas con el género y la edad ( OIEA, 2008). La equidad social es un pilar del desarrollo sostenible y abarca la imparcialidad y universalidad con las que se distribuyen los recursos energéticos, se facilita el acceso a los sistemas de energía y se formulan precios para garantizar su asequibilidad. El principio que la rige es que la energía debería ser un bien al alcance de todos y a un precio justo, y no como un negocio de pequeños y poderosos grupos. En tanto, asume también que el uso de la energía no debería perjudicar a la salud humana, sino más bien promoverla. No obstante, la producción de energía conlleva la posibilidad de provocar daños o enfermedades, puesto que favorece la contaminación o los accidentes. Uno de los objetivos entonces, consiste en reducir o eliminar esos impactos negativos ( OIEA, 2008).
De esta manera, la dimensión social se subdivide en dos temas; el primero es la equidad y el segundo la salud. En el primero, los subtemas son la accesibilidad; que se mide por el porcentaje de hogares sin electricidad o energía comercial, o muy dependientes de energías no comerciales; el subtema de la asequibilidad, que se mide obteniendo el porcentaje de ingresos de los hogares dedicado a combustibles y electricidad; y el subtema de las disparidades que mide el uso de la energía en los hogares de ingreso y combinación de combustibles utilizados. Por parte del tema de la salud existe el subtema de la seguridad, y éste se mide analizando el número de víctimas mortales de accidentes por la energía producida por la cadena de combustibles.
Por otra parte, la dimensión económica asume que las economías modernas dependen de un suministro de energía seguro y adecuado, y los países en desarrollo necesitan tenerlo garantizado como condición sine qua non para su industrialización. Todos los sectores de la economía; residencial, comercial, transporte, servicios y agricultura, exigen servicios de energía modernos. A su vez, estos servicios fomentan el desarrollo económico y social a nivel local, elevando la productividad y promoviendo la generación local de ingresos. El suministro de energía afecta a los puestos de trabajo, la productividad y el desarrollo ( OIEA, 2008).
De esta manera, se divide la dimensión económica en dos temas y 9 subtemas. El primero es por patrones de uso y producción, este se divide a su vez en el subtema del uso global, donde se mide el uso de la energía per cápita; la productividad global, que mide el uso de la energía por unidad del PIB; la eficiencia del suministro, que mide la eficiencia de la conversión y distribución de la energía; el subtema de la producción que es la relación entre las reservas y la producción y la relación entre los recursos energéticos y la producción; el subtema del uso final de la energía, que mide las intensidades energéticas de la industria, las intensidades energéticas del sector agrícola, las intensidades energéticas del sector comercial y de los servicios, la intensidad energética de los hogares y la intensidad energética del transporte; el subtema de la diversificación (combinación de combustibles), que mide los porcentajes de combustibles en la energía y la electricidad, el porcentaje de energía no basada en el carbono en la energía y electricidad y el porcentaje de energías renovables en la energía y la electricidad. El subtema de los precios que registra los precios de la energía de uso final por combustible y por sector. Por su parte, el tema de la seguridad se divide en el subtema de las importaciones, que mide la dependencia de las importaciones netas de energía y el subtema de las reservas estratégicas de combustibles, que mide las reservas de combustibles críticos por consumo del combustible correspondiente.
En cuanto a la tercera dimensión, la dimensión medioambiental, la OIEA justifica que:
La producción, distribución y consumo de energía dan lugar a presiones sobre el medio ambiente en el hogar, el lugar de trabajo y la ciudad y a nivel nacional, regional y mundial. Los impactos ambientales dependen en gran medida de la forma en que se produce y se utiliza la energía, de la combinación de combustibles, de la estructura de los sistemas energéticos y de las medidas de reglamentación conexas en materia de energía y de la estructura de los precios. Las emisiones de gases procedentes de la quema de combustibles fósiles también contaminan a la atmósfera. Las grandes presas hidroeléctricas causan el encenagamiento de las aguas y los dos ciclos de combustible, basados respectivamente en el carbón y en la energía nuclear, emiten algún tipo de radiación y generan desechos. Las turbinas eólicas a su vez pueden desfigurar un hermoso paisaje y la recogida de leña, acarrear la deforestación y la desertificación ( OIEA, 2008).
De esta manera, la dimensión del medio ambiente contiene el tema de la atmósfera, que se divide en el subtema del cambio climático, este mide las emisiones de Gases de Efecto Invernadero (GEI) por la producción y uso de energía, per cápita y por unidad de PIB; y el subtema de la calidad del aire, que se divide a su vez en dos indicadores, el indicador de las concentraciones ambientales de contaminantes atmosféricos en zonas urbanas y el indicador de emisiones de contaminantes atmosféricos procedentes de los sistemas energéticos.
El tema del agua, que tiene como subtema la calidad del agua y el indicador de descargas de contaminantes en efluentes líquidos procedentes de los sistemas energéticos, incluidas las descargas de petróleo; el tema de la tierra que se divide en el subtema de la calidad de los suelos, este mide las zonas del suelo en las que la acidificación supera la carga crítica; el subtema de los bosques, que mide la tasa de deforestación atribuida al uso de energía; el subtema de la generación y gestión de desechos sólidos, que mide la relación entre la generación de desechos sólidos y las unidades de energía producida, el indicador dos, que mide la relación entre los desechos sólidos adecuadamente evacuados y el total de desechos sólidos generados; el indicador tres, que mide la relación entre los desechos sólidos radiactivos y las unidades de energía producida; el indicador cuatro, que mide la relación entre los desechos sólidos radiactivos en espera de evacuación y el total de desechos sólidos radiactivos generados. Como dijimos en un principio, estos son en general los indicadores más utilizados por los países que conforman las Naciones Unidades y que cuentan con un enfoque predominantemente medioambiental.
La Comisión Económica para América Latina y el Caribe ha desarrollado también otra propuesta de indicadores para evaluar y dar seguimiento a las políticas energéticas de los países de América Latina y el Caribe (CEPAL). Dicha propuesta de indicadores difiere de la propuesta de la Organización Internacional de Energía Atómica y de las Naciones Unidas porque asume la existencia de intereses políticos presentes en las políticas nacionales de los países latinoamericanos y por tener, al menos, una herencia de las percepciones históricas sobre la dependencia de la periferia con respecto a las potencias occidentales.
Lo anterior puede notarse en el rescate de los indicadores de la CEPAL se realizaron en un estudio del 2009, denominado: Política Mexicana e Indicadores de Sustentabilidad ( Sheinbaum, Rodríguez, & Robles, 2009). En su estudio, analizan la sustentabilidad del sistema energético mexicano basado en estos indicadores de la CEPAL para los años de 1997 al 2006. En este estudio se destaca, que si bien los temas e indicadores de sustentabilidad que presenta la metodología de la OIEA (2005), tienen una mayor desagregación en términos de los sectores de consumo final de la energía, usos finales e impacto en la atmósfera, el agua y el suelo; los indicadores de la CEPAL (2003) reconocen con mayor amplitud las dimensiones económicas y sobre todo las políticas, dimensión que está ausente en la propuesta de indicadores de la Agencia Internacional de Energía Atómica y que es de gran interés para el análisis del sistema energético mexicano.
En pocas palabras, el estudio insiste que desde 1982 la política nacional energética de México no ha respondido a los criterios de independencia y sustentabilidad, sino de priorizar los objetivos de apertura de los mercados y de la integración energética con América del Norte. Algunas de las conclusiones a las que han llegado destacan el cambio de modalidad de coordinación sectorial que responde al desmantelamiento de los organismos energéticos de México y a los criterios de apertura de mercado; promoción del gas natural, concentración de los recursos públicos en la extracción de petróleo crudo y empleo de capital privado; utilización de PEMEX y CFE como instrumentos al servicio de las políticas de estabilidad macroeconómica; búsqueda de la seguridad energética, ya no en el ámbito nacional sino en un marco regional (en el marco de la Alianza para la Seguridad y Prosperidad de América del Norte: ASPAN). Bajo este marco, es que se analizan los indicadores de la CEPAL aplicados a la realidad mexicana.
Básicamente, los indicadores de evaluación de la sustentabilidad del sistema energético mexicano se asientan en 8 temas y 12 indicadores. El primero de ellos es la autarquía energética. Esta también es llamada autosuficiencia energética ya que implica que un país pueda garantizar el suministro energético de largo plazo mediante recursos propios y, por lo tanto, dependa cada vez menos de las importaciones. Este tema se divide entonces en dos indicadores: importación de energía primaria e importación de hidrocarburos.
El segundo tema se refiere a la robustez frente a los cambios externos. Este término es a la vez una categoría que expresa la vulnerabilidad económica del país ante cambios externos relacionados con el sector energético, como el precio internacional del crudo. Para medirla, se diseñaron tres indicadores: valor de las exportaciones de crudo con respecto al PIB, participación del ingreso petrolero en el total de los ingresos nacionales y peso relativo del endeudamiento en la inversión del sector petrolero.
En tanto, el tercer tema, llamado productividad energética, se define como lo inverso a la intensidad energética, que a su vez puede medirse como el consumo nacional de energía por unidad del PIB. Mientras menor sea la intensidad energética, la productividad y la eficiencia energética del país aumentan. El cuarto tema tiene que ver con la cobertura eléctrica. Este se mide sobre todo midiendo el porcentaje de viviendas con electricidad. El quinto tema es la cobertura de necesidades energéticas básicas. Para evaluar esta categoría se definen dos indicadores: eficiencia de transformación entre energía final y útil per cápita y equidad en el gasto de energía por deciles para diversas fuentes. La energía útil se define como la cantidad de energía que llega a la vivienda (energía final), multiplicada por la eficiencia en su uso. De acuerdo con la metodología de la CEPAL, la energía útil se calcula conforme a las eficiencias establecidas por el Sistema de Información Económica y Energética (SIEE) de la Organización Latinoamericana de Energía (OLADE).
Por su parte, la equidad en el gasto de energía se presenta a través del índice de Gini, que muestra la concentración en el gasto de diferentes energéticos por decil de ingreso monetario. El sexto tema es la pureza relativa del uso de la energía y se mide a través de las emisiones de bióxido de carbono, el principal gas de efecto invernadero que provoca el cambio climático global. Estas emisiones se calculan de acuerdo con la metodología del Panel Intergubernamental de Cambio Climático para el consumo de energía de los sectores de uso final y la energía consumida para la generación eléctrica y el propio sector energético, reportado en el balance nacional. Para medir esta pureza relativa se utilizan dos indicadores: las emisiones totales y las emisiones per cápita. El séptimo tema es la participación de las energías renovables, esta se define como el porcentaje de renovables respecto al consumo nacional total. Incluyen la hidro energía, la geo-energía, la energía eólica, las biomasas de leña, bagazo de caña y otras fuentes. El octavo tema es el alcance de recursos fósiles, este se estima como el cociente de las reservas de hidrocarburos (incluyendo reservas probadas, probables y posibles o 3p) entre su producción bruta anual. Dichos indicadores se sustentan con las cantidades relacionadas con la producción de petróleo para la exportación, los descubrimientos de pozos petroleros y la inversión en exploración.
Como vemos, la propuesta de la CEPAL toma en cuenta los criterios de sustentabilidad mencionados anteriormente, pero añaden un componente ausente en la metodología de la Agencia Internacional de Energía Atómica, y este es el componente político. Palabras como soberanía, independencia o autosuficiencia están ausentes de la primera propuesta.
En resumen, en el ciclo de vida de las políticas públicas la evaluación bien sea en sus formas ex ante, durante o intermedia y ex post, es de suma trascendencia para el éxito de una política pública. El éxito en este caso, es el logro de los objetivos planteados con calidad, eficiencia y eficacia, pero para ello es necesario fortalecer metodológicamente los instrumentos de evaluación. Como mencionamos anteriormente, las metodologías de evaluación utilizadas en México cuentan con un componente eminentemente social o de seguimiento presupuestario, priorizando categorías e indicadores propios de los programas sociales y no de los programas de energía. Los instrumentos pueden estar precedidos por paradigmas científicos. Entre estos métodos, los métodos cuantitativos y los métodos cualitativos sobresalen por encima del método comparado o el método histórico, aunque si de evaluar una política o un programa se tratase, no debería descartarse pues todo depende de la pregunta con la cual iniciemos la evaluación. Dicho de otra manera, si tenemos en claro quién desea una evaluación, para qué y qué busca específicamente podemos proceder al tipo de evaluación que más corresponda a la pregunta planteada.
Así por ejemplo, si lo que deseamos conocer es si un programa o una política está correctamente diseñada bajo la normatividad vigente o la estructura mínima de un programa entonces utilizaremos una evaluación de diseño de programa bajo el método cuantitativo o cualitativo; si en cambio lo que deseamos es conocer si se cumplieron los objetivos planteados, entonces no hay duda, necesitamos una evaluación de resultados; si por el contrario queremos conocer de qué manera ha impactado un programa dado en una comunidad en específico, entonces debemos remitirnos nuevamente a la premisa anterior, depende de la pregunta, esto es, si deseo conocer el impacto en el bolsillo de los hogares de una comunidad, entonces escogemos una evaluación de impacto bajo métodos cuantitativos
De las premisas anteriores podemos continuar planteándonos preguntas que deriven en instrumentos y métodos específicos o bien, de una combinación de ellos, pero básicamente una evaluación debe tomar en cuenta ciertas premisas que se encuentran más allá del propio instrumento de evaluación. Dicho de otra manera, adecuar el instrumento a la naturaleza del programa.
Antes de iniciar una evaluación hay que tomar en cuenta varias cosas: en primer lugar, bajo qué modelo energético estamos. Aquí entendemos por modelo básicamente como una forma de hacer las cosas y que puede ser replicado, un modelo energético bien puede estar orientado hacia criterios basados en la dependencia de los combustibles fósiles y una política rentista o bien, en un modelo orientado hacia el desarrollo sustentable. También es necesario conocer cuál es la política nacional energética bajo la cual dependen todos los programas, planes y proyectos. Esto para saber hacia dónde apunta un programa o para ver de qué manera converge o aporta una determinada política. Posteriormente, también es importante conocer cuáles son los fines y los medios bajo los cuales operarán los programas en el cumplimiento de una política energética nacional, es decir, hacia dónde quiere ir un país a diferencia de a dónde va.
Así las cosas, podemos preguntarnos, cómo se encuentran entonces los instrumentos de evaluación en México, qué tan adecuados son para la interpretación de programas relacionados con el sector de energía, bien sea en el ámbito de los hidrocarburos o de la electricidad, dónde están sus incompatibilidades y cómo pueden cambiarse, o mejor dicho, qué categorías, variables e indicadores pueden cambiarse para mejorar los instrumentos. En las siguientes líneas comenzaremos por realizar una descripción de los instrumentos de evaluación, sus incompatibilidades y los puntos de cambio.
En términos generales, la evaluación de los programas de energía se ha concentrado sobre todo en tres tipos de evaluación: evaluación de diseño, evaluación de consistencia y resultados y evaluación de impacto. A su vez, las evaluaciones han sido realizadas por la Facultad de Ingeniería de la Universidad Nacional Autónoma de México (UNAM), el Instituto Nacional de Administración Pública (INAP) y por algunas consultoras privadas pero de ninguna manera es una práctica extendida entre las universidades mexicanas o entre las organizaciones de la sociedad civil. Casi todas las evaluaciones realizadas se encuentran en las bases de datos del CONEVAL o de la SHCP desde, por lo menos, el 2008. La gran mayoría de estas evaluaciones cumplen al pie de la letra con las guías metodológicas contenidas en los términos de referencia del mismo CONEVAL ( 2013) y de la SHCP. Sin embargo, adolecen de dos aspectos: 1) no son equipos multidisciplinarios los que realizan las evaluaciones, o bien son ingenieros, o bien son especialistas de políticas públicas; y 2) los instrumentos de evaluación no encajan completamente con el contenido de los programas pues la metodología, como mencionamos en la introducción de este trabajo, no corresponde en su totalidad con la temática energética, sino con los programas de desarrollo social. Es decir, la gran mayoría de los elementos contenidos en las guías metodológicas corresponden al análisis de un buen diseño de programa, pero coloca la mirada en aspectos del desarrollo social, de la arquitectura del programa o de la ingeniería del mismo, razón por la cual los fines, que en materia de energía interesan, quedan ausentes.
La combinación de estos dos desfases da como resultado evaluaciones que en el fondo están bien hechas, acordes a los términos de referencia y requisitos del CONEVAL o de Hacienda pero que se quedan cortas con las pretensiones de lo que debe llevar un buen programa de energía, en especial si lo que nos interesa es conocer el aporte de un determinado programa a los fines de la política energética y conocer la ruta o el camino real que sigue la política nacional. O bien, conocer qué tipo de política se está construyendo en el país y que beneficios está dando como resultado de la operación de sus programas en aspectos como la democracia, el bienestar social, la lucha contra el cambio climático, la eficiencia energética, la ciencia, la tecnología y el empleo, etc. También, qué distancia hay entre lo que se dice que se va a hacer y lo que hay. Dicho de otra manera, la distancia entre la política energética formal y la real.
Comenzaremos con el primer problema en cuestión. La gran mayoría de las evaluaciones realizadas no pertenecen a equipos multidisciplinarios que combinen el análisis de un experto en materia de energía y otro u otros expertos en materia de políticas públicas. Esto genera que algunos de los análisis hechos por los especialistas de un campo dejen de lado aspectos que desde otra disciplina puedan ser mejor comprendidos y explicados. Pongamos sólo un ejemplo: el de las centrales eólicas de Juchitán Oaxaca. Aquí muchos economistas verían a primera vista elementos como la producción, el consumo, la eficiencia energética o la intensidad energética; por su parte, los especialistas en políticas públicas tratarán en un primer momento de observar la congruencia entre las metas, los indicadores, las líneas de acción, o los objetivos estratégicos, pero un sociólogo o un antropólogo estaría más interesado en observar la manera en que dichas inversiones o megaproyectos y el personal a su cargo interactúan y afectan a una comunidad que habite en esos lugares. Lo que obtendremos con la suma de las disciplinas son nuevos lentes con los cuales observar un mismo fenómeno y acercarnos más a su complejidad real. Es por esta razón que sostenemos que algunas de las evaluaciones realizadas, por lo menos en las observaciones realizadas en las respuestas que colocan en sus informes finales, nos parece que podrían tener un salto cualitativo si fueran compuestos por especialistas de distintas materias.
Algunas de las evaluaciones a los programas de energía que se han hecho desde esta, unidisciplinariedad tienen su antecedentes desde el 2008, sin embargo, el componente energético en otros programas puede encontrarse desde el año 2007, así por ejemplo, investigadores de la Universidad de Berkeley en California ( Gertler, Fuchs & Sturdy, 2008), evaluaron el impacto del componente energético del Programa Oportunidades en el bienestar de los hogares beneficiarios del Programa y en el gasto que éstos realizan en energéticos. Su metodología es básicamente cuantitativa basada en análisis econométricos sobre el gasto de los hogares y el impacto de los subsidios y las políticas de focalización versus las políticas universalistas. Para el 2008 encontramos más evaluaciones en programas de energía, esta vez, evaluaciones con la metodología del CONEVAL aplicados sobre todo a PEMEX y CFE.
Por ejemplo, el Instituto Nacional de Administración Pública (INAP), realizó en el 2008 una evaluación de diseño al programa presupuestario B001: producción de petróleo, gas, petrolíferos y petroquímicos a la empresa Petróleos Mexicanos. También en el 2011 con una evaluación de consistencia y resultados al programa presupuestario E011: comercialización de petróleo, gas, petrolíferos y petroquímicos de PEMEX.
En el 2008, el Centro de Investigación en Energía de la UNAM realizó algunas evaluaciones de diseño para la Comisión Nacional para el Uso Eficiente de la Energía (CONUEE), en ella, el Centro evaluó los programas P008. Seguimiento y evaluación de políticas públicas para el aprovechamiento sustentable de la energía; programa E009. gestión e implementación en aprovechamiento sustentable de la energía; programa G007. supervisar el aprovechamiento de la energía; y el F012. Promoción en materia de aprovechamiento sustentable de la energía. Los resultados de la evaluación señalan como principales debilidades: falta de claridad y precisión en la definición de Fin, Propósito, Componentes y Actividades del Programa; contenido de la matriz de indicadores ya que carecen de lógica vertical y horizontal; ausencia de una estructura de trabajo aprobada oficialmente; falta de manuales de organización y procedimientos, así como de un programa específico de trabajo; personal insuficiente para la realización de actividades del programa, entre otros.
Sánchez ( 2014), Inició con la evaluación de diseño del programa presupuestario 562: operación, mantenimiento y recarga de la Nucleoeléctrica Laguna Verde para la generación de energía eléctrica a cargo de la Gerencia de Centrales Nucleoeléctricas de la Comisión Federal de Electricidad; Evaluación de consistencia y resultados 2014 del programa presupuestario E570: operación y mantenimiento de los procesos de distribución y de comercialización de energía eléctrica; Evaluación de consistencia y resultados 2014 del programa presupuestario K027, Mantenimiento e infraestructura a cargo de la Comisión Federal de Electricidad; Evaluación de consistencia y resultados 2014 del programa presupuestario E562: Operación, mantenimiento y recarga de la nucleoeléctrica Laguna Verde para la generación de energía eléctrica; y evaluación de consistencia y resultados 2014 del programa presupuestario E563: suministro de energéticos a las centrales generadoras de electricidad de la CFE.
Las evaluaciones se han concentrado sobre todo en diseño y consistencia y resultados desarrolladas por el CIE, la Facultad de Ingeniería y el INAP han encontrado que una gran parte de las categorías a analizar no han encajado plenamente a través de los instrumentos y por lo tanto se han generado evaluaciones parciales. Así por ejemplo, en estos dos tipos de evaluaciones, de diseño y de consistencia y resultados, encontramos categorías que no están encajando en las evaluaciones pero que también pueden encontrarse en el resto de los tipos de evaluaciones como las evaluaciones de programas nuevos, estratégicas de desempeño, de procesos y de impacto.
En el terreno de la evaluación de las políticas públicas y más específicamente en la evaluación de las políticas nacionales energéticas y los programas relacionados con el sector energético, no existe, ni un marco teórico único ni un marco metodológico que goce de amplio consenso entre la comunidad evaluadora o estudiosa de las metodologías de evaluación. En nuestras conclusiones el punto central se encuentra en la pregunta principal, en algunos casos en las hipótesis, y/o en las preguntas centrales que surjan por parte del interesado en la evaluación. Que bien pueden ser múltiples actores, están desde el principal responsable del programa, los académicos o los ciudadanos interesados en el rumbo de un programa o en los mismos interesados hacia los cuales se les está aplicando el programa. En el mundo, existen no sólo múltiples modelos, políticas, programas o proyectos con objetivos y formas distintas al resto de países, incluso dentro de una misma región, sino también diferentes enfoques teóricos y metodológicos con los cuales analizar dichas políticas o programas y México no es la excepción.
Más aún, en México se carece de experiencia para la evaluación de políticas y programas relacionados con el sector energético y tal vez, las únicas instituciones en México que están adquiriendo una especialización en el terreno de la evaluación de programas de energía sean: La Facultad Latinoamericana de Ciencias Sociales, Sede FLACSO, La Facultad de Ingeniería de la UNAM, el ahora, Instituto de Energías Renovables también de la UNAM, el Instituto Nacional de Administración Pública de la UNAM, la Universidad La Salle en Guanajuato y la Facultad de Ciencias Políticas y Administración Pública de la Universidad Autónoma de Nuevo León. Pero también, en estas instituciones no existen métodos consensuados para le evaluación de la política energética y sus evaluaciones se basan en los instrumentos diseñados por el CONEVAL o de la Secretaría de Hacienda.
A decir verdad, tampoco en otros países se cuenta con esa metodología unificada de evaluación y a la mejor manera de avanzar en el camino hacia una evaluación de calidad es reflexionando, investigando y haciendo meta-evaluaciones a los instrumentos bajo el método comparativo. Si, como hemos visto, las metodologías de evaluación en México carecen de los elementos necesarios para una evaluación de políticas energéticas ad hoc a su naturaleza, ello no significa que en otros países se haya encontrado el eslabón perdido de la evaluación, sino que se encuentran a su vez en una misma curva de aprendizaje, es decir, nadie ha llegado al punto final de la evaluación. Sin embargo, lo que a todas luces se destaca es que en materia de evaluación energética muchos países le llevan años de ventaja al sistema de evaluación de México donde se privilegia el énfasis en la arquitectura y la ingeniería de los programas, pero no la naturaleza de los programas ni sus fines.
En otras palabras, es como analizar el diseño y el funcionamiento de una embarcación, pero no su destino o su rumbo. Por ello, la propuesta inicial de este trabajo es comenzar por señalar sus debilidades, incompatibilidades y propuestas de recambio por los fines, medios y puntos de acuerdo en el análisis comparativo con otros sistemas de evaluación, como la introducción de las dimensiones políticas, económicas, sociales y ambientales.
