Eléctrica

Selección de una infraestructura de medición inteligente de energía usando una técnica de decisión multicriterio

Using multi-criteria decision-making for selecting a smart metering infrastructure

Ricardo Echeverri Martínez
Universidad del Valle, Colombia
Diego Echeverri Ibarra
Universidad del Valle, Colombia
Juan Carlos Osorio Gómez
Universidad del Valle, Colombia
Carlos Lozano Moncada
Universidad del Valle, Colombia

Selección de una infraestructura de medición inteligente de energía usando una técnica de decisión multicriterio

Scientia Et Technica, vol. 23, núm. 2, pp. 136-142, 2018

Universidad Tecnológica de Pereira

Recepción: 26 Noviembre 2017

Aprobación: 14 Junio 2018

Resumen: En este trabajo de investigación se presenta una metodología basada en un análisis de decisión multicriterio para la selección de infraestructuras de medición inteligente de energía aplicada en el contexto colombiano. El proceso de selección de estas infraestructuras de medición abarca criterios adicionales al técnico y financiero, convirtiéndose en un problema complejo. La técnica de selección multicriterio implementada en este trabajo es el Proceso Analítico Jerárquico (PAJ). Se identificaron en el análisis siete criterios de evaluación (Tecnológico, Financiero, Ambiental, Regulatorio, Político, Infraestructura y Socio-Cultural). De estos criterios de evaluación, se desprenden 25 sub-criterios, los cuales se integran en una estructura jerárquica para evaluar tres alternativas de medición inteligente de energía. Para realizar la comparación por pares se contó con la participación de nueve expertos. Los resultados obtenidos muestran la versatilidad y aplicación del método PAJ para la toma de decisiones complejas con respecto a la implementación de infraestructuras de medición inteligente de energía, además de proporcionar una guía útil para la evaluación de proyectos Smart Grid mediante análisis multicriterio.

Palabras clave: AHP, AMI, infraestructura de medición inteligente de energía, proceso analítico jerárquico, toma de decisiones multicriterio.

Abstract: In this research a methodology based on multi-criteria decision analysis for the evaluation and selection of infrastructure energy smart metering in the Colombian context is presented. The selection process of these measurement infrastructures covers additional technical and financial criteria, becoming a complex problem. The methodology used in this work is the technique called Analytic Hierarchy Process (AHP) that considers seven assessment criteria (Technology, Finance, Environmental, Regulatory, Political, Infrastructure and Socio-Cultural). Of these assessment criteria, emerge 25 sub-criteria, which are integrated in a hierarchical structure to evaluate three energy smart metering alternatives. Nine experts were consulted to obtain the results. The results show the versatility of AHP method for making complex decisions with respect to the implementation of energy smart metering infrastructure, and provide a useful guide for assessing Smart Grid projects through multi-criteria analysis.

Keywords: AHP, advantage infraestructure metering, analytic hierarchy process, decision making, multicriteria decisions, smart metering.

I. INTRODUCCIÓN

Las tendencias tecnológicas de medición inteligente de energía AMI (por su sigla en inglés: Advanced Metering Infraestructure) que se presentan en distintas regiones alrededor del mundo, responden a las necesidades y ventajas particulares de cada región. Por ejemplo, en Norteamérica, la red inalámbrica de radiofrecuencia es la tecnología predominante en las infraestructuras de medición de energía con un 80% del total, debido a que responde de forma adecuada a las características particulares de la región. Caso contrario del uso de esta tecnología sucede en Europa y en Latinoamérica, donde la red inalámbrica de radiofrecuencia es limitada, los transformadores de distribución tienen un número elevado de usuarios y la mayoría de casas son construidas con muros de hormigón (sólidas), por lo que la decisión de llevar a cabo una comunicación en la última milla a través de la tecnología Power Line Communication (PLC), es mucho más viable. No obstante, a pesar de dichas consideraciones, el criterio económico sigue siendo el principal vector que guía esta toma de decisiones, dejando a un lado otros criterios importantes como son el regulatorio, ambiental, técnico y social.

Con la consideración de estos nuevos criterios, la implementación de proyectos AMI deja de ser un problema de análisis monocriterio cuyos resultados se basan en métodos de optimización de un único objetivo, para transformarse en un estudio que debe apoyarse en metodologías de decisión multicriterio, todo con el fin de alcanzar un equilibrio entre los factores considerados y que satisfaga a todos los involucrados en el proyecto.

El análisis multicriterio es un tipo de herramienta de análisis de decisión que es aplicable a este tipo de casos de selección de tecnologías, en particular en aquellos casos en donde no basta solo un análisis costo-beneficio y sobre todo cuando a los impactos ambientales y sociales no se les puede asignar fácilmente un valor cuantificable [1][2]. El análisis multicriterio permite ayudar a los individuos a tomar decisiones en donde cada uno tiene un punto de vista diferente del problema y donde son varias las partes interesadas, incluyendo para este fin una amplia gama de conceptos sociales, regulatorios, ambientales, técnicos y financieros [3].

Estos métodos son comúnmente clasificados acordes al tipo de información que se use. En la literatura se encuentran problemas de decisión que incluyen la priorización de proyectos Smart Grid [4], enfoques de respuesta a la demanda [5], generación de microrredes [6][7], la planificación del suministro de energía [8], la generación con energías renovables [9] y gestión energética [10]. Estos a su vez, se dividen en problemas de decisión multicriterio determinísticos, estocásticos y difusos [11][12]. También se pueden clasificar acorde al número de tomadores de decisión pertenecientes al problema. Sobresalen los modelos de suma ponderada, proceso analítico jerárquico (PAJ), el modelo de Producto Ponderado, el ELECTRE (por su sigla en inglés ELimination and Choice Expressing REalityor more commonly), el PROMETHEE (Preference Ranking Organization METHod for Enrichment Evaluations), el MAUT (Multi-attribute utility theory) y el TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution) [13][14].

En el presente trabajo se aplica el método Proceso Analítico Jerárquico (PAJ) al problema de seleccionar una infraestructura de medición inteligente de energía (AMI) en el contexto colombiano. La metodología PAJ implementada tiene un sólido fundamento científico-matemático y es ampliamente usada en proyectos tecnológicos energéticos. La razón principal por la cual se trabaja con el PAJ es debido a la forma de ponderación de criterios subjetivos y la opción de poder trasladar la realidad percibida por un individuo a la escala de la razón. Además, cuenta con una estructuración de forma jerárquica del problema que facilita la comprensión para los individuos que deben tomar una decisión cuando se trabaja con mucha información. En la sección 2 de este documento se presenta la metodología propuesta para estructurar el problema de decisión multicriterio usando el PAJ. La sección 3 presenta los resultados para la situación analizada en este trabajo. Finalmente, se muestran las conclusiones del trabajo.

II. METODOLOGÍA

El modelo de selección propuesto se desarrolló en el marco del Proceso Analítico Jerárquico (PAJ), el cual es una teoría de la medición que usa a través de comparación por pares, los juicios de expertos para obtener escalas de prioridad. Desarrollada por Thomas L. Saaty en los setenta y ochenta, ha sido ampliamente estudiada y refinada desde entonces. En [15] se aprecia con más detalle los procedimientos matemáticos que se desarrollan con las matrices para obtener los pesos del vector prioridad. El Análisis de Toma de Decisiones Multicriterio es útil para:

Para realizar un análisis PAJ, los involucrados requieren del conocimiento profundo del asunto a resolver, debido a que en la estructuración de la jerarquía hay que incluir suficientes detalles relevantes asociados al problema.

A continuación, se exponen las etapas propuestas para llevar a cabo el análisis multicriterio PAJ, presentando además lo que se realizó y obtuvo en cada una de ellas.

A. Determinación del objeto de estudio.

El objetivo del estudio fue el siguiente: Seleccionar una tecnología de medición inteligente de energía (AMI) que proporcione mayores beneficios a los involucrados para el contexto colombiano. Para ello, se tuvieron en cuenta siete criterios de evaluación (Tecnológico, Financiero, Ambiental, Regulatorio, Político, Infraestructura y Socio-Cultural). De estos criterios de evaluación, se desprenden 25 sub-criterios, los cuales se integran en una estructura jerárquica para evaluar tres alternativas de medición inteligente de energía en el contexto colombiano.

B. Selección de las alternativas

Con base a la información encontrada en [16], en donde se presenta un mapa de las tecnologías AMI instaladas a nivel mundial, las alternativas seleccionadas para este estudio son las siguientes:

C. Identificación de los criterios y subcriterios de decisión

Para identificar los criterios de decisión, el estudio se basó en [17][18], donde tiene en cuenta 7 criterios importantes de evaluación: Tecnológico, Financiero, Ambiental, Regulatorio, Político, Infraestructura y Socio-Cultural. A partir de estos 7 criterios, se generaron 25 subcriterios. En la Figura 1 se presenta la estructura de criterios y subcriterios aplicados en este trabajo.

Estructura jerárquica propuesta para la selección de una tecnología AMI.
Figura 1.
Estructura jerárquica propuesta para la selección de una tecnología AMI.

D. Identificación de los expertos

Los métodos de decisión multicriterio comprenden la selección entre un conjunto de alternativas factibles, basado en un conjunto de criterios de naturaleza cualitativa y/o cuantitativa, los cuales pueden estar en conflicto, y por lo que es necesario optimizar varias funciones objetivo de manera simultánea y contar con la participación de múltiples agentes expertos, que a partir de procedimientos de evaluación racionales y consistentes, permiten tomar decisiones frente a un determinado problema que contienen aspectos intangibles a evaluar.

Con respecto al número de expertos, en [19] se recomienda que el grupo tenga entre 6 y 12 participantes. En [20] estiman suficiente un grupo de 7 expertos.

Para el presente estudio se contó con un total de 9 expertos, de los cuales cuatro de ellos son académicos con nivel de estudios de doctorado con conocimientos en el ámbito tecnológico de las AMI. Los otros 5 expertos, son profesionales con una amplia experiencia en el sector de servicios públicos de energía y medición inteligente

E. Procesamiento matemático de la información obtenida

Después de la estructuración de la jerarquía, el panel de expertos metódicamente evaluó cada uno de los criterios y subcriterios, con el fin de poder compararlos unos con otros;estas comparaciones por pares se realizan en cada nivel jerárquico, buscando determinar la importancia que le da cada experto a cada uno de los criterios y subcriterios de evaluación. Para este caso, se elaboró un cuestionario (ver Tabla 1) que se aplicó a cada experto.

Tabla 1.
Esquema de cuestionario utilizado para evaluar los criterios y subcriterios.
Comparaciones de criterios: Seleccione cuál criterio considera usted más importante marcando con una X entre el criterio C1 comparándolo con el criterio C2, C3 y Cn, y dele una valoración según la escala de importancia de Saaty.
criterioMarque con xcriterioMarque con xValoración escala de importancia de Saaty
C1XC2(1 a 9)
C1XC3 X(1 a 9)
(1 a 9)
C1Cn X(1 a 9)

Al realizar el proceso de comparación pareada, el PAJ convierte las evaluaciones realizadas a los expertos en valores numéricos, dándole un peso respectivo de forma racional y consistente. Esto se hace utilizando la escala fundamental de Saaty para valorar los juicios de los expertos y establecerlos en el método PAJ. Las escalas para la asignación directa de los juicios se encuentran en la Tabla 2, escala de importancia de Saaty.

Las prioridades numéricas son calculadas para cada una de las alternativas de decisión. Los valores numéricos obtenidos representan cuál de las alternativas tiene un mayor peso para lograr cumplir todos los criterios del objetivo principal del problema.

Tabla 2.
Escala de importancia de Saaty.
EscalaEscala VerbalDescripción
1Igualmente importantesLos dos elementos contribuyen igualmente a la propiedad o criterio
3Levemente más importanteEl juicio y la experiencia previa favorecen a un elemento frente al otro
5Notablemente más importanteEl juicio y la experiencia previa favorecen fuertemente a un elemento frente al otro
7Fuertemente más importanteUn elemento domina fuertemente. Su dominación está probada en práctica
9Extremadamente más importanteUn elemento domina al otro con el mayor orden de magnitud posible
Fuente [15].

Finalmente, se revisó la consistencia lógica de la matriz resultante, con el fin de detectar si las comparaciones pareadas que emitió el panel de expertos, tienen inconsistencias de acuerdo a los valores asignados a los criterios. La inconsistencia implica lo siguiente:

El PAJ mide la inconsistencia de los juicios mediante el índice de Consistencia CI, y se calcula según la ecuación (1):

(1)

Donde CC es la Proporción de Consistencia y ésta es aceptada si es menor a 0,10 [21]. Si la Proporción de Consistencia es mayor, se debe estudiar de nuevo el problema y revisar los juicios emitidos.

Para determinar los índices aleatorios (RI) para diferentes tamaños matriciales (n), éstos fueron obtenidos mediante la simulación de 100.000 matrices recíprocas generadas aleatoriamente utilizando la escala de Saaty [21].

En cuanto al índice de consistencia se define en la ecuación (2) de la siguiente forma:

(2)

El es obtenido al realizar la suma ponderada de cada celda por el vector prioridad evaluado para cada criterio, este resultado se divide por el valor del vector prioridad y el resultado se suma con los demás resultados evaluados en los demás criterios. Finalmente, al resultado de esta suma se le saca la media aritmética.

III. RESULTADOS PARA EL CASO DE ESTUDIO

Los resultados del proceso de análisis jerárquico de los niveles 1 y 2 con respecto al objetivo principal, se muestran en la Tabla 3 y Tabla 4. En ambas tablas se presenta la escala de prioridades de los criterios y subcriterios de acuerdo al peso normalizado global alcanzado por cada nivel. Los pesos normalizados locales corresponden a la evaluación entre subcriterios dentro de los conjuntos a los que cada uno pertenece. Los resultados del vector de prioridades y el índice de consistencia se obtuvieron con la ayuda del software de toma de decisiones Super Decision.

El software Super Decisions es un programa comercial que se utiliza para resolver problemas de Decisión de Multicriterios. Incluye la solución de problemas de Procesos de Análisis Jerárquico (AHP) y los del tipo Proceso Analítico de Red (ANP).

En la Tabla 3 se observa que según la opinión de los expertos consultados el criterio que más influye sobre la implementación de una infraestructura de medición inteligente de energía es el financiero, mostrando un peso relativo global de 0,231 del conjunto de criterios estudiados. Este resultado refleja la importancia que los expertos conceden a la evaluación financiera de un proyecto de inversión, de manera que se resuelva una necesidad de forma eficiente, segura y rentable para los inversionistas.

Tabla 3
Prioridad de criterios para la selección de una tecnología de medición inteligente de energía.
CRITERIOSGLOBAL
Financiero0,231
Infraestructura0,203
Político-Regulatorio0,194
Tecnológico0,155
Ambiental0,113
Socio-Cultural0,104

En cuanto a la escala de prioridades de los subcriterios (ver Tabla 4), se observó que en orden de importancia los expertos sitúan en primer lugar el subcriterio Aspectos Limitantes Regulatorios con un peso relativo global de 0,1157, seguido por Seguridad de Transmisión de los datos con un peso de 0,0926, Costos de Instalación con un 0,0717, Costos Adicionales con un 0,0626, Posibilidad de masificación a mediano plazo con un 0,0571, Impacto Social de Sectores con un 0,0515, e Impacto Social con un 0,0500. Este resultado refleja que para tener una exitosa implementación de una infraestructura de medición inteligente de energía se debe contar con cinco aspectos fundamentales explicados a continuación:

Unas señales claras desde el nivel regulatorio que permitan que dicha implementación sea desplegada y preste servicios dentro de un marco legal satisfaciendo requerimientos económicos, sociales y medioambientales.

Debe contar con una infraestructura de comunicación lo suficiente segura que evite la posibilidad de acceso por parte de extraños al sistema de gestión de datos.

Tener una clara estimación promedio del valor a pagar por la instalación total de la tecnología de medición inteligente de energía y de los costos adicionales que vendrían a futuro, ya que a partir de este resultado se sabe qué tan rentable económicamente será el proyecto. La Infraestructura de comunicación debe contar con un alto grado de madurez tecnológico y con altas posibilidades de masificación a mediano plazo, con el fin de posicionarse fácilmente en el sector eléctrico colombiano.

Finalmente, la tecnología debe producir un impacto positivo para la sociedad, bien sea en términos de generación de puestos de trabajo o innovación tecnológica, ya que estos factores contribuyen al desarrollo del país.

Tabla 4
Prioridad de Subcriterios para la selección de una tecnología de medición inteligente de energía
CriteriosSubcriteriosLocalGlobal
TecnológicoVelocidad de transmisión0,0330,0046
Escalabilidad0,0750,0117
Interoperabilidad0,2470,0382
Interferencia0,0950,0147
Caracterización Red0,1320,0204
Madurez tecnológica0,1600,0248
Potencial Futuro0,1570,0244
Vida útil equipos utilizados0,1010,0157
FinancieroCostos de instalación0,3200,0717
Costos adicionales0,2710,0626
Obsolescencia tecnológica0,1670,0388
Posibilidad de masificación a mediano plazo0,2420,0571
AmbientalNo duplicidad de instalaciones0,4030,0455
Uso de la red0,2660,0300
Longevidad de la red de comunicación0,3300,0372
Político-RegulatorioAspectos Limitantes0,6090,1157
Impacto Social de Sectores0,2710,0515
Autonomía Nacional0,1190,0227
InfraestructuraCobertura0,1620,0338
Seguridad0,4440,0926
Tiempo de instalación0,0540,0113
Mantenimiento0,1990,0415
Vida útil de la red0,1390,0290
Socio-CulturalConocimiento de la tecnología0,2960,0300
Disponibilidad por estrato0,2140,0217
Impacto en la sociedad0,4890,0495

A. Valoración de las tres alternativas AMI según cada criterio

En esta parte se realizó la comparación por pares del PAJ entre las tres alternativas AMI de acuerdo con cada criterio. Para conformar la matriz de importancia relativa se utilizó de igual forma las valoraciones dadas por cada uno de los 9 expertos.

Después de realizar cada paso de la metodología PAJ para obtener la ponderación de cada uno de los criterios y subcriterios evaluados en las tres tecnologías, la alternativa tecnológica que obtuvo un mayor peso relativo fue la híbrida (PLC-GSM) con un 36%, seguido de la PLC con 33% y por último la inalámbrica con 32%.El principal impulsor de este resultado es la alta ponderación que obtuvo en aspectos de interoperabilidad, escalabilidad y el buen impacto social que tendría en la sociedad la tecnología híbrida. La Figura 2 obtenida del software Super Decision muestra estos resultados.

Ponderación Final de las tres tecnologías de medición inteligente de energía
Figura 2
Ponderación Final de las tres tecnologías de medición inteligente de energía

B. Análisis de sensibilidad de los resultados

Una vez priorizado los criterios, subcriterios y alternativas mediante el Proceso Analítico Jerárquico (PAJ), se realizó un análisis de sensibilidad para poder determinar los posibles cambios en función de incrementos de cualquier criterio. Este análisis ayudó a determinar si existe alguna modificación del orden y la importancia en diferentes escenarios. Para desarrollar el análisis de sensibilidad, se realizó una variación de los criterios (primer Nivel de la jerarquía) con una variación del 25%, valor sugerido según lo encontrado en la literatura. Los resultados se muestran en la Tabla 5:

Tabla 5
Resumen del análisis de sensibilidad.
Análisis de Sensibilidad del 25% de los seis criterios
Ranking
123
AmbientalHíbrida (PLC+GSM)PLCInalámbrica
FinancieroHíbrida (PLC+GSM)PLCInalámbrica
InfraestructuraHíbrida( PLC+GSM)PLCInalámbrica
Político-RegulatorioHíbrida (PLC+GSM)InalámbricaPLC
Socio-CulturalHíbrida (PLC+GSM)InalámbricaPLC
TecnológicoHíbrida (PLC+GSM)PLCInalámbrica

Los resultados presentados aportan robustez a la propuesta de solución del problema de investigación y más, si se considera que las variaciones hasta un 25% no presentan una modificación considerable comparado con el ranking principal, indicando que la valoración efectuada por el grupo de expertos se mantiene a pesar de realizarse un sensibilizado en los resultados de las ponderaciones.

A la vista de los resultados expuestos en la tabla anterior, parece acertado mencionar que la tecnología híbrida de medición inteligente de energía aparece como mejor alternativa tecnológica en análisis de sensibilidad del 25%. En este escenario, sólo se presenta una modificación del ranking respecto al inicial, donde la tecnología Power Line Communication (PLC) es desplazada del segundo al tercer lugar en los criterios político-regulatorio y socio-cultural.

Los resultados presentados aportan robustez a la propuesta de solución del problema de investigación y más, si se considera que las variaciones hasta un 25% no presentan una modificación considerable comparado con el ranking principal, indicando que la valoración efectuada por el grupo de expertos se mantiene a pesar de realizarse un sensibilizado en los resultados de las ponderaciones.

IV. CONCLUSIONES

Para obtener una acertada implementación de una infraestructura de medición inteligente de energía, es de vital importancia tener en cuenta criterios económicos, ambientales, político-regulatorios, tecnológicos y socioculturales. La mayoría de estudios consultados y relacionados con proyectos de ingeniería, se enfocan solamente en la parte económica y técnica, que sin lugar a duda son parte vital, pero dadas las cambiantes exigencias sociales, ambientales y regulatorias se debe hacer un análisis más integral. Debido a lo anterior, el método de Proceso Analítico Jerárquico es una herramienta apropiada para abordar este tipo de problemas complejos de selección.

Se observó que los criterios más importantes a la hora de seleccionar una infraestructura de medición inteligente de energía es el financiero, seguido del criterio infraestructura y en un tercer lugar el político-regulatorio. En el caso de los subcriterios, se observó que en orden de importancia los expertos sitúan en primer lugar el subcriterio Aspectos Limitantes Regulatorios seguido por Seguridad de Transmisión de los datos y Costos adicionales y de Instalación.

Los resultados permiten concluir que para obtener una exitosa implementación de una infraestructura de medición de energía en el contexto actual colombiano se debe tener en cuenta una clara documentación a nivel regulatorio, debe ser una infraestructura de medición segura para evitar la posibilidad de acceso por parte de extraños al sistema
de gestión de datos, claridad en los costos del proyecto para garantizar la rentabilidad del mismo. Por último, la tecnología debe producir un impacto positivo para la sociedad, bien sea en términos de generación de puestos de trabajo o innovación tecnológica.

Considerando los resultados anteriormente expuestos y realizando una comparación por pares, la alternativa mejor valorada es la infraestructura de medición híbrida (PLC+GSM). El principal impulsor de este resultado es la alta ponderación que obtuvo en aspectos de interoperabilidad, escalabilidad y el mayor impacto que tendría en la componente social.

REFERENCIAS

[1] J. R. San Cristóbal Mateo, Multi Criteria Analysis in the Renewable Energy Industry. London: Springer London, 2012.

[2] M. Cinelli, S. R. Coles, y K. Kirwan, «Analysis of the potentials of multi criteria decision analysis methods to conduct sustainability assessment», Ecological Indicators, vol. 46, pp. 138-148, 2014.

[3] C. Giacomini, G. Longo, E. Padoano, y M. Zornada, «An AHP-based method to assess the introduction of electric cars in a public administration», en 2017 IEEE International Conference on Environment and Electrical Engineering and 2017 IEEE Industrial and Commercial Power Systems Europe (EEEIC / I&CPS Europe), 2017, pp. 1-6.

[4] Z. Ozturk, «Smart Grid Applicability Prioritisation Of Neighbourhoods by Developing a Geospatial Decision Support Model.», University of Salford, 2013.

[5] S. Shao, M. Pipattanasomporn, y S. Rahman, «An approach for demand response to alleviate power system stress conditions», en 2011 IEEE Power and Energy Society General Meeting, 2011, n.o July, pp. 1-7.

[6] B. Lazzerini y F. Pistolesi, «Efficient energy dispatching in smart microgrids using an integration of fuzzy AHP and TOPSIS assisted by linear programming», en Proceedings of the 8th conference of the European Society for Fuzzy Logic and Technology, 2013, n.o Eusflat.

[7] S. S. Mousavi-Seyedi, F. Aminifar, A. Rahimikian, y S. Rezayi, «AHP-based prioritization of microgrid generation plans considering resource uncertainties», en 2013 Smart Grid Conference (SGC), 2013, pp. 63-68.

[8] J. C. R. Zerpa, «Planificación del suministro eléctrico en áreas rurales de los países en vías de desarrollo: un marco de referencia para la toma de decisiones», Tesis de Doctorado, Universidad de Zaragoza, 2012.

[9] R. A. Taha y T. Daim, Multi-Criteria Applications in Renewable Energy Analysis, a Literature Review. London: Springer London, 2013.

[10] A. Toloie-eshlaghy, «MCDM Methodologies and Applications : A Literature Review from 1999 to 2009», Research Journal of Internatıonal Studıes, vol. 21, n.o 21, pp. 86-137, 2011.

[11] G. Zhang, J. Lu, y Y. Gao, Multi-Level Decision Making: Models, Methods and Applications. 2015.

[12] S.-J. Chen y C.-L. Hwang, Fuzzy Multiple Attribute Decision Making, vol. 375. Berlin, Heidelberg: Springer Berlin Heidelberg, 1992.

[13] E. Triantaphyllou, Multi-criteria Decision Making Methods: A Comparative Study, Ilustrada., vol. 44. Boston, MA: Springer US, 2000.

[14] A. Kumar et al., «A review of multi criteria decision making (MCDM) towards sustainable renewable energy development», Renewable and Sustainable Energy Reviews, vol. 69, pp. 596-609, mar. 2017.

[15] R. W. Saaty, «The analytic hierarchy process—what it is and how it is used», Mathematical Modelling, vol. 9, n.o 3-5, pp. 161-176, ene. 1987.

[16] Wickham, «Smart Metering Projects Map», 2013. [En línea]. Disponible en: https://maps.google.com/maps/ms?ie=UTF8&oe=UTF8&msa=0&msid=115519311058367534348.0000011362ac6d7d21187. [Accedido: 10-jul-2014].

[17] Y. A. Gasiea, «An Analytical Decision Approach To Rural Telecommunication Infrastructure Selection», Tesis de Doctorado, University of Manchester, 2010.

[18] Y. Gasiea, M. Emsley, y L. Mikhailov, «Rural Telecommunications Infrastructure Selection Using the Analytic Network Process», Journal of Telecommunication and Information Technology, 2010.

[19] M. García, M. Sánchez, M. González, y R. Poveda, «Evaluación de proyectos de innovación docente basada en técnicas de decisión multicriterio con la participación de expertos: Estudio comparativo del caso presencial vs. A distancia», 2004. [En línea]. Disponible en: http://www.aeipro.com/files/congresos/2003pamplona/ciip03_0123_0134.2132.pdf. [Accedido: 05-mar-2015].

[20] N. C. Dalkey, Bernice Brown, y S. Cochran, «The Delphi Method, III: Use of self rating to improve group estimates», Technological Forecasting and Social Change, vol. 1, pp. 283-291, 1970.

[21] T. L. Saaty, Decision Making for Leaders: The Analytic Hierarchy Process for Decisions in a Complex World, Tercera. Universidad de Pittsburgh. RWS Publications, 1990.

HTML generado a partir de XML-JATS4R por