HTML

ePub

PDF

1. Introducción

En el ámbito de la optimización las meta–heurísticas han demostrado reiteradamente sus capacidades como métodos numéricos aplicados en la resolución de sus modelos asociados. En un sentido amplio, la algoritmia de estos métodos está integrada por operaciones de búsqueda y estado a través de las cuales orientan su proceso de generación y actualización de soluciones. Adicionalmente, estas operaciones incorporan parámetros en su estructura. No obstante sus capacidades, el rendimiento de toda metaheurística adolece de una fuerte dependencia respecto a las instancias o valores asignados a tales parámetros.

En este contexto, surge el problema de instanciar a un algoritmo meta–heurístico (PIAM) tal que obtenga o estime para éste el mejor rendimiento posible al resolver un problema de optimización. En el estado actual de las investigaciones, existen dos enfoques o esquemas principales sobre los está fundamentado el desarrollo de métodos y algoritmos para dar solución al PIAM, los cuales son comúnmente denominados como el control de parámetros y la afinación de parámetros (AP) [1, 2]. En el esquema de afinación los parámetros de una metaheurística, tras ser inicialmente instanciada, permanecen constantes durante toda la ejecución de la misma. La AP puede estar o no basada en modelos [2]. Enmarcado en el esquema de afinación no basado en modelos, se cuenta con la meta–optimización [3], [4], [5] o aplicación de una meta-heurística (algoritmo meta–optimizador) para afinar los parámetros de otra meta–heurística (algoritmo objetivo) [2].

El presente trabajo expone los resultados de la implementación de una propuesta meta–optimizadora que permite la afinación de los parámetros del Algoritmo de Búsqueda Armónica (ABA) [6] conjuntamente con la generación de información sobre su comportamiento. Como algoritmo meta–optimizador (MO) fue empleado al propio ABA, estableciéndose un lazo de retroalimentación entre los parámetros de éste y los asociados al algoritmo objetivo (AO). La propuesta desarrollada fue sometida a prueba sobre tres instancias de problemas de optimización no lineales y no restringidos.

Como antecedentes en los trabajos de meta–optimización de la ABA destacan los trabajos de Gandomi y Alavi [7], y Yang, et al[8]. Gandomi y Alavi proponen un algoritmo biológicamente inspirada, donde la manada de krill (KH) es usada para la solución de tareas de optimización. El algoritmo de KH está basado en la simulación del comportamiento de manada de individuos de krill. El algoritmo de KH es capaz de resolver de manera eficiente una amplia gama de problemas de optimización de referencia [7]. La realización de cualquier algoritmo dependerá en gran medida el ajuste de sus parámetros del algoritmo dependiente. El ajuste óptimo debe permitir que el algoritmo logre el mejor rendimiento para resolver una serie de problemas de optimización. Sin embargo, tales ajustes de parámetros es un problema de optimización difícil. Yang, et al presentan un marco para los algoritmos de autoajuste para que un algoritmo a ser sintonizado puede ser usada para ajustar el propio algoritmo. Mediante el algoritmo de luciérnaga como un ejemplo, muestran que este marco funciona bien [8].

2. Afinación de Parámetros

Los algoritmos de optimización inspirados en la naturaleza han sido cada vez más popular en los últimos años, y la mayoría de estos algoritmos meta–heurísticos han sido muy eficiente. el libro de Yang [9] se esfuerza en introducir los últimos avances en relación con los principales algoritmos inspirados en la naturaleza, en este libro recalca la necesidad de la afinación de parámetros. Esta necesidad de la afinación de los parámetros también resalta en el libro de Kaveh y Mahdavi [10].

A grandes rasgos, la resolución del PIAM a través de la aplicación de la AP es equivalente a resolver la instancia de un problema de optimización mediante una meta–heurística. Sin embargo, la AP constituye un meta–problema con respecto al proceso de optimización [2]. La Figura 1, bosqueja esta relación jerárquica entre el AO, ubicado en la capa meta–heurística e implementado sobre la capa de aplicación, y la capa superior o de diseño correspondiente a un método afinador implementado para afinar los parámetros del AO.

La dinámica esquematizada en la Figura 1 puede ser resumida en los siguientes términos: en la capa de diseño el afinador construye una configuración válida, conformada por todos los parámetros instanciados del AO, y la envía a la capa meta–heurística donde es utilizada por éste a fin de resolver la instancia alojada en la capa de aplicación. A continuación, esta última capa envía el resultado sobre la calidad de la solución obtenida a la capa meta–heurística la cual, a su vez, retorna una evaluación sobre la calidad de desempeño del AO a la capa de diseño. Este proceso continuará hasta dar cumplimiento a condiciones de finalización preestablecidas.

3. Algoritmo de búsqueda armónica

Gran cantidad de problemas de optimización en numerosos campos han sido resueltos mediante multiples algoritmos de optimización. Métodos clásicos de optimización han jugado un rol importante en la solución de estos problemas. Pero, sus inconvenientes generan demanda de otros tipos de algoritmos. Sin embargo, aun existen posibilidades de diseñar nuevos algoritmos heurísticos basados en analogías con ena fenómeno natural o artificial. En este orden de ideas, Geem, et al [11] desarrollan el concepto de algoritmo de búsqueda armónica .BA), (HS por Harmony Search), para el desarrollo del algoritmo de BA, los autores imitan la improvisación de los reproductores de música. Existen un número muy grande aplicaciones recientes del trabajo de Geem, et al [11], entre los cuales destacan los de Pereira, et al[12], y Einarsson [13].

4. Propuesta meta–optimizadora

4.1. Definición de símbolos y términos básicos

η: Número de parámetros asociados al AO.

p_i: i – ésimo parámetro asociado al AO.

η_i^mín: Cota inferior para los valores asumidos por pi.

η_i^máx: Cota superior para los valores asumidos por pi.

: Intervalo de enteros.

[•]^T: Operación de transposición.

: Configuración válida.

P: Instancia de problema de optimización conformada por el espacio factible y la función objetivo (FO).

X_n: Número de variables intervinientes asociadas a P.

℘: Espacio de configuraciones válidas.

℘ =

∆x_sol: Tolerancia para la solución de P obtenida mediante el AO afinado.

Eval_Per: Máximo número de evaluaciones de la FO en una ejecución del AO.

Evalnex_Per: Máximo número de ejecuciones fallidas no consecutivas del AO.

Evalex_Req: Número requerido de ejecuciones exitosas del AO.

Eval_Per: Máximo número de ejecuciones del MO.

Eval_Max: Cota superior para Eval_Per.

4.2. Capa de aplicación

En esta capa fueron resueltos las siguientes instancias de problemas de optimización no lineales y no restringidos: Ackley [14], Sphere y Schwefel [15]. En lo sucesivo, estas instancias serán denotadas como P1, P2 y P3 respectivamente.

4.3. Capa meta–heurística

En esta capa fue implementado el AO con la estructura algorítmica descrita en [6]. Los parámetros sujetos al proceso de afinación fueron los siguientes: Tasa de consideración de la memoria de armonías (HMCR), tasa para el ajuste de nota (PAR), ancho de banda (BW) y el tamaño de la memoria de armonías (HMS).

4.4. Capa de diseño

En esta capa fue implementado implementó el MO con la estructura algorítmica descrita en [16].

5. Implementación de la propuesta

• Se generó el código correspondiente en el entorno de matemática computacional GNU Octave 3.6.2 edición UPM. Para la implementación se utilizó una computadora personal dotada de procesador Intel^® doble núcleo de 1,60 GHz con 500 MB de RAM.

• Configuración de ℘: HMCR ∈ [0; 1], PAR ∈ [0; 1], BW ∈ [0; 1] y HMS ∈ [1; 5]

• Configuración del MO: Eval_Per = 10⁷, Evalex_Req = 5, Eval_Max = 10⁶, Evalnex_Per = 10² y ∆x_sol = 10⁻⁵.

• Índices de rendimiento: tasa de éxito (TE) [2] y tiempo de primera visita esperado (E (τ)) [17]. Se efectuaron cien ejecuciones del MO para cada P tratada y ∀n ∈ {2, 5, 10, 15, 20}.

6. Resultados y análisis

A partir del promedio ponderado, computado sobre cada conjunto de valores obtenidos para los parámetros del AO, se estimaron las respectivas configuraciones afinadas. Para la ponderación fue empleada la tasa de entropía [18]. Los resultados están en la Tabla 1.

Se efectuaron cien ejecuciones del AO sobre cada P tratada, con ∆x_sol = 5•10⁻⁵, instanciándolo con los valores de la Tabla 1. Los resultados obtenidos se condensan en la Tabla 2.

Teniendo presente que la TE constituye una medida de eficacia [19] resulta claro, en base a los datos mostrados en la Tabla 2, que las configuraciones de parámetros computadas por el MO le han conferido al AO la capacidad de solucionar las instancias de problemas tratadas con un cien por ciento de acierto. Este resultado también indica, a la luz del concepto de robustez [2], que las configuraciones de parámetros computadas por el MO se han traducido en instancias del AO robustas frente a su naturaleza estocástica como a las instancias de problemas tratadas. En lo que respecta a la eficiencia [19] exhibida por el AO afinado, la misma puede ser analizada a partir de la relación porcentual entre los valores mostrados en la tabla 2 para el índice E (τ) y las Eval_Per mostradas en la Tabla 1. En este sentido, todas las instancias de problemas tratadas fueron resueltas por el AO afinado con la utilización en promedio de menos del cincuenta por ciento de las evaluaciones de la función objetivo permitidas.

Un segundo aspecto a considerar para el análisis viene dado por la caracterización del comportamiento exhibido por los parámetros del AO frente al número de variables intervinientes en las instancias de problemas tratadas. En este orden de ideas, se comenzó por efectuar una regresión lineal, vía mínimos cuadrados ordinarios (MCO), para el ajuste de los datos mostrados en la Tabla 1 mediante el modelo ln (PAR)=a₁ ln(n) con una confiabilidad del 95 %. Los resultados de este procedimiento están resumidos en la Tabla 3.

Con fundamento en los resultados mostrados en la Tabla 3, fue formulada la relación empírica de la ecuación (1) entre la tasa para el ajuste de nota y el número de variables intervinientes

La Figura 2 muestra en línea segmentada la gráfica para la relación (1) conjuntamente con las quince observaciones para la variable PAR correspondientes a la Tabla 1.

El comportamiento exhibido por PAR, conforme fue incrementado el número de variables intervinientes, resulta sumamente interesante a la luz de las siguientes consideraciones: En primer lugar, la demostración matemática planteada en [20], al menos para instancias de problemas de optimización de tipo entero, sobre la equivalencia entre las Estrategias Evolutivas (EE) [21] y el ABA. En segundo lugar, la existencia de cierta evidencia empírica, a la par de algunos estudios de corte teórico, que ha brindado soporte a la idea de instanciar a la tasa de mutación en las EE, aplicadas sobre instancias de problemas definidas sobre espacios binarios, con un valor igual al inverso del número de variables intervinientes [21].

En cuanto al análisis sobre el comportamiento de la variable HMCR, se aplicó una regresión lineal para el ajuste de los datos mostrados en la Tabla 1 mediante el modelo HMCR = a₀ + a₁PAR y con una confiabilidad del 95 %. Los resultados de este procedimiento están plasmados en la Tabla 4.

A partir de los resultados mostrados en la Tabla 4, en conjunción con la Ecuación (1), se formuló la relación empírica dada en la Ecuación (2) para la variable HMCR

La Figura 3 muestra en línea segmentada la gráfica para la Ecuación (2) conjuntamente con las quince observaciones para la variable HMCR especificadas en la Tabla 1.

Claramente, la gráfica de la Figura 3 muestra un crecimiento de la variable HMCR conforme n aumenta, resultado que concuerda perfectamente con el reportado por Crossley et al.[22] en sus experimentos sobre la afinación del ABA. Adicionalmente, nótese que para el caso límite (n[27F6?]∞) la relación dada por (2) predice un comportamiento asintótico de HMCR(HMCR ≅ 1, 0) lo cual, considerando que HMCR∈ [0; 1], corrobora la validez de la aproximación planteada mediante esta expresión.

Para el análisis sobre el comportamiento exhibido por la variable BW, se aplicó una regresión lineal para el ajuste de los datos mostrados en la Tabla 1 mediante el modelo BW = a₀ + a₁PAR y con una confiabilidad del 95 %. Los resultados de este procedimiento son resumidos en la Tabla 5.

En base a los resultados mostrados en la Tabla 5, y en conjunción con la Ecuación (1), se formuló la siguiente relación empírica para la variable BW:

La Figura 4 muestra en línea segmentada la gráfica para la Ecuación (3) conjuntamente con las observaciones para la variable BW especificadas en la Tabla 1. Nótese en dicha figura que, de manera similar al comportamiento exhibido por la variable PAR, el ancho de banda muestra una tendencia decreciente conforme aumenta el número de variables intervinientes.

En relación al comportamiento exhibido por HMS, y aun cuando a través de la inspección de la tabla 1 se verifica la incidencia prácticamente nula del número de variables sobre este parámetro, se aplicó una regresión lineal para el ajuste de los datos mostrados en dicha tabla mediante el modelo HMS = a₀ con una confiabilidad del 95 %. Los resultados están resumidos en la Tabla 6.

La Figura 5 muestra en línea segmentada la gráfica para el modelo HMS = a₀conjuntamente con las observaciones para este parámetro especificadas en la Tabla 1.

Finalmente, en lo que respecta al comportamiento exhibido por Eval_Per , se aplicó una regresión lineal para el ajuste de los datos mostrados en la Tabla 1 mediante el modelo Eval_Per = n con una confiabilidad del 95 %. Los resultados de este procedimiento están en la Tabla 7.

A partir de los resultados mostrados en la Tabla 7, fue formulada la siguiente relación empírica para la variable Eval_Per

La Figura 6 muestra en línea segmentada la gráfica para la Ecuación 4 conjuntamente con las observaciones para la variable Eval_Per especificadas en la Tabla 1.

Si bien es cierto que las relaciones empíricas dadas por Ecuaciones (1) a (4) están ajustadas razonablemente bien a los datos experimentales obtenidos, también lo es el hecho de que en principio las mismas son válidas solo para los valores de n analizados. Sin embargo, cabe la posibilidad de estudiar qué tan capaces son estas relaciones de predecir configuraciones de parámetros con la finalidad de solucionar las instancias de problemas tratadas para valores de n superiores. Esto constituye un aspecto fundamental, considerando que la meta–optimización está caracterizada por ser onerosa desde el punto de vista de los recursos computacionales que demanda su aplicación [3].

En este orden de ideas, la Tabla 8 resume las configuraciones de parámetros calculadas para n = 30 a partir de las precitadas relaciones. Para el tamaño de la memoria de armonías se asignó HMS = 2.

Para propósitos de comparación, se procedió a efectuar cien ejecuciones independientes del AO (afinado), sobre P₁, P₂ y P₃, instanciándolo con las configuraciones de la Tabla 8. Adicionalmente, fueron efectuadas cien ejecuciones independientes del AO (no afinado), sobre las mismas instancias de problemas, pero instanciando a los parámetros HMCR, PAR, BW y HMS con los valores sugeridos en [15] los cuales, actualmente, son de aplicación casi universal para las instancias de problemas tratadas y similares. Ambos conjuntos de ejecuciones se efectuaron para n = 30 con la misma semilla, valor de tolerancia ∆x_sol = 5×10⁻⁵, e idénticos valores asignados de acuerdo a la Tabla 8 para el parámetro Eval_FO_Per . Los resultados de estas ejecuciones han sido resumidos en la Tabla 9. Constátese el incremento en los niveles de eficacia y eficiencia, respecto a las instancias no afinadas, proporcionado por las instancias afinadas.

7. Conclusiones

A partir de los resultados obtenidos en el presente estudio, se demostró que las configuraciones de parámetros computadas por la propuesta meta–optimizadora implementada le brindaron al ABA la capacidad de solucionar las instancias de problemas tratadas con elevados niveles de eficiencia y eficacia. Adicionalmente, los datos obtenidos permitieron desarrollar un análisis sobre el comportamiento exhibido por los parámetros asociados a este algoritmo respecto al número de variables intervinientes. Las relaciones empíricas obtenidas a partir de este análisis ofrecieron la posibilidad de predecir configuraciones de parámetros, considerando un número de variables intervinientes superior y previamente no considerado para el proceso de afinación, que se tradujeron en instancias del ABA más eficientes y eficaces que las derivadas a partir de las configuraciones comúnmente utilizadas en la actualidad.

8. Referencias

[1] Agoston Endre Eiben, Robert Hinterding, and Zbigniew Michalewicz. Parameter control in evolutionary algorithms. IEEE Transactions on Evolutionary Computation, 3(2):124–141, 1999.

[2] Agoston E Eiben and Selmar K Smit. Parameter tuning for configuring and analyzing evolutionary algorithms. Swarm and Evolutionary Computation, 1(1):19–31, 2011.

[3] Magnus Erik Hvass Pedersen. Tuning & simplifying heuristical optimization. PhD thesis, Computational Engineering and Design Group, School of Engineering Sciences, University of Southampton, Southampton, England, 2010.

[4] Robert Nowotniak and Jacek Kucharski. Meta–optimization of quantum–inspired evolutionary algorithm. In Proc. XVII Int. Conf. on Information Technology Systems, volume 1, pages 1–17, 2010.

[5] Roberto Ugolotti and Stefano Cagnoni. Analysis of evolutionary algorithms using multi-objective parameter tuning. In D. Arnold (Presidente), editor, Proceedings of the 2014 conference on Genetic and evolutionary computation (GECCO 2014), pages 1343–1350, Vancouver, BC, Canada., 2014. ACM.

[6] Kang Seok Lee and Zong Woo Geem. A new meta–heuristic algorithm for continuous engineering optimization: harmony search theory and practice. Computer methods in applied mechanics and engineering, 194(36):3902–3933, 2005.

[7] Amir Hossein Gandomi and Amir Hossein Alavi. Krill herd: a new bio-inspired optimization algorithm. Communications in Nonlinear Science and Numerical Simulation, 17(12):4831–4845, 2012.

[8] Xin-She Yang, Suash Deb, Martin Loomes, and Mehmet Karamanoglu. A framework for self-tuning optimization algorithm. Neural Computing and Applications, 23(7-8):2051–2057, 2013.

[9] Xin-She Yang. Nature–inspired optimization algorithms. Elsevier, 2014.

[10] Ali Kaveh and VR Mahdavi. Colliding Bodies Optimization: Extensions and Applications. Springer, 2015.

[11] Zong Woo Geem, Joong Hoon Kim, and GV Loganathan. A new heuristic optimization algorithm: harmony search. Simulation, 76(2):60–68, 2001.

[12] Clayton R Pereira, Rodrigo YM Nakamura, Kelton AP Costa, and João P Papa. An optimum-path forest framework for intrusion detection in computer networks. Engineering Applications of Artificial Intelligence, 25(6):1226–1234, 2012.

[13] Gudmundur Einarsson. Competitive coevolution in problem design and metaheuristical parameter tuning. Magister scientiarum thesis, Faculty of Physical Sciences, School of Engineering and Natural Sciences, University of Iceland, Reykjavik, Iceland, May 2014.

[14] Momin Jamil and Xin-She Yang. A literature survey of benchmark functions for global optimisation problems. International Journal of Mathematical Modelling and Numerical Optimisation, 4(2):150–194, 2013.

[15] Ahangaran Milad. Harmony search algorithm: strengths and weaknesses. Journal of Computer Engineering and Information Technology, 2(1):1–7, 2013.

[16] Alejandro Centeno. Estudio analítico del algoritmo de búsqueda armónica con aplicación en la resolución de problemas de optimización no lineales. Trabajo de grado de maestría, Área de Estudios de Posgrado, Facultad de Ingeniería, Universidad de Carabobo, Valencia, Venezuela, 2016.

[17] Anne Auger and Benjamin Doerr. Theory of randomized search heuristics: Foundations and recent developments, volume 1. World Scientific, Hackensack, New Jersey, EE.UU, 2011.

[18] Petter Krus and Johan Ölvander. Performance index and meta-optimization of a direct search optimization method. Engineering Optimization, 45(10):1167–1185, 2013.

[19] Thomas Bartz-Beielstein. New experimentalism applied to evolutionary computation. PhD thesis, Universität Dortmund, Dortmund, Germany, 2005.

[20] Dennis Weyland. A critical analysis of the harmony search algorithm–how not to solve sudoku. Operations Research Perspectives, 2(1):97–105, 2015.

[21] Hans-Georg Beyer and Hans-Paul Schwefel. Evolution strategies–a comprehensive introduction. Natural computing, 1(1):3–52, 2002.

[22] Matthew Crossley, Andy Nisbet, and Martyn Amos. Quantifying the impact of parameter tuning on nature–inspired algorithms. In P. Lio, O. Miglino, G. Nicosia, S. Nolfi, and M. Pavone, editors, European Conference on Artificial Life, pages 925 – 932, Taormina, Italy, 2013. MIT Press.

Enlace alternativo

http://servicio.bc.uc.edu.ve/ingenieria/revista/v23n1/art09.pdf (pdf)

IR