Resumen: La calidad del desempeño de cualquier algoritmo meta–heurístico exhibe una estrecha relación con respecto a los valores asignados a sus parámetros asociados. Esto se conoce como el problema de la configuración. En el presente artículo, se expone la implementación de una propuesta basada en lógica difusa para la configuración de los parámetros numéricos del algoritmo de búsqueda armónica. Como aplicación práctica, la propuesta es utilizada para el entrenamiento supervisado de una red neuronal multicapa a fin de resolver un problema de clasificación binaria.
Palabras clave:algoritmo de búsqueda armónicaalgoritmo de búsqueda armónica, lógica difusa lógica difusa, optimización optimización.
Abstract: The performance quality of any metaheuristic algorithm exhibits a close relationship with respect to the values assigned to its parameters. This is known as the configuration problem. In this work, a proposal for the configuration of the Harmony Search Algorithm parameters based on Fuzzy Logic is exposed. As a practical application, the proposal is used for the supervised training of a multilayer neural network in order to solve a binary classification problem.
Keywords: harmony search algorithm, fuzzy logic, optimization.
Artículos científicos
Configuración de los parámetros de la búsqueda armónica mediante lógica difusa
Configuration of Harmony Search Parameters based on Fuzzy Logic
Universidad de Carabobo
Recepción: 02 Noviembre 2018
Aprobación: 08 Febrero 2019
En el campo de la optimización matemática, las meta – heurísticas han demostrado reiteradamente sus bondades y capacidades como métodos numéricos aplicados en la resolución de una amplia colección de modelos [1]. No obstante su éxito, es un hecho bien conocido que la calidad del desempeño de estos algoritmos guarda estrecha relación con respecto a los valores asignados a sus parámetros asociados. Esto se conoce como el problema de la configuración [2], el cual puede ser abordado mediante la implementación de mecanismos fundamentados en un conjunto de reglas que gobiernen tal asignación de forma dinámica, durante la ejecución de una meta – heurística, con el propósito de maximizar el desempeño de la misma. Este esquema de solución se denomina control de parámetros [3]. Un ejemplo de tal esquema consiste en la aplicación de un Sistema de Inferencia Difuso (SID), donde las herramientas brindadas por la lógica difusa son utilizadas para establecer una correspondencia entre el estado del proceso de optimización (variables de entrada) y los valores asignados a los parámetros (variables de salida) de la meta – heurística que lo ejecuta [4]. Este concepto fue implementado recientemente en [5] sobre el Algoritmo de Búsqueda Armónica (ABA) [6] mediante un SID basado en reglas de Mamdani (SIDM) [7]. Trabajos similares han sido reportados en [8, 9, 10, 11]. No obstante, sin desconocer sus valiosos aportes, todas estas investigaciones guardan en común el hecho de haber establecido un control sobre un subconjunto de los parámetros del ABA. En el presente artículo se exponen los resultados derivados de la implementación de un SIDM para la configuración dinámica de todo el ensamble de parámetros numéricos del ABA. Se formularon dos (02) versiones, denotadas en lo sucesivo como ABAD01 y ABAD02, diferenciadas solo por la variable de entrada utilizada. En ambas versiones, las variables de interés fueron granuladas mediante funciones de pertenencia de formato trapezoidal. Para propósitos de comparación, ABAD01, ABA y [5], fueron aplicadas sobre una colección de problemas de optimización no lineal. Por su parte, ABAD02 se implementó para el entrenamiento supervisado de una Red Neuronal Multicapa (RNM) a fin de resolver un problema de clasificación binaria. Los resultados obtenidos de este experimento fueron comparados con los derivados a partir de la aplicación del ABA, el Algoritmo de Retro – propagación del Error con Momento (ARPEM) [12] y [5] sobre el mismo problema.
La estructura implementada del ABA tiene asociada los siguientes parámetros numéricos [6]:
Denotada HMCR (Harmony Memory Chose Rate) por sus siglas en inglés, representa la probabilidad asociada al evento de seleccionar una entrada en la memoria de armonías. Para la configuración dinámica, la estrategia asumida consistió en asignar valores bajos a HMCR durante las primeras etapas del proceso de optimización ejecutado por el ABA, transitando luego hacia valores altos durante las etapas finales [5, 11, 13, 14]. Entre los valores típicamente recomendados para este parámetro, se tiene: HMCR ∈ [0,95;0,99] [13] y HMCR ≥ 0,90 [15].
Denotada PAR (Pitch Adjusting Rate) por sus siglas en inglés, representa la probabilidad asociada al evento de aplicar una variación sobre la entrada previamente seleccionada en la memoria de armonías. En cuanto a la configuración dinámica, se adoptó la estrategia de asignar valores altos a PAR durante las primeras etapas del proceso de optimización, para luego transitar hacia valores bajos durante las etapas finales [16, 17, 18, 19]. Entre los valores típicamente recomendados para este parámetro, se tiene: PAR ∈ [0,1; 0,9] [16] y PAR ≤ 0,5 [15].
Denotado BW (Band Width) por sus siglas en inglés, representa la magnitud de la variación aplicada sobre una entrada previamente seleccionada en la memoria de armonías. En cuanto a su configuración dinámica, la estrategia adoptada es idéntica a la descrita para PAR [9, 13, 14, 15, 16, 20, 21]. Los valores típicos recomendados para BW están comprendidos entre el 0,1 y 1,0 por ciento del rango de valores permitidos para las variables asociadas al problema de optimización tratado [16].
Denotado HMS (Harmony Memory Size) por sus siglas en inglés, representa el número de soluciones almacenadas en la memoria de armonías. Para su configuración dinámica se adoptó la misma estrategia de PAR [22, 23]. Entre los valores típicamente recomendados para este parámetro, se tiene: HMS ∈ [1;10] [16] y HMS ∈ [4; 10] [24].
Se implementó un SIDM, cuyos elementos principales se detallan a continuación:
Denotada λ, para ABAD01 viene dada por el cociente entre el número de iteraciones k y el número de iteraciones máximas kmáx, de acuerdo a la ecuación (1):
Para ABAD02, λ se computa mediante el cociente entre el mejor desempeño (f(k)mejor) exhibido por las soluciones almacenadas en la memoria de armonías para la k – ésima iteración, y el mejor desempeño inicial (f(0)mejor) , de acuerdo a la ecuación (2):
Parámetros del ABA, con redondeo de HMS al entero más cercano.
Parámetros del ABA, con redondeo de HMS al entero más cercano. Todas las variables se granularon mediante tres (03) conjuntos difusos, con etiquetas “Bajo”, “Medio” y “Alto”, caracterizados por las funciones de pertenencia de la Figura 1. Los valores asignados a los puntos de interés esquematizados se listan en la Tabla 1.
Figura 1
Formato de las funciones de pertenencia implementadas.
Valores asignados a los puntos de interés de acuerdo con el formato de las funciones de pertenencia implementadas
Se aplicaron las reglas mostradas en la Tabla 2.
Reglas Si – Entonces aplicadas a las variables de entrada (λ).
Idéntico al método utilizado en [5].
La integración se realizó de acuerdo al modelo de capas descrito en [3], alojando al SIDM en la capa de diseño.
Para la resolución de los problemas de optimización no lineal se implementaron los algoritmos ABAD01, ABA [6] y FHS ( Fuzzy Harmony Search por sus siglas en inglés) [5]. Los valores asignados a los parámetros de estos algoritmos fueron consultados en [5, 17, 18] y se muestran en la Tabla 3.
Valores asignados a los parámetros de los algoritmos aplicados sobre los problemas de optimización.
Para el problema de clasificación binaria, se implementaron ABAD02, ABA y FHS. Los valores asignados a los parámetros de estos algoritmos fueron consultados en [25] y se muestran en la Tabla 4.
Valores asignados a los parámetros de los algoritmos aplicados sobre el problema de clasificación.
El universo del discurso de HMCR para FHS se estableció en [0,90 0,99]. Adicionalmente, se implementó el ARPEM [12] con tasa de aprendizaje igual a 0,008 y momento de 0,7. Estos valores se ajustaron empíricamente tratando de maximizar la velocidad de convergencia y eliminar oscilaciones en la curva de entrenamiento.
Se resolvieron problemas de optimización no lineal del tipo min sujeto a ∈ S ⊂ Rn, donde es la función objetivo, S representa el espacio de búsqueda y n el número de variables intervinientes. Los problemas tratados fueron consultados en [26], http://infinity77.net/global_optimization/index.html y http://www.sfu.ca/~surjano/optimization.html, siendo seleccionadas catorce instancias en atención a la modalidad y carácter separable de [26], tal y como se resume en las Tablas 5, 6, 7 y 8 mostradas a continuación.
Para el problema de clasificación se utilizó la base de datos Pima Diabetes (http://archive.ics. uci.edu/ml), eliminándose las entradas con datos faltantes [27] y aplicando normalización estadística [28]. La fase de entrenamiento por lotes se realizó en base al 60 por ciento de los datos con validación sobre el resto [27], cuantificándose el error y la tasa de acierto o clasificaciones correctas obtenidas según las expresiones planteadas en [25]. La RNM implementada se configuró de forma idéntica a [29].
Instancias de problemas de optimización de tipo multimodal y separable.
Instancias de problemas de optimización de tipo multimodal y no separable.
Instancias de problemas de optimización de tipo unimodal y no separable.
Instancias de problemas de optimización de tipo unimodal y separable.
Para todos los problemas tratados, los datos se estructuraron mediante arreglos unidimensionales con esquema de codificación uno a uno de tipo punto flotante de doble precisión. Respecto al problema de clasificación, en la Figura 2 se muestra un ejemplo de la correspondencia entre pesos sinápticos y su representación para una red hipotética de dos (02) capas. Esta estructura se utilizó únicamente para los algoritmos meta – heurísticos.
Figura 2
Representación de pesos sinápticos de una red hipotética de dos (02) capas.
En las Figuras 3, 4, 5 y 6, se presentan diagramas de caja y bigotes elaborados a partir del valor de proporcionado por cada algoritmo al término de su ejecución.
Figura 3
Diagramas de caja y bigotes para los resultados obtenidos sobre las instancias de problemas de optimización multimodal y separable
Figura 4
Diagramas de caja y bigotes para los resultados obtenidos sobre las instancias de problemas de optimización multimodal y no separable.
Figura 5
Diagramas de caja y bigotes para los resultados obtenidos sobre las instancias de problemas de optimización unimodal y no separable
A partir de los datos mostrados en las Figuras 3, 4, 5 y 6, se computaron los siguientes índices [30]: mejor valor, peor valor, mediana, promedio y desviación típica. Los resultados obtenidos se listan en las Tablas 9, 10, 11 y 12 mostradas a continuación.
Se aplicó una prueba de Wilcoxon en base al índice promedio de las Tablas 9 a 12, tomando al ABAD01 como algoritmo de control [31]. Los valores se normalizaron entre 0 y 1 según el método Mín– Máx [28]. El nivel de significancia se fijó en 0,05. Los resultados se resumen en la Tabla 13.
Figura 6
Diagramas de caja y bigotes para los resultados obtenidos sobre las instancias de problemas de optimización unimodal y separable.
Índices estadísticos computados para problemas de optimización de tipo multimodal y no separable.
Índices estadísticos computados para problemas de optimización de tipo multimodal y separable.
Índices estadísticos computados para problemas de optimización de tipo unimodal y no separable.
Índices estadísticos computados para problemas de optimización de tipo unimodal y separable.
Resultados de prueba de Wilcoxon sobre los promedios de los índices estadísticos computados para problemas de optimización.
Los resultados de la prueba permiten afirmar, con un nivel de significancia del 0,05, que el ABAD01 representa una mejora significativa, respecto a ABA y FHS, como método de solución para los problemas de optimización tratados y bajo las condiciones experimentales antes referidas.
En la Figura 7, se presentan diagramas de caja y bigotes elaborados a partir del valor de la tasa de acierto, proporcionado por ABA, FHS y ABAD02 al término de sus ejecuciones, sobre los datos para entrenamiento (a) y validación (b) asociados al problema de clasificación tratado.
A partir de los datos mostrados en la Figura 7, se computaron los índices estadísticos: mejor valor, peor valor, mediana, promedio y desviación típica. Los resultados obtenidos se presentan en la Tabla 14.
Figura 7
Tasa de acierto para ABA, FHS y ABAD02 en: a) Entrenamiento. b) Validación.
Índices computados para la tasa de acierto de los algoritmos ABA, FHS y ABAD02 tanto en entrenamiento como en validación.
Se aplicó una prueba de Wilcoxon en base a los datos asociados a la tasa de acierto en fase de validación (Figura 7b), tomando al ABAD02 como algoritmo de control. El nivel de significancia de la prueba se fijó en 0,05. Los resultados se resumen en la Tabla 15.
Resultados de prueba de Wilcoxon sobre la tasa de acierto en fase de validación.
Los resultados de la prueba permiten establecer, con un nivel de significancia del 0,05, que el ABAD02 representa una mejora significativa, en relación a ABA y FHS, como método de solución para el problema de clasificación tratado y bajo las condiciones experimentales planteadas.
Respecto a la comparación de la propuesta y el ARPEM, en la Figura 8 se muestra diagramas de caja y bigotes elaborados a partir del valor de la tasa de acierto, proporcionado por estos algoritmos al término de sus ejecuciones, sobre los datos de entrenamiento (a) y validación (b).
A partir de los datos esquematizados en la Figura 8, se computaron los índices: mejor valor, peor valor, mediana, promedio y desviación típica. Los resultados obtenidos se presentan en la Tabla 16 mostrada a continuación.
Figura 8
Tasa de acierto para ABAD02 y ARPEM en: a) Entrenamiento. b) Validación.
Índices computados para la tasa de acierto de los algoritmos ABAD02 y ARPEM en fase de entrenamiento y validación.
Se aplicó una prueba de Wilcoxon sobre los datos asociados a la tasa de acierto en fase de validación. El nivel de significancia se fijó en 0,05. Los resultados se resumen en la Tabla 17.
Resultados de la prueba de Wilcoxon sobre la tasa de acierto en fase de validación para ABAD02 y ARPEM.
Luego, aunque durante la fase de entrenamiento el ARPEM es claramente superior al ABAD02, los resultados de la prueba señalan, con una significancia de 0,05, que desde un punto de vista estadístico no existe diferencia significativa en cuanto a la capacidad de generalización exhibida por la RNM tras ser entrenada mediante ambos algoritmos. Por supuesto, estas afirmaciones son válidas únicamente en el contexto de las condiciones experimentales establecidas.
A partir de los resultados obtenidos en el presente estudio, se evidenció que la implementación de un SIDM para la configuración dinámica de todo el ensamble de parámetros numéricos asociados al ABA se tradujo en una significativa mejora de este algoritmo, en relación a su versión de parámetros fijos, como método numérico aplicado en la resolución de problemas de optimización. Más aún, al ser comparada con FHS, la cual está basada en principios idénticos, la propuesta aquí planteada también representó una mejora sustancial. En lo que respecta a la experiencia sobre el entrenamiento supervisado de una RNM, no se halló diferencia estadísticamente significativa en cuanto a la capacidad de generalización obtenida mediante la aplicación del ARPEM y el esquema propuesto. Finalmente, se insiste en señalar que las conclusiones derivadas son válidas únicamente en el contexto experimental establecido, siendo necesarias ulteriores investigaciones en el futuro.
http://servicio.bc.uc.edu.ve/ingenieria/revista/v26n1/art06.pdf (pdf)
adalmarza@gmail.com
Figura 1
Formato de las funciones de pertenencia implementadas.
Valores asignados a los puntos de interés de acuerdo con el formato de las funciones de pertenencia implementadas
Reglas Si – Entonces aplicadas a las variables de entrada (λ).
Valores asignados a los parámetros de los algoritmos aplicados sobre los problemas de optimización.
Valores asignados a los parámetros de los algoritmos aplicados sobre el problema de clasificación.
Instancias de problemas de optimización de tipo multimodal y separable.
Instancias de problemas de optimización de tipo multimodal y no separable.
Instancias de problemas de optimización de tipo unimodal y no separable.
Instancias de problemas de optimización de tipo unimodal y separable.
Figura 2
Representación de pesos sinápticos de una red hipotética de dos (02) capas.
Figura 3
Diagramas de caja y bigotes para los resultados obtenidos sobre las instancias de problemas de optimización multimodal y separable
Figura 4
Diagramas de caja y bigotes para los resultados obtenidos sobre las instancias de problemas de optimización multimodal y no separable.
Figura 5
Diagramas de caja y bigotes para los resultados obtenidos sobre las instancias de problemas de optimización unimodal y no separable
Figura 6
Diagramas de caja y bigotes para los resultados obtenidos sobre las instancias de problemas de optimización unimodal y separable.
Índices estadísticos computados para problemas de optimización de tipo multimodal y no separable.
Índices estadísticos computados para problemas de optimización de tipo multimodal y separable.
Índices estadísticos computados para problemas de optimización de tipo unimodal y no separable.
Índices estadísticos computados para problemas de optimización de tipo unimodal y separable.
Resultados de prueba de Wilcoxon sobre los promedios de los índices estadísticos computados para problemas de optimización.
Figura 7
Tasa de acierto para ABA, FHS y ABAD02 en: a) Entrenamiento. b) Validación.
Índices computados para la tasa de acierto de los algoritmos ABA, FHS y ABAD02 tanto en entrenamiento como en validación.
Resultados de prueba de Wilcoxon sobre la tasa de acierto en fase de validación.
Figura 8
Tasa de acierto para ABAD02 y ARPEM en: a) Entrenamiento. b) Validación.
Índices computados para la tasa de acierto de los algoritmos ABAD02 y ARPEM en fase de entrenamiento y validación.
Resultados de la prueba de Wilcoxon sobre la tasa de acierto en fase de validación para ABAD02 y ARPEM.
