Artículos
Optimización de ecuaciones con restricciones no lineales: comparativo entre técnicas heurística y convexa
Optimization of equations with nonlinear constraints: comparison between heuristic and convex techniques
Optimización de ecuaciones con restricciones no lineales: comparativo entre técnicas heurística y convexa
Revista UIS ingenierías, vol. 21, núm. 2, pp. 53-60, 2022
Universidad Industrial de Santander
Recepción: 21 Junio 2021
Aprobación: 03 Diciembre 2021
Resumen: En el presente artículo se exploran diversas técnicas de optimización a través de metodologías diferentes; es importante resaltar que los problemas de optimización se encuentran en una gran multitud de disciplinas académicas, y los caminos propuestos para resolverlos se encuentran, el primero, en las técnicas matemáticas denominadas fuertes (óptimo global) a través de teoremas de existencia y unicidad, y el segundo camino, en las denominadas técnicas heurísticas o metaheurísticas inspiradas en su mayoría en procesos biológicos, sociales, culturales, las cuales permiten ampliar los espacios de búsqueda de las soluciones o relajar las funciones por optimizar de continuas a no continuas, al igual que las restricciones. La técnica metaheurística estudiada es el enjambre de partículas, (PSO) basada en el modelo completo (componentes cognitiva y social), el cual es una técnica metaheurística inspirada en la biología, comparativamente con la técnica matemática convexa utilizando el comportamiento de las matrices semidefinidas positivas, para el planteamiento y modelado de problemas con funciones objetivo y regiones factibles convexas. El problema resuelto por estos dos métodos consiste en conocer los valores de los recursos de dos variables dentro de una función objetivo. Por último, se evalúan las respuestas obtenidas bajo la suposición de que los mínimos locales son mínimos globales dentro de la vecindad.
Palabras clave: espacios convexos, técnicas metaheurísticas, extracción convexa, factorización de Cholezky, factorización de Echelon, factorización de Schur, matrices de momentos.
Abstract: In this article, different optimization techniques were explored through different methodologies. It is important to highlight that optimization problems are found in a large number of academic disciplines and the paths proposed to solve them are found first in the so-called strong mathematical techniques (global optimum) through existence and uniqueness theorems, and the second way, the so-called heuristic or metaheuristic techniques, inspired mostly by biological, social, and cultural processes which allow expanding the search spaces for solutions or relaxing the functions to be optimized from continuous to non-continuous as well as constraints. The metaheuristic technique studied is the particle swarm optimization, (PSO) based on the complete model (cognitive and social components) which is a metaheuristic technique inspired by biology, comparatively with the convex mathematical technique using the behavior of positive semi-definite matrices, for the formulation and modeling of problems with objective functions and convex feasible regions. The problem solved by these two methods consists of knowing the values of the resources of two variables within an objective function. Finally, the answers obtained are evaluated under the assumption that the local minima are global minima within the neighborhood.
Keywords: spatial convex, metaheuristic techniques, convex extraction, Cholezky Factorization, Echelon Factorization, Schur Factorization, Moment matrices.
1. Introducción
La optimización por enjambre de partículas o PSO, debido a sus siglas en inglés (particle swarm optimization), es una técnica metaheurística, es decir, un método de optimización matemática basado en el comportamiento de conjuntos de animales que ayuda a resolver diferentes problemas y que garantiza resultados óptimos. La principal característica de estos métodos es que parten de un punto inicial conocido y, mediante la exploración del vecindario, van actualizando la solución actual, formando una trayectoria [1].
Esta técnica está inspirada pero no basada en el comportamiento social de los individuos, y al principio estuvo dirigida a elaborar modelos de conductas sociales, por ejemplo, el movimiento que hace una parvada de aves, un banco de peces o un enjambre de abejas; más tarde se demostró que era adecuada para problemas de optimización [2], [3], [4].
Las abejas tratan de localizar el espacio con mayor densidad de flores. Cada abeja vuela indicando en todo momento cuál es la región donde ha visto más flores, y el enjambre sabe colectivamente dónde se ha encontrado mayor cantidad de objetivos. Cada abeja variará individualmente su movimiento con un arreglo en dos direcciones, y es posible que encuentre una región con más densidad de flores que la conocida por el enjambre (óptimo global); entonces, todo el enjambre orientará la búsqueda hacia esa nueva dirección, y si luego se descubre otra región con mayor densidad floral, el enjambre reorientará nuevamente la búsqueda hacia allí, y así sucesivamente hasta terminar con su búsqueda [5].
En el trabajo con un enjambre de partículas, y como se explicó anteriormente, cada partícula se ve influenciada por los siguientes factores: conocimiento sobre el entorno, experiencias anteriores y mejor posición global hallada en el espacio de búsqueda. Se debe tener en cuenta que esta posición guía de cierta manera a las demás partículas, y esta puede cambiar si alguna partícula alcanza una mejor posición.
Por otro lado, la matemática se ha encargado de mejorar este tipo de técnicas por medio de formulación de problemas de optimización convexa, esto es, reescribir los problemas y acotar los espacios de solución, lo que garantiza mínimos globales. El problema general de programación polinómica restringida (GPP) está muy extendido en el modelado matemático de sistemas del mundo real para una amplia gama de aplicaciones [6]. Dichas aplicaciones incluyen diseño de ingeniería, procesamiento de señales, reconocimiento de voz, ciencia de materiales, ciencia de inversiones, problemas de asignación y ubicación, asignación cuadrática y numérica, álgebra lineal. Dado que las funciones polinómicas no son convexas, el problema (GPP) es NP-duro, incluso cuando la función objetivo es cuadrático y el conjunto solución sea factible es simplex [7].
Un enfoque clásico para el problema (GPP) son los métodos de relajación convexa. Entre varios métodos de relajación convexa, las relajaciones de programación semidefinida (SDP) y suma de cuadrados (SOS) son muy útiles en estos casos. Específicamente, representando cada polinomio no negativo como una suma de cuadrados de otros polinomios, es posible relajar cada desigualdad polinómica como una desigualdad de matriz lineal convexa (LMI). Sin embargo, la solución práctica del método de relajación SDP o SOS depende del tamaño o el grado del polinomio; hasta ahora, el uso más efectivo de la relajación SDP ha sido para los problemas de optimización cuadrática [8].
Las condiciones de optimización global son muy importantes en el campo de la optimización, dadas las condiciones para los problemas con la función objetivo cuadrática sujeta a restricciones lineales o restricciones cuadráticas. Sin embargo, estas condiciones son complejas y difíciles de verificar en la práctica, ya que implican resolver una secuencia de problemas de programación semidefinidos. Solo bajo la suposición de que todos los programas semidefinidos pueden resolverse de la misma forma, es posible verificar estas condiciones.
En este documento, se considera el siguiente problema de programación polinómica restringida general (GPP): min 𝑓(𝑥) 𝑠.𝑎.𝑔𝑡(𝑥)≤0,𝑡=1,⋯,𝑚,𝑥∈ 𝑋, donde 𝑓∶ 𝑋→ℝ, función objetivo para minimizar; 𝑔𝑡(𝑥): 𝑋→ℝ, funciones de restricciones con desigualdades de menor o igual t = 1,--- ,m, cantidad de restricciones; 𝑆 = {𝑥 ∈ 𝑋| 𝑔𝑡 (𝑥) ≤ 0} es la región factible.
2. Modelo del problema
Todo problema de optimización que se describa como en la ecuación 1 puede numéricamente encontrar una solución no global aceptable a través de las llamadas técnicas heurísticas; para este caso, se utiliza la técnica denomina particle swarm optimization (PSO). A continuación, se detalla el proceso cíclico del algoritmo de optimización (ecuación 1). Inicialización: para cada partícula se calculan las posiciones y velocidades de cada una de estas, se construye la población inicial de manera aleatoria. Evaluación de la población inicial: se evalúa cada partícula de la población en la función objetivo, con el propósito de seleccionar la mejor partícula. Actualización: iterativamente, se actualiza la posición y la velocidad a través de las ecuaciones 5 y 6, y nuevamente se evalúan en la función objetivo para verificar si existe un avance (al óptimo) o no. Condición de parada: si después de algún número de iteraciones preestablecidas o algún error predeterminado se alcanzan, se detiene el algoritmo, o de lo contrario debe repetir el ciclo de inicialización.
Se considera el siguiente problema de optimización polinómica:

Donde 𝑓 ∈ ℝ[𝑥] es un polinomio de valor real y 𝐾 ⊂ ℝ𝑛 es el conjunto básico semialgebraico definido por:

Desde que 𝐾 ≠ ℝ𝑛,, el conjunto K se asume convexo, esto es preferible en un marco de modelado, donde se incluyen restricciones lineales y cuadráticas [9]. Una vez se compruebe que el conjunto de restricciones K es convexo, se puede probar que:

𝑦, la representación del polinomio convexo, viene dada por el conjunto no vacío 𝐶 ⊆ ℝ𝑛, como una función 𝑓: 𝐶 → ℝ que es convexa en 𝐶 si:

Similarmente, 𝑓 es estrictamente convexa sobre 𝐶 si la desigualdad anterior se cumple estrictamente para cada , 𝑥, 𝑦 ∈ 𝐶, 𝑥 ≠ 𝑦, y todo 𝜆 ∈ (0,1) [10].
2.1. Técnica heurística
Uno de los problemas en las técnicas heurísticas es precisamente la determinación de los parámetros o números pseudoaleatorios, ya que al modificar dichos parámetros la solución se ve afectada. De esta forma, la selección en muchos casos suele basarse en datos reportados en la literatura, en estimación basada en técnicas tales como máxima verosimilitud o mínimos cuadrados, etc., o en este caso en la sensibilidad que tiene el sujeto con el objeto en dicho problema.
El método de cúmulo de partículas explora subespacios cercanos entre sí, posiciona una cantidad específica de individuos o partículas de manera aleatoria; cada partícula i-ésima en cualquier versión del PSO está formada como mínimo por tres componentes PSO: [x,v,pbest]; x representa los valores reales de las variables del problema, v es el vector de velocidad de las partículas, Pbest contiene las mejores soluciones de la función objetivo. Cada partícula es atraída hacia una mejor posición, y su mejor posición global, en mayor o menor medida, depende de los factores cognitivos y sociales (figura 1) [11], [12].

Más tarde, esta nueva posición se evalúa en la función objetivo y se vuelve a elegir una mejor posición global para continuar con el proceso iterativo. La actualización de las variables y de las velocidades viene dada por las siguientes ecuaciones:


Donde 𝑣𝑖𝑘 es es la velocidad de la partícula i-ésima en la iteración 𝑘; 𝜔 es el factor de inercia; 𝜑1, 𝜑2 son son las ratios de aprendizaje que controlan las componentes cognitivo y social, respectivamente; rand1,rand2 son números aleatorios [0,1]; x𝑖𝑘 es la posición actual de la partícula i-ésima en la iteración k; pBesti es la mejor posición (solución) encontrada por la partícula i-ésima en todas las iteraciones; gi representa la posición de la partícula con el mejor desempeño (mejor solución de todas las partículas, ver figura 2).

Existen diversos modelos que intervienen en el planteamiento de los algoritmos de PSO, entre estos se encuentran: modelo completo, donde los componentes cognitivo y social intervienen en el cálculo de las velocidades y posiciones de las partículas 𝜑1, 𝜑2 > 0. En el segundo modelo solo interviene el componente cognitivo, esto es 𝜑1, > 0, 𝜑2 = 0. Para el tercer modelo solo interviene el componente social y viene dado por las constantes 𝜑1 = 0, 𝜑2 > 0. El cuarto modelo viene dado por la exclusividad del componente social, esto es 𝜑1 = 0, 𝜑2 > 0 y 𝑔𝑖 ≠ 𝑥𝑖𝑘, donde la posición de la partícula en sí no puede ser la mejor de su entorno. En este documento se plantea un modelo completo donde los componentes cognitivo y social cumplen con la igualdad 𝜑1 + 𝜑2 = 4 [10].
2.2. Técnica convexa
Definición: una función real de variable real f(x): Rn → R es convexa si y solo si ∀x, y Є R n , ∀α, β Є [0, 1] : f(αx + βy) ≤ αf(x) + βf(y).
Un problema de optimización convexa se denomina así si la función objetivo es convexa y la región de búsqueda es un conjunto convexo. Todo óptimo local en un problema convexo es un óptimo global min f(x), f(x), es convexo x Є Ω, Ω es:
Sea x̅ un óptimo local:
N(x̅)es la vecindad de x, x = α x̅ + βy Є Ω.

Lo anterior demuestra que cualquier punto que se encuentre fuera de la vecindad de x̅ desmejora la evaluación de la función objetivo, esto quiere decir que si x̅ pertenece al conjunto convexo de restricciones, entonces esta solución es un óptimo del problema, ya que la función objetivo es una función convexa. Por otro lado, como se propuso al inicio de esta sección, cualquier óptimo local es un óptimo global solo si se encuentra en la vecindad de estas soluciones, entonces se crea un conjunto de soluciones que viene dado por el siguiente algoritmo (ver figura 3):
Entradas: matriz de momento Ms(y*) de rango r. Salidas: r puntos solución x*(i) Є K,i = 1,-- ,r soporte de una solución óptima del problema de optimización convexa.
Obtener la factorización de Cholesky VV’ de Ms(y*)
Reducir V a una forma de Echelon U
Extraer de U las matrices de multiplicación Ni,i = 1,…,n
Calcular N = Σni=1λiNi y generar aleatoriamente los coeficientes λi
Realizar la descomposición de Schur N = QTQ'
• Obtener Q = [q1q2- qr ]
Calcular las soluciones óptimas con x*¡(j) = q'jNiqj . Para todo i = 1,2,… ,n y para cada i = 1,2, - ,r.



La matriz V* se forma por las columnas de Vs(x*(j)).

3. Análisis y resultados
Se considera el siguiente problema de optimización con restricciones:

Gráficamente, se puede comprobar que la función objetivo es convexa y que la intersección de las restricciones convexas forma un conjunto convexo, por lo tanto, se tratará el problema de optimización como un problema convexo (ver figura 4, figura 5, figura 6 y figura 7).




El algoritmo de PSO viene dado por los siguientes pasos:
Asignar posiciones aleatorias dentro de la región factible convexa formada por la intersección de las restricciones. Se generarán n posiciones para las k partículas.
Evaluar las n posiciones en la función objetivo para determinar la mejor posición de la partícula k-ésima.
Actualizar las variables de acuerdo con las funciones de velocidad y posición. Los componentes cognitiva y social de cada partícula se ven afectados por un numero aleatorio para cada uno, esto con el fin de darle mayor diversidad a cada nueva solución y no sesgar las respuestas.
Actualizar la mejor respuesta de la población actual.
Actualizar la mejor respuesta global.
Si |xki - xki-1| < to/ o n > itermax , volver al paso 3.
De lo contrario, avanzar al paso 6.
Devolver la mejor respuesta.
Con el algoritmo planteado anteriormente, se obtuvo la siguiente tabla de resultados:

Para obtener los resultados con el algoritmo de extracción convexa, es necesario calcular, simplificar y factorizar las siguientes matrices.

Y la base de monomios:

La factorización de Cholesky viene dada por:

Cuya forma en columna de Echelon es:

Las entradas de pivote corresponden a la siguiente base generadora:

De las filas posteriores en la matriz u se deduce que todas las soluciones x deben satisfacer las tres ecuaciones polinómicas:

Las matrices de multiplicación N (por x1 y x2) en la base w (x) son fácilmente extraídas de filas en u:

Una combinación convexa elegida al azar de rendimientos de N1 y N2:

Con matriz ortogonal en descomposición de Schur dada por:

A partir de las ecuaciones del paso 7 de la sección Il.b, se obtienen las tres soluciones óptimas:

4. Conclusiones
El algoritmo de cúmulo de partículas PSO con modelo completo implementado en este estudio permitió hallar un conjunto de valores óptimos para dos variables de una función objetivo con restricciones no lineales. La cantidad de individuos usados para cada generación fue de 50 partículas para explorar ampliamente la región factible formada por las restricciones convexas. Cada solución representa un punto ubicado en dicha región, y satisface simultáneamente la función objetivo y las restricciones.
La iteración del algoritmo de extracción convexa relaja el problema de optimización polinomial llevándolo a una forma de problema semidefinido de momento, esto es, calcular la matriz de probabilidad de momento donde esta es la medida de Dirac en cada solución. Dado que las matrices obtenidas en este método son semidefinidas positivas, estas matrices permiten ser factorizadas por medio del algoritmo de Cholesky, Echelon y matriz ortogonal de Shur, dado el caso que la matriz de momento no sea semidifinida positiva o alguno de los valores propios sea menor a cero, entonces no es posible realizar dichas factorizaciones y el problema planteado no es de optimización convexa.
Los pasos propuestos en cada uno de los algoritmos planteados en este documento son similares, pero se diferencian en la cantidad de veces que se deben repetir, es decir, para el algoritmo de cúmulo de partículas inicialmente se explora la región factible con un número finito de partículas, y estas tienden a la mejor solución en alrededor de 150 iteraciones; por otro lado, el cálculo empleado para la extracción convexa solo realiza 3 iteraciones para los cálculos matriciales del paso 7 de este último método.
Finalmente, el método más eficaz para el cálculo de los valores que minimizan una función objetivo en un espacio convexo es el de extracción convexa, dado que el modelo del problema permite obtener matrices semidefinidas positivas con valores propios mayores o iguales a cero.
Referencias
M. Li, H. Chen, X. Shi, S. Liu, M. Zhang, S. Lu, “A multi-information fusion ‘triple variables with iteration’ inertia weight PSO algorithm and its application,” Appl. Soft Comput., vol. 84, p. 105677, 2019, doi: https://doi.org/10.1016/j.asoc.2019.105677
S. Khatir, M. Abdel Wahab, “A computational approach for crack identification in plate structures using XFEM, XIGA, PSO and Jaya algorithm,” Theoretical And Applied Fracture Mechanics, vol. 103, 2019.
S. Devi and M. Geethanjali, “Optimal location and sizing determination of Distributed Generation and DSTATCOM using Particle Swarm Optimization algorithm,” Int. J. Electr. Power Energy Syst., vol. 62, pp. 562-570, 2014, doi: https://doi.org/10.1016/j.ijepes.2014.05.015.
H. E. Espitia Cüchango, J. I. Sofrony Esmeral, “Algoritmo de optimización basado en enjambres de partículas con comportamiento de vorticidad y búsqueda individual y grupal”, Tecnura, vol. 18, n.º 42, pp. 24-37, 2014.
J. Tao, G. Sun, X. Wang, L. Guo, “Robust optimization for a wing at drag divergence Mach number based on an improved PSO algorithm,” Aerosp. Sci. Technol., vol. 92, pp. 653-667, 2019, doi: https://doi.org/10.1016/j.ast.2019.06.041.
Yan Yin, Hui Jiang, “A compact semidefinite programming (SDP) formulation for large margin estimation of HMMS in speech recognition,” in2007IEEE Workshop on Automatic Speech Recognition & Understanding (ASRU), 2007, pp. 312-317, doi: https://doi.org/10.1109/ASRU.2007.4430130.
H. Wang, B. Pei, Z. Wang, S. Tao, “Robust waveform optimization for MIMO radar to improve the worst-case detection performance,” 2014IEEE Radar Conference, 2014, pp. 1098-1101, doi: https://doi.org/10.1109/RADAR.2014.6875759.
W. Xiang, X. Yang, L. Fan, T. Shuai, W. Ai, “An algorithm based on SDP to solve distance calculation problem in OVFDM communication system,” 2010 2ndIEEE InternationalConference on Network Infrastructure and Digital Content, 2010, pp. 589-594, doi: https://doi.org/10.1109/ICNIDC.2010.5657849.
L. Qi, L.-Z. Liao, W. Zang, G. Zhou, “Continuous optimization and combinatorial optimization,” Front. Math. China, vol. 5, no. 1, pp. 1-2, 2010, doi: https://doi.org/10.1007/s11464-009-0044-2.
S. J. Li, X. Q. Yang, K. L. Teo, “On the Conversion of Optimization Problems with Max-Min Constraints to Standard Optimization Problems,” J. Optim. Theory Appl., vol. 109, no. 3, pp. 691-698, 2001, doi: https://doi.org/10.1023/A:1017580108556.
Y. Ding, W. Zhang, L. Yu, K. Lu, “The accuracy and efficiency of GA and PSO optimization schemes on estimating reaction kinetic parameters of biomass pyrolysis,” Energy, vol. 176, pp. 582-588, 2019, doi: https://doi.org/10.1016/j.energy.2019.04.030.
Y. Matsuura, A. Hayano, K. Itakura, and Y. Suzuki, “Estimation of planes of a rock mass in a gallery wall from point cloud data based on MD PSO,” Appl. Soft Comput., vol. 84, p. 105737, 2019, doi: https://doi.org/10.1016/j.asoc.2019.105737.
V. Jeyakumar, G. Li, J. Vicente-Pérez, “Robust SOS-convex polynomial optimization problems: exact SDP relaxations,” Optim. Lett., vol. 9, no. 1, pp. 1-18, 2015, doi: https://doi.org/10.1007/s11590-014-0732-z.
F. Xiong, G. Sun, Y. Xiong, S. Yang, “A moment-matching robust collaborative optimization method,” J. Mech. Sci. Technol., vol. 28, no. 4, pp. 1365-1372, 2014, doi: https://doi.org/10.1007/s12206-014-0122-6.
Notas
Notas de autor
a Correo electrónico: femesa@utp.edu.cobgcorreav@utp.edu.co