Contributions to the convergence theory and computational implementation of interior optimization methods for convex problems

Abstract

En esta tesis doctoral se estudian algoritmos para resolver problemas de optimización convexa con estructura separable, y problemas de equilibrio económico de Walras. Así, la tesis se divide en dos partes. La primera parte corresponde al estudio teórico y numérico de un método de direcciones alternantes de multiplicadores el cual usa un término proximal interior. La segunda parte está dedicada al estudio numérico de algoritmos de segundo orden para resolver problemas de maximización de utilidades que aparecen en problemas de equilibrio en economía. En el primer capítulo se hace una revisión de algunos métodos de descomposición basados en el Lagrangeano aumentado. Luego, se hace una revisión de la definición y propiedades de las distancias proximales generalizadas. En el segundo capítulo, se prueba la convergencia global del método propuesto bajo supuestos estándares. Este método es llamado Método de Direcciones Alternantes con Regularización Proximal Interior (RIPADM). En el tercer capítulo, se establece la convergencia global de una variante del método RIPADM la cual añade un factor de relajación a la regla de actualización del multiplicador de Lagrange. En el cuarto capítulo, se implementa computacionalmente en Matlab, el método RIPADM, el ADM original y el método proximal de multiplicadores (PMM) para resolver el problema LASSO restringido y un problema de máquinas de soporte vectorial. En la implementación computacional del método RIPADM se usa la distancia proximal Log-quad, y la distancia Kullback-Leibler. En el quinto capítulo, se describe el modelo de intercambio puro de Arrow-Debreau, y se hace una revisión de un método recientemente propuesto para resolver problemas de equilibrio económico de Walras. En el sexto capítulo, se implementa computacionalmente el método punto-interior primaldual (PDIPM) y el método gradiente proyectado con aceleración (AGPM) para resolver problemas de maximización de utilidades que aparecen en problemas de equilibrio en economía.

This thesis deals with algorithms for solving convex optimization problems with separable structure, and Walras economic equilibrium problems. So the thesis is divided into two parts. The first part corresponds to a theoretical and numerical study of an alternating direction method of multipliers which uses an inner proximal term. The second one is focused on numerical study of algorithms for solving utility maximization problems that arise in equilibrium problems in economic. The first chapter includes a review of some decomposition methods based on the augmented Lagrangian. Then, the definition and properties of generalized proximal distances are given. In the second chapter, the global convergence of the proposed method is proved. This method is called Alternating Direction Method with Interior Proximal Regularization (RIPADM). The third chapter contains the proof of the global convergence of a variant of the RIPADM method which adds a relaxation factor in the update rule of Lagrange multiplier. The fourth chapter corresponds to the computational implementation in Matlab of the RIPADM method, the original ADM and proximal method of multipliers (PMM), to solve the LASSO problem and a support vector machine problem. In the computational implementation of the RIPADM method it is used the Log-quad distance, and also is used the Kullback-Leibler distance which is a Bregman distance. The fifth chapter includes a description of the pure exchange model of Arrow-Debreau, and a review of a recently proposed method to solve Walras economic equilibrium problems. The sixth chapter corresponds to the computational implementation of primal-dual interiorpoint method (PDIPM) and the projected gradient method with acceleration (AGPM) for solving utility maximization problems that appear in Walras economic equilibrium problems.