Técnicas de optimización discreta para compresión de redes neuronales

Abstract

Durante el desarrollo de esta tesis, se estudian diversas aplicaciones de un modelo de optimizaci´on entera (MIP) para la representaci´on de redes neuronales fully connected con ReLU’s como funci´on de activaci´on. Los resultados obtenidos se pueden extender a casos m´as generales como redes feedforward con funciones de activaci´on piecewise linear [1]. En el Cap´ıtulo 1, se hace una introducci´on al problema y se presentan los conocimientos te´oricos previos de optimizaci´on y aprendizaje de m´aquinas necesarios para el desarrollo de la tesis. Tambi´en, se introduce el IP maestro que se utilizar´a (Big-M) y se explican sus restricciones. En el Cap´ıtulo 2, se indican todas las precauciones t´ecnicas que hay que tomar en cuenta para modelar una red neuronal usando este problema IP. Luego se presentan algunos algoritmos para calcular las cotas de activaci´on, las cuales son valores asociados a cada neurona que resultan ser sumamente importante en este modelo IP. Se hacen diversos estudios emp´ıricos para determinar cuales son las maneras apropiadas de calcularlas y que calidad tienen estas cotas calculadas. En el Cap´ıtulo 3, se resuelve un problema de verificaci´on de redes utilizando el modelo IP, con el fin de analizar el impacto que tienen las cotas de activaci´on, su calidad, y el c´omo fueron calculadas: versi´on naive, relajada, entera, entre otras. De este cap´ıtulo se obtiene el marco te´orico ideal para el uso de este modelo IP. En el Cap´ıtulo 4, se utilizan todos los resultados anteriores para implementar un comparador de redes neuronales, utilizando una modificaci´on del modelo IP original. Se realizan diversas pruebas con el comparador, utilizando redes entrenadas con MNIST, y se estudia el comportamiento de las redes, realizando distintas comparaciones. Se concluye que el desarrollo de esta herramienta es posible, tiene gran versatilidad y puede aportar a ambas comunidades (IP, ML), pero requiere estudios posteriores para analizar como escala con el tama˜no de las redes, del dataset y con otras arquitecturas. Finalmente, en las conclusiones, se enumeran los principales aportes de la tesis y se mencionan l´ıneas de trabajo futuro tanto para la comunidad IP como la de ML.