Estudio de la utilización del potencial de información cruzado en el aprendizaje con ensamble de redes neuronales

Abstract

El propósito del presente trabajo es estudiar y proponer un método de aprendizaje para los Ensambles de Redes Neuronales basados en la maximización de la Información Mutua Cuadrática entre las salidas de los modelos que componen el Ensamble. En esencia el método propuesto es una función de costo que incluye un término de regularización basado en Información Mutua que se estima a partir del Potencial de Información Cruzado o CIP (Cross Information Potential), además el término de regularización busca favorecer la diversidad entre los modelos del Ensamble. Al método propuesto se le identifica en este trabajo como CIPL (Cross Information Potential Learning). La hipótesis de trabajo es que la utilización de herramientas de Teoría de la Información en la definición de la función de costo de CIPL pueden ayudar a mejorar la precisión y la diversidad del Ensamble comparado con el método basado en correlación negativa propuesto por el método NCL (Negative Correlation Learning) además de ayudar a favorecer más aun la diversidad. La metodología de trabajo incluye primeramente la implementación de una librería desarrollada en el lenguaje de programación Python para poder entrenar modelos de redes neuronales en forma paralela con el fin de poder probar el método de entrenamiento NCL y CIPL. Para evaluar el método de entrenamiento CIPL se realizan pruebas sobre problemas de regresión y clasificación típicos, parte de estas pruebas intentan determinar su comportamiento bajo condiciones de ruido y valores atípicos. Para el caso de CIPL se agregan pruebas sobre los diferentes hiperparámetros que tiene. Los resultados obtenidos muestran que CIPL tiene un desempeño similar que NCL en problemas de clasificación, no así en regresión donde NCL es mucho mejor. En cuanto a los hiperparámetros de CIPL se destaca que la sinergia y la redundancia influyen directamente en la diversidad del Ensamble, incluso permiten obtener mejores niveles de diversidad que NCL. La implementación de CIPL tiene problemas con los tiempos de entrenamiento que aumentan de forma exponencial con la cantidad de muestras y de modelos del Ensamble, por lo que requiere una optimización del código. Por otro lado, aunque la diversidad en el caso de CIPL mejora los resultados, no es posible cuantificar este efecto, por tanto se deja propuesto para trabajos futuros. Además, falta resolver problemas que tiene la implementación de CIPL cuando se trabaja con más de 2 clases.