Diseño de distribuciones a priori de redes neuronales bayesianas basadas en la solución de su versión determinista

Abstract

Las redes neuronales son modelos matem´aticos utilizados en el aprendizaje profundo que a trav´es de las variables que representan a los datos, han demostrado su capacidad para resolver una amplia variedad de problemas. Sin embargo, tambi´en poseen desventajas. Uno de los principales problemas asociados con estas redes es su susceptibilidad a la sobre confianza. En otras palabras, a menudo tienen la tendencia a proporcionar resultados con una alta probabilidad, incluso si esos resultados son incorrectos. Lo cual en aplicaciones de alto riesgo, como conducci´on aut´onoma, pueden existir graves consecuencias. Si se incorpora una perspectiva probabil´ıstica en estos modelos, lo cual se conoce como redes neuronales bayesianas, se puede obtener una medida de incertidumbre en las predicciones, lo que indica cu´anto conf´ıa el modelo en esas predicciones. Si bien suena prometedor, hasta principios de 2020, no se han reportado desarrollos de modelos de aprendizaje profundo bayesiano en la industria, a pesar de los avances en este campo, esto se debe principalmente a que tienen menor precisi´on que la versi´on determinista de tales modelos. En este tipo de modelos se debe definir una distribuci´on a priori de los par´ametros. Una de las posibles causas del problema se˜nalado para estos modelos es la mala elecci´on del prior, pues com´unmente se utiliza simplemente una distribuci´on normal centrada en cero. Por lo que el principal objetivo de esta investigaci´on, es poder encontrar una distribuci´on a priori, que tenga un buen rendimiento, y que adem´as sirva para poder estimar la incertidumbre de las predicciones. Se proponen priors basados en la soluci´on de la forma determinista de la red, y se comparan con algunos de los priors estudiados hasta la fecha. Los resultados muestran que a partir de uno de los priors propuestos, se supera el rendimiento de la red determinista, pero que sin embargo en algunos casos, se obtiene una peor calibraci´on. Tambi´en se muestra una aplicaci´on en salud acerca de c´omo poder aplicar la propuesta realizada en un conjunto de datos de distrofias musculares, y es posible ver c´omo el c´alculo de la incertidumbre es coherente con lo que quiere lograr. Se concluye que los resultados obtenidos son relevantes, pues se muestra que uno de los priors propuestos logra superar en ciertas m´etricas a la versi´on determinista, independiente de la arquitectura y conjunto de datos utilizado. Por ´ultimo se propone seguir estudiando tal distribuci´on, en problemas m´as complejos, con diferentes arquitecturas y diferentes datos, de manera de poder realizar una conclusi´on m´as completa, adem´as de utilizar otras t´ecnicas de inferencia.