Multi-Output Gaussian Process Toolkit with sparse formulation for spectral kernels

Abstract

En modelos Bayesianos no paramétricos, los procesos Gaussianos (GP) son un pilar en los problemas de regresión, los cuales se benefician de la estadística Bayesiana, mostrando propiedades atractivas, tales como ser un prior conjugado para la verosimilitud Gaussiana. Su extensión multivariada, los procesos Gaussianos con múltiples canales o salidas (MOGP), apunta a incorporar información entre canales, tanto para inferencia como para predicción, para fenómenos multivariados acoplados. Ambos tipos de GP, unicanal como multicanal están completamente determinados por su función de covarianza o kernel, que en el caso de MOGP es una función a valores matriciales. En este contexto, el mayor desafío al diseñar funciones de covarianza emerge en el balance entre generalización, es decir, el considerar una familia amplia de kernels, y al mismo tiempo mantener la condición de ser simétrico y definido positivo. una práctica común en el diseño de kernels se basa en combinarlos entre ellos, empleando operaciones como suma, producto o composición. Otra alternativa es el diseño de kernels a través de su representación espectral, siendo ejemplos de esto el kernel Spectral Mixture (SM) para el caso unicanal, y el recientemente propuesto kernel Multi-Output Spectral Mixture (MOSM) para multicanal. El propósito principal de esta tesis es revisitar y extender el modelo MOSM, considerando sus principales desventajas para que este pueda ser aplicado como un modelo multicanal de propósito general. En este contexto, las principales contribuciones de este trabajo son las siguientes: primero, abordamos la indeseada escalabilidad del modelo para conjuntos de datos grandes, empleando aproximaciones sparse conocidas, proponiendo variables inducivas que aprovechan de mejor forma la estructura del kernel. Segundo, mejoramos en entrenamiento mediante el uso de heurísticas basadas en los datos disponibles, para encontrar puntos iniciales que beneficien el proceso de optimización. Tercero, para los casos en que los canales no están correlacionados, en los cuales puede ocurrir una transferencia negativa de información, la cual empeora la predicción, proponemos una version restringida del kernel MOSM (R-MOSM), y la complementamos usando priors regularizadores en los pesos de cada componente del kernel, ayudando a mitigar la transferencia negativa de información. Por último, la cuarta contribución de esta tesis consiste en un kit de herramientas de código abierto para MOGP, que incluye MOSM y las extensiones propuestas, además de otros kernels usados previamente en la literatura. Este kit de herramientas es llamado Multi-Output Gaussian Process Toolkit (MOGPTK), y fue escrito en Python, usando como base TensorFlow y GPflow. Estas contribuciones son validadas experimentalmente usando MOGPTK, en conjuntos de datos multicanal de finanzas, robótica y clima.