Two contributions to probabilistic ML: Bayesian spectral estimation & extension to the NTK

Abstract

En las áreas de procesamiento de datos y aprendizaje de máquinas, dos ramas importantes son procesamiento de señales y aprendizaje profundo, respectivamente. Procesamiento de señales se centra en el análisis, modificación y sintetización de señales. Por otra parte, aprendizaje profundo es un conjunto de métodos basados en el uso de redes neuronales multicapa.

Una de las áreas más antiguas en procesamiento de señales es la estimación espectral (SE), la cuál estima la densidad espectral (PSD) de una señal a partir de un conjunto de observaciones ruidosas de la señal. Uno de los métodos clásicos es la estimación espectral Autoregresiva (ASE), la cuál impone que la señal estudiada proviene de la familia de procesos Autoregresivos, y luego encuentra el proceso Autoregresivo que más se le asemeja mediante técnicas de optimización. Comunmente, los procecsos usados son máxima verosimilitud o mínimos cuadrados, por lo que esta estimación no toma en cuenta la incertidumbre derivada del hecho de ajustar una señal completa a partir de un conjunto finito de observaciones.

Hace unos años, Arthur Jacot probó que las redes neuronales Bayesianas entrenadas con descenso del gradiente tenían una correspondencia con los procesos Gaussianos, y que los cambios experimentados por la red durante el procecso de entrenamiento estaban fuertemente ligados al kernel de este proceso Gaussiano\cite{jacot2018neural}. A pesar de los grandes avances que este campo ha visto, ha existido poca investigación que utilize otras configuraciones, dado que la mayoría de trabajos usan redes neuronales profundas entrenadas con descenso del gradiente y utilizan el error cuadrático medio como función de costo. Para tomar en cuenta la incertidumbre derivada del proceso de ajuste en la estimación espectral Autoregresiva, proponemos un acercamiento Bayesiano al problema, usando una distribución a priori en los parámetros del proceso Autoregresivo, así podemos obtener en última instancia una distribución posterior en la densidad espectral de la señal, y así obtener una medida de la incertidumbre de nuestra predicción simplemente mirando la varianza de la distribución. Para expandir la investigación en redes neuronales Bayesianas y su correspondencia con procesos Gaussianos, probaremos que esta correspondencia se mantiene para redes neuronales entrenadas utilizando la entropía cruzada como función de costo, la cuál es común en problemas de clasificación. Esto se hará primero, probando que la entropia cruzada tiene todas las propiedades requeridas para que exista la correspondencia, y luego comprobandolo con experimentos apropiados.