Development of spiking neural networks based on Deep Learning and information theory

Abstract

Las Redes Neuronales Spiking (SNNs) son una posible vía para acortar la distancia entre el aprendizaje profundo y la neurociencia. Estos modelos se consideran redes neuronales biológicamente plausibles porque intentan simular cómo las neuronas biológicas transmiten la información. Su implementación en hardware especializado ofrece un gran potencial de velocidad computacional. Sin embargo, es necesario mejorar su rendimiento con respecto a las redes neuronales recurrentes tradicionales tales como Vanilla Recurrent Neural Network (V-RNN), Long Short Term Memory (LSTM) y Gated Recurrent Unit (GRU). Para ello, abordamos algunas debilidades de estas redes desarrollando variantes basadas en principios de aprendizaje profundo y teoría de la información. En concreto, proponemos un nuevo método heurístico para estimar los parámetros que definen al modelo SNN. También añadimos memoria externa a estos para una comparación justa con los modelos tradicionales y, finalmente, adaptamos el método Information Bottleneck como criterio de optimización. Estas mejoras propuestas se evaluaron con dos conjuntos de datos: El problema de los bits de paridad y el conjunto de datos Spiking Heidelberg (SHD). Nuestros principales resultados sostienen que el modelo SNN Recurrente (SRNN) mejorado logró un rendimiento similar al modelo GRU con menos parámetros en la clasificación del conjunto de datos SHD, en el que ambos modelos alcanzaron un 86\% de exactitud en promedio. Además, cuando se añadió Information Bottleneck como criterio de optimización, el modelo SRNN convergió más rápido que los modelos entrenados con entropía cruzada (Cross-Entropy). Nuestros resultados sugieren que el modelo SRNN inspirado en conceptos biológicos tiene un rendimiento similar al de las RNN tradicionales cuando las condiciones de evaluación son similares (por ejemplo, utilizando el mismo número de parámetros). Además, cuando las RNNs se entrenan utilizando técnicas de control de gradientes, estos modelos mejoran su rendimiento.