Modelos de atención neuronal para la representación de electroencefalogramas y la detección de eventos transitorios del sueño

Abstract

Los eventos transitorios del sueño, como los husos de sueño y los complejos-k, están asociados a diferentes funciones cognitivas y al diagnóstico de diferentes enfermedades neurológicas. Sin embargo, la detección de estos eventos implica una inversión importante en capital humano experto y de tiempo para generar el etiquetado de estos eventos. Por lo tanto, existe una motivación inherente a desarrollar detectores automáticos que tengan la capacidad aprender de datos de Electro Encefalogramas (EEG) con eventos transitorios del sueño. El modelo propuesto para desarrollar el detector automático es un modelo basado en aprendizaje profundo, particularmente en atención neuronal. Los modelos de atención neuronal (Transformers) han tenido gran éxito en el área de procesamiento de lenguaje natural y, más recientemente, en el procesamiento de imágenes. Los Transformers pueden aprender sobre el contexto de los datos no etiquetados previo a las etiquetas mismas, mejorando así su desempeño. En este trabajo se proponen variaciones importantes en la arquitectura del Transformer, agregando operaciones convolucionales que ayudan a llevar a cabo el procesamiento de las señales EEG, las que a diferencia de las secuencias de texto, presentan un largo considerablemente mayor. Además, como aprendizaje previo a la tarea de detección, se utiliza una tarea de contraste para que así el Transfomer aprenda a contextualizar el EEG con mejores representaciones iniciales. El aprendizaje por contraste resultó tener una mejora en el F1-score de detecciones de eventos transitorios, permitiendo además tener desempeños que alcanzan y en algunos casos superan el estado del arte.