Show simple item record

Professor Guidedc.contributor.advisorHitschfeld Kahler, Nancy Viola
Professor Guidedc.contributor.advisorEstévez Valencia, Pablo Antonio
Authordc.contributor.authorIntriago Chichanda, Jhon Alejandro
Associate professordc.contributor.otherBustos Cárdenas, Benjamin Eugenio
Associate professordc.contributor.otherAcuña Leiva, Gonzalo Pedro Nolasco
Associate professordc.contributor.otherTobar Henríquez, Felipe Arturo
Admission datedc.date.accessioned2021-11-22T16:59:19Z
Available datedc.date.available2021-11-22T16:59:19Z
Publication datedc.date.issued2021
Identifierdc.identifier.urihttps://repositorio.uchile.cl/handle/2250/182802
Abstractdc.description.abstractLas Redes Neuronales Spiking (SNNs) son una posible vía para acortar la distancia entre el aprendizaje profundo y la neurociencia. Estos modelos se consideran redes neuronales biológicamente plausibles porque intentan simular cómo las neuronas biológicas transmiten la información. Su implementación en hardware especializado ofrece un gran potencial de velocidad computacional. Sin embargo, es necesario mejorar su rendimiento con respecto a las redes neuronales recurrentes tradicionales tales como Vanilla Recurrent Neural Network (V-RNN), Long Short Term Memory (LSTM) y Gated Recurrent Unit (GRU). Para ello, abordamos algunas debilidades de estas redes desarrollando variantes basadas en principios de aprendizaje profundo y teoría de la información. En concreto, proponemos un nuevo método heurístico para estimar los parámetros que definen al modelo SNN. También añadimos memoria externa a estos para una comparación justa con los modelos tradicionales y, finalmente, adaptamos el método Information Bottleneck como criterio de optimización. Estas mejoras propuestas se evaluaron con dos conjuntos de datos: El problema de los bits de paridad y el conjunto de datos Spiking Heidelberg (SHD). Nuestros principales resultados sostienen que el modelo SNN Recurrente (SRNN) mejorado logró un rendimiento similar al modelo GRU con menos parámetros en la clasificación del conjunto de datos SHD, en el que ambos modelos alcanzaron un 86\% de exactitud en promedio. Además, cuando se añadió Information Bottleneck como criterio de optimización, el modelo SRNN convergió más rápido que los modelos entrenados con entropía cruzada (Cross-Entropy). Nuestros resultados sugieren que el modelo SRNN inspirado en conceptos biológicos tiene un rendimiento similar al de las RNN tradicionales cuando las condiciones de evaluación son similares (por ejemplo, utilizando el mismo número de parámetros). Además, cuando las RNNs se entrenan utilizando técnicas de control de gradientes, estos modelos mejoran su rendimiento.es_ES
Patrocinadordc.description.sponsorshipSecretaría de Educación Superior, Ciencia, Tecnología e Innovación, SENESCYT CONICYT, Fondecyt 1171678es_ES
Lenguagedc.language.isoenes_ES
Publisherdc.publisherUniversidad de Chilees_ES
Type of licensedc.rightsAttribution-NonCommercial-NoDerivs 3.0 United States*
Link to Licensedc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/us/*
Títulodc.titleDevelopment of spiking neural networks based on Deep Learning and information theoryes_ES
Document typedc.typeTesises_ES
dc.description.versiondc.description.versionVersión original del autores_ES
dcterms.accessRightsdcterms.accessRightsAcceso abiertoes_ES
Catalogueruchile.catalogadorgmmes_ES
Departmentuchile.departamentoDepartamento de Ciencias de la Computaciónes_ES
Facultyuchile.facultadFacultad de Ciencias Físicas y Matemáticases_ES
uchile.gradoacademicouchile.gradoacademicoMagisteres_ES
uchile.notadetesisuchile.notadetesisTesis para optar al grado de Magíster en Ciencias, Mención Computaciónes_ES


Files in this item

Icon
Icon

This item appears in the following Collection(s)

Show simple item record

Attribution-NonCommercial-NoDerivs 3.0 United States
Except where otherwise noted, this item's license is described as Attribution-NonCommercial-NoDerivs 3.0 United States