Destilación de modelo en redes convolucionales

Abstract

Se estudia la destilación de conocimiento en clasificación de imágenes usando redes neuronales convolucionales. Se usa a modo de tutor una ResNet101 y a modo de estudiantes ResNet18 junto con MobileNet. Los experimentos se realizan sobre la base de datos Cifar10, sobre la cual se prueban distintas técnicas y configuraciones de destilación, tanto incluyendo información de features como solo usando la información en los logits. Sobre el dataset original, se realizan dos modificaciones para probar el funcionamiento bajo ruido y en datos artificiales. Los resultados son bastante prometedores, lográndose incluso entrenar satisfactoriamente sobre datos exclusivamente sintéticos generados por GAN.