Bridging the gap between simulation and reality using generative neural networks

Abstract

Los simuladores son herramientas fundamentales para el desarrollo de algoritmos. Sin embargo, la mayoría de los simuladores no son representaciones certeras del mundo real lo que implica que algoritmos entrenados únicamente en simulación tienden a tener bajo rendimiento al ser usados en la realidad. El objetivo de esta tesis es resolver el problema de transformación de imagen-a-imagen con particular enfoque en la transformación de imágenes de simulación-a-realidad para disminuir la brecha que existe entre ambos. Con este fin se proponen dos metodologías basadas en modelos generativos. Estos modelos consisten en redes neuronales, los cuales son usados para reducir la brecha entre simulación y realidad de SimRobot, el simulador más popular de la Standard Platform League de la Robocup. Los resultados demuestran que ambos métodos son capaces de generar ambientes realistas los cuales pueden ser usados para entrenar y evaluar detectores basados en redes convolucionales. FeatureGan también es evaluado en la tarea más difícil de transformar imágenes de videojuegos-a-realidad. Una red de segmentación semántica es entrenada de forma exitosa usando imágenes creadas por el modelo generativo y entrega buenos resultados al ser evaluada en una base de datos de imágenes reales.