Controllable guidance in reinforcement learning using diffusion models

Abstract

En este trabajo, exploramos la aplicación de modelos de difusión al aprendizaje por refuerzo offline. En concreto, abordamos el problema del muestreo a partir del producto de una distribución de probabilidad no normalizada con una función escalar. Este problema engloba varios desafíos, incluidos los que se encuentran en el aprendizaje por refuerzo offline. Para abordar este problema, proponemos un método novedoso basado en modelar conjuntamente la distribución de probabilidad y la respectiva función escalar, con el mismo modelo de difusión. Mientras que los métodos anteriores utilizan una red neuronal externa, nuestro método requiere una configuración mínima que aprovecha las representaciones ocultas compartidas en el modelo de difusión. Proporcionamos un método de muestreo que garantiza la obtención de muestras de la distribución objetivo bajo el modelo de difusión óptimo. Evaluamos experimentalmente el método propuesto, demostrando resultados sólidos en el benchmark D4RL. Para introducir el método, presentamos una visión general en profundidad de los modelos de difusión y el aprendizaje por refuerzo, seguida de una revisión exhaustiva de los trabajos relacionados. Esperamos que esta tesis no solo presente las principales contribuciones de nuestro trabajo, sino que también sirva como una introducción a los modelos de difusión y al aprendizaje por refuerzo, así como una revisión exhaustiva de los trabajos fundamentales en este campo.