Multi-Agent based decentralized reinforcement learning of individual behaviors

Abstract

El paradigma del aprendizaje reforzado (RL \footnote{Por sus siglas en inglés: Reinforcement Learning}) está siendo recurrentemente utilizado para aprender tareas complejas en contextos aplicativos como la robótica. No obstante, muchas aplicaciones en el mundo real manejan un espacio de acciones multi-dimensional, en donde las acciones individuales trabajan juntas para que el agente ejecute un comportamiento deseado. En tales aplicaciones, el RL presenta de una explosión en la complejidad computacional, que ocurre cuando se usan esquemas con RL Centralizado (CRL). Esto genera problemas como el consumo excesivo de memoria o de tiempo de entrenamiento, sin embargo, el uso del RL Descentralizado (DRL) ayuda a solucionar tales problemas. En esta tesis, se usará el termino DRL para referirse a aquellos métodos descentralizados usados para el aprendizaje de tareas ejecutadas por una entidad individual, por ejemplo, un robot. En esta tesis, se propone una metodología para modelar el DRL de comportamientos individuales en problemas con espacios de acciones multi-dimensionales. Cada sub-problema (ej., las acciones de un efector o actuador) es aprendido por agentes independientes que trabajan en paralelo. Dado que la mayoría de los estudios reportados sobre Sistemas Multi-Agente (MAS) no validan los métodos propuestos en problemas estocásticos-multiestado y del mundo real, uno de los objetivos de la presente tesis es demostrar empíricamente que los beneficios de los MAS son extensibles a problemas complejos como son las plataformas robóticas, si estos son modelados e implementados con sistemas DRL. Para ello, varios esquemas de DRL basados en algoritmos multi-agente y métodos de transferencia de conocimiento son presentados, validados y analizados, a través de un extenso estudio experimental, en donde diferentes problemas son modelados e implementados, siguiendo la metodología propuesta. Los resultados de la validación empírica muestran que las implementaciones con DRL mejoran el desempeño de su análogo CRL, usando además menos recursos computacionales. Además, aquellos esquemas de DRL implementados con mecanismos de coordinación, muestran mejores desempeños y/o tiempos de entrenamiento que los esquemas de DRL que no usan coordinación directa.