Gait adaptation of quadruped robot via central pattern generator and reinforcement learning

Abstract

Avances en la disciplina de aprendizaje reforzado profundo han mostrado promesa en la utilización de estos métodos para la locomoción de robots a través de ambientes complejos. Sin embargo, estos métodos suelen sufrir de baja eficiencia de muestras debido a espacios de acción de alta dimensionalidad. En este trabajo proponemos e implementamos una arquitectura de control para robot cuadrúpedos basada en el uso de generadores de patrones centrales y aprendizaje reforzado. Nuestro método integra extracción de características del ambiente con aprendizaje no supervisado y selección de parámetros de un generador de trajectorias cíclicas para aprender conductas de caminata adaptables a los condiciones observadas por el robot. Restrindiengo el espacio de acción de los motores de nuestro robot somos capaces de aprender caminatas simples en menos de una hora, y caminatas capaces de escalar caminos de pendiente variable en menos de tres horas. Demostramos como nuestro método supera líneas base del estado del arte, superándolas en eficiencia de muestras y rendimiento.

Advances in the discipline of deep reinforcement learning have shown promise in utilizing these methods for the locomotion of robots through complex environments. However, these methods often suffer from low sample efficiency due to high-dimensional action spaces. In this work, we propose and implement a control architecture for quadrupedal robots based on the use of central pattern generators and reinforcement learning. Our method integrates environment feature extraction with unsupervised learning and parameter selection from a cyclic trajectory generator to learn walking behaviors adaptable to the states observed by the robot. By constraining the action space of our robot’s motors, we are able to learn simple gaits in less than an hour and gaits capable of navigating paths with varying slopes in less than three hours. We demonstrate how our method outperforms state-of-the-art baselines, surpassing them in sample efficiency and performance.