Excavación autónoma con LHD utilizando aprendizaje reforzado profundo

Abstract

La transicion hacia una miner ´ ´ıa subterranea cada vez m ´ as profunda requiere automatizar la ma- ´ quinaria para poder operar en condiciones demasiado peligrosas para operadores humanos. Este trabajo aborda el problema de excavacion de material con m ´ aquinas ´ Load Haul Dump (LHD) mediante el uso de aprendizaje reforzado profundo. El controlador es entrenado utilizando el algoritmo DDPG, unicamente en simulaci ´ on y sin demostraciones previas ejecutadas por expertos. El dise ´ no˜ de la recompensa busca incentivar al agente a cargar la mayor cantidad de material evitando el resbalamiento de las ruedas. Se propone una simulacion de bajo costo computacional basada en un ´ modelo anal´ıtico, que calcula las fuerzas ejercidas sobre el balde durante un cargu´ıo, para entrenar al agente. Multiples experimentos en el mundo real muestran que la pol ´ ´ıtica aprendida alcanza resultados iguales o mejores en cantidad de material cargado y resbalamiento de ruedas, comparado con cargu´ıos realizados por teleoperacion y un algoritmo experto. Adem ´ as, los resultados muestran ´ que el diseno del sistema y la simulaci ˜ on utilizada proveen al agente de robustez frente a perturba- ´ ciones en observaciones del ambiente y a cambios en la granulometr´ıa del material.