Aprendizaje de conductas de navegación autónoma en simulación utilizando framework D-Coach

Abstract

El Laboratorio de Robótica de la Universidad de Chile desarrolló un innovador framework de entrenamiento para redes neuronales deep, denominado D-COACH. Este framework consiste en un profesor humano que supervisa el funcionamiento de una red en tiempo real, quien corrige su funcionamiento por medio de señales positivas y negativas, sobre su espacio de acción. Hasta el momento, los trabajos que han empleado D-COACH demuestran ser prometedores, sin embargo, solo se ha probado con problemas relativamente simples hasta ahora. Por otro lado, en la última década se han realizado avances en la conducción autónoma de vehículos. Sin embargo, existe una característica que no ha sido muy considerada, siendo esta la conducción human-like o "como lo haría un humano". Esta característica es relevante cuando se realizan maniobras en presencia de conductores humanos, quienes esperan que el otro conductor se comporte de una manera determinada. Una incorrecta coordinación entre los conductores puede provocar un accidente de tránsito. En este trabajo de memoria se utilizó D-COACH para entrenar agentes capaces de realizar la maniobra de adelantamiento de un vehículo, dentro del simulador para vehículos autónomos CARLA. También se buscó conseguir una conducción human-like, bajo la hipótesis de que esta característica es adquirible usando D-COACH. Para determinar el desempeño de estos agentes se realizaron 3 escenarios experimentales. El primer escenario considera una maniobra de adelantamiento sin elementos externos, mientras que en el segundo escenario se añaden más vehículos en el camino. El tercer escenario es una continuación del segundo, pero realizando un entrenamiento más acabado. En el primer y tercer escenario experimental, se consiguió entrenar agentes que logran realizar todas las maniobras de prueba exitosamente. En los resultados obtenidos, se observó que el comportamiento de los agentes es similar al de los humanos, diferenciándose en que existe cierto zigzagueo en su movimiento (probablemente corregible) y que tienden a hacer la maniobra más cerca del vehículo que están adelantado. Pese a no ser human-like, esta conducta se puede considerar como una mejora. D-COACH presentó resultados satisfactorios para este trabajo de memoria, siendo más complejo que trabajos anteriores, sin embargo se hacen las siguientes observaciones: -Con una mayor complejización de los escenarios, y en consecuencia un mayor número de eventos posibles, el tiempo de entrenamiento se extendió considerablemente. Esto es para evitar overfitting y conseguir la generalización de la red. Esta prolongación en el entrenamiento puede producir la fatiga del profesor, disminuyendo su efectividad. -La diferencia de información entre el robot y el humano puede llevar a correcciones confusas para el robot. En este caso el robot solo podía observar el tiempo presente, mientras que un humano es capaz de retener eventos del pasado.