Implementación de esquemas de aprendizaje reforzado offline, para el control de procesos dinámicos

Abstract

El aprendizaje reforzado es una rama del Machine Learning que ha dado que hablar en el último tiempo, por el gran éxito que ha obtenido en una amplia variedad de áreas. Sin embargo, este campo todavía cuenta con limitaciones, producto de la gran cantidad de datos y tiempo de entrenamiento requeridos para producir resultados óptimos. También, resulta difícil controlar el comportamiento del agente mientras aprende, lo que puede resultar perjudicial en contextos sensibles, como por ejemplo el desarrollo de vehículos autónomos, y la atención médica. Por esto que en el último tiempo se ha intensificado el desarrollo de algoritmos de aprendizaje reforzado offline que permitan evitar los riesgos de permitir que el agente aprenda de manera online. Estos algoritmos buscan compensar las deficiencias mencionadas transformando el área a la disciplina de los datos, el susodicho cuarto paradigma de la ciencia. Por esto resulta prometedora la investigación en esta área, a fin de encontrar nuevas maneras de expandir los logros de este fructífero campo. El presente trabajo comprende el estudio de distintos esquemas de aprendizaje reforzado, desde los algoritmos más conocidos, desarrollados inicialmente para una implementación online, hasta los nuevos desarrollos bajo un paradigma offline. El propósito de esto es el poner a prueba las capacidades que poseen estos nuevos métodos, evaluándolos bajo un enfoque offline, para descubrir la utilidad y el provecho que se le puede sacar a estos. La metodología utilizada en este trabajo, se enfoca en la implementación de los esquemas estudiados en diversas configuraciones y condiciones,para evaluar en detalle las fortalezas y debilidades de estos algoritmos, al emplearlo en el control de procesos dinámicos. De esta manera, se implementan sobre un proceso dinámico definido, distintos algoritmos de aprendizaje reforzados. Se hace en distintos tipos de configuraciones, con distintos conjuntos de datos y funciones de recompensa, a fin de evaluar los desempeños de estos, y poder generar un análisis de los distintos aspectos manipulados en la implementación. Los resultados obtenidos en este trabajo, evidencian las capacidades y limitaciones de los algoritmos de aprendizaje reforzado estudiados, junto con el trabajo y consideraciones necesario para poder emplearlos de manera efectiva. Asimismo, estos resultados contribuyen a comprender la importancia de seguir avanzando en la investigación de nuevos algoritmos que permitan extender el alcance de estas técnicas a una mayor cantidad de campos y aplicaciones.