Energy-optimizing failure-resilient automatic controller for a water heating system through deep reinforcement learning

Abstract

En el contexto climático actual, reducir el impacto ambiental de la humanidad es más importante y urgente que nunca. Esto debe lograrse sin dejar de lado las mejoras que se han conseguido durante las últimas décadas en la calidad de vida de la gran mayoría de la población mundial; mejoras que han elevado la esperanza de vida, la salud y la educación a niveles sin precedentes, y que en parte se deben a la industrialización. Por lo tanto, el objetivo de la humanidad no debiese ser la abolición de la industrialización, sino un modelo productivo que pueda mantenerse en el largo plazo, y en lo posible debe lograrse rápido. En este contexto, un modelo de producción energética libre de carbono es esencial. Una forma obvia de conseguirlo es mediante el uso de energías limpias y renovables. En adición a esto, se puede reducir la necesidad energética optimizando su consumo. El trabajo presentado en este documento intenta abordar la optimización en el control de sistemas que usan energía de fuentes renovables. En particular, el método conocido como Deep Reinforcement Learning (aprendizaje reforzado profundo) se usa para entrenar a agentes autónomos que controlan el sistema de calentamiento de agua sanitaria usado para entregar agua a los camarines en el área de deportes del edificio ubicado en Beauchef 851, Santiago de Chile, el cual pertenece a la Facultad de Ciencias Físicas y Matemáticas (FCFM) de la Univerdidad de Chile. Reinforcement Learning es un área de aprendizaje de máquinas que estudia la optimización de tareas de control. Un agente es entrenado para ejecutar las mejores acciones posibles sobre un ambiente, con el objetivo de obtener mayores recompensas , las cuales son una función que depende de los efectos que las acciones del agente producen sobre el ambiente. Deep Reinforcement Learning es la sub-área de Reinforcement Learning que estudia el uso de redes neuronales profundas como agentes que toman las decisiones. En el estudio aquí presentado, una plataforma simple para el entrenamiento de redes neuronales densas es desarrollada con el objetivo entrenar a agentes que controlen el sistema ya mencionado; luego, se define una función recompensa considerando las características del sistema y el objetivo del proceso de entrenamiento, que es optimizar el uso de energía mientras se provee agua caliente a los camarines. Además, los agentes se entrenan para controlar una versión del sistema sujeta a fallas de los componentes, de forma de que no se interrumpa el suministro de agua caliente en caso de falla. Los resultados muestran un claro éxito del método presentado, tanto para optimizar el uso de energía como para manejar el sistema cuando ocurren fallas. Sin embargo, es posible que la simulación tenga demasiadas simplificaciones con respecto al sistema real, lo cual podría producir un desempeño deficiente de los agentes si éstos se pusieran en práctica con el actual avance del estudio. Por lo tanto, el siguiente paso obviamente consiste en añadir más complejidades a la simulación, lo cual probablemente llevará a la necesidad de usar redes neuronales y métodos de Deep Reinforcement Learning más sofisticados.