Diseño e implementación de una estrategia de control para sistemas de riego utilizando aprendizaje reforzado

Abstract

Tomando en cuenta las proyecciones de aumento poblacional y de escasez hídrica producto del calentamiento global, se hace urgente el desarrollo de técnicas agrícolas que permitan obtener el mayor rendimiento posible, para abastecer del alimento necesario a las nuevas generaciones, pero consumiendo la menor cantidad de agua que se requiera, para preservar por más tiempo las fuentes de agua. Este escenario afecta particularmente a los países con una producción agrícola importante, entre los cuales destaca Chile, como uno de los principales proveedores de productos agrícolas a nivel mundial, donde parte importante de los productores realizan dicha actividad con nes de autosustento, muchos de los cuales pertenecen a pueblos indígenas y donde en los últimos años se ha experimentado una sequía que ha perjudicado signi cativamente el desarrollo de la actividad agrícola. De acuerdo con lo anterior, en el presente trabajo se simuló un esquema de control de riego para los cultivos modelados del sistema hidrogeológico conformado por un conjunto de agricultores y pozos de la comunidad mapuche José Painecura, ubicada en la Región de la Araucanía, donde el modelo, adaptado a la arquitectura de entornos Gym, busca maximizar los rendimientos de los cultivos consumiendo la menor cantidad de agua posible. Aquí, se estudiaron tres estratégias de aprendizaje reforzado para espacios de acción y de estado continuos: Proximal Policy Optimization (PPO), Deep Determinstic Policy Gradient (DDPG) y Twin Delay Deep Deterministic Policy Gradient (TD3), fundamentalmente por la capacidad de estas para encontrar soluciones de control óptimas (como en el control predictivo) y la de adecuar los parámetros del controlador ante variaciones de la planta controlada (como en el control adaptativo). Los resultados de las simulaciones permitieron comparar sus desempeños (optimización del agua y rendimientos obtenidos) con estrategias de riego basado en el balance hídrico de suelos y de control predictivo y donde los mejores desempeños entre los tres algoritmos de aprendizaje reforzado se obtuvieron con PPO, en la variante aquí llamada single. Si bien los resultados obtenidos con PPO, DDPG y TD3 no constituyen una mejor solución al problema de maximizar rendimientos economizando agua, respecto a las estrategias de balance hídrico, los resultados presentados por sus desarrolladores en la resolución de otros problemas y los resultados en general, que muestran la capacidad del aprendizaje reforzado de encontrar mejores soluciones que las humanas, inducen a seguir explorando los controladores basados en aprendizaje reforzado para optimizar el riego en cultivos.