Aprendizaje por refuerzo profundo para la prevención de incendios

Abstract

En las últimas décadas, la escalada tanto en la frecuencia como en la intensidad de incendios forestales de gran magnitud ha surgido como consecuencia del cambio climático, convirtiéndolos en una considerable amenaza natural. La necesidad imperante de diseñar paisajes resilientes capaces de resistir tales catástrofes se ha vuelto primordial, lo que hace necesario el desarrollo de herramientas avanzadas de apoyo a la toma de decisiones. Las metodologías existentes, incluyendo la Programación Entera Mixta, Optimización Estocástica y Teoría de Redes, han demostrado ser efectivas pero se ven obstaculizadas por sus demandas computacionales, limitando su aplicabilidad a bosques extensos. En respuesta a este desafío, proponemos el uso de técnicas de inteligencia artificial, en particular el Aprendizaje por Refuerzo Profundo, para abordar el complejo problema de la asignación de cortafuegos. Específicamente, empleamos enfoques basados en la función de valor como Deep Q-Learning, Double Deep Q-Learning y Dueling Double Deep Q-Learning. Aprovechando el poder del simulador de propagación de incendios, Cell2Fire, y las Redes Neuronales Convolucionales, hemos programado con éxito un agente computacional capaz de aprender la ubicación de cortafuegos dentro de un entorno forestal limitado, logrando resultados cercanos a óptimos. Además, incorporamos un bucle de preentrenamiento, enseñando inicialmente a nuestro agente a imitar un algoritmo basado en heurísticas y observamos que coincide consistentemente o supera el rendimiento de estas soluciones. Nuestros hallazgos subrayan el inmenso potencial del Aprendizaje por Refuerzo Profundo para abordar desafíos de investigación operativa, especialmente en el ámbito de la prevención de incendios. Específicamente, nuestro enfoque demuestra convergencia con resultados altamente favorables en instancias del problema tan grandes como 20x20 celdas, marcando un hito significativo en la aplicación del Aprendizaje por Refuerzo a este problema crítico. Hasta donde sabemos, nuestro estudio representa un esfuerzo pionero en la utilización del Aprendizaje por Refuerzo para abordar el problema mencionado anteriormente, ofreciendo perspectivas prometedoras en el ámbito de la prevención de incendios y la gestión del paisaje.