Aplicación de deep reinforcement learning en planificación forestal con incertidumbre de mercado

Abstract

Esta tesis presenta un enfoque basado en Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning, DRL) para abordar un problema de planificación de cosecha forestal sujeto a incertidumbre en el mercado de la madera, en particular ante variaciones en los precios y los niveles de demanda. El problema se modela como un proceso de toma de decisiones secuenciales en múltiples etapas, donde la información del entorno se revela progresivamente y se representa mediante un árbol de escenarios. Dado el crecimiento significativo en el tamaño del modelo al aumentar el número de escenarios, se propone DRL como una alternativa viable frente a los métodos exactos tradicionales, cuya aplicabilidad se ve limitada en instancias de gran escala.

La metodología propuesta se basa en el entrenamiento de políticas mediante algoritmos de gradiente de política, utilizando una red neuronal con arquitectura Encoder-Decoder, diseñada para abordar la naturaleza secuencial y combinatoria de las decisiones. Se evaluaron tres algoritmos de DRL: REINFORCE, A2C y PPO, destacándose REINFORCE por su capacidad de aprendizaje consistente, su estabilidad y su superior calidad de soluciones, a pesar de requerir mayores tiempos de entrenamiento. El desempeño de estos modelos fue comparado con soluciones obtenidas por el método exacto en su forma extensiva, resolviendo el problema mediante programación entera mixta con \Gurobi.

Los resultados muestran que el enfoque propuesto con REINFORCE logra soluciones con una diferencia menor al 3% respecto del modelo exacto en la mayoría de los casos, pero con tiempos de cómputo significativamente menores. Además, a medida que se incrementa el número de escenarios, el modelo exacto se vuelve ineficiente o incluso inviable por limitaciones de memoria, mientras que el modelo de DRL mantiene su capacidad de entregar soluciones factibles y de buena calidad. Se concluye que el DRL representa una alternativa robusta y escalable para la planificación forestal en contextos con alta incertidumbre.