Evaluación de visión transformers y Segment Anything Model para segmentación semántica en el monitoreo de arbolado urbano

Abstract

La segmentación semántica es una de las principales tareas de visión cuyo objetivo es la clasificación de cada pixel en una imagen dentro de una categoría. Esta tarea está siendo aplicada en distintas áreas de la industria, teniendo un incipiente uso en el monitoreo de arbolado urbano que consiste en el censo y medición del estado de salud de los árboles pertenecientes a una ciudad.

En la presente memoria se persiguen dos objetivos. El primero consiste en la evaluación de distintos tipos de vision transformers sobre un nuevo dataset de arbolado urbano denominado TreeSegmentation, perteneciente al proyecto Arbocensus. En particular, los modelos evaluados pertenecen a las categorías: escala uniforme, multiescala y clasificación de máscaras. Por su parte, el segundo objetivo es la evaluación del primer foundation model para segmentación Segment Anything Model (SAM). Más específicamente, se busca transferir las características desde su image encoder.

Los experimentos realizados arrojaron que el mejor desempeño obtenido corresponde al modelo de clasificación de máscaras Mask2Former con 87.21 mIoU. Otro resultado relevante es la ventaja mostrada por los modelos multiescala por sobre los de escala uniforme evaluados, estando los primeros arriba por 5 mIoU en una de las categorías. Por último, el uso del image encoder de SAM mostró buenos resultados, alcanzando un desempeño de 86.60 mIoU con el modelo SAM-Mask. Sin embargo, para determinar la magnitud de los beneficios se requiren más experimentos.