Wall polygon retrieval from architectural floor plan images using vectorización and Deep Learning methods

Abstract

El análisis automático de planos es un área dentro de la visión por computadora que ha sostenido un importante crecimiento en los últimos cinco años debido a un creciente interés de la industria por el desarrollo de software en el sector de la construcción y el diseño. Pese a que éstos se crean usando herramientas CAD, la distribución a clientes suele ser a través de imágenes rasterizadas que pierden toda información geométrica y topológica de las intrincadas configuraciones de muros, vigas, losas, cotas o decoraciones. Aunque exista un modelo digital, no hay certezas de que la información y metadatos estén correctas; es posible que tanto muros como vigas estén dibujados de la misma manera, en la misma capa, y con las mismas etiquetas. Si bien se han diseñado múltiples algoritmos de procesamiento, la recuperación de objetos es particularmente compleja, ya que no existe un estándar de diseño en la industria. Los planos pueden tener cualquier estilo, forma y anotaciones, que dependen de cada oficina de arquitectura e ingeniería. Por tanto, las metodologías de recuperación que dependen de un estilo particular no poseen buena capacidad de generalización, siendo poco adaptables; así, aquellas basadas en datos son los que han alcanzado mejores resultados ya que emplean las imágenes de planos para inferir las intrincadas reglas de reconocimiento y recuperación para tareas como segmentación, vectorización, clasificación, entre otros. Debido a estos motivos, esta tesis presenta una revisión de la evolución en las metodologías que analizan este particular documento, desde las definidas por reglas manuales, a aquellas basadas en deep learning, desglozando sus tareas, técnicas y desafíos. Como objeto de estudio, se desarrolló un modelo segmentativo U-Net que permite recuperar los polígonos de muros desde planos complejos de edificios residenciales chilenos, contribuyendo tanto con una nueva base de datos como con una metodología de procesamiento de imágenes, así como un baseline para futuras comparaciones. La salida segmentada se vectorizó escogiendo un método deep learning recuperado desde la revisión del estado del arte, permitiendo así obtener los polígonos de muros de manera automática desde un plano rasterizado. Nuestro trabajo es completamente de código abierto, disponible públicamente a la comunidad https://github.com/MLSTRUCT/MLSTRUCT-FP. Creemos que éste beneficiará a investigadores y desarrolladores dentro de las industrias de la construcción y el diseño, las que han experimentado un complejo escenario mundial de productividad y crecimiento, haciendo evidente la necesidad de nuevas herramientas capaces de acortar la brecha tecnológica, mitigar las pérdidas y reducir costes.

Automatic plan analysis is an area within computer vision that has sustained significant growth in the last five years due to increasing industry interest in software development for the construction and design sector. Although these are created using CAD tools, the distribution to clients is usually through raster images that discard all geometric and topological information of the intricate configurations of walls, beams, slabs, elevations, or furniture. Conversely, even if a digital model exists, there is no certainty that the information and metadata are correct; both walls and beams may be drawn in the same way, in the same layer, and with the same labels. While multiple processing algorithms have been designed, object retrieval is particularly complex, as no industry design standard exists. Additionally, floor plans come in diverse styles, shapes, and with annotations that are specific to each architectural and engineering office. Consequently, retrieval methods reliant on a particular style lack broad applicability and adaptability. Instead, data-driven approaches have demonstrated superior performance by leveraging plan images to infer intricate rules for tasks like segmentation, vectorization, and classification, among others. For these reasons, this thesis examines the progression of methodologies employed in the analysis of such documents, transitioning from rule-based approaches to those bolstered by deep learning technology, distilling the typical tasks, techniques, and challenges. As an object of study, we developed a U-Net segmentation model to retrieve wall polygons from complex plans of Chilean residential buildings, contributing both a new dataset and an image processing method, as well as a comparison baseline for future work. The segmented output was vectorized by choosing a deep learning-based method retrieved from the state-of-the-art review, allowing us to obtain the wall polygons automatically from a raster plan. Our work is entirely open-source and publicly available to the community https://gith ub.com/MLSTRUCT/MLSTRUCT-FP. We believe that it will benefit researchers and developers within the construction and design industries, which have experienced a complex global scenario of productivity and growth, making evident the need for new tools to bridge the technology gap, mitigate losses, and reduce costs.