3D reconstruction with diffusion neural networks

Abstract

La reconstrucción de objetos cotidianos es una tarea que proviene desde el origen de la humanidad y diversa como cualquier otra. En décadas recientes, la impresión 3D ha explotado en popularidad, e impulsada por una vasta y creativa comunidad global. La reconstrucción o reparación de objetos ha experimentado súbitos avances al punto de que sea común poseer la capacidad, tanto en el hogar como en la industria, para producir insitu y en demanda varios artículos desde productos que antes no eran posibles, a repuestos, hasta herramientas.

A pesar del crecimiento sin precedentes en la tecnología para producir estos objetos, el diseño continúa siendo en su mayor parte siendo una labor manual que requiere de expertiz en diseño 3D o software de diseño asistido por computador (CAD), en especial cuando se trata de reparaciones para objetos no reemplazables. A raíz de esto, el concepto de reconstrucción 3D automatizada por medio de modelos de Deep Learning presenta una promesa simple: dado un objeto quebrado, la red puede automáticamente generar un repuesto para repararlo. No obstante, la implementación de tales modelos es elusiva y sujeta a ardua investigación.

En un esfuerzo para acercar soluciones a esta premisa, el trabajo en esta memoria explora las capacidades y limitaciones de una innovadora implementación de un modelo de difusión condicionada. Originalmente creado para generar automáticamente implantes craneales, se investiga para medir la posibilidad de llevar esta solución a otros contextos donde sea aplicable como una herramienta práctica para generar repuestos de forma automática. Una serie de experimentos con nueva data fueron llevados a cabo, desde los cuales se extrae una metodología clara para aplicar el modelo prácticamente en otros contextos.

Para medir las capacidades del modelo sujeto de este trabajo se realizó una comparación contra otro modelo del estado del arte bajo el contexto de aplicación original de este último. Los resultados fueron documentados y medidos con una métrica original para medir la calidad de las reparaciones generadas. Se espera que las observaciones y aprendizajes ganados de este estudio sean de utilidad para generar interés en el campo y sobre la reconstrucción automatizada para impulsar nuevos usos, e implementaciones basadas en arquitecturas similares.

The reconstruction of everyday items is a task as old as humanity itself and as diverse as any other technique. In recent decades, 3D printing has exploded in popularity, and with a vast and creative worldwide community, the technique and technology have experienced sudden advances that have enabled on-site and on-demand construction of items ranging from previously unplausible complete products to replacement parts, to tools, in-home and industry alike. Despite the unprecedented growth in 3D generational technology the design of the items fabricated, especially when repairs are required for non-replaceable items, often has remained a laborious manual task that involves previous experience with 3D modeling or Computer Aided Design (CAD) software. Automated 3D reconstruction using Deep Learning models is a promising solution for this issue. The promise of this new technique is simple: given a broken object, the network can automatically generate the shape required to restore it. However, the implementation is more elusive and subject to numerous research studies. In an effort to help bring forth a solution for the premise, the work in this memoir explores the capabilities and limitations of a novel implementation of a conditional diffusion model. Originally created to make automated cranial implant generation, research is performed to assess other fields where it could be applicable as a practical tool to automatically generate shapes to restore or repair objects. A series of experiments with new data was conducted, from which a clear methodology was drawn and presented to apply the model in practical contexts. To measure the capabilities of the model subject of the present work, a competitive comparison was performed against another state-of-the-art model under its original application context. The results of the challenge were documented and measured with an original metric to measure the quality of generated repairs. It is hoped that the insights gained from this study can lead to a larger interest in the field and the architecture to explore further uses and implementations of similar techniques.