Evaluation of 3d reconstruction for cultural heritage applications

Abstract

En los últimos años, hemos sido testigos de la aparición de nuevos métodos de reconstrucción 3D de objetos a partir de videos e imágenes, principalmente de la mano del aprendizaje profundo (deep learning). Dadas sus características, como mayor facilidad de procesamiento y velocidad en la reconstrucción, estas técnicas se hacen cada vez más viables y óptimas, tanto para la reconstrucción 3D de objetos de herencia cultural y su almacenamiento, como para el crowdsourcing (colaboración entre personas para la obtención de datos). Esto es especialmente cierto cuando se combinan con celulares inteligentes, muy capaces para la grabación de videos. Los métodos de reconstrucción 3D de objetos pueden tener aplicaciones importantes en áreas como la medicina, museología, mecánica y arqueología.

Los trabajos realizados en esta área, generalmente carecen de una evaluación sistemática de los distintos métodos de reconstrucción. Para ello, se propone utilizar la distancia Chamfer, usada para medir la similitud entre dos nubes de puntos, considerando su descomposición en Total, Forward y Backward. La evaluación se efectúa comparando el resultado de un método de reconstrucción, obtenido desde la grabación de un video en 360° del objeto, y un ground truth (modelo basal). Además, se analiza el impacto de la extracción del fondo de las imágenes. Los métodos de reconstrucción empleados son Fotogrametría, NeRF y NVDiffrec, los que son puestos a prueba con datos del mundo real, mientras que el ground truth es obtenido con un escáner de luz estructurada Calibry.

Los resultados muestran que deben considerarse los tres valores de Chamfer (Total, Forward y Backward) para determinar la calidad de las reconstrucciones, dado que cada uno entrega distinta información. Se espera que la mejora de los métodos de reconstrucción impacte positivamente en la automatización de la reconstrucción 3D de objetos de herencia cultural, facilitando su almacenamiento virtual, clasificación y preservación.

In recent years, we have seen the emergence of methods for 3D object reconstruction from images or videos with deep learning. Because of the increased facility and speed in reconstruction, these techniques become more important for 3D object reconstruction in cultural heritage and crowdsourcing, combined with handheld video devices like smartphones. They can have significant applications in many fields, such as medicine, museology, mechanics, and archaeology. However, previous works often lack an objective assessment of the resulting models’ quality. The focus is on the systematic evaluation of reconstruction methods, exploring the principles and applications of Chamfer distance and its decomposition in Total, Forward, and Backward. We evaluate by comparing the reconstructions produced by different methods, Photogrammetry, NeRF and NVDiffrec, against a ground truth. We also explore the impact of background filtering on the images previous to the reconstruction. We obtain the ground truth with a structured light scanner, Calibry, considered the best possible reconstruction with current technology. The results show that the values of the decomposition of Chamfer distance (Total, Forward, and Backward) should be used for a comprehensive evaluation, as they provide information about different aspects of reconstruction quality. We highlight the importance of assessing various aspects when analysing the performance of different reconstruction methods. We expect to impact positively on the automation, virtual storage and preservation of cultural heritage objects as reconstruction methods improve.