Reconstrucción 3D de objetos semi-transparentes

Abstract

En esta memoria se explora la capacidad de los métodos de novel view synthesis basados en NeRF para la reconstrucción 3D de objetos semitransparentes. Específicamente, se evalúan los métodos Nerfacto y Ref-NeRF, analizando su eficacia en la representación geométrica precisa de objetos con estas características.

Inicialmente, se revisan los fundamentos teóricos de NeRF y su evolución, destacando su aplicación en novel view synthesis. Se exponen además las innovaciones que han surgido al intentar mejorar la representación del comportamiento de la luz en los modelos NeRF. Luego, se pone a prueba una selección de métodos de novel view synthesis en la tarea de obtener una reconstrucción de la geometría de objetos semitransparentes. Se detallan los procesos de implementación y ajuste de los modelos, destacando las particularidades de cada uno y sus configuraciones de entrenamiento y renderizado. El proceso experimental deja en evidencia que solo unos cuantos logran capturar la geometría de la escena: Nerfacto y Ref-NeRF, el primero siendo un método que aglomera características de distintos otros métodos que funcionaban bien con datos reales, y el segundo siendo una variante de NeRF que busca mejorar la representación de objetos con superficies brillosas.

Los resultados obtenidos se evalúan cualitativamente mediante una encuesta aplicada a miembros del Departamento de Ciencias de la Computación de la Universidad de Chile. Los resultados indican una clara preferencia por Ref-NeRF en la reconstrucción de objetos completamente transparentes, mientras que Nerfacto es preferido para un objeto que posee superficies mixtas. Estos resultados son discutidos, resaltando las fortalezas de ambos métodos en reconstruir escenas con características especiales, pero además se destacan las debilidades de cada uno, por ejemplo al representar la superficie interior de estos objetos.

En conclusión, este trabajo demuestra que los métodos NeRF no solo son efectivos para novel view synthesis, sino que también tienen un gran potencial para la reconstrucción 3D, incluso objetos con superficies transparentes. La elección del método adecuado depende de las características específicas del objeto a reconstruir, proporcionando una base sólida para futuros desarrollos y aplicaciones en este campo.