Implementación y evaluación de técnicas de optimización basadas en baking para arquitecturas NeRF en un contexto de servidor

Abstract

Los Neural Radiance Fields (NeRFs) han revolucionado el campo de la reconstrucción de escenas 3D mediante el uso de modelos de aprendizaje profundo para sintetizar vistas novedosas de entornos complejos a partir de imágenes 2D. A pesar de los avances significativos en la fidelidad visual y la precisión de la reconstrucción, el elevado costo computacional y la demanda de recursos de los modelos NeRF limitan su uso práctico en entornos con capacidades de hardware restringidas. Esta investigación busca abordar estos desafíos desarrollando un marco de evaluación (benchmarking) que compare distintas arquitecturas de NeRF, enfocándose particularmente en los modelos Nerfacto, Nerfacto-Big y Nerfacto-Huge. El marco está diseñado para optimizar el proceso de conversión de video a objeto 3D, utilizando configuraciones con múltiples GPUs y evaluando exhaustivamente métricas de consumo de recursos, tales como GPU, CPU y uso de memoria.

El estudio está motivado por la creciente necesidad de soluciones accesibles y de código abierto para la reconstrucción de escenas 3D, en contraste con plataformas propietarias como Luma, que ofrecen servicios similares pero con arquitecturas cerradas. A través de experimentos extensivos, esta investigación explora las compensaciones entre la eficiencia computacional y la calidad visual en diferentes variantes de modelos NeRF. Al hacerlo, se pretende ofrecer información sobre las configuraciones óptimas de NeRF para diversos casos de uso, proporcionando una herramienta práctica para futuras investigaciones y desarrollos en la reconstrucción 3D en tiempo real. Además, este trabajo apunta a apoyar futuros desarrollos hacia una plataforma de código abierto capaz de entrenar y renderizar modelos NeRF de manera eficiente utilizando infraestructuras basadas en la nube.