Desarrollo de un algoritmo de stitching para secuencia de imágenes con amplios movimientos de cámara

Abstract

En la actualidad, se han desarrollado los algoritmos de stitching para sintetizar el contenido de múltiples imágenes. Dependiendo del tipo de movimiento descrito por la cámara, existen diversas formas de abordar este problema, ya sea generando una imagen plana o una representación tridimensional de la escena. En particular, secuencias de imágenes capturadas con cambios grandes de la posición de la cámara, presentan un desafío para su aplicación directa. Así, el presente trabajo desarrolla una propuesta de algoritmo que incorpora técnicas del estado del arte para abordar este tipo de secuencias. La propuesta se basa en establecer correspondencias mediante la extracción y calce de descriptores visuales y es implementada en dos fases. En la primera, se explora el uso de transformaciones de homografía para relacionar imágenes, proyectando el contenido a una imagen de referencia. En la segunda fase, se estiman simultáneamente las poses de la cámara y una representación aproximada de la escena, correspondiente a una superficie tridimensional, sobre la que se proyecta el contenido de cada vista. Para evaluar el desarrollo, se definen pruebas que incluyen la medición del error de reproyección promedio y la evaluación visual de las composiciones finales. En los resultados obtenidos para el primer enfoque, se miden desplazamientos promedio de más de 4[px] al proyectar sucesivamente puntos correspondientes hacia la vista de referencia. Luego, en la composición final, se observan muchos sectores mal alineados, ya que las transformaciones obtenidas son válidas en zonas muy acotadas de la imagen, producto de las diferencias de profundidad. Estos resultados llevan a implementar la segunda fase, donde se obtienen reconstrucciones parciales de la escena con un error de reproyección promedio de 0.005[px], con desviación de 0.0018[px]. Así, a pesar de la baja densidad de la nube de puntos, existe una mejora en la apreciación visual del alineamiento en la composición, además de introducir la ventaja de utilizar puntos de vista arbitrarios. Con el trabajo realizado, se logran identificar las limitaciones del registro por homografías sobre las secuencias tratadas. Además, se presenta una propuesta que mejora la alineación del primer enfoque, al lograr combinar las distintas vistas de una secuencia sobre una representación tridimensional aproximada de la escena. Finalmente, se concluye que la propuesta desarrollada otorga una base para solucionar el problema planteado y permite identificar líneas de trabajo futuro, entre las cuales se destaca el buscar obtener una reconstrucción métrica densa de la escena que sintetice la información de todas las vistas en el modelo tridimensional.