Estimación de profundidad monocular y odometría visual-inercial utilizando cámaras de eventos y aprendizaje profundo

Abstract

Las cámaras basadas en eventos son una tecnología reciente con el potencial de revolucionar la visión computacional, capturando cambios de luminosidad píxel a píxel de forma asincrónica. Estas cámaras ofrecen ventajas como alta resolución temporal, alto rango dinámico y bajo consumo de energía, haciéndolas ideales para escenarios desafiantes para las cámaras tradicionales.

Un problema abierto en robótica y vehículos autónomos es la estimación de profundidad monocular, que implica crear un mapa de distancia de la escena desde la cámara. Otra tarea importante es la odometría visual/inercial, que estima el movimiento de un agente. Ambas tareas son vitales en aplicaciones como detección de colisiones, SLAM y navegación autónoma.

En este proyecto de tesis, se propone una red neuronal multitarea y multimodal para resolver simultáneamente la estimación de profundidad monocular y la odometría visual-inercial. Esta red utiliza eventos, imágenes e información inercial de una cámara basada en eventos, aprovechando todos los datos disponibles y explorando la relación geométrica entre el movimiento de la cámara y la estructura de la escena a través de la fusión de las entradas visuales con las entradas inerciales.

Se utilizan dos conjuntos de datos disponibles públicamente para entrenar y se evalúan las diferentes estrategias y modalidades utilizando métricas estándar para estas tareas. Los resultados obtenidos sugieren que se puede mejorar el desempeño en estas tareas a través de la inclusión directa de eventos e IMU.