Detector integrado de instancias de objetos en tiempo real

Abstract

Esta investigación aborda la detección y reconocimiento de instancias de objetos en tiempo real. Se centra en integrar un detector de objetos y un módulo de extracción de descriptores en una única red, utilizando YOLOv7 modificado y una CNN especializada, JPNet. El objetivo es desarrollar un sistema capaz de detectar objetos genéricos y extraer descriptores globales de manera eficiente. Para esto, se modificó YOLOv7, adaptándolo a la detección de objetos genéricos y se entrenó con COCO etiquetado con la red SAM. Este enfoque demostró superar la precisión de YOLOv7. Para el desarrollo del módulo extractor de descriptores, se diseñó JPNet, una arquitectura con operaciones RoI, GeM y Neck. Se investigó su integración con diferentes stages de YOLOv7 y se descubrió que conectado al stage 1 se obtienen los mejores descriptores. El sistema completo, YOLOv7 modificado con JPNet, se validó en términos de rendimiento y velocidad, demostrando ser eficaz en tiempo real con un F1-score promedio de 0.742 a 32 FPS. Se realizó una comparativa con YOLOSPoC, reconocedor de instancias de objetos en base a YOLO y descriptores SPoC, encontrando que aunque el sistema propuesto lo supera en ciertos escenarios, en el promedio de escenarios YOLOSPoC muestra un mejor rendimiento.