Localización de objetos guiada por bosquejos

Abstract

Dentro del área de visión por computadora, la detección de objetos a tomado bastante fuerza últimamente, por lo que se plantea un problema poco explorado, como es la localización de objetos mediante bosquejos, buscando buenos resultados tanto para clases vistas como no vistas. Dentro de las soluciones encontradas se usan modelos que se enfocan en el few-shot detection, la cuales modifican la estructura de la faster r-cnn, cambiando algunos de sus módulos para mejorar sus resultados, principalmente por mecanismos de atención, y estos mismos modelos son modificados para que también trabajen con bosquejos. A los modelos iniciales se le aplican diferentes tipos de modificaciones, ya sea dentro de su estructura como a su pre-procesamiento de imágenes, buscando de esta forma la solución que de mejores resultados para bosquejos, ya que no fueron considerados en el uso inicial de estos modelos. Los resultados del estado de arte (sota) entregan un mAP (AP50) de 0.65 para las clases vistas dentro del conjunto de datos de PASCAL-VOC, mientras que el mejor resultado obtenido dentro de este trabajo para este mismo conjunto es de 0.752. Y para los resultados de clases no vistas no se pudo hacer una comparación directa, ya que los resultados del estado del arte para el conjunto de datos con el que se trabajo, solamente son revisados para clases vistas, mientras que usa el conjunto de datos COCO para los resultados de clases no vistas, teniendo un mAP de 0.150, mientras que el modelo obtenido con mejores resultados dentro de PASCAL-VOC solo llegan a 0.131, siendo una gran diferencia al ser más complicado el conjunto de COCO. Los modelos con transformers entregan pésimos resultados para los dos casos de revisión, pero esto se le atribuye al no tener su estructura completa, por lo que se intuye que deberían superar a los modelos obtenidos con su estructura terminada.