Mejoramiento de un servicio de crossmatching astronómico

Abstract

ALeRCE (Automatic Learning for the Rapid Classification of Events) es un agente de alertas astronómicas chileno encargado de procesar y clasificar alertas provenientes del Zwicky Transient Facility (ZTF) y próximamente del Legacy Survey of Space and Time (LSST). Estas alertas corresponden a cambios en la naturaleza astrofísica de objetos detectados en el cielo. El objetivo principal de ALeRCE es estudiar tres categorías de objetos: transitorios, estrellas variables y núcleos galácticos activos. El proceso de crossmatching se utiliza para filtrar e identificar los datos que provienen de las alertas astronómicas; este proceso consiste principalmente en buscar objetos en uno o más catálogos astronómicos cruzando los datos de los catálogos con los del objeto en cuestión. Actualmente, ALeRCE utiliza un servicio externo perteneciente al Centre de Données astronomiques de Strasbourg (CDS) para realizar el crossmatching, el servicio se llama CDS X-Match, pero al no ser un servicio propio de ALeRCE, el uso de CDS X-Match limita el control sobre los catálogos a los cuales se puede consultar y además sobre la disponibilidad general del sistema. Esta falta de control puede llegar a afectar la capacidad de ALeRCE de procesar alertas de forma efectiva, y motiva la búsqueda de alternativas. En este trabajo, se busca una solución que permita garantizar un mejor control sobre los datos y la disponibilidad. Siguiendo la idea del párrafo anterior, en este trabajo se propone la implementación de un servicio de crossmatch. El servicio está compuesto por una API que conecta una aplicación en Spark con los catálogos pre-indexados. El catálogo usado en este trabajo se llama CatWISE2020. La API permite realizar consultas HTTP, para así poder realizar crossmatch entre un set de coordenadas con un radio y el catálogo en cuestión. El trabajo busca satisfacer las necesidades de ALeRCE, mejorando así el control y eficiencia sobre su pipeline de datos al utilizar Spark con Sedona como backend e índices como los Geohashes y Google S2. Según los experimentos realizados para comprobar la correctitud, el sistema desarrollado tiene un gran margen de error respecto a CDS, en declinaciones cercanas el Ecuador se tiene alrededor de un 1 % de error, y cerca de los polos aumenta a más de un 96 % de error. Se observó que para conjuntos pequeños de coordenadas CDS X-Match era mucho más eficiente que el sistema propio, pero para consultas más grandes la brecha de tiempo tendía a empequeñerse. A pesar de desarrollar una solución completa en Sedona, los resultados obtenidos no cumplen con los requisitos para la integración del servicio de crossmatch en la pipeline de ALeRCE, por lo que es necesario realizar ajustes para compensar las limitaciones de Sedona, tanto para mejorar los tiempos como para mejorar la precisión.