Musib: Music inpainting benchmark

Abstract

La Generación Automática de Música, y en particular, el Inpainting (o autocompletación contextual) de Partituras Musicales, es un tema fascinante en la investigación del Aprendizaje Automático, sin embargo, actualmente no es posible comparar los enfoques que resuelven esta tarea: las métricas, los conjuntos de datos y las representaciones de los datos difieren de un artículo a otro, lo que dificulta conocer el progreso de la comunidad. En este contexto, el desarrollo de un benchmark estandarizado para evaluar adecuadamente estos modelos sería de gran ayuda a efectos de análisis y reproducibilidad. En esta tesis discutimos cómo los diferentes modelos generan música y cómo podemos resolver este problema de evaluación con MUSIB: the Musical Score Inpainting Benchmark, nuestra propuesta de nuevo benchmark con condiciones estandarizadas. Para evaluar adecuadamente estos modelos proponemos dos conjuntos de métricas extendidas desde la literatura: Métricas de notas y Métrica de divergencia. La primera se basa en la comparación individual de los atributos de las notas, mientras que la segunda se basa en la comparación de las distribuciones entre el conjunto de datos original y los datos generados artificialmente. Nuestros experimentos sugieren hallazgos interesantes en relación con el estado del arte del inpainting de partituras musicales. 1) La reproducibilidad de los modelos no es del todo precisa, lo que demuestra que todavía se puede mejorar para que los modelos sean más reproducibles. 2) El rendimiento de los modelos depende en gran medida de la cantidad de datos de entrenamiento. 3) El rendimiento de todos los modelos varía según el conjunto de datos. 4) Todos los modelos aprenden algunos aspectos de la música mejor que otros (el ritmo por sobre el tono, por ejemplo). Este trabajo constituye la primera aproximación a la evaluacion estandarizada del inpainting musical, siendo un importante soporte para el estudio de la Generación Musical Automatizada.