Adaptative and automatic manatee vocalization detection using transformers

Abstract

In the field of conservation, it is essential to have tools for estimating the population of different species. Particularly for manatees, conventional methods for estimating their population are quite costly and involve numerous logistical challenges. In this context, and considering that manatees frequently produce vocalizations underwater, using passive acoustic recordings to count manatees and estimate the size of their population has become an increasingly popular option among conservation experts. The standard methodology consist in implementing a denoising, detection and classification stages independently where the first two are tuned by experts, leaving no option to generalize the solution to work with audios recorded in different environment. This work, tackles this problem and propose a novel approach that allows detecting manatee calls in audio recordings and allows adapting the solution to different data sources, making it possible to implement it in various environments inhabited by this species, by implementing and end-to-end solution where the denoising and classification stage are tuned together under a deep learning framework training. The results obtained shows that even thought the end-to-end solution gets a recall of 91 %, when looking at the precision metric, it performs worst than the classification model by itself, getting a precision score of 71 %. This work is still ongoing so there is still work to do to improve this results.

En el campo de la conservación, es esencial contar con herramientas para estimar la población de diferentes especies. Particularmente para los manatíes, los métodos convencionales para estimar su población son bastante costosos y conllevan numerosos desafíos logísticos. En este contexto, y considerando que los manatíes frecuentemente producen vocalizaciones bajo el agua, el uso de grabaciones acústicas pasivas para contar manatíes y estimar el tamaño de su población se ha vuelto una opción cada vez más popular entre los expertos en conservación. La metodología estándar consiste en implementar etapas de eliminación de ruido, detección y clasificación de manera independiente, donde las dos primeras son ajustadas por expertos, dejando sin opción de generalizar la solución para trabajar con audios grabados en diferentes entornos. Este trabajo aborda este problema y propone un enfoque novedoso que permite detectar llamadas de manatíes en grabaciones de audio y adapta la solución a diferentes fuentes de datos, posibilitando su implementación en varios ambientes habitados por esta especie, mediante la implementación de una solución de extremo a extremo donde las etapas de eliminación de ruido y clasificación se ajustan juntas bajo un marco de entrenamiento de aprendizaje profundo. Los resultados obtenidos muestran que, aunque la solución de extremo a extremo obtiene un recall del 91 %, al observar la métrica de precisión, su desempeño es peor que el modelo de clasificación por sí solo, obteniendo una puntuación de precisión del 71 %. Este trabajo aún está en curso, por lo que aún queda trabajo por hacer para mejorar estos resultados.