Assessing the potential of BirdNET to infer European bird communities from large-scale ecoacoustic data

Luc Barbaro a participé à la rédaction d'un article sur l'étude de paysages sonores localisés en Europe en utilisant à la fois BirdNET et l'écoute manuelle par des ornithologues experts locaux.

Funosas, D. ; Barbaro, L. ;Schillé, L. ; Elger, A. ; Castagneyrol, B. ; Cauchoix M. (2024) Assessing the potential of BirdNET to infer European bird communities from large-scale ecoacoustic data. Ecological Indicators. 164. 112146. 10.1016/j.ecolind.2024.112146.

Abstract:

1.Passive acoustic monitoring has become increasingly popular as a practical and cost-effective way of obtaining highly reliable acoustic data in ecological research projects. Increased ease of collecting these data means that, currently, the main bottleneck in ecoacoustic monitoring projects is often the time required for the manual analysis of passively collected recordings. In this study we evaluate the potential and current limitations of BirdNET-Analyzer v2.4, the most advanced and generic deep learning algorithm for bird recognition to date, as a tool to assess bird community composition through the automated analysis of large-scale ecoacoustic data.

2. To this end, we study 3 acoustic datasets comprising a total of 629 environmental soundscapes collected in 194 different sites spread across a 19◦ latitude span in Europe. We analyze these soundscapes using both BirdNET and manual listening by local expert birders, and we then compare the results obtained through the two methods to evaluate the performance of the algorithm both at the level of each single vocalization and for entire recording sequences (1, 5 or 10 min).

3. Since BirdNET provides a confidence score for each identification, minimum confidence thresholds can be used to filter out identifications with low scores, thus retaining only the most reliable ones. The volume of ecoacoustic data used in this study did not allow us to estimate species-specific minimum confidence thresholds for most taxa, so we instead used and evaluated global confidence thresholds selected for optimized results when consistently applied across all species.

4. Our analyses reveal that BirdNET identifications can be highly reliable if a sufficiently high minimum confidence threshold is used. However, the inevitable trade-off between precision and recall does not allow to obtain satisfactory results for both metrics at the same time. We found that F1- scores remain moderate (<0.5) for all datasets and confidence thresholds studied, and that acoustic datasets of extended duration seem to be currently necessary for BirdNET to provide a reliable and minimally comprehensive picture of the target bird community. We estimate, however, that the usage of species- and context-specific minimum confidence thresholds would allow to substantially improve the global performance benchmarks obtained in this study.

Résumé:

1. Les suivis acoustiques passifs sont devenus de plus en plus populaires pour obtenir des données acoustiques fiables dans le cadre de projets de recherche en écologie. La facilité accrue de collecte de ces données signifie qu'actuellement, le principal frein dans les projets de surveillance éco-acoustique est souvent le temps nécessaire à l'analyse manuelle des enregistrements automatiques. Dans cette étude, nous évaluons le potentiel et les limites actuelles de BirdNET-Analyzer v2.4, l'algorithme d'apprentissage profond le plus avancé pour la reconnaissance des oiseaux à ce jour, en tant qu'outil permettant d'évaluer la composition des communautés d'oiseaux grâce à l'analyse automatisée de données éco-acoustiques à grande échelle.

2. À cette fin, nous étudions 3 jeux de données acoustiques comprenant un total de 629 paysages sonores environnementaux collectés dans 194 sites différents répartis sur un gradient de 19◦ de latitude en Europe. Nous analysons ces paysages sonores en utilisant à la fois BirdNET et l'écoute manuelle par des ornithologues experts locaux, puis nous comparons les résultats obtenus par les deux méthodes pour évaluer la performance de l'algorithme à la fois au niveau de chaque vocalisation et pour des séquences d'enregistrement entières (1, 5 ou 10 min).

3. Comme BirdNET fournit un score de confiance pour chaque identification, des seuils de confiance minimaux peuvent être utilisés pour filtrer les identifications avec des scores faibles, pour ne conserver que les identifications les plus fiables.

Le volume de données éco-acoustiques utilisé dans cette étude ne nous a pas permis d'estimer des seuils de confiance minimums spécifiques aux espèces pour la plupart des taxons, nous avons donc utilisé et évalué des seuils de confiance globaux sélectionnés pour des résultats optimisés lorsqu'ils sont appliqués de manière cohérente à toutes les espèces.

4. Nos analyses révèlent que les identifications BirdNET peuvent être très fiables si un seuil de confiance minimum suffisamment élevé est utilisé. Cependant, le compromis inévitable entre la précision et la sensibilité ne permet pas d'obtenir des résultats satisfaisants pour les deux mesures en même temps. Nous avons constaté que les F1-scores restaient modérés (<0,5) pour tous les ensembles de données et les seuils de confiance étudiés, et que des données acoustiques de longue durée étaient actuellement nécessaires pour que BirdNET fournisse une image fiable et complète des communautés d'oiseaux enregistrés. Nous estimons cependant que l'utilisation de seuils de confiance minimaux spécifiques aux espèces et au contexte permettrait d'améliorer considérablement les performances globales obtenues dans le cadre de cette étude.