WildDESED : Un jeu de données alimenté par un LLM pour le système de détection d’événements sonores dans les environnements domestiques sauvages

Ce travail vise à faire progresser la recherche sur la détection d'événements sonores (SED) en présentant un nouveau jeu de données alimenté par un grand modèle linguistique (LLM), nommé WildDESED, pour la détection d'événements sonores dans des environnements domestiques sauvages. Il est conçu comme une extension du jeu de données DESED original afin de refléter une variabilité acoustique diversifiée et des bruits complexes dans les habitats domestiques. Nous avons exploité des LLMs pour générer huit scénarios domestiques différents basés sur les catégories cibles de sons du jeu de données DESED. Ensuite, nous avons enrichi ces scénarios avec un mélange soigneusement ajusté de bruits sélectionnés dans AudioSet, en veillant à ce qu'il n'y ait aucun chevauchement avec les sons cibles. Nous considérons le réseau neuronal convolutif récurrent largement utilisé pour étudier le jeu de données WildDESED, qui illustre sa nature complexe et difficile. Nous appliquons ensuite l'apprentissage par curriculum en augmentant progressivement la complexité des bruits pour améliorer les capacités de généralisation du modèle à différents niveaux de bruit. Nos résultats avec cette approche montrent des améliorations dans l'environnement bruyant, validant ainsi l'efficacité du jeu de données WildDESED et favorisant les progrès en matière de SED robuste au bruit.