animal2vec und MeerKAT: Ein selbstüberwachter Transformer für seltene Ereignisse in Roh-Audioeingaben und ein großskaliges Referenzdatensatz für Bioakustik

Die bioakustische Forschung, von entscheidender Bedeutung für das Verständnis von Tierverhalten, Conservation und Ökologie, steht vor einer gewaltigen Herausforderung: die Analyse riesiger Datensätze, in denen Tierlaute selten sind. Obwohl Deep-Learning-Techniken zunehmend Standard werden, ist deren Anpassung an die Bioakustik weiterhin schwierig. Wir begegnen dieser Herausforderung mit animal2vec, einem interpretierbaren großen Transformer-Modell, sowie einem selbstüberwachten Trainingsansatz, der speziell auf spärliche und unbalancierte bioakustische Daten abgestimmt ist. Das Modell lernt zunächst aus unlabeled Audio-Daten und verfeinert anschließend sein Verständnis mithilfe von beschrifteten Daten. Zudem stellen wir MeerKAT vor und veröffentlichen es öffentlich: Meerkat Kalahari Audio Transcripts, eine Datensammlung von Meerkat- (Suricata suricatta) Laute mit millisekundenpräzisen Annotationen – die bisher größte beschriftete Datensammlung zu nicht-menschlichen terrestrischen Säugetieren. Unser Modell übertrifft bestehende Ansätze sowohl auf MeerKAT als auch auf der öffentlich verfügbaren NIPS4Bplus-Vogelgesang-Datensammlung. Darüber hinaus erzielt animal2vec auch bei begrenzten beschrifteten Daten (Few-Shot-Learning) hervorragende Ergebnisse. animal2vec und MeerKAT bieten einen neuen Referenzpunkt für die bioakustische Forschung und ermöglichen Wissenschaftlern die Analyse großer Datensätze auch bei knapper Grundwahrheit.