HyperAIHyperAI

Command Palette

Search for a command to run...

MAT-SED: Ein Maskierter Audio-Transformer mit maskierungsbasierter Vortrainung für die Erkennung von Schallereignissen

Pengfei Cai Yan Song Kang Li Haoyu Song Ian McLoughlin

Zusammenfassung

Methoden zur Erkennung von Schallereignissen (SED), die ein großes vorab trainiertes Transformer-Encoder-Netzwerk nutzen, haben in den jüngsten DCASE-Challenges vielversprechende Ergebnisse gezeigt. Allerdings basieren sie weiterhin auf einem kontextbasierten Netzwerk mit RNNs, um zeitliche Abhängigkeiten zu modellieren, hauptsächlich aufgrund der Knappheit an etikettierten Daten. In dieser Arbeit schlagen wir ein reines Transformer-basiertes SED-Modell vor, das eine maskierte Rekonstruktion als Vorabtraining nutzt und als MAT-SED bezeichnet wird. Insbesondere wird zunächst ein Transformer mit relativer Positionscodierung als Kontextnetzwerk entwickelt und durch eine maskierte Rekonstruktionsaufgabe auf allen verfügbaren Ziel-Daten in selbstüberwachter Weise vorab trainiert. Sowohl der Encoder als auch das Kontextnetzwerk werden dann in einer halbüberwachten Weise gemeinsam feinjustiert. Darüber hinaus wird eine globale-lokale Merkmalsfusionstrategie vorgeschlagen, um die Lokalisierungsfähigkeit zu verbessern. Die Bewertung von MAT-SED bei der DCASE2023-Aufgabe 4 übertrifft den Stand der Technik und erreicht Werte von 0.587/0.896 für PSDS1/PSDS2 jeweils.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MAT-SED: Ein Maskierter Audio-Transformer mit maskierungsbasierter Vortrainung für die Erkennung von Schallereignissen | Paper | HyperAI