HyperAIHyperAI

Command Palette

Search for a command to run...

Wie man eine dreistufige Architektur für die Audiovisuelle Erkennung von aktiven Sprechern im Freien entwirft

Köpüklü Okan ; Taseska Maja ; Rigoll Gerhard

Zusammenfassung

Erfolgreiche aktive Sprecherkennung erfordert eine dreistufige Pipeline: (i) Audiovisuelle Kodierung aller Sprecher im Clip, (ii) Modellierung der Interaktion zwischen einem Referenzsprecher und den Hintergrundsprechern innerhalb jedes Bildes, und (iii) zeitliche Modellierung des Referenzsprechers. Jede Stufe dieser Pipeline spielt eine wichtige Rolle für die endgültige Leistung der entwickelten Architektur. Auf Basis einer Reihe kontrollierter Experimente präsentiert diese Arbeit mehrere praktische Richtlinien für die audiovisuelle aktive Sprecherkennung. Entsprechend stellen wir eine neue Architektur namens ASDNet vor, die einen neuen Stand der Technik auf dem AVA-ActiveSpeaker-Datensatz mit einem mAP von 93,5 % erreicht und damit den zweitbesten Ansatz um 4,7 %punkte übertrifft. Unser Code und unsere vortrainierten Modelle sind öffentlich verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Wie man eine dreistufige Architektur für die Audiovisuelle Erkennung von aktiven Sprechern im Freien entwirft | Paper | HyperAI