HyperAIHyperAI

Command Palette

Search for a command to run...

Hyperbolisches audiovisuelles Zero-Shot-Lernen

Hong Jie ; Hayder Zeeshan ; Han Junlin ; Fang Pengfei ; Harandi Mehrtash ; Petersson Lars

Zusammenfassung

Das Ziel des audiovisuellen Zero-Shot-Lernens ist die Klassifizierung von Stichproben, die aus einem Paar entsprechender Audio- und Videosequenzen bestehen, die zu Klassen gehören, die während des Trainings nicht vorhanden waren. Eine Analyse der audiovisuellen Daten zeigt einen hohen Grad an Hyperbolizität, was den potentiellen Nutzen einer hyperbolischen Transformation zur krümmungsbezogenen geometrischen Lernung nahelegt. Das Ziel ist es, für diese Aufgabe komplexere hierarchische Datenstrukturen zu erforschen. Der vorgeschlagene Ansatz verwendet eine neuartige Verlustfunktion, die eine Cross-Modality-Ausrichtung zwischen Video- und Audio-Features im hyperbolischen Raum einbezieht. Zudem untersuchen wir die Anwendung mehrerer anpassbarer Krümmungen für hyperbolische Projektionen.Die experimentellen Ergebnisse bei dieser sehr herausfordernden Aufgabe zeigen, dass unser vorgeschlagenes hyperbolisches Verfahren für das Zero-Shot-Lernen auf drei Datensätzen – VGGSound-GZSL, UCF-GZSL und ActivityNet-GZSL – die State-of-the-Art-Methode übertrifft und Verbesserungen des harmonischen Mittels (HM) von etwa 3,0 %, 7,0 % und 5,3 % erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp