Hyperbolisches audiovisuelles Zero-Shot-Lernen

Das Ziel des audiovisuellen Zero-Shot-Lernens ist die Klassifizierung von Stichproben, die aus einem Paar entsprechender Audio- und Videosequenzen bestehen, die zu Klassen gehören, die während des Trainings nicht vorhanden waren. Eine Analyse der audiovisuellen Daten zeigt einen hohen Grad an Hyperbolizität, was den potentiellen Nutzen einer hyperbolischen Transformation zur krümmungsbezogenen geometrischen Lernung nahelegt. Das Ziel ist es, für diese Aufgabe komplexere hierarchische Datenstrukturen zu erforschen. Der vorgeschlagene Ansatz verwendet eine neuartige Verlustfunktion, die eine Cross-Modality-Ausrichtung zwischen Video- und Audio-Features im hyperbolischen Raum einbezieht. Zudem untersuchen wir die Anwendung mehrerer anpassbarer Krümmungen für hyperbolische Projektionen.Die experimentellen Ergebnisse bei dieser sehr herausfordernden Aufgabe zeigen, dass unser vorgeschlagenes hyperbolisches Verfahren für das Zero-Shot-Lernen auf drei Datensätzen – VGGSound-GZSL, UCF-GZSL und ActivityNet-GZSL – die State-of-the-Art-Methode übertrifft und Verbesserungen des harmonischen Mittels (HM) von etwa 3,0 %, 7,0 % und 5,3 % erzielt.