التعلم الصوتي-بصري بدون أمثلة مسبقة في الفضاء الزائدي

يهدف التعلم الصوتي-البصري بدون نماذج مسبقة (zero-shot learning) إلى تصنيف العينات التي تتكون من زوج من التسلسلات الصوتية والبصرية المتناظرة من فئات غير موجودة أثناء التدريب. تكشف تحليل البيانات الصوتية-البصرية عن درجة كبيرة من الزائديّة (hyperbolicity)، مما يشير إلى الفائدة المحتملة لاستخدام تحويل زائدي لتحقيق التعلم الهندسي الواعي للمنحنيات، بهدف استكشاف بنى بيانات هرمية أكثر تعقيدًا لهذه المهمة. يستخدم النهج المقترح دالة خسارة جديدة تدمج التناسق بين الخصائص البصرية والصوتية في الفضاء الزائدي. بالإضافة إلى ذلك، نستكشف استخدام منحنيات متعددة قابلة للتكييف للتحويلات الزائدية. تظهر النتائج التجريبية لهذه المهمة الشديدة التعقيد أن نهجنا الزائدي المقترح للتعلم بدون نماذج مسبقة يتفوق على أفضل الطرق الحالية (SOTA) في ثلاثة مجموعات بيانات: VGGSound-GZSL، UCF-GZSL، و ActivityNet-GZSL، حيث حقق تحسينًا بمتوسط توافقي (HM) يبلغ حوالي 3.0%، 7.0%، و 5.3% على التوالي.