اعزفها من جديد: الانتباه التكراري للتعرف على الصوت

إحدى الوظائف الأساسية للإدراك السمعي هي ربط الأصوات المميزة بمعانيها المقابلة مع مرور الوقت. عندما يحاول البشر التمييز بين فئات صوتية دقيقة، غالبًا ما يعيدون تشغيل الأصوات التمييزية نفسها لزيادة ثقتهم في التنبؤ. نقترح بنية قائمة على الانتباه تُنفَّذ من البداية إلى النهاية، وتُركّز من خلال التكرار المُختار على الأصوات الأكثر تمييزًا عبر التسلسل الصوتي. يستخدم نموذجنا في البداية التسلسل الصوتي الكامل، ثم يُعدِّل تدريجيًا الأجزاء الزمنية التي يتم إعادة تشغيلها بناءً على انتباه الموقع (slot attention). في كل مرة يتم فيها إعادة التشغيل، تُعاد الأجزاء المختارة باستخدام طول خطوة أصغر، مما يمثل ميزات ذات دقة أعلى داخل هذه الأجزاء. ونُظهر أن طريقة التصميم هذه يمكنها تحقيق أداءً متفوقًا على المستوى العالمي باستمرار عبر ثلاث معايير تصنيف صوتيّة: AudioSet وVGG-Sound وEPIC-KITCHENS-100.