التدريج المزدوج للمعرفة للكشف الفعّال عن الأحداث الصوتية

الكشف عن الأحداث الصوتية (SED) ضروري لتحديد الأصوات المحددة ومواقعها الزمنية داخل الإشارات الصوتية. ويصبح هذا التحدي أكبر خاصة في التطبيقات على الجهاز، حيث تكون الموارد الحاسوبية محدودة. لمعالجة هذه المشكلة، نقدم في هذا العمل إطارًا جديدًا يُعرف بـ "التقليص المعرفي الثنائي" لتطوير أنظمة SED فعالة. يبدأ التقليص المعرفي الثنائي المقترح بالتقليص المعرفي المتوسط زمنيًا (TAKD)، باستخدام نموذج طالب متوسط يتم استنتاجه من متوسط معاملات نموذج الطالب الزمني. وهذا يسمح لنموذج الطالب بالتعلم بشكل غير مباشر من نموذج المعلم المدرب مسبقًا، مما يضمن تقليصًا معرفيًا مستقرًا. بعد ذلك، نقدم التقليص المعرفي المعزز بالمتجهات (EEFD)، والذي يتضمن إدخال طبقة تقليص معرفي للمتجهات داخل نموذج الطالب لتعزيز التعلم السياقي.على مجموعة البيانات العامة لتقييم مهمة DCASE 2023 Task 4A، أظهر نظام SED المقترح لدينا مع التقليص المعرفي الثنائي تفوقًا في الأداء بمعدلات PSDS1 وPSDS2، رغم أنه يحتوي على ثلث معاملات النموذج الأساسي فقط. وهذا يؤكد أهمية التقليص المعرفي الثنائي المقترح لأنظمة SED المتراصة، والتي يمكن أن تكون مثالية للأجهزة الحوافية.