إطار فعّال لتحويل كوسينوس منفصل قصير المدى وشبكة MultiResUNet الانتباهية لفصل مصادر الموسيقى

مشكلة فصل المصادر الصوتية، حيث يكون الهدف هو تقدير المكونات الصوتية الموجودة في مزيج صوتي، كانت دائمًا في صميم الأنشطة البحثية لفترة طويلة. في الإطارات الحديثة، يتم معالجة هذه المشكلة من خلال إنشاء نماذج تعتمد على التعلم العميق، والتي تحاول استخلاص المعلومات من كل مكون باستخدام مخططات التحويل الزمني-التردد القصيرة (STFT) كمدخلات. تفترض معظم الطرق أن مصدرًا واحدًا فقط موجود في كل نقطة زمنية-ترددية، مما يسمح بتخصيص هذه النقطة من المزيج إلى المصدر المرغوب. وبما أن هذه الافتراضية قوية جدًا، وتُذكر أنها لا تنطبق في الواقع، فإن مشكلة تنشأ من استخدام القيمة المطلقة لـ STFT كمدخل للشبكات، وهي غياب معلومات الطور التوافقي خلال إعادة بناء المصدر المنفصل. ويعتبر استعادة معلومات الطور التوافقي غير سهلة التحقيق، ولا فعالة من حيث الحوسبة لتقديرها. في هذا البحث، نقترح بنية جديدة تُسمى Attentive MultiResUNet، تستخدم بيانات التحويل التوافقي المنفصل القصير الزمني ذات القيم الحقيقية كمدخلات. ويؤدي هذا الإجراء إلى تجنب مشكلة استعادة الطور، من خلال تقدير القيم المناسبة داخل الشبكة نفسها، بدلاً من استخدام خوارزميات تقدير معقدة أو معالجة ما بعد. وتتميز الشبكة المقترحة ببنية نوع U-Net مع اتصالات مساعدة متبقية وآلية انتباه تربط الاتصالات المساعدة مع مخرجات فك الترميز على المستوى السابق. وتُستخدم هذه الشبكة لأول مرة في فصل المصادر الصوتية، وهي أكثر كفاءة من حيث الحوسبة مقارنة بالشبكات الرائدة في التصنيف، مع أداء متميز مقارنة بالحالة الراهنة، وبتكلفة حوسبة ضئيلة نسبيًا.