PoCoNet: تحسين الصوت بشكل أفضل من خلال التضمينات الترددية-المكانية، والبيانات الحوارية شبه المُعلَّمة، والخسارة المتحيزة

تعتبر النماذج الكبيرة في الشبكات العصبية مفيدة عادةً في التطبيقات، ولكن بالنسبة للنماذج الحالية لتحسين الصوت، فإن التوسع في حجم الشبكة غالبًا ما يؤدي إلى تقليل المرونة تجاه التنوّع في حالات الاستخدام الواقعية التي تتجاوز ما يتم مواجهته في بيانات التدريب. نقدّم عدة ابتكارات تؤدي إلى تحسين الشبكات العصبية الكبيرة لتحسين الصوت. تتمثل المعمارية الجديدة PoCoNet في شبكة عصبية تلافيفية قادرة، باستخدام تضمينات الموضع الترددي، على بناء ميزات تعتمد على التردد بشكل أكثر كفاءة في الطبقات المبكرة. كما يساعد أسلوب شبه مُراقب في زيادة كمية بيانات التدريب المحادثاتية من خلال معالجة مسبقة للبيانات الصاخبة، مما يعزز الأداء على التسجيلات الحقيقية. كما تم تطوير دالة خسارة جديدة تُعطي أولوية لحفظ جودة الصوت، مما يُحسّن عملية التحسين بحيث تتوافق بشكل أفضل مع آراء البشر حول جودة الصوت. تُظهر تجارب التحليل التجريدي، بالإضافة إلى مقاييس موضوعية وآراء بشرية، فوائد التحسينات المقترحة.