WaveFlow: نموذج تدفق مدمج للصوت الخام

في هذه الدراسة، نقترح نموذج WaveFlow، وهو نموذج توليدي من نوع التدفق (flow) ذا حجم صغير للصوت الخام، يتم تدريبه مباشرة باستخدام طريقة الاحتمال الأقصى. يعالج هذا النموذج البنية الطويلة المدى للإشارات ذات البعد الواحد (1-D) باستخدام بنية تلافيف ثنائية الأبعاد ذات تضخيم (dilated 2-D convolutional architecture)، بينما يستخدم دوالًا ذاتية التسلسل تعبيرية (expressive autoregressive functions) لتمثيل التغيرات المحلية. يُقدِّم WaveFlow نظرة موحدة للنماذج القائمة على الاحتمال بالنسبة للبيانات ذات البعد الواحد، حيث يشمل نماذج WaveNet وWaveGlow كحالات خاصة. يُولِّد WaveFlow صوتًا عالي الجودة مثل WaveNet، ولكن بسرعة توليد تفوق بكثير سرعة التوليد في الوقت الفعلي، إذ يكفيه بضع خطوات تسلسلية فقط لتوليد موجات طويلة جدًا تضم مئات الآلاف من الخطوات الزمنية. علاوةً على ذلك، يمكنه تقليل الفجوة في الاحتمال (likelihood gap) التي كانت موجودة سابقًا بين النماذج ذاتية التسلسل والأنماط القائمة على التدفق، مما يُحسّن كفاءة التوليد. وأخيرًا، يمتلك نموذج WaveFlow الصغير الحجم فقط 5.91 مليون معلمة، أي ما يعادل 15 مرة أقل من نموذج WaveGlow. ويُولِّد صوتًا عالي الجودة بتردد 22.05 كيلوهرتز بسرعة تفوق 42.6 مرة سرعة الوقت الفعلي (بمعدل 939.3 كيلوهرتز) على وحدة معالجة الرسوميات V100، دون الحاجة إلى كُتَل استدلال مُصمَّمة خصيصًا.