التدريب النادر، والإنتاج الكثيف: تدريب غير مشرف لـ GAN الزمني ذي الدقة العالية بكفاءة الذاكرة

تدريب شبكات التوليد المتنافسة (GAN) على مجموعة بيانات الفيديو هو تحدي بسبب حجم المجموعة الضخم وتعقيد كل ملاحظة. بشكل عام، تزداد التكلفة الحسابية لتدريب GAN بمعدل أسي مع زيادة الدقة. في هذه الدراسة، نقدم طريقة جديدة فعالة من حيث الذاكرة للتعلم غير المنظور لمجموعة بيانات الفيديو عالية الدقة، حيث تزداد التكلفة الحسابية لهذه الطريقة بمعدل خطي فقط مع زيادة الدقة. نحقق هذا من خلال تصميم نموذج المولد كطوابق من المولدات الجزئية الصغيرة وتدريب النموذج بطريقة محددة. نقوم بتدريب كل مولد جزئي باستخدام تمييزه الخاص به. أثناء التدريب، نقوم بتضمين طبقة استخراج فرعي مساعدة بين كل زوج متتالي من المولدات الجزئية، مما يقلل معدل الإطارات بنسبة معينة. يمكن لهذا الإجراء أن يسمح لكل مولد جزئي بتعلم توزيع الفيديو عند مستويات مختلفة من الدقة. كما أننا نحتاج فقط إلى عدد قليل من وحدات المعالجة الرسومية (GPUs) لتدريب مولد معقد للغاية يتفوق بكثير على سابقه فيما يتعلق بدرجات الاختبار (inception scores).