AdaCache يسرع عملية إنشاء الفيديو

AdaCache هي تقنية اقترحتها Meta في عام 2024 لتسريع إنشاء الفيديو بالذكاء الاصطناعي. جوهرها هو آلية التخزين المؤقت التكيفية. "نتائج الورقة ذات الصلة هي"التخزين المؤقت التكيفي لتوليد فيديو أسرع باستخدام محولات الانتشاريُحسّن AdaCache تخصيص موارد الحوسبة، ويضبط حجم الحوسبة ديناميكيًا وفقًا لتعقيد محتوى الفيديو المختلف، ويُقلل من تكاليف الحوسبة غير الضرورية. يُقدّم AdaCache استراتيجيةً لتنظيم الحركة لتحسين قرارات التخزين المؤقت باستخدام معلومات الحركة في الفيديو. تُظهر التجارب أن AdaCache يُحسّن سرعة التوليد بشكل ملحوظ مع الحفاظ على جودة الفيديو، وتأثيره ملحوظ في بيئة متعددة وحدات معالجة الرسومات. يتمتع AdaCache بقيمة تطبيقية مهمة وآفاق تطوير واعدة في مجال توليد الفيديو.

على وجه التحديد، لا يتطلب نهجنا، AdaCache، أي تدريب ويمكن دمجه بسلاسة في محول انتشار الفيديو الأساسي كمكون توصيل وتشغيل أثناء مرحلة الاستدلال. الفكرة الأساسية لمخططنا هي تخزين العمليات الحسابية المتبقية (على سبيل المثال، الانتباه أو مخرجات الإدراك متعدد الطبقات) داخل وحدات المحول في خطوة انتشار محددة، وإعادة استخدام هذه النتائج المخزنة مؤقتًا في عدة خطوات لاحقة اعتمادًا على الفيديو الناتج. وقد نجح فريق البحث في تحقيق ذلك من خلال تطوير خطة تخزين مؤقت، أي أنه في كل مرة يتم فيها إجراء حساب متبقي، يتم اتخاذ قرار بشأن موعد إعادة الحساب التالي. يتم توجيه هذا القرار من خلال مقياس المسافة الذي يقيس معدل التغيير بين التمثيل المخزن مسبقًا والتمثيل الحالي. إذا كانت المسافة كبيرة، لا يتم الاحتفاظ بالذاكرة المؤقتة لفترة طويلة (أي عدة خطوات) لتجنب إعادة استخدام التمثيلات غير المتوافقة.

كما قدم الباحثون أيضًا تنظيم الحركة (MoReg) لتوزيع المهام الحسابية وفقًا لمحتوى الحركة في الفيديو الذي يتم إنشاؤه. ويرجع هذا إلى الملاحظة التي مفادها أن التسلسلات شديدة الديناميكية تتطلب خطوات انتشار أكثر لتحقيق جودة معقولة.

بشكل عام، يتم تطبيق هذا الخط الأنبوبي على معايير محول انتشار الفيديو المتعددة ويظهر سرعة استنتاج أسرع دون التضحية بجودة التوليد.