الاستخلاص متعدد المقياس الديناميكي التكيفي الذاتي من النموذج الكبير متعدد الوسائط المُدرّب مسبقًا لتعلم تمثيلات متعددة الوسائط بكفاءة
في السنوات الأخيرة، لاقت النماذج الكبيرة متعددة الوسائط المُدرَّبة مسبقًا اهتمامًا واسعًا بسبب أدائها المتميز في مجموعة متنوعة من التطبيقات متعددة الوسائط. ومع ذلك، فإن الموارد الحسابية الواسعة والبيانات الضخمة المطلوبة لتدريب هذه النماذج تمثل عقبات كبيرة أمام تطبيقها في البيئات التي تفتقر إلى الموارد الحسابية الكافية. ولحل هذه التحديات، نقترح لأول مرة استراتيجية جديدة للاستخلاص التكيفي الديناميكي متعدد المقاييس من النموذج الكبير المُدرَّب مسبقًا متعدد الوسائط، بهدف تعلم تمثيلات متعددة الوسائط بكفاءة. على عكس الطرق الحالية للاستخلاص، تعتمد استراتيجيتنا على منظور متعدد المقاييس، مما يمكّن من استخلاص المعرفة الهيكلية من النموذج الكبير المُدرَّب مسبقًا، وضمان أن يرث النموذج الصغير فهمًا شاملاً ودقيقًا للمعرفة التي يمتلكها النموذج الكبير. ولتحسين كل خسارة استخلاص بطريقة متوازنة وفعالة، نقترح مُوازن خسارة الاستخلاص الديناميكي التكيفي الذاتي، وهو عنصر جديد يُزيل الحاجة إلى ضبط أوزان الخسائر يدويًا، ويوازن تلقائيًا بين كل مصادر الخسارة أثناء عملية الاستخلاص. تعتمد طريقة عملنا على تبسيط النماذج الكبيرة المُدرَّبة مسبقًا باستخدام فقط المخرجات المُخرَجة من النموذج وبيانات الصورة على مستوى الصورة، مما يتطلب موارد حسابية قليلة جدًا. ويُعد هذا النهج الفعّال مناسبًا لتطبيقات متنوعة، ويتيح تطبيق تقنيات متعددة الوسائط المتقدمة حتى في البيئات ذات الموارد المحدودة. وقد أظهرت تجارب واسعة أن طريقة العمل لدينا تحافظ على أداء عالٍ مع تقليل كبير في تعقيد النموذج وتكاليف التدريب. علاوة على ذلك، يُحقق النموذج الصغير المستخلص باستخدام معلومات الصورة فقط أداءً متقدمًا جدًا في مهام الاسترجاع عبر الوسائط، متفوقًا على الطرق السابقة التي تعتمد على معلومات على مستوى المناطق.