نموذج استعادة أي شيء من خلال التكيف الفعال مع التدهور

مع انتشار الأجهزة المحمولة، أصبحت الحاجة إلى نموذج فعال لاستعادة أي صورة متدنية الجودة أكثر أهمية وتأثيرًا. النهج التقليدي عادة ما يشمل تدريب نماذج مخصصة لكل نوع من أنواع التدهور، مما يؤدي إلى عدم الكفاءة والترهل. الحلول الأكثر حداثة إما تضيف وحدات إضافية لتعلم الإشارات البصرية، مما يزيد بشكل كبير من حجم النموذج، أو تقوم بدمج نقل متعدد الوسائط من نماذج اللغة الكبيرة التي تم تدريبها على مجموعات بيانات ضخمة، مما يضيف تعقيدًا إلى هيكل النظام. في المقابل، نهجنا الذي أطلقنا عليه اسم RAM (RAM) يتبع مسارًا موحدًا يستفيد من التشابهات الذاتية بين مختلف أنواع التدهور لتمكين الاستعادة الشاملة والفعالة عبر آلية تضمين مشتركة دون زيادة حجم النموذج أو الاعتماد على نماذج متعددة الوسائط كبيرة.تحديدًا، نقوم بفحص الفضاء الضمني الجزئي لكل مدخل، حيث نحدد المكونات الرئيسية وإعادة وزنها بطريقة مقيدة. يتم دمج هذا الوعي الذاتي بالتدهور مع الانتباه السياقي في إطار على شكل حرف X، مما يعزز التفاعلات المحلية-العالمية. أكدت الاختبارات الشاملة في إعداد الاستعادة الكامل قدرة RAM على تحقيق أفضل الأداء (SOTA)، مع خفض التعقيد النموذجي بنسبة حوالي 82% في المعلمات القابلة للتدريب و85% في العمليات العددية (FLOPs). سيتم توفير كودنا والنماذج الخاصة بنا بشكل عام للجمهور.