Instruct-IPT: محول معالجة الصور الشامل عبر تعديل الوزن

بسبب الحجم غير المقبول والتكلفة الحسابية العالية لنموذج الرؤية الأولية، أصبحت نماذج "كل شيء في واحد" المصممة للتعامل مع مجموعة محدودة من مهام الرؤية الأولية بشكل متزامن شائعة. ومع ذلك، فإن النماذج الموجودة من نوع "كل شيء في واحد" محدودة فيما يتعلق بمدى المهام والأداء. لتجاوز هذه القيود، نقترح نموذج Instruct-IPT -- وهو نموذج تحويل صور "كل شيء في واحد" (All-in-One Image Processing Transformer - IPT) يمكنه التعامل بكفاءة مع العديد من مهام استعادة الصور ذات الفروق الكبيرة بينها، مثل إزالة الضوضاء (denoising)، تحسين الصورة المشوشة (deblurring)، إزالة الأمطار (deraining)، إزالة الضباب (dehazing)، وإزالة الثلوج (desnowing). بينما تقترح معظم الأبحاث طرق التكيف الخصائصي، فإننا نكشف عن فشلها في التعامل مع المهام المختلفة بشدة، ونقترح تعديل الأوزان الذي يتكيف مع الأوزان الخاصة بالمهام. أولاً، نبحث عن الأوزان الحساسة للمهمة ونقدم تحيزات خاصة بالمهام فوقها. ثانياً، نقوم بتحليل الرتب للحصول على استراتيجية ضغط جيدة ونقوم بتفكيك رتب منخفضة على التحيزات. ثالثاً، نقترح التدريب المتزامن الذي يقوم بتحديث النموذج العام للمهمة والتحيزات الخاصة بالمهام بشكل متزامن. بهذه الطريقة، يتم توجيه النموذج لتعلم المعرفة العامة والمعرفة الخاصة بالمهام. عبر طريقة بسيطة ولكن فعّالة تقوم بتوجيه IPT ليكون خبراء في المهام، يمكن لـ Instruct-IPT أن يتعاون بشكل أفضل بين المهام ذات الخصائص المختلفة بتكلفة متواضعة. كميزة إضافية، تمكنا Instruct-IPT من استقبال الإرشادات البشرية. قمنا بإجراء تجارب على Instruct-IPT لإظهار فعالية طريقتنا في العديد من المهام، وقد أجرينا توسيعًا فعالًا لطريقتنا إلى مرشحات التشتت أيضًا. الشفرة البرمجية متاحة على الرابط: https://github.com/huawei-noah/Pretrained-IPT.