ShadowMaskFormer: تضمينات الشظايا المحسنة بالقناع لإزالة الظل

النموذج Transformer ظهر مؤخرًا كنموذج قياسي لمهام الرؤية الحاسوبية وقد تم تطبيقه بنجاح أيضًا في إزالة الظل. ومع ذلك، تعتمد هذه الطرق الموجودة بشكل كبير على تعديلات معقدة للآليات الانتباهية داخل كتل النموذج transformer بينما تستخدم غرسًا عامًا للمربعات (patch embedding). نتيجة لذلك، غالبًا ما يؤدي ذلك إلى تصميمات معمارية معقدة تتطلب موارد حسابية إضافية. في هذا البحث، نهدف إلى استكشاف فعالية دمج معلومات الظل في مرحلة المعالجة المبكرة. وفقًا لذلك، نقترح إطار عمل يعتمد على النموذج transformer مع غرس مربعات جديد مصمم خصيصًا لإزالة الظل، والذي أطلقنا عليه اسم ShadowMaskFormer. بصفة خاصة، نقدم غرس مربعات بسيط وفعال معزز بالقناع (mask-augmented patch embedding) لدمج معلومات الظل وتعزيز التركيز على اكتساب المعرفة للمناطق المظللة. أظهرت التجارب الواسعة التي أجريت على مجموعات البيانات المرجعية ISTD و ISTD+ و SRD فعالية طريقتنا مقابل أفضل الأساليب المتاحة حاليًا باستخدام عدد أقل من 매علميات النموذج (model parameters). يمكن الوصول إلى تنفيذنا عبر الرابط: https://github.com/lizhh268/ShadowMaskFormer.