التفكيك الدلالي عبر المجالات من خلال نقل العلاقة التفاعلية غير التابعة للمجال

إن استغلال البيانات الاصطناعية الواقعية البصرية لتدريب نماذج التجزئة الدلالية قد لاقى اهتمامًا متزايدًا خلال السنوات الماضية. ومع ذلك، فإن عدم التوافق بين المجالين المُصوَّر والواقعي سيؤدي إلى انخفاض كبير في الأداء عند تطبيق النموذج المدرب على الصور الاصطناعية مباشرةً في السياقات الواقعية. في هذا البحث، نقترح منهجية جديدة للتكيف بين المجالات تُسمى نقل التفاعل المحوري (PIT). يركّز منهجنا بشكل رئيسي على بناء معلومات محورية تمثل المعرفة المشتركة بين المجالات، كجسر يعزز عملية التكيف بين نموذج التجزئة الدلالية من المجالات الاصطناعية إلى المجالات الواقعية. وبشكل محدد، نستنتج أولاً معلومات فئة على مستوى الصورة بالنسبة للصور المستهدفة، والتي تُستخدم بعدها لتسهيل نقل المعلومات على مستوى البكسل لغرض التجزئة الدلالية، بافتراض أن العلاقة التفاعلية بين معلومات الفئة على مستوى الصورة ومعلومات الدلالة على مستوى البكسل تبقى ثابتة عبر المجالات. ولتحقيق ذلك، نقترح آلية جديدة لتوسيع المناطق متعددة المستويات تُALIGN المعلومات على كل من مستوى الصورة ومستوى البكسل. وتشير التجارب الشاملة التي أجريت على التكيف من GTAV وSYNTHIA إلى Cityscapes إلى تفوق واضح لمنهجيتنا.