خلف كل مجال يوجد تحوّل: تكييف نماذج الرؤية المُعتمدة على التحويلات المُتخصصة بوعي التشوّه لتقسيم الدلالة الشاملة للمناظر

في هذه الورقة، نتناول تقسيم الدوران الشامل معانيًا، وهو مجال يُعدّ مُهملًا نظرًا لتحديين جوهريين: (1) تشوهات الصور وتشوهات الكائنات في الصور الدائرية؛ (2) نقص التسميات المعنوية في الصور ثلاثية الأبعاد (360°). ولحل هذه المشكلات، نقترح أولًا نموذج ترانسفورمر المُطوّر لتقسيم الدوران الشامل معانيًا، المعروف بـ Trans4PASS+، والذي يحتوي على وحدات التضمين المُتشوّهة للقطع (DPE) ووحدات MLP المُتشوّهة (DMLPv2) لمعالجة تشوهات الكائنات وتشوهات الصور في أي وقت (قبل أو بعد التكييف) وفي أي مستوى (سطح أو عميق). ثانيًا، نُحسّن استراتيجية التكييف المتبادل النموذجي (MPA) من خلال تصحيح التسميات الوهمية (pseudo-label rectification) لتحسين التكييف دون تسمية (unsupervised domain adaptation) في تقسيم الدوران الشامل معانيًا. ثالثًا، وبالإضافة إلى تكييف Pinhole-to-Panoramic (Pin2Pan)، نُنشئ مجموعة بيانات جديدة (SynPASS) تحتوي على 9,080 صورة دائرية، مما يُسهّل نموذج التكييف من الصور الافتراضية إلى الواقعية (Syn2Real) في الصور ثلاثية الأبعاد. أُجريت تجارب واسعة تغطي سيناريوهات داخلية وخارجية، وتم دراسة كل منها باستخدام نهجي Pin2Pan وSyn2Real. وقد حقق Trans4PASS+ أداءً متقدمًا على أربع معايير لتقسيم الدوران الشامل معانيًا في ظل تكييف المجال. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/jamycheung/Trans4PASS.