التكيف الحدودي الواعي بالسياق في التجزئة الدلالية

في هذه الورقة، نتناول مشكلة التكيّف غير المراقب بين المجالات في تصنيف المعنى (semantic segmentation). توجد مشكلتان رئيسيتان في هذا المجال، وهما: ما الذي ينبغي نقله بين المجالين، وكيفية نقله. تركز الطرق الحالية بشكل رئيسي على تكييف السمات المستقلة عن المجال (ما ينبغي نقله) من خلال التعلم العدواني (كيفية النقل). ورغم أن الاعتماد على السياق أمر بالغ الأهمية في تصنيف المعنى، إلا أن قابلية نقل السياق ما زالت غير مفهومة جيدًا. علاوة على ذلك، لا تزال طريقة نقل المعلومات السياقية بين المجالين غير مُستكشفة بشكل كافٍ. مستوحاة من هذا، نقترح آلية انتباه عابر (cross-attention) مبنية على الانتباه الذاتي (self-attention) لالتقاط الاعتماديات السياقية بين المجالين وتكيف المعلومات السياقية القابلة للنقل. لتحقيق هذا الهدف، نصمم وحدتين للاهتمام العابر بين المجالين لتكييف الاعتماديات السياقية من وجهتي نظر مكانيّة وقناة. وبشكل محدد، تلتقط وحدة الاهتمام المكاني الاعتماديات بين الميزات المحلية لكل موقع في الصورة المصدرية والصورة الهدفية. بينما تُنشئ وحدة الاهتمام القناتي الاعتماديات الدلالية بين كل زوج من خرائط القنوات بين المجالين. ولتكيف الاعتماديات السياقية، نقوم بجمع معلومات السياق بشكل انتقائي من المجالين. وقد تم إثبات التفوق التجريبي لطريقتنا مقارنة بالطرق الأحدث والأفضل في المجال على مجموعتي البيانات "GTA5 إلى Cityscapes" و"SYNTHIA إلى Cityscapes".