مُحَوِّل باتش-مِيكس للتكيف غير المُراقب بين المجالات: من منظور لعبة

تم recently بذل جهود لاستغلال نموذج التحويل البصري (ViT) في مهمة التكيف بين المجالات غير المراقبة (UDA) الصعبة. وعادةً ما تستخدم هذه النماذج الانتباه المتقاطع في ViT لتحقيق التماثل المباشر بين المجالات. ومع ذلك، نظرًا لأن أداء الانتباه المتقاطع يعتمد بشكل كبير على جودة العلامات الوهمية للمواضع المستهدفة، يصبح هذا الأسلوب أقل فعالية عندما يزداد الفرق بين المجالات. ونحل هذه المشكلة من منظور نظرية الألعاب من خلال النموذج المقترح المسمى PMTrans، الذي يربط المجال المصدر بالمجال الهدف عبر مجال وسيط. وبشكل خاص، نقترح وحدة جديدة تعتمد على ViT تُسمى PatchMix، والتي تبني بشكل فعّال المجال الوسيط، أي التوزيع الاحتمالي، من خلال تعلّم عينات من الشظايا من كلا المجالين بناءً على نماذج نظرية الألعاب. وبهذا الشكل، تتعلم PatchMix خلط الشظايا من المجالين المصدر والهدف لتعظيم الانتروبيا المتقاطعة (CE)، في حين تُستغل خسائر مزيج نصف مراقبة في فضاءات الميزات والعلامات لتقليلها. وبهذا، نُفسّر عملية UDA كمباراة Min-Max للانتروبيا المتقاطعة مع ثلاث لاعبين، هم: مستخرج الميزات، وال classifier، وPatchMix، بهدف العثور على توازن ناش (Nash Equilibria). علاوةً على ذلك، نستفيد من خرائط الانتباه من ViT لإعادة وزن علامة كل شريحة وفقًا لأهميتها، مما يجعل من الممكن الحصول على تمثيلات ميزات أكثر تمييزًا بين المجالات. أجرينا تجارب واسعة على أربع مجموعات بيانات معيارية، وأظهرت النتائج أن PMTrans يتفوّق بشكل كبير على أحدث النماذج القائمة على ViT والقوية على CNN بنسبة +3.6% على Office-Home، و+1.4% على Office-31، و+17.7% على DomainNet، على التوالي.