تعلم الشبكة العصبية التلافيفية على ViT: نموذج مختلط لحدود محددة حسب الفئة لتكيف المجال

تُعتمد معظم طرق التكييف الحدودي (DA) إما على الشبكات العصبية التلافيفية (CNNs) أو على نماذج المحولات البصرية (ViTs). وتعمل هذه الطرق على محاذاة الفروق في التوزيع بين المجالات من خلال وحدات الترميز، دون أخذ خصائص كل نموذج بعين الاعتبار. على سبيل المثال، تتميز نموذج ViT بدقة عالية بفضل قدرته المتميزة على استخلاص التمثيلات الشاملة (العامة)، في حين أن نموذج CNN يتمتع بميزة في استخلاص التمثيلات المحلية. وقد أدى هذا الواقع إلى تصميمنا لطريقة هجينة تُستفيد بالكامل من مزايا كل من ViT وCNN، وسُميت بـ "حدود فئة محددة صراحةً" (Explicitly Class-specific Boundaries - ECB). تعتمد ECB على تعلم CNN من خلال ViT لدمج القوى الفريدة لكلا النموذجين. وبشكل خاص، نستفيد من خصائص ViT لتحديد حدود قرار محددة بالفئة صراحةً من خلال تعظيم الفرق بين مخرجات المصنفين المتنافسين، بهدف اكتشاف العينات المستهدفة التي تبعد عن دعم المصدر. في المقابل، يقوم مُشفر CNN بتجميع ميزات العينات المستهدفة بناءً على الحدود الفئوية المحددة مسبقًا، من خلال تقليل الفرق بين احتمالات المصنفين المتنافسين. وأخيرًا، يتبادل ViT وCNN المعرفة بشكل متبادل لتحسين جودة التسميات الوهمية وتقليل الفروق في المعرفة بين النموذجين. مقارنةً بالطرق التقليدية لتكييف الحدود، تُظهر ECB أداءً متفوقًا، مما يؤكد فعاليتها في هذا النموذج الهجين. يمكن زيارة الموقع الإلكتروني للمشروع من خلال الرابط التالي: https://dotrannhattuong.github.io/ECB/website.