التعلم مع التوافق الضوضائي

تُدرس هذه الورقة منهجًا جديدًا للتعلم في حالة وجود تسميات ضوضائية، يُعرف بـ "التوافق الضوضائي" (Noisy Correspondence - NC). على عكس التسميات الضوضائية المدروسة جيدًا التي تركز على الأخطاء في تسمية الفئة الخاصة بعينة معينة، فإن مصطلح NC يشير إلى الأخطاء في علاقة التوافق بين نقطتين بيانات. وعلى الرغم من أن أزواج التوافق الخاطئة هذه شائعة جدًا، خاصة في البيانات التي تُجمع من الإنترنت، إلا أنها تُهملها معظم الدراسات الحالية. وباستخدام مهمة الاسترجاع عبر الوسائط كمُثال توضيحي، نقترح طريقة تُسمى "التعلم مع التوافق الضوضائي" (Learning with Noisy Correspondence - LNC). باختصار، تبدأ LNC بتحديد تقريبًا لمجموعتي بيانات نظيفتين وضوضائيتين من البيانات الأصلية، ثم تقوم بتصحيح أزواج التوافق الخاطئة باستخدام دالة تنبؤ مُعدّلة تلقائيًا. وأخيرًا، تُطبّق LNC خسارة مثلثية جديدة ذات حدود لينة (soft margins) لتعزيز مقاومة نظام الاسترجاع عبر الوسائط تجاه التوافق الضوضائي. ولإثبات فعالية الطريقة المقترحة LNC، أجرينا تجارب على ستة مجموعات بيانات معيارية في مهام الاسترجاع الصور-نص ومقاطع الفيديو-نص. بالإضافة إلى إثبات فعالية LNC، تُظهر النتائج التجريبية ضرورة وجود حل صريح لمشكلة التوافق الضوضائي، سواء في النماذج القياسية للتدريب، أو في نماذج التدريب المسبق (pre-training) والضبط الدقيق (fine-tuning).