التعلم المتناوب المبني على التناقض على مستوى البكسل الفضائي الزمني للتكيف بين المجالات بدون مصدر للتطبيقات التصنيفية معنى الفيديو

يُعد التكيف بين المجالات غير المُراقب (UDA) لتقسيم الدلالة نقل المعرفة المُدرَّبة على المجال المصدر المُعلَّم إلى مجال الهدف غير المُعلَّم من خلال الاعتماد على الوصول إلى بيانات المصدر والهدف معًا. ومع ذلك، غالبًا ما تكون إمكانية الوصول إلى بيانات المصدر محدودة أو غير عملية في السياقات الواقعية. وفي ظل هذه القيود على بيانات المصدر، يصبح UDA أقل فعالية عمليًا. ولحل هذه المشكلة، استكشفت الدراسات الحديثة حلولًا ضمن إطار التكيف الحر من المصدر (SFDA)، الذي يهدف إلى تكييف نموذج تم تدريبه على المصدر بحيث يناسب المجال الهدف دون الحاجة إلى الوصول إلى بيانات المصدر. ومع ذلك، تعتمد الطرق الحالية لـ SFDA فقط على معلومات على مستوى الصورة، مما يجعلها غير مثالية في التطبيقات المرئية. تُركّز هذه الورقة على SFDA في تقسيم الدلالة الفيديوي (VSS)، حيث يتم استغلال المعلومات الزمنية لمعالجة تكييف الفيديو. وبشكل خاص، نقترح طريقة جديدة تُسمى التعلم التبايني على مستوى البكسل الفضائي الزمني (STPL)، التي تستفيد بشكل كامل من المعلومات الفضائية الزمنية لمعالجة غياب بيانات المصدر بشكل أفضل. تتعلم STPL بشكل صريح العلاقات الدلالية بين البكسلات في الفضاء الفضائي الزمني، مما يوفر إشرافًا ذاتيًا قويًا لتكييف النموذج مع المجال الهدف غير المُعلَّم. أظهرت التجارب الواسعة أن STPL تحقق أداءً من الدرجة الأولى على معايير VSS مقارنة بالطرق الحالية لـ UDA وSFDA. يمكن الوصول إلى الكود من خلال: https://github.com/shaoyuanlo/STPL