التكيف بين المجالات المضادة الموجهة بالتدريب الذاتي للصور الحرارية

أظهرت النماذج العميقة التي تم تدريبها على مجموعات بيانات صور RGB على نطاق واسع نجاحًا كبيرًا. من المهم تطبيق هذه النماذج العميقة على المشكلات الواقعية. ومع ذلك، تعاني هذه النماذج من عائق في الأداء في ظل التغيرات في الإضاءة. وتُعد كاميرات الأشعة تحت الحمراء الحرارية أكثر مقاومةً لتلك التغيرات، وبالتالي يمكن أن تكون مفيدة جدًا في حل المشكلات الواقعية. ولدراسة فعالية دمج الطيف الغني بالسمات المرئي مع صور الأشعة تحت الحمراء الحرارية، نقترح طريقة تكييف مجال غير مراقبة لا تتطلب أزواج صور RGB إلى حرارية. نستخدم مجموعة بيانات RGB على نطاق واسع MS-COCO كمجال مصدر، ونستخدم مجموعة بيانات الأشعة تحت الحمراء FLIR ADAS كمجال مستهدف لعرض نتائج طريقة التكييف المقترحة. وعلى الرغم من أن أساليب تكييف المجال التنافسي تهدف إلى مواءمة توزيعات المجالين المصدر والمستهدف، فإن مواءمة التوزيعات وحدها لا تضمن التعميم المثالي للمجال المستهدف. وللتصدي لهذا التحدي، نقترح طريقة تكييف مجال تنافسي تُرشد بالتدريب الذاتي، بهدف تعزيز قدرات التعميم الخاصة بأساليب تكييف المجال التنافسي. ولتنفيذ التدريب الذاتي، يتم تعيين تسميات وهمية (Pseudo labels) للعينات في المجال الحراري المستهدف، بهدف تعلم تمثيلات أكثر تعميمًا لهذا المجال. وتبين التحليلات التجريبية الواسعة أن الطريقة المقترحة تحقق نتائج أفضل من أساليب تكييف المجال التنافسي الرائدة حاليًا. وتم إتاحة الشفرة النموذجية والنموذج بشكل عام للجمهور.