حل الالتباسات الدلالية لتحسين الكشف الصفراء

الكشف عن الأهداف غير المدربة (ZSD) هو مهمة صعبة تهدف إلى التعرف على الأشياء وتوضيح مواقعها في الوقت نفسه، حتى عندما لم يتم تدريب نموذجنا على عينات بصرية لبعض الفئات المستهدفة ("غير المرئية"). حديثًا، أظهرت الطرق التي تستعمل نماذج توليدية مثل GANs بعض أفضل النتائج، حيث يتم إنشاء عينات من فئات غير مرئية بناءً على معانيها بواسطة GAN مدرب على بيانات فئات مرئية، مما يمكّن الكاشفات البسيطة للأجسام من التعرف على الأجسام غير المرئية. ومع ذلك، لا يزال مشكلة الالتباس الدلالي قائمة، حيث يتعذر أحيانًا على النموذج تمييز الفئات ذات المعنى المتشابه. في هذا العمل، نقترح تدريب نموذج توليدي يدمج خسارة ثلاثية (triplet loss) تعترف بدرجة الاختلاف بين الفئات وتعكسها في العينات المُنشَأة. بالإضافة إلى ذلك، يتم فرض خسارة التناسق الدوري (cyclic-consistency loss) للتأكد من أن العينات البصرية المُنشَأة لفئة ما تتوافق بشكل كبير مع معانيها الخاصة. أثبتت التجارب الواسعة على مجموعتين مرجعيتين لبيانات ZSD - MSCOCO و PASCAL-VOC - زيادة كبيرة في الأداء مقارنة بالطرق الحالية لـ ZSD، مما يقلل من الالتباس الدلالي ويحسن الكشف عن الفئات غير المرئية.