التعلم المُنازع المُختار للربط المُتاح الضعيف التوجيه

لتمكين الكيان من التفاعل مع الأجسام، يتطلب تحديد الأجزاء التي تتيح تنفيذ إجراءات معينة بدقة. يسعى التثبيت الضعيف للإمكانيات (WSAG) إلى محاكاة الطريقة التي يتعلم بها البشر من خلال العروض الثالثة، حيث يدرك البشر ببساطة الأجزاء الوظيفية دون الحاجة إلى تسميات على مستوى البكسل. لتحقيق ذلك، يُتعلم التثبيت عادةً باستخدام تصنيف مشترك يُطبّق على صور من زوايا مختلفة، إلى جانب استراتيجيات التحويل التي تشمل عملية اكتشاف الأجزاء. لكن بما أن الأجزاء المرتبطة بالإمكانات لا تكون دائمًا بسهولة قابلة للتمييز، فإن النماذج تعتمد بشكل رئيسي على التصنيف، وغالبًا ما تركز على أنماط مميزة للصنف الشائع، والتي لا علاقة لها بالإمكانات. وللتغلب على هذا التحدي، ننتقل إلى ما وراء التعلم المنفصل على مستوى الأجزاء، من خلال تقديم أهداف مختارة للنماذج المميزة والتمايز البكسيلي، التي تتعلم بشكل تكيفي الإشارات المرتبطة بالإمكانات على كل من مستوى الجزء ومستوى الجسم، حسب درجة التفاصيل المتوفرة. في البداية، نحدد الأجسام المرتبطة بالإجراءات في صور من منظور شخصي (مركز على الجسم) وصور من منظور خارجي (مثال من منظور ثالث)، باستخدام نموذج CLIP. ثم، من خلال مقارنة الأشياء المكتشفة من منظورين متكاملين، نستخرج أدلة دقيقة على الإمكانات على مستوى الأجزاء في كل منظور. وباستمرار تعلُّم التمييز بين المناطق المرتبطة بالإمكانات والخلفية غير المرتبطة بها، يُحول نهجنا بفعالية النشاط من المناطق غير ذات صلة إلى إشارات وظيفية ذات معنى. تُظهر النتائج التجريبية فعالية طريقة العمل المقترحة. يمكن الوصول إلى الكود عبر الرابط: github.com/hynnsk/SelectiveCL.