تعلم متحول الرؤية الجيني باستخدام الفضاء الكامن القائم على الطاقة للتنبؤ بالبروز

شبكات التحويل البصري (Vision Transformer Networks) أثبتت تفوقها في العديد من مهام الرؤية الحاسوبية. في هذا البحث، نخطو خطوة إضافية من خلال اقتراح نموذج تحويل بصري جينراتيفي جديد يعتمد على متغيرات خفية تتبع أولوية طاقوية معلوماتية للكشف عن الأشياء البارزة. يتم تدريب كل من شبكة التحويل البصري وأولوية الطاقة المبنية على النموذج بشكل مشترك عبر تقدير الأرجحية القصوى المستند إلى سلسلة ماركوف مونتي كارلو (Markov Chain Monte Carlo)، حيث يتم أخذ العينات من التوزيعات الخلفية والأولية غير القابلة للحل للمتغيرات الخفية باستخدام ديناميكيات لانغفيه (Langevin Dynamics). بالإضافة إلى ذلك، يمكننا بسهولة الحصول على خريطة عدم اليقين بكامل البكسل من صورة باستخدام نموذج التحويل البصري الجينراتيفي، والتي تشير إلى ثقة النموذج في التنبؤ بالبروز من الصورة. على عكس النماذج الجينراتيفية الموجودة التي تعريف أولوية التوزيع للمتغيرات الخفية كتوزيع غاوساني بسيط ومتماثل، يستخدم نموذجنا أولوية طاقوية معلوماتية يمكن أن تكون أكثر تعبيراً لالتقاط فضاء المتغيرات الخفية للبيانات. نطبق الإطار المقترح على مهام الكشف عن الأشياء البارزة لكل من الصور RGB والصور RGB-D. تظهر النتائج التجريبية الواسعة أن إطاراتنا يمكن أن تحقق ليس فقط تنبؤات دقيقة بالبروز ولكن أيضاً خرائط عدم يقين ذات معنى تتوافق مع الإدراك البشري.