توحيد التدفق والتقدير الثنائي البعد وتقدير العمق

نقدم صياغة ونموذج موحدان لثلاثة مهام في الحركة وإدراك ثلاثي الأبعاد: التدفق البصري، ومطابقة الاستريو المصححة، وتقدير عمق الاستريو غير المصحح من الصور المعروضة. على عكس الهياكل المتخصصة السابقة لكل مهمة محددة، نصوغ جميع هذه المهام كمشكلة موحدة لمطابقة التوافق الكثيف، والتي يمكن حلها باستخدام نموذج واحد عبر المقارنة المباشرة للمشابهة بين الخصائص. تتطلب مثل هذه الصياغة تمثيلات خصائص تمييزية، والتي نحققها باستخدام محول (Transformer)، وبشكل خاص آلية الانتباه المتبادل (Cross-Attention Mechanism). نوضح أن الانتباه المتبادل يمكّن من دمج المعرفة من صورة أخرى عبر التفاعلات العرضية، مما يحسن بشكل كبير جودة الخصائص المستخرجة. يتيح نموذجنا الموحد بشكل طبيعي النقل بين المهام لأن هندسة النموذج والمعلمات مشتركة بين المهام. نتفوق على RAFT بنموذجنا الموحد في مجموعة بيانات Sintel الصعبة، ويتفوق أو يقارن نموذجنا النهائي الذي يستخدم خطوات تحسين إضافية قليلة لكل مهمة مع الأساليب الرائدة الحديثة في 10 مجموعات بيانات شهيرة للتدفق والاستريو والعمق، بينما يكون أبسط وأكثر كفاءة من حيث تصميم النموذج وسرعة الاستدلال.