خلفية الماتينغ: العالم هو شاشتك الخضراء

نُقدّم طريقة لإنشاء "مَاتّ" — أي لون الخلفية الأمامية وقيمة الألفا لكل بكسل — لشخص من خلال التقاط صور أو مقاطع فيديو في بيئة يومية باستخدام كاميرا يدوية. تتطلب معظم طرق التقطيع الحالية خلفية خضراء أو إنشاء "ترماب" يدويًا لإنتاج ماتّ عالي الجودة. تظهر طرق تقطيع تلقائية دون الحاجة إلى ترماب، لكن جودتها لا تزال غير مُقارنة بالطرق التقليدية. في نهجنا الذي لا يعتمد على ترماب، نطلب من المستخدم التقاط صورة إضافية للخلفية دون وجود الموضوع في لحظة التصوير. يتطلب هذا الإجراء مقدارًا بسيطًا من التخطيط المسبق، لكنه أقل استهلاكًا للوقت مقارنة بإنشاء ترماب يدويًا. نُدرّب شبكة عميقة باستخدام خسارة متعدية (adversarial loss) للتنبؤ بالماتّ. نبدأ بتدريب شبكة تقطيع باستخدام خسارة مُراقبة على بيانات حقيقية مُولّدة بصور مُركبة اصطناعيًا. ثم، لسد الفجوة بين المجالات (domain gap) بين الصور الاصطناعية والصور الحقيقية غير المُعلّمة، نُدرّب شبكة تقطيع أخرى بمساعدة الشبكة الأولى ومحرّك (discriminator) يُقيّم جودة الصور المُركّبة. نُظهر النتائج على مجموعة واسعة من الصور والفيديوهات، ونُظهر تحسينًا ملحوظًا مقارنة بأفضل الطرق الحالية في المجال.