DMM-Net: شبكة مطابقة الأقنعة القابلة للمفاضلة لفصل الكائنات في الفيديو

في هذا البحث، نقترح شبكة التوافق القابلة للمفاضلة (DMM-Net) لحل مشكلة تقسيم الأشياء في الفيديو حيث يتم توفير أقنعة الأشياء الأولية. بالاعتماد على هيكل Mask R-CNN، نستخرج اقتراحات الأقنعة لكل إطار ونقوم بصياغة توافق بين قوالب الأشياء والاقتراحات في خطوة زمنية واحدة كمشكلة تعيين خطي، حيث يتم التنبؤ بمصفوفة التكلفة بواسطة شبكة عصبية م convoled neural network (CNN). نقترح طبقة توافق قابلة للمفاضلة من خلال فك خوارزمية الانحدار التدرجي المُسْتَقْرَأَة (unrolled projected gradient descent algorithm)، حيث يستخدم الإسقاط خوارزمية دايكسترا (Dykstra's algorithm). نثبت أن تحت ظروف معتدلة، يُضمن التوافُق للوصول إلى الأمثل. عمليًا، يؤدي أداءه بشكل مشابه لخوارزمية هنغاري (Hungarian algorithm) أثناء الاستدلال. وفي الوقت نفسه، يمكننا العودة إلى الوراء من خلاله لتعلم مصفوفة التكلفة. بعد التوافق، يتم استخدام رأس التعديل لتحسين جودة القناع المطابق. تحقق شبكتنا DMM-Net نتائج تنافسية على أكبر مجموعة بيانات لتقسيم الأشياء في الفيديو وهي YouTube-VOS. على مجموعة بيانات DAVIS 2017، تحقق DMM-Net أفضل الأداء دون تعلم عبر الإنترنت على الإطارات الأولى. بدون أي ضبط دقيق، يُؤدي DMM-Net أداءً مماثلًا لأحدث الأساليب على مجموعة بيانات SegTrack v2. وأخيرًا، طبقتنا للتوافق سهلة التنفيذ للغاية؛ نرفق كود PyTorch (أقل من 50 سطرًا) في المواد المكملة. تم إصدار كودنا على الرابط: https://github.com/ZENGXH/DMM_Net.请注意，这里有一些术语在阿拉伯语中可能没有完全对应的翻译，因此我在括号中标注了原文以确保信息的完整性。例如“unrolled projected gradient descent algorithm”和“Dykstra's algorithm”。希望这能帮助您更好地理解这些技术细节。