Panoptic-PartFormer: تعلم نموذج موحد لتقسيم الأجزاء البانورامية

الترجمة:يهدف تقسيم الأجزاء البانورامي (PPS) إلى توحيد تقسيم البانوراما وتقسيم الأجزاء في مهمة واحدة. كانت الأعمال السابقة تعتمد بشكل أساسي على نهج منفصل لمعالجة التوقعات الخاصة بالأشياء والمادة والأجزاء دون إجراء أي حساب مشترك أو ربط بين المهام. في هذا العمل، نسعى إلى توحيد هذه المهام على المستوى المعماري، بتصميم أول طريقة موحدة ومتكاملة تُسمى Panoptic-PartFormer. وبشكل خاص، مستوحين من التقدم الحديث في مجال Vision Transformer، نقوم بنمذجة الأشياء والمادة والأجزاء كاستعلامات أشياء ونتعلم مباشرةً لتحسين جميع التوقعات الثلاثة كمشكلة تقسيم وتصنيف موحدة. نصمم محكّمة فك الارتباط لتوليد خصائص الأجزاء وخواص الأشياء والمادة على التوالي. ثم نقترح استخدام جميع الاستعلامات والخصائص المرتبطة بها للقيام بالاستدلال المشترك والتدريجي. يمكن الحصول على القناع النهائي عبر الجداء الداخلي بين الاستعلامات والخصائص المرتبطة بها. تثبت الدراسات التجريبية الواسعة والتحليل فعالية إطارنا العمل. يحقق Panoptic-PartFormer لدينا أفضل النتائج الحالية في كل من مجموعتي البيانات Cityscapes PPS وPascal Context PPS مع انخفاض بنسبة لا تقل عن 70٪ في GFlops و50٪ في عدد المعلمات. وبشكل خاص، نحصل على تحسينات نسبية بنسبة 3.4٪ باستخدام هيكل ResNet50 الأساسي وتحسينات بنسبة 10٪ بعد اعتماد Swin Transformer في مجموعة بيانات Pascal Context PPS. حسب علم us، نحن أول من حل مشكلة PPS عبر \textit{نموذج Transformer موحد ومتكامل}. بالنظر إلى فعاليته وبساطته المفاهيمية، نأمل أن يكون Panoptic-PartFormer لدينا قاعدة جيدة وأن يساعد في البحث الموحد المستقبلي حول PPS. يمكن الوصول إلى شفرتنا البرمجية وأنظمتنا من خلال الرابط: https://github.com/lxtGH/Panoptic-PartFormer.لاحظ أن "us" في الجملة "حسب علم us" قد تكون خطأ إملائي أو غير مقصود، حيث يجب أن تكون "نا" باللغة العربية لتعني "نحن". إذا كان هذا هو الحال، فالجملة الصحيحة ستكون: "حسب علمنا".إذا كنت تحتاج إلى أي تعديلات أو توضيحات إضافية، فلا تتردد في طلبها!