تقسيم الكائنات المعروفة والغير معروفة غير المعروفة دون معرفة مسبقة

تُعيّن طرق التجزئة البانوبتيكية فئة معروفة لكل بكسل مُقدّم كمدخل. وحتى بالنسبة للطرق المتطورة حديثًا، فإن هذا يفرض بالضرورة قرارات تؤدي بشكل منهجي إلى تنبؤات خاطئة بالنسبة للكائنات التي لا تنتمي إلى الفئات المُدرّبة. ومع ذلك، فإن المقاومة أمام العينات الخارجة عن التوزيع (out-of-distribution) والسيناريوهات الحادة أمر بالغ الأهمية في السياقات الحرجة من حيث السلامة، لتفادي عواقب خطيرة. وبما أن مجموعات البيانات الواقعية لا يمكنها احتواء عدد كافٍ من النقاط لاستخلاص عينات تمثيلية للذيل الطويل للتوزيع الكامن وراءها، يجب أن تكون النماذج قادرة على التعامل مع السيناريوهات غير المرئية والمجهولة أيضًا. سبق أن ركّزت الطرق السابقة على هذا التحدي من خلال إعادة تحديد الكائنات غير المُصنفة التي تم رؤيتها سابقًا. في هذا العمل، نقترح الخطوة الضرورية لتوسيع التجزئة عبر إدخال إعداد جديد نسميه "التجزئة الشمولية" (holistic segmentation). تهدف التجزئة الشمولية إلى تحديد وفصل الكائنات التي تنتمي إلى فئات غير مرئية ومجهولة إلى كائنات منفصلة، دون أي معرفة مسبقة عنها، مع إجراء التجزئة البانوبتيكية للفئات المعروفة. نعالج هذه المشكلة الجديدة باستخدام نموذج U3HS، الذي يُحدّد الكائنات غير المعروفة كمناطق ذات عدم يقين مرتفع، ويجمّع تمثيلات الكائنات المُدركة في مجموعات منفصلة تمثل كائنات فردية. وبذلك، تكون U3HS أول نموذج يُدرّب في مجال التجزئة البانوبتيكية مع كائنات غير معروفة دون الحاجة إلى تضمين فئات غير معروفة في التدريب، مما يقلل من الافتراضات ويجعل البيئة أكثر تحررًا، وفقًا لأقرب ما يمكن للسيناريوهات الحقيقية. أظهرت تجارب واسعة على بيانات عامة من MS COCO وCityscapes وLost&Found فعالية U3HS في هذا الإعداد الجديد، والصعب، والخالٍ من الافتراضات، المسمى التجزئة الشمولية. صفحة المشروع: https://holisticseg.github.io.