الربط بين تصنيف المستوى الفئوي ومستوى المثال في تقسيم الصور الدلالي

نقترح نهجًا للتقسيم الصوري على مستوى الحالة الفردية يعتمد على التقسيم الصوري على مستوى الفئة. بتحديد، بالنسبة لكل بكسل في قناع فئة معنى، يتم التنبؤ بصندوق الحدود المقابل له باستخدام شبكة انحدار تلافيفية بالكامل عميقة. وبذلك يتبع هذا النهج مسارًا مختلفًا عن الأساليب الشائعة التي تتضمن الكشف أولاً ثم التقسيم، والتي تعتبر أفضل ما وصل إليه العلم حاليًا في مجال التقسيم الفردي. نوضح أن، من خلال الاستفادة من قوة نماذج التقسيم الصوري المعنى لدينا التي تعد الأفضل حاليًا، يمكن للطريقة المقترحة تحقيق نتائج مكافئة أو حتى أفضل من أساليب الكشف أولاً ثم التقسيم.نقدم المساهمات التالية:(أ) أولاً، نقترح طريقة بسيطة ومعتمدة لتقسيم الحالة الفردية الصورية.(ب) ثانيًا، نقترح طريقة تعزيز عبر الإنترنت أثناء التدريب، وهي مهمة للغاية لتحقيق أداء جيد في كل من تقسيم فئات المعنى والتقسيم على مستوى الحالة الفردية.(ج) بما أن أداء تقسيم فئات المعنى له تأثير كبير على التقسيم على مستوى الحالة الفردية، وهو الخطوة الثانية في نهجانا، فقد قمنا بتدريب شبكات متبقية تلافيفية بالكامل لتحقيق أعلى دقة في تقسيم فئات المعنى. وعلى مجموعة بيانات PASCAL VOC 2012، حققنا أفضل درجة متوسطة لتقاطع فوق الاتحاد (mean intersection-over-union) حتى الآن وهي 79.1%.(د) كما حققنا أفضل النتائج المتاحة حاليًا في مجال التقسيم على مستوى الحالة الفردية.