InfoSeg: التجزئة الصورية المعنى غير المراقبة مع تحسين المعلومات التبادلية

نُقدّم طريقةً جديدةً لتصنيف الصور الشاملة معانيًا دون استخدام تدريب مُعلَّم، تعتمد على تكبير المعلومات التبادلية بين السمات عالية المستوى المحلية والعالمية للصورة. تكمن الفكرة الأساسية في عملنا في الاستفادة من التقدّم الأخير في تعلّم تمثيلات الصور ذاتية التدريب. تُحسب أساليب تعلّم التمثيل ميزة عالية المستوى واحدة فقط تمثل الصورة بأكملها. في المقابل، نحسب عدة ميزات عالية المستوى، حيث تمثل كل ميزة قطعة صورة محددة تُمثّل فئة معنوية معينة. ولتحقيق ذلك، نقترح إجراءً تعلّميًا ثنائي الخطوات يتضمّن خطوة تصنيف وخطوة تكبير المعلومات التبادلية. في الخطوة الأولى، نُصنّف الصور بناءً على السمات المحلية والعالمية. وفي الخطوة الثانية، نُكثّف المعلومات التبادلية بين السمات المحلية وسمات المستوى العالي المقابلة لفئاتها. أما في التدريب، فنُقدّم فقط صورًا غير مُصنّفة ونبدأ من مُعطيات مُبادئ شبكة عشوائية. ولتقييم كمي ونوعي، نستخدم معايير مُثبتة، بالإضافة إلى مجموعة بيانات COCO-Persons، التي نقدّمها في هذه الورقة كمعيار جديد صعب التحدي. ويتفوّق InfoSeg بشكل كبير على أحدث النماذج الحالية، حيث نحقّق زيادة نسبية تبلغ 26٪ في معيار دقة البكسل (Pixel Accuracy) على مجموعة بيانات COCO-Stuff.