COCO-Stuff: فئات الأشياء والمادة في السياق

التصنيفات الدلالية يمكن أن تكون إما أشياء (كائنات ذات شكل محدد جيدًا، مثل السيارة، الشخص) أو مواد (مناطق خلفية غير محددة الشكل، مثل العشب، السماء). بينما تركز العديد من أعمال التصنيف والكشف على فئات الأشياء، فقد حظيت فئات المواد باهتمام أقل. ومع ذلك، فإن فئات المواد مهمة لأنها تسمح بشرح جوانب مهمة في الصورة، بما في ذلك: (1) نوع المشهد؛ (2) أي فئات للأشياء من المحتمل أن تكون موجودة وموقعها (من خلال الاستدلال السياقي)؛ (3) الخصائص الفيزيائية وأنواع المواد والخصائص الهندسية للمشهد.لفهم المواد والأشياء في سياقها، نقدم COCO-Stuff، والذي يزيد من جميع صور COCO البالغ عددها 164 ألفًا في مجموعة البيانات لعام 2017 بAnnotations بكسلية لـ 91 فئة من المواد. نقدم بروتوكولًا كفاءً لل Annotations المواد يستند إلى السوبربيكسلات (superpixels)، مما يستفيد من Annotations الأشياء الأصلية. نقيس توازن السرعة مقابل الجودة في بروتوكولنا ونستكشف العلاقة بين وقت ال Annotations والتعقيد الحدودي.بالإضافة إلى ذلك، نستخدم COCO-Stuff لتحليل: (أ) أهمية فئات المواد والأشياء من حيث تغطيتها للسطح وكيفية ذكرها بشكل متكرر في عناوين الصور؛ (ب) العلاقات المكانية بين المواد والأشياء، مع التركيز على العلاقات السياقية الغنية التي تميز مجموعتنا من البيانات؛ (ج) أداء طريقة حديثة للتقطيع الدلالي على فئات المواد والأشياء، وما إذا كانت المواد أسهل في التقطيع من الأشياء.