SegGPT: تقسيم كل شيء في السياق

نقدم SegGPT، وهو نموذج عام لتقسيم كل شيء في السياق. نحن نوحّد مهام التقسيم المختلفة في إطار تعلم عام يعتمد على السياق، والذي يتكيف مع أنواع مختلفة من بيانات التقسيم عن طريق تحويلها إلى صيغة الصور نفسها. يتم صياغة تدريب SegGPT كمشكلة تلوين تعتمد على السياق باستخدام خريطة ألوان عشوائية لكل عينة بيانات. الهدف هو إنجاز مهام متنوعة وفقًا للسياق، بدلاً من الاعتماد على ألوان محددة. بعد التدريب، يمكن لـ SegGPT تنفيذ مهام تقسيم عشوائية في الصور أو الفيديوهات عبر استدلال يعتمد على السياق، مثل تقسيم النماذج المادية (object instance)، المواد (stuff)، الأجزاء (part)، الخطوط المحيطية (contour) والنص (text). تم تقييم SegGPT في مجموعة واسعة من المهام، بما في ذلك تقسيم الدلائل القليلة دلاليًا (few-shot semantic segmentation)، تقسيم الأشياء في الفيديو (video object segmentation)، التقسيم الدلالي (semantic segmentation) والتقسيم البانورامي (panoptic segmentation). تظهر نتائجنا قدرات قوية في تقسيم الأهداف داخل المجال وخارجه، سواءً بشكل نوعي أو كمي.