TokenCut: تقسيم الأشياء في الصور والفيديوهات باستخدام متحول ذاتي الإشراف وتقنيات القطع المُعَمَّر

في هذا البحث، نصف خوارزمية قائمة على الرسوم البيانية تستخدم الخصائص المستخرجة بواسطة متحول ذاتي الإشراف للكشف عن وتقسيم الأشياء البارزة في الصور والفيديوهات. بفضل هذه الطريقة، يتم تنظيم الأجزاء التي تشكل صورة أو فيديو إلى رسم بياني متصل بالكامل، حيث يتم وضع علامة على الحافة بين كل زوج من الأجزاء بدرجة التشابه بين الأجزاء باستخدام الخصائص التي تعلمها المتحول. ثم يتم صياغة الكشف عن وتقطيع الأشياء البارزة كمشكلة قطع الرسم البياني ويتم حلها باستخدام خوارزمية القطع المُعَدَّلة (Normalized Cut) التقليدية. رغم بساطة هذه الطريقة، فإنها تحقق نتائج رائدة في عدة مهام شائعة للكشف عن وتقطيع الصور والفيديوهات. بالنسبة لاكتشاف الأشياء دون إشراف، تتفوق هذه الطريقة على الأساليب المنافسة بنسبة 6.1٪، 5.7٪ و2.6٪ على التوالي عند اختبارها مع مجموعات البيانات VOC07، VOC12 وCOCO20K. فيما يتعلق بمهمة اكتشاف البارزة دون إشراف في الصور، يحسن هذا الأسلوب درجة تقاطع فوق الاتحاد (Intersection over Union - IoU) بنسبة 4.4٪، 5.6٪ و5.2٪ عند اختباره مع مجموعات البيانات ECSSD، DUTS وDUT-OMRON على التوالي، مقارنة بالأساليب الرائدة حاليًا. كما يحقق هذا الأسلوب نتائج تنافسية في مهام تقسيم الأشياء البارزة في الفيديوهات دون إشراف باستخدام مجموعات البيانات DAVIS، SegTV2 وFBMS.