التكيف المستمر للانفصال التفاعلي للكائنات من خلال التعلم من التصحيحات

في التجزئة التفاعلية للأجسام، يتعاون المستخدم مع نموذج رؤية حاسوبية لفصل جسم معين. تعتمد الدراسات الحديثة على الشبكات العصبية التلافيفية (Convolutional Neural Networks) في هذه المهمة: حيث تأخذ الصورة وقائمة من التصحيحات التي يقوم بها المستخدم كمدخلات، وتُخرِج قناع تجزئة (segmentation mask). تحقق هذه النماذج أداءً قويًا من خلال التدريب على مجموعات بيانات كبيرة، لكنها تحافظ على ثبات معاملات النموذج دون تغيير أثناء الاختبار. بدلًا من ذلك، ندرك أن تصحيحات المستخدم يمكن أن تُستخدم كأمثلة تدريب نادرة (sparse training examples)، ونُقدّم طريقة تستفيد من هذه الفكرة لتحديث معاملات النموذج فورًا وفقًا للبيانات الحالية. تتيح لنا هذه الطريقة التكيّف مع كائن معين وخلفيته، والتكيّف مع التغيرات في التوزيع (distribution shifts) في مجموعة الاختبار، والتخصيص لفئات كائنات محددة، بل وحتى التكيف مع تغيرات نطاق كبيرة، حيث يتغير نوع الوسيلة المستخدمة في التقاط الصور بين مرحلة التدريب والاختبار. أجرينا تجارب واسعة على 8 مجموعات بيانات متنوعة، وبيّنا أن: مقارنةً بنموذج يحتفظ بمعاملات ثابتة (frozen parameters)، تقلّ الحاجة إلى التصحيحات (i) بنسبة 9% إلى 30% عند حدوث تغيرات طفيفة في التوزيع بين التدريب والاختبار؛ (ii) بنسبة 12% إلى 44% عند التخصيص لفئة معينة؛ (iii) بنسبة 60% و77% عند تغيير النطاق بالكامل بين التدريب والاختبار.