التوجيه بالعلامة لنقل المعرفة في التصنيف الدلالي المستمر للصور ثنائية الأبعاد وسحوبات النقاط ثلاثية الأبعاد

يهدف التصنيف الشكلي المستمر (CSS) إلى توسيع نموذج موجود لمعالجة المهام غير المرئية مع الحفاظ على المعرفة القديمة. يؤدي التخصيص البسيط للنموذج القديم على بيانات جديدة إلى نسيان كارثي. ويعتبر التحصيل المعرفي (KD) حلاً شائعاً، حيث يتم تنظيم توزيع الناتج للنموذج الجديد ليكون مشابهاً لتوزيع الناتج للنموذج القديم. ومع ذلك، فإن هذه الطريقة تواجه صعوبات في سياق CSS بسبب مشكلة انزياح الخلفية. إذ ما زالت الطرق القائمة على التحصيل المعرفي في CSS تعاني من التباس بين الفئة الخلفية والفئات الجديدة، نظراً لفشلها في إقامة تطابق موثوق بين الفئات أثناء التحصيل. ولحل هذه المشكلة، نقترح خسارة جديدة تُسمى التحصيل المعرفي الموجهة بالعلامة (LGKD)، حيث يتم توسيع مخرجات النموذج القديم ونقلها (بإشراف العلامة الحقيقية) لتكوين تطابق شكلي مناسب مع مخرجات النموذج الجديد. وبذلك، يمكن استخلاص المعرفة المفيدة من النموذج القديم بشكل فعّال إلى النموذج الجديد دون التسبب في أي التباس. أجرينا تجارب واسعة على بُنيتين شائعتين لـ CSS، وهما Pascal-VOC وADE20K، حيث حققنا تحسّناً كبيراً في أداء ثلاث طرق منافسة، وبشكل خاص في مؤشر mIoU للأنواع الجديدة، بنسبة تصل إلى +76%، مما يُحدّد حالة جديدة من أفضل الأداء. وأخيراً، لتأكيد قدرة التعميم، نقدّم أول معيار لـ CSS مبني على السحابة ثلاثية الأبعاد باستخدام بيانات ScanNet، إلى جانب عدة نماذج مُعاد تنفيذها للمقارنة. تُظهر التجارب أن LGKD تُظهر مرونة عالية في كلا المودالتين ثنائية وثلاثية الأبعاد، دون الحاجة إلى تصميم خاص لكل حالة. يمكن الوصول إلى الكود عبر الرابط: https://github.com/Ze-Yang/LGKD.