التعلم التلقائي الكامل للترميز الدلالي

في هذه الدراسة، نقدم إطارًا شاملاً ذاتي التدريب للتصنيف الدلالي (FS⁴). إن الاستراتيجية الشاملة للتمرين المستقلة (bootstrapped) للتصنيف الدلالي، التي تُقلل من الجهد المطلوب في التصنيف الكمي الكبير، تُعد أمرًا بالغ الأهمية لبناء نماذج مخصصة من البداية إلى النهاية في البيئات المفتوحة. ويتطلب هذا التطبيق بشكل عاجل تطبيقات واقعية. وعلى الرغم من التقدم الكبير الذي حققته الطرق الحديثة للتصنيف الدلالي الذاتي التدريب، إلا أن هذه الدراسات تعتمد بشكل كبير على نماذج مُدرّبة مسبقًا باستخدام تسميات كاملة، مما يجعل من المستحيل تحقيق عملية تدريب شاملة ذاتيًا. ولحل هذه المشكلة، قمنا بتطوير خطة تدريب مبنية على التمرين التلقائي للتصنيف الدلالي، استغلت بشكل كامل المعرفة الدلالية الشاملة للتدريب الذاتي من خلال الاستراتيجية المقترحة PGG والوحدة CAE. وبشكل خاص، نُجري تجميعًا وتعيينًا للبكسلات لتوفير إشراف للتصنيف الدلالي. ولمنع التجميع من أن يصبح فوضويًا، اقترحنا ما يلي: 1) استراتيجية تدريب مبنية على التوجيه الهرمي-الشامل (PGG) لتوجيه عملية التعلم باستخدام تسميات وهمية على مستوى الصورة/القطعة الهرمية، والتي تُولَّد من خلال تجميع الميزات غير المُسَمَّاة. وتساهم التسميات الوهمية الدلالية المستقرة على المستويات الهرمية والشاملة في منع التصنيف من التعلم على مناطق تشويش كثيرة أو التدهور إلى منطقة خلفية واحدة؛ 2) بالإضافة إلى ذلك، اقترحنا وحدة تضمين مُراعية للسياق (CAE) لتوليد تضمينات ميزات شاملة بطريقة غير بديهية، مع أخذ الجيران القريبين من حيث المكان والملامح في الاعتبار. وقد قمنا بتجريب طريقة التصميم المقترحة على مجموعة بيانات COCO-Stuff الواسعة النطاق، وحققنا تحسنًا في مقياس mIoU بلغ 7.19 نقطة لكل من الكائنات المادية (things) والمواد (stuff).