التفكيك التصنيفي المعتمد على الكلمة المفتوحة باستخدام شبكة ذات عملية واحدة منفصلة

في الآونة الأخيرة، أصبح موضوع التجزئة الدلالية ذات المفردات المفتوحة محل اهتمام متزايد، وتعتمد أفضل الطرق الأداء على الشبكات ذات التدفق المزدوج: حيث يُستخدم تدفق واحد لإنشاء قناعات الاقتراحات، بينما يستخدم التدفق الآخر لتصنيف التجزئات باستخدام نموذج بصري-لغوي مُدرّب مسبقًا. ومع ذلك، تتطلب الطرق ذات التدفق المزدوج الحالية إدخال عدد كبير جدًا من القطع الصغيرة للصورة (تصل إلى مئة قطعة) إلى النموذج البصري-اللغوي، وهو ما يُعد غير فعّال للغاية. ولحل هذه المشكلة، نقترح شبكة تتطلب فقط عملية واحدة عبر النموذج البصري-اللغوي لكل صورة مدخلة. بشكل محدد، نُقدّم أولاً منهجية جديدة لتعديل الشبكة تُسمّى "فصل البُقع" (patch severance)، والتي تهدف إلى تقليل التداخل الضار بين تمثيلات البُقع في المُشفّر البصري المُدرّب مسبقًا. ثم نُقدّم تعلّم المُحاور التصنيفية (classification anchor learning)، الذي يشجع الشبكة على التركيز المكاني على ميزات أكثر تمييزًا لغرض التصنيف. أظهرت التجارب الواسعة أداءً متميزًا للطريقة المقترحة، حيث تفوقت على أفضل الطرق الحالية مع تسريع في عملية الاستنتاج بنسبة تتراوح بين 4 إلى 7 أضعاف. الكود: https://github.com/CongHan0808/DeOP.git