VGSG: شبكة رؤية موجهة بالمعنى لمراجعة الشخص بناءً على النص

البحث عن الشخص القائم على النص (TBPS) يهدف إلى استرجاع صور للمشاة المستهدفين الموصوفة بنصوص. من الضروري لـ TBPS استخراج الخصائص المحلية الدقيقة وتوحيدها عبر الأنظمة المتعددة. تستخدم الأساليب الحالية أدوات خارجية أو تفاعلات متعددة الأنظمة مكثفة لتحقيق توافق واضح للخصائص المحلية الدقيقة عبر الأنظمة المتعددة، مما يجعلها غير فعالة ومكلفة من حيث الوقت. في هذا البحث، نقترح شبكة التوجيه البصري لمجموعات المعنى (VGSG) للبحث عن الشخص القائم على النص لاستخراج الخصائص البصرية والنصية المحلية الدقيقة بشكل جيد التوافق. في الشبكة المقترحة VGSG، نطور وحدة تعلم النص بمجموعات المعنى (SGTL) ووحدة نقل المعرفة الموجه بصرياً (VGKT) لاستخراج الخصائص المحلية النصية تحت إرشاد العلامات البصرية المحلية. في SGTL، من أجل الحصول على التمثيل النصي المحلي، نقوم بفرز الخصائص النصية من البُعد القناة بناءً على علامات المعنى في التعبير اللغوي، مما يشجع على تجميع الأنماط اللفظية المشابهة ضمنياً دون الحاجة إلى أدوات خارجية. في VGKT، يتم استخدام انتباه موجه بصرياً لاستخراج الخصائص النصية ذات الصلة بالرؤية، والتي تكون متوافقة بشكل طبيعي مع العلامات البصرية وتُسمى الخصائص النصية الموجهة بصرياً. بالإضافة إلى ذلك، نصمم نقلًا للمعرفة العلاقاتية يتضمن نقل تشابه الرؤية-اللغة ونقل احتمالية الفئة، لنشر المعلومات المتعلقة بالخصائص النصية الموجهة بصرياً إلى الخصائṣ المحلية لمجموعات المعنى بشكل متكيف. بفضل نقل المعرفة العلاقاتية، يمكن لـ VGKT تحقيق توافق بين الخواصة المحلية لمجموعات المعنى والخصائṣ المرئية المقابلة دون الحاجة إلى أدوات خارجية أو تفاعلات زوجية معقدة. أظهرت نتائج التجارب على مقعدين تحديين أن هذه الطريقة تتفوق على أفضل الأساليب الحالية.请注意，这里“مقعدين تحديين”是指两个具有挑战性的基准测试集，但为了使句子更加通顺，采用了更符合阿拉伯语表达习惯的说法。如果需要更精确的表述，可以改为“على مقعدين تحديين قياسيين”。