التحديد الكائن لتعابير الإشارة باستخدام الاتساق المُدرك للوصف

التعبيرات الإشارية هي وصفات بلغة طبيعية تُحدد كائنًا معينًا داخل مشهد ما، وتُستخدم على نطاق واسع في محادثاتنا اليومية. في هذا العمل، نركز على تجزئة الكائن في صورة محددة بواسطة تعبير إشارة. ولتحقيق ذلك، نقترح شبكة فهم قابلة للتدريب من النهاية إلى النهاية، تتكون من معالجات لغوية ومرئية لاستخراج تمثيلات الميزات من كلا المجالين. ونُقدِّم مرشحات ديناميكية واعية بالمكان لنقل المعرفة من النص إلى الصورة، وتمكّننا من التقاط المعلومات المكانية للكائن المحدد بشكل فعّال. ولتحسين التواصل بين الوحدات اللغوية والمرئية، نستخدم شبكة توليد وصف (Caption Generation) تأخذ الميزات المشتركة بين المجالين كمدخلات، وتحسّن التمثيلات في كلا المجالين من خلال توافق يُجبر الجملة المولّدة على أن تكون مشابهة للتّعبير الإشاري المعطى. وقد قمنا بتقييم الإطار المقترح على مجموعتي بيانات لتعبيرات إشارة، وأظهرنا أن طريقة التّنفيذ لدينا تتفوّق على الخوارزميات الرائدة في مجالها.