HyperAIHyperAI
منذ 2 أشهر

الشبكات الرسمية المشروطة باللغة للتفكير العلائقي

Ronghang Hu; Anna Rohrbach; Trevor Darrell; Kate Saenko
الشبكات الرسمية المشروطة باللغة للتفكير العلائقي
الملخص

حل مهام اللغة المبنية على السياق غالباً ما يتطلب التفكير في العلاقات بين الأشياء في سياق المهمة المعطاة. على سبيل المثال، للإجابة على السؤال "ما لون الكوب الموجود على الطبق؟" يجب علينا التحقق من لون الكوب المحدد الذي يحقق العلاقة "على" بالنسبة للطبق. قد اقترح العمل الحديث العديد من الطرق القادرة على إجراء تفكير علاقاتي معقد. ومع ذلك، فإن معظم قوتهم تكمن في هيكل الاستدلال، بينما يتم تمثيل المشهد باستخدام خصائص ظاهرية محلية بسيطة. في هذا البحث، نتبع نهجاً بديلاً ونبني تمثيلات سياقية للأجسام في مشهد بصري لدعم التفكير العلاقتي. نقترح إطار عمل عام للشبكات الرسومية المشروطة باللغة (LCGN)، حيث يمثل كل عقدة جسماً، ويتم وصفها بتمثيل يعي السياق من خلال رسائل متكررة تأتي من الأجسام ذات الصلة مشروطة بالمدخل النصي. مثلاً، عند الشرط بالعلاقة "على" مع الطبق، يجمع الجسم "الكوب" رسائل من الجسم "الطبق" لتحديث تمثيله إلى "كوب على الطبق"، مما يمكن استهلاكه بسهولة بواسطة تصنيف بسيط لتوقع الإجابة. نظهر تجريبياً أن نهجنا LCGN يدعم بشكل فعال التفكير العلاقتي ويعزز الأداء عبر عدة مهمات ومجموعات بيانات. رمزنا متاح على الرابط http://ronghanghu.com/lcgn.