تمييز اليسار عن اليمين: تحديد التوافق الدلالي الواعي للهندسة

بينما أظهرت النماذج المرئية الكبيرة المدربة مسبقًا وعودًا كبيرة في مجال التوافق الدلالي، فإن خصائصها غالبًا ما تواجه صعوبة في فهم الهندسة والتوجيه للعناصر. يحدد هذا البحث أهمية الوعي بالهندسة للتوافق الدلالي ويكشف عن قصور في خصائص النماذج الأساسية الحالية عند الخضوع لمعالجة ما بعد بسيطة. نوضح أن دمج هذه المعلومات يمكن أن يعزز بشكل ملحوظ أداء التوافق الدلالي من خلال حلول بسيطة ولكن فعالة في كل من الإعدادات بدون تدريب (zero-shot) والمرقمة. كما قمنا ببناء معيار جديد ومثير للتحدي للتوافق الدلالي مستند إلى مجموعة بيانات موجودة لتقدير وضع الحيوانات، وذلك لتدريب النماذج مسبقًا وتحقق صحتها. حققت طريقة البحث لدينا درجة [email protected] قدرها 65.4 (بدون تدريب) و85.6 (مرقمة) على مجموعة البيانات الصعبة SPair-71k، مما يتفوق على أفضل التقنيات الموجودة بمكاسب مطلقة تبلغ 5.5 نقطة و11.0 نقطة على التوالي. الرمز البرمجي ومجموعات البيانات الخاصة بنا متاحة بشكل عام على الرابط: https://telling-left-from-right.github.io/.