DiffCSE: التعلم التناقضي القائم على الفرق لتمثيل الجمل

نُقدِّم DiffCSE، وهي إطار عمل للتعلم المتناظر غير المُشرَّف لتعلم تمثيلات الجمل. يتعلم DiffCSE تمثيلات الجمل التي تكون حساسة للفرق بين الجملة الأصلية والجملة المعدّلة، حيث تُحصل على الجملة المعدّلة عن طريق إزالة عشوائية للجملة الأصلية ثم أخذ عينات من نموذج لغوي مُقنّع. نُظهر أن DiffCSE يُعدّ حالة خاصة من التعلم المتناظر المُتَماثِل (Dangovski et al., 2021)، والذي يعمّم التعلم المتناظر ويتعلم تمثيلات تكون غير حساسة لبعض أنواع التحويلات، وحساسة لأنواع أخرى "ضارة" من التحويلات. تُظهر تجاربنا أن DiffCSE تحقق أفضل النتائج بين الطرق غير المُشرَّفة لتمثيل الجمل، وتتفوّق على SimCSE غير المُشرَّف بـ 2.3 نقطة مطلقة في مهام التشابه النصي المعنوي.