SimKGC: إكمال رسم المعرفة التبايني البسيط باستخدام نماذج لغة مُدرَّبة مسبقًا

يهدف اكتمال الرسم المعرفي (KGC) إلى استنتاج الروابط المفقودة من خلال التفكير في الحقائق المعروفة. تُعد الطرق القائمة على النصوص، مثل KGBERT (Yao et al., 2019)، قادرة على تعلم تمثيلات الكيانات من وصفات اللغة الطبيعية، وتملك إمكانية تنفيذ اكتمال الرسم المعرفي الاستنتاجي (inductive KGC). ومع ذلك، لا يزال أداء الطرق القائمة على النصوص يتأخر بشكل كبير مقارنةً بطرق تمثيل الرسوم البيانية مثل TransE (Bordes et al., 2013) وRotatE (Sun et al., 2019b). في هذه الورقة، نحدد أن المشكلة الأساسية تكمن في التعلم التمييزي الفعّال. ولتحسين كفاءة التعلم، نُقدّم ثلاثة أنواع من السلبيات: السلبيات داخل الحزمة (in-batch negatives)، والسلبيات المُعدّة مسبقًا (pre-batch negatives)، والسلبيات الذاتية (self-negatives) التي تعمل كشكل بسيط من السلبيات الصعبة. وبالارتباط مع خسارة InfoNCE، يمكن لنموذجنا المُقترح SimKGC أن يتفوّق بشكل كبير على الطرق القائمة على التمثيل في عدة مجموعات بيانات معيارية. وفيما يتعلق بمتوسط التردد العكسي (MRR)، نحقق تقدّمًا في مستوى الحالة الراهنة بنسبة +19% على WN18RR، و+6.8% في إعداد Wikidata5M الاستنتاجي، و+22% في إعداد Wikidata5M الاستقرائي. تم إجراء تحليلات شاملة لفهم كل مكوّن على حدة. يُمكن الوصول إلى الكود الخاص بنا عبر الرابط: https://github.com/intfloat/SimKGC.