Sentence-BERT: تمثيل الجمل باستخدام شبكات BERT التوأم

BERT (Devlin et al., 2018) و RoBERTa (Liu et al., 2019) قد أقاما معيارًا جديدًا في الأداء على مهام الانحدار بين الجمل مثل تشابه النصوص الدلالي (STS). ومع ذلك، يتطلبان إدخال كلتا الجملتين إلى الشبكة، مما يؤدي إلى زيادة كبيرة في التكلفة الحسابية: البحث عن الزوج الأكثر تشابهًا في مجموعة تحتوي على 10,000 جملة يستغرق حوالي 50 مليون عملية استدلال (~65 ساعة) باستخدام BERT. بناء BERT يجعله غير مناسب للبحث عن التشابه الدلالي وكذلك للمهام غير المراقبة مثل التجميع.في هذه الدراسة، نقدم Sentence-BERT (SBERT)، وهو تعديل على الشبكة المدربة مسبقًا BERT يستخدم هياكل شبكات توأمية وثلاثية لاستخراج تمثيلات جمل ذات معنى دلالي يمكن مقارنتها باستخدام تشابه الكوسين. هذا يقلل من الجهد المطلوب للعثور على الزوج الأكثر تشابهًا من 65 ساعة باستخدام BERT / RoBERTa إلى حوالي 5 ثوانٍ باستخدام SBERT، مع الحفاظ على الدقة التي توفرها BERT.نقيم SBERT و SRoBERTa في مهام STS الشائعة وفي مهام التعلم بالنقل، حيث يتفوقان على طرق تمثيل الجمل الأخرى التي تعتبر من أفضل ما هو متاح حاليًا.