HyperAIHyperAI
منذ 2 أشهر

إعادة ترتيب النصوص باستخدام BERT

Rodrigo Nogueira; Kyunghyun Cho
إعادة ترتيب النصوص باستخدام BERT
الملخص

في الآونة الأخيرة، حققت النماذج العصبية المدربة مسبقًا على مهمة نمذجة اللغة، مثل ELMo (Peters等人,2017)، OpenAI GPT (Radford等人,2018)، و BERT (Devlin等人،2018)، نتائج مثيرة للإعجاب في مجموعة متنوعة من مهام معالجة اللغة الطبيعية مثل الإجابة على الأسئلة والاستدلال باللغة الطبيعية. في هذا البحث، نصف إعادة تنفيذ بسيطة لـ BERT لأغراض إعادة ترتيب المقاطع بناءً على الاستعلامات. نظامنا يعتبر الأحدث والأكثر تقدمًا في مجموعة بيانات TREC-CAR وفي قائمة أفضل المشاركين في مهمة استرجاع المقاطع الخاصة بـ MS MARCO، حيث يتفوق بنسبة 27٪ (نسبية) على الحالة السابقة الأكثر تقدمًا في MRR@10. الرمز البرمجي لإعادة إنتاج نتائجنا متاح على الرابط: https://github.com/nyu-dl/dl4marco-bert注释:为了更好地适应阿拉伯语的表达习惯,"Peters等人"、"Radford等人" 和 "Devlin等人" 在阿拉伯语中通常会直接使用英文原名,因此在实际翻译中应为 "Peters et al."、"Radford et al." 和 "Devlin et al."。以下是调整后的翻译:في الآونة الأخيرة، حققت النماذج العصبية المدربة مسبقًا على مهمة نمذجة اللغة، مثل ELMo (Peters et al., 2017)، OpenAI GPT (Radford et al., 2018)، و BERT (Devlin et al., 2018)، نتائج مثيرة للإعجاب في مجموعة متنوعة من مهام معالجة اللغة الطبيعية مثل الإجابة على الأسئلة والاستدلال باللغة الطبيعية. في هذا البحث، نصف إعادة تنفيذ بسيطة لـ BERT لأغراض إعادة ترتيب المقاطع بناءً على الاستعلامات. نظامنا يعتبر الأحدث والأكثر تقدمًا في مجموعة بيانات TREC-CAR وفي قائمة أفضل المشاركين في مهمة استرجاع المقاطع الخاصة بـ MS MARCO، حيث يتفوق بنسبة 27٪ (نسبية) على الحالة السابقة الأكثر تقدمًا في MRR@10. الرمز البرمجي لإعادة إنتاج نتائجنا متاح على الرابط: https://github.com/nyu-dl/dl4marco-bert

إعادة ترتيب النصوص باستخدام BERT | أحدث الأوراق البحثية | HyperAI