HyperAIHyperAI

Command Palette

Search for a command to run...

تعلم التمثيلات الكثيفة للعبارات على نطاق واسع

Jinhyuk Lee Mujeen Sung Jaewoo Kang Danqi Chen

الملخص

يمكن إعادة صياغة إجابة الأسئلة في النطاق المفتوح كمشكلة استرجاع العبارات، دون الحاجة إلى معالجة المستندات عند الحاجة أثناء الاستنتاج (Seo et al., 2019). ومع ذلك، تعتمد النماذج الحالية لاسترجاع العبارات بشكل كبير على التمثيلات النادرة، وتظل تُظهر أداءً أقل من نماذج الاسترجاع-القراءة. في هذه الدراسة، نُظهر لأول مرة أنه يمكننا تعلُّم تمثيلات كثيفة للعبارات وحدها، والتي تحقق أداءً أقوى بشكل كبير في مهام إجابة الأسئلة في النطاق المفتوح. نقدّم طريقة فعّالة لتعلم تمثيلات العبارات من خلال الإشراف على مهام فهم القراءة، مدعومة بأساليب جديدة لاختيار العينات السلبية. كما نقترح استراتيجية لتحسين التخصيص من جانب الاستعلام، التي تدعم التعلم الانتقالي وتقلل من الفجوة بين التدريب والاستنتاج. على خمسة مجموعات بيانات شهيرة لمهام إجابة الأسئلة في النطاق المفتوح، تتفوّق نموذجنا DensePhrases على النماذج السابقة لاسترجاع العبارات بنسبة 15% إلى 25% من حيث الدقة المطلقة، وتحقيق أداءً مماثلاً للنماذج الرائدة في مجال الاسترجاع-القراءة. يُعد نموذجنا سهل التوازي بسبب استخدامه التمثيلات الكثيفة فقط، ويُعالج أكثر من 10 أسئلة في الثانية على وحدات المعالجة المركزية (CPU). وأخيرًا، نستخدم تمثيلات العبارات الكثيفة المُفهرسة مسبقًا مباشرة في مهام تعبئة الحقول (slot filling)، مما يُظهر القدرة الواعدة لاستخدام DensePhrases كقاعدة معرفة كثيفة للمهام اللاحقة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp