HyperAIHyperAI
منذ 2 أشهر

التوليد المعزز للبيانات للاستدلال بالفطنة المشتركة

Yiben Yang; Chaitanya Malaviya; Jared Fernandez; Swabha Swayamdipta; Ronan Le Bras; Ji-Ping Wang; Chandra Bhagavatula; Yejin Choi; Doug Downey
التوليد المعزز للبيانات للاستدلال بالفطنة المشتركة
الملخص

التطورات الحديثة في الاستدلال الشائع تعتمد على بيانات تدريب مُشَاهَدَة بشرية على نطاق واسع لتحقيق أفضل الأداء. ومع ذلك، فإن إعداد البيانات التدريبية يدوياً هو أمر مكلف وقد ثبت أنه يُدخِل عيوب في التسميات التي يمكن للنماذج العصبية استغلالها والتكيف الزائد عليها. نقوم بدراسة G-DAUG^C، وهي طريقة جديدة لتوسيع البيانات التوليدية تهدف إلى تحقيق تعلم أكثر دقة ومتانة في البيئات ذات الموارد المحدودة. نهجنا يقوم بتوليد أمثلة اصطناعية باستخدام نماذج اللغة المسبقة التدريب، ويختار مجموعة من الأمثلة الأكثر إفادة وتعدداً لتوسيع البيانات. في التجارب التي أجريت باستخدام عدة مقاييس للاستدلال الشائع، حقق G-DAUG^C تفوقاً ثابتاً على الطرق الحالية لتوسيع البيانات المستندة إلى الترجمة العكسية، وأقام سجلًا جديدًا لأفضل الأداء على WinoGrande (وينوغراند)، CODAH (كوادا)، وCommonsenseQA (كومنسنس كيو أيه). بالإضافة إلى ذلك، فإن التدريب المعزز بواسطة G-DAUG^C يحسن أيضاً التعميم خارج نطاق التوزيع، مما يظهر متانة أكبر ضد الأمثلة المعادية أو المشوهة. تُبيِّن تحليلاتنا أن G-DAUG^C ينتج مجموعة متنوعة من الأمثلة التدريبية السليمة، وأن أساليبه في الاختيار والتدريب مهمة للأداء. تشجع نتائجنا البحث المستقبلي نحو توسيع البيانات التوليدي لتعزيز كلٍ من التعلم داخل نطاق التوزيع والتعميم خارجه.