RedGPT: نموذج توليد حوار معزز بمعلومات مرجعية

RedGPT (GPT للحوار المرجعي المستنير) إنه نموذج لتوليد الحوار معزز بمعلومات مرجعية.

كما نعلم جميعًا، فإن صحة الحقائق هي نقطة ضعف رئيسية في ChatGPT وتحديًا كبيرًا يواجهه جميع الزملاء الذين يحاولون إعادة إنتاج ChatGPT. لتحسين دقة الحقائق، يمكنك التعليق على كمية كبيرة من بيانات المحادثة الواقعية (مثل الأشخاص والتكنولوجيا والرعاية الطبية والقانون والفن) لضبط نموذج GPT. لتجنب التكلفة الباهظة للتعليق اليدوي، نقترح طريقة لإنشاء حوارات واقعية تلقائيًا وجعل جزء من بياناتنا متاحًا للعامة. تحتوي الدفعة الأولى من البيانات التي أصدرناها (RedGPT-Dataset-V1-CN) على ما مجموعه 50 ألف محادثة متعددة الجولات باللغة الصينية.

مقدمة الطريقة

الهدف من مجموعة البيانات هذه هو إنشاء حوارات متعددة الجولات ضخمة وعالية الجودة وواقعية تلقائيًا لتدريب GPT وتحسين صحتها الواقعية.

نحن نقوم بإنشاء البيانات تلقائيًا باستخدام الطريقة التالية:

1. نقوم بجمع الوثائق الواقعية عالية الجودة، والتي نطلق عليها اسم "المرجع". يمكن أن تكون المصادر عبارة عن كتب إلكترونية، وويكيبيديا، ومواقع ويب عمودية عالية الجودة. يجب أن تغطي الوثيقة أكبر عدد ممكن من المواضيع، بما في ذلك على سبيل المثال لا الحصر الأشخاص والمؤسسات والتكنولوجيا والرعاية الطبية والقانون والعلوم الإنسانية والاقتصاد والمنزل والسيارات والسفر والطعام والأزياء والرياضة والتعليم والحيوانات الأليفة.
2. استخدم LLM الموجود (مثل واجهة برمجة التطبيقات المدفوعة) لإنشاء حوارات متعددة الأدوار. المدخلات عبارة عن مرجع، والمطالبة هي شيء مثل "الرجاء إنشاء جولات متعددة من الأسئلة والأجوبة استنادًا إلى هذه المقالة". سوف تقوم واجهة برمجة التطبيقات بإخراج حوار متعدد الأدوار. تعمل هذه الطريقة على تحويل المستندات التي كانت في الأصل مناسبة فقط للتدريب المسبق إلى حوارات متعددة الجولات يمكن ضبطها بدقة.
3. في الخطوة 2، يتم جمع عدد كبير من ثنائيات المرجع والحوار. باستخدام المرجع والمطالبة كمدخل والحوار كهدف، قم بضبط نموذج GPT (يمكن أن يعتمد على قاعدة مدربة مسبقًا من LLaMA أو BLOOM). نحن نطلق على النموذج المضبوط بدقة مرجع-حوار-مستنير-GPT،اختصار ريد جي بي تي . باستخدام RedGPT، يمكنك إنشاء جولات متعددة من الحوار استنادًا إلى المرجع والحصول على كميات هائلة من البيانات.

لإعادة إنتاج هذه الطريقة، يرجى ملاحظة نقطتين رئيسيتين:

1. جودة ونطاق المرجع. يجب أن تكون جودة محتوى المرجع عالية، مثل الصفحات من مواقع الويب العمودية عالية الجودة مثل المواقع الطبية، والمدخلات غير الغامضة على ويكيبيديا، ويجب تنظيف صفحات الويب. يجب أن يكون نطاق المرجع واسعًا ولا يمكن أن يقتصر على فئة عمودية واحدة أو موقع ويب واحد.
2. عند الاتصال ببرنامج LLM الحالي، يتعين عليك كتابة موجه وتجربة العديد من الموجهات بعناية لجعل الحوار المتعدد الجولات الذي يولده برنامج LLM يلبي توقعاتك.