HyperAIHyperAI

Command Palette

Search for a command to run...

التدريب الذاتي من الذاكرة الذاتية في توليد النص من البيانات

Hoang-Thang Ta

الملخص

يقدم هذا البحث نموذج تدريب جديد، وهو التدريب الذاتي من الذاكرة الذاتية (STSM) في مجال تحويل البيانات إلى النص (DTG)، مما يسمح للنموذج بالتدريب الذاتي على مجموعات فرعية تشمل الذاكرة الذاتية كمخرجات مستنتجة مباشرة من النماذج المدربة و/أو البيانات الجديدة. يتم التحقق من جودة الذاكرة الذاتية بواسطة نموذجين، وهما تحويل البيانات إلى النص (D2T) وتحويل النص إلى البيانات (T2D)، من خلال شرطين محددين مسبقًا: (1) ظهور جميع قيم المصدر في مخرجات نموذج D2T، و(2) القدرة على تحويل المخرجات مرة أخرى إلى بيانات المصدر في نموذج T2D. نستخدم خوارزمية الطمع لتقديم مخرجات أقصر لنموذج D2T إذا كانت تحتوي على جميع قيم المصدر. بعد ذلك، نستخدم نموذج T2D للتحقق من أن هذه المخرجات يمكنها التقاط العلاقات الإدخال عن طريق إظهار قدرتها على تحويل النص مرة أخرى إلى البيانات. يمكننا تدريب نموذج D2T بنسبة 30% من مجموعة البيانات مع أداء تنافسي مقارنة بالتدريب الكامل بنفس الإعداد. قمنا بتجربة نموذجنا على مجموعتين من البيانات، وهما E2E NLG و DART. يقدم STSM لنموذج D2T قدرة تعميمية من ذاكرته الفرعية مع تقليل حجم بيانات التدريب. في النهاية، نتوقع أن يساهم هذا البحث في حلول التعلم المستمر التي تتكيّف مع بيانات التدريب الجديدة، وذلك بدمجها كشكل من أشكال الذاكرة الذاتية في مهام DTG. مجموعة البيانات المحضرة متاحة للعامة على الرابط التالي: https://github.com/hoangthangta/STSM.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
التدريب الذاتي من الذاكرة الذاتية في توليد النص من البيانات | مستندات | HyperAI