TrICy: توليد النص من البيانات بارتباط الانتباه والنسخ الموجه بالحافز

توليد النص من البيانات (D2T) هو مهمة حاسمة في العديد من تطبيقات فهم اللغة الطبيعية (NLU) ويُشكِّل أساس أنظمة الحوار الموجه نحو المهام. في سياق حلول الذكاء الاصطناعي التفاعلية التي يمكنها العمل مباشرة مع البيانات المحلية على جهاز المستخدم، تكون الأطر المعمارية التي تستفيد من نماذج اللغة المدربة مسبقًا بحجم كبير (PLMs) غير عملية للنشر على الجهاز بسبب استهلاكها الكبير للذاكرة. لهذا الغرض، نقترح TrICy، إطار جديد خفيف الوزن لتحسين مهمة D2T الذي يولد سلاسل نصية بناءً على النوايا في السياق وقد يتم توجيهه بشكل إضافي بواسطة محفزات يوفرها المستخدم. نستفيد من آلية الانتباه والنسخ لتنبؤ الكلمات خارج القاموس (OOV) بدقة. تحليلات الأداء على مجموعة بيانات E2E NLG (BLEU: 66.43٪، ROUGE-L: 70.14٪)، ومجموعة بيانات WebNLG (BLEU: مشاهدة 64.08٪، غير مشاهدة 52.35٪)، بالإضافة إلى مجموعتنا الخاصة من البيانات المتعلقة بتطبيقات الرسائل النصية، تظهر فعالية هندستنا. علاوة على ذلك، نوضح أن الاستفادة من مدخل اختياري للمحفزات يؤدي إلى زيادة كبيرة في جودة توليد النص من البيانات وتحقيق درجة جديدة هي الأفضل في العالم (SOTA) بنسبة BLEU قدرها 69.29٪ لمجموعة بيانات E2E NLG. بالإضافة إلى ذلك، تُظهِر تحليلاتنا أن TrICy يحقق تحسينًا بنسبة لا تقل عن 24٪ و3٪ في BLEU وMETEOR على التوالي مقارنة بنماذج اللغة الكبيرة مثل GPT-3 وChatGPT وLlama 2. كما نثبت أنه في بعض السيناريوهات، يتم رصد تحسن الأداء بسبب المحفزات حتى عند غيابها أثناء التدريب.