تعلم إنشاء التعليقات واكتشاف المشاعر

نستكشف خصائص نماذج اللغة المتكررة على مستوى البايت (byte-level). عند توفير كميات كافية من السعة والبيانات التدريبية ووقت الحوسبة، فإن التمثيلات التي تتعلمها هذه النماذج تشمل ميزات منفصلة تتوافق مع المفاهيم العليا. بشكل خاص، نجد وحدة واحدة تقوم بتحليل المشاعر. هذه التمثيلات، التي تم تعلمها بطريقة غير مراقبة، تحقق أحدث ما وصلت إليه التقنيات في الجزء الثنائي من قاعدة بيانات شجرة مشاعر ستانفورد. كما أنها فعالة للغاية في استخدام البيانات. عند استخدام عدد قليل فقط من الأمثلة المصنفة، يطابق نهجنا أداء القواعد الأساسية القوية التي تم تدريبها على قواعد البيانات الكاملة. كما نظهر أن وحدة المشاعر لها تأثير مباشر على عملية التوليد في النموذج. ببساطة عن طريق تحديد قيمتها لتكون إيجابية أو سلبية، يتم إنشاء عينات ذات مشاعر متناظرة إيجابية أو سلبية.