HyperAIHyperAI

Command Palette

Search for a command to run...

مُقدِّم جديد لقياس المعلومات التبادلية لتعلم فصل التمثيلات النصية

Pierre Colombo Chloe Clavel Pablo Piantanida

الملخص

يُعدّ تعلّم تمثيلات منفصلة (disentangled representations) للبيانات النصية أمراً ضرورياً لعدد كبير من المهام اللغوية الطبيعية مثل التصنيف العادل، ونقل الأسلوب، وإنشاء الجمل، ومن بينها مهام أخرى. تُعتمد في الوقت الراهن الطرق المهيمنة في سياق البيانات النصية إما على تدريب متضاد (adversary) (مُميّز) يهدف إلى جعل استخلاص قيم السمات من الكود الخفي صعباً، أو على تقليل الحدود التباينية (variational bounds) للمعلومات التبادلية بين الكود الخفي وقيمة السمة. ومع ذلك، فإن الطرق المتاحة تعاني من عدم القدرة على توفير تحكم دقيق في درجة (أو قوة) الانفصال. على عكس الطرق المتعارضة، التي تتميز ببساطتها البالغة، رغم أن المتضاد يبدو أنه يعمل بكفاءة عالية أثناء مرحلة التدريب، إلا أنه بعد انتهاء التدريب، لا يزال يحتفظ بكمية كبيرة من المعلومات حول السمة غير المرغوبة. يقدّم هذا البحث حدّاً تباينياً جديداً من الأعلى للمعلومات التبادلية بين سمة ما وكود الخفي لمشفر (encoder). يهدف هذا الحد إلى التحكم في خطأ التقريب من خلال تباين ريني (Rényi’s divergence)، مما يؤدي إلى تمثيلات منفصلة أفضل، وبشكل خاص، إلى تحكم دقيق في درجة الانفصال المرغوبة، متفوّقاً على الطرق الأفضل حالياً المُقدّمة للبيانات النصية. علاوة على ذلك، لا يعاني هذا الأسلوب من مشكلة التدهور (degeneracy) التي تصيب خسائر أخرى في السيناريوهات متعددة الفئات. نُظهر تفوق هذا الأسلوب في مهام التصنيف العادل ونقل الأسلوب النصي. بالإضافة إلى ذلك، نقدّم رؤى جديدة توضح التنازلات المختلفة في نقل الأسلوب عند محاولة تعلّم تمثيلات منفصلة ونوعية الجمل المولّدة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp