مُقدِّم جديد لقياس المعلومات التبادلية لتعلم فصل التمثيلات النصية

يُعدّ تعلّم تمثيلات منفصلة (disentangled representations) للبيانات النصية أمراً ضرورياً لعدد كبير من المهام اللغوية الطبيعية مثل التصنيف العادل، ونقل الأسلوب، وإنشاء الجمل، ومن بينها مهام أخرى. تُعتمد في الوقت الراهن الطرق المهيمنة في سياق البيانات النصية إما على تدريب متضاد (adversary) (مُميّز) يهدف إلى جعل استخلاص قيم السمات من الكود الخفي صعباً، أو على تقليل الحدود التباينية (variational bounds) للمعلومات التبادلية بين الكود الخفي وقيمة السمة. ومع ذلك، فإن الطرق المتاحة تعاني من عدم القدرة على توفير تحكم دقيق في درجة (أو قوة) الانفصال. على عكس الطرق المتعارضة، التي تتميز ببساطتها البالغة، رغم أن المتضاد يبدو أنه يعمل بكفاءة عالية أثناء مرحلة التدريب، إلا أنه بعد انتهاء التدريب، لا يزال يحتفظ بكمية كبيرة من المعلومات حول السمة غير المرغوبة. يقدّم هذا البحث حدّاً تباينياً جديداً من الأعلى للمعلومات التبادلية بين سمة ما وكود الخفي لمشفر (encoder). يهدف هذا الحد إلى التحكم في خطأ التقريب من خلال تباين ريني (Rényi’s divergence)، مما يؤدي إلى تمثيلات منفصلة أفضل، وبشكل خاص، إلى تحكم دقيق في درجة الانفصال المرغوبة، متفوّقاً على الطرق الأفضل حالياً المُقدّمة للبيانات النصية. علاوة على ذلك، لا يعاني هذا الأسلوب من مشكلة التدهور (degeneracy) التي تصيب خسائر أخرى في السيناريوهات متعددة الفئات. نُظهر تفوق هذا الأسلوب في مهام التصنيف العادل ونقل الأسلوب النصي. بالإضافة إلى ذلك، نقدّم رؤى جديدة توضح التنازلات المختلفة في نقل الأسلوب عند محاولة تعلّم تمثيلات منفصلة ونوعية الجمل المولّدة.