VNE: طريقة فعّالة لتحسين التمثيل العميق من خلال التلاعب بتوزيع القيم الذاتية

منذ ظهور التعلم العميق، تم دراسة نطاق واسع من خصائص التمثيل مثل الفصل (decorrelation)، التبييض (whitening)، الفكاك (disentanglement)، الرتبة (rank)، الأيزوتروبية (isotropy)، والمعلومات المتبادلة (mutual information) بهدف تحسين جودة التمثيل. ومع ذلك، يمكن أن يكون التعامل مع هذه الخصائص صعبًا من حيث فعالية التنفيذ والتطبيق العام. لمعالجة هذه القيود، نقترح تنظيم انتروبيا فون نيومان (VNE) للتمثيل. أولاً، نوضح أن الصيغة الرياضية لـ VNE متفوقة في التعامل بكفاءة مع قيم الذاتية للمصفوفة ذات الارتباط الذاتي للتمثيل. ثانياً، نظهر أنها قابلة للتطبيق على نطاق واسع في تحسين خوارزميات الطليعة أو الخوارزميات الشائعة المستخدمة كمعيار مرجعي من خلال دراسة التعميم بين المجالات، والتعلم الميتا (meta-learning)، والتعلم الذاتي بدون إشراف (self-supervised learning)، ونماذج التوليد (generative models). بالإضافة إلى ذلك، نقيم رسمياً الروابط النظرية بين رتبة التمثيل والفكاك والأيزوتروبية. وأخيراً، نقدم مناقشات حول السيطرة على البعد في VNE والعلاقة مع انتروبيا شانون. الرمز البرمجي متاح على الرابط التالي: https://github.com/jaeill/CVPR23-VNE.