HyperAIHyperAI
منذ 2 أشهر

VNE: طريقة فعّالة لتحسين التمثيل العميق من خلال التلاعب بتوزيع القيم الذاتية

Jaeill Kim; Suhyun Kang; Duhun Hwang; Jungwook Shin; Wonjong Rhee
VNE: طريقة فعّالة لتحسين التمثيل العميق من خلال التلاعب بتوزيع القيم الذاتية
الملخص

منذ ظهور التعلم العميق، تم دراسة نطاق واسع من خصائص التمثيل مثل الفصل (decorrelation)، التبييض (whitening)، الفكاك (disentanglement)، الرتبة (rank)، الأيزوتروبية (isotropy)، والمعلومات المتبادلة (mutual information) بهدف تحسين جودة التمثيل. ومع ذلك، يمكن أن يكون التعامل مع هذه الخصائص صعبًا من حيث فعالية التنفيذ والتطبيق العام. لمعالجة هذه القيود، نقترح تنظيم انتروبيا فون نيومان (VNE) للتمثيل. أولاً، نوضح أن الصيغة الرياضية لـ VNE متفوقة في التعامل بكفاءة مع قيم الذاتية للمصفوفة ذات الارتباط الذاتي للتمثيل. ثانياً، نظهر أنها قابلة للتطبيق على نطاق واسع في تحسين خوارزميات الطليعة أو الخوارزميات الشائعة المستخدمة كمعيار مرجعي من خلال دراسة التعميم بين المجالات، والتعلم الميتا (meta-learning)، والتعلم الذاتي بدون إشراف (self-supervised learning)، ونماذج التوليد (generative models). بالإضافة إلى ذلك، نقيم رسمياً الروابط النظرية بين رتبة التمثيل والفكاك والأيزوتروبية. وأخيراً، نقدم مناقشات حول السيطرة على البعد في VNE والعلاقة مع انتروبيا شانون. الرمز البرمجي متاح على الرابط التالي: https://github.com/jaeill/CVPR23-VNE.

VNE: طريقة فعّالة لتحسين التمثيل العميق من خلال التلاعب بتوزيع القيم الذاتية | أحدث الأوراق البحثية | HyperAI