HyperAIHyperAI

Command Palette

Search for a command to run...

VNE: طريقة فعّالة لتحسين التمثيل العميق من خلال التلاعب بتوزيع القيم الذاتية

Jaeill Kim Suhyun Kang Duhun Hwang Jungwook Shin Wonjong Rhee

الملخص

منذ ظهور التعلم العميق، تم دراسة نطاق واسع من خصائص التمثيل مثل الفصل (decorrelation)، التبييض (whitening)، الفكاك (disentanglement)، الرتبة (rank)، الأيزوتروبية (isotropy)، والمعلومات المتبادلة (mutual information) بهدف تحسين جودة التمثيل. ومع ذلك، يمكن أن يكون التعامل مع هذه الخصائص صعبًا من حيث فعالية التنفيذ والتطبيق العام. لمعالجة هذه القيود، نقترح تنظيم انتروبيا فون نيومان (VNE) للتمثيل. أولاً، نوضح أن الصيغة الرياضية لـ VNE متفوقة في التعامل بكفاءة مع قيم الذاتية للمصفوفة ذات الارتباط الذاتي للتمثيل. ثانياً، نظهر أنها قابلة للتطبيق على نطاق واسع في تحسين خوارزميات الطليعة أو الخوارزميات الشائعة المستخدمة كمعيار مرجعي من خلال دراسة التعميم بين المجالات، والتعلم الميتا (meta-learning)، والتعلم الذاتي بدون إشراف (self-supervised learning)، ونماذج التوليد (generative models). بالإضافة إلى ذلك، نقيم رسمياً الروابط النظرية بين رتبة التمثيل والفكاك والأيزوتروبية. وأخيراً، نقدم مناقشات حول السيطرة على البعد في VNE والعلاقة مع انتروبيا شانون. الرمز البرمجي متاح على الرابط التالي: https://github.com/jaeill/CVPR23-VNE.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp