HyperAIHyperAI

Command Palette

Search for a command to run...

خسارة R2: خسارة القيود النطاقية للضغط والكمّية النموذجية

Arnav Kundu Chungkuk Yoo Srijan Mishra Minsik Cho Saurabh Adya

الملخص

يُعد التقليل التكميلي للنموذج والضغط عليه تقنيتين شائعتين لتقليل استهلاك الموارد الحاسوبية أثناء الاستدلال. وعلى الرغم من أن الأبحاث الحديثة قد حققت دقة معقولة باستخدام بتات أعلى مثل 4 بت أو 8 بت، إلا أن التحدي يبقى كبيرًا في محاولة تقليل التكميل أكثر، مثل 1 بت أو 2 بت. ولsuperior التحدي، نركز في هذا العمل على القيم الشاذة (outliers) في أوزان النموذج المُدرَّب مسبقًا، والتي تعيق تحقيق تقليل فعّال للبتات في التكميل والضغط. نقترح في هذا البحث ما يُسمى بـ "خسارة التقييد النطاقي" (Range Restriction Loss - R2-Loss)، والتي تهدف إلى بناء نماذج مناسبة للتقليل إلى عدد قليل من البتات والضغط عليها، وذلك من خلال إزالة القيم الشاذة من الأوزان أثناء التدريب المسبق. وباستخدام تقييد فعّال لنطاق الأوزان، نُشكّل التوزيع العام للوزن بشكل مكثّف، مما يضمن دقة عالية في التكميل بالبتات، وبالتالي يمكّن تقنيات الضغط والتكميل من الاستفادة بشكل أفضل من قدراتها المحدودة في التمثيل العددي. نقدّم ثلاث خسائر مختلفة: خسارة R2-Loss من النوع L-inf، وتمديدها بـ "خسارة الحدّ (Margin R2-Loss)"، بالإضافة إلى خسارة جديدة تُسمى "Soft-Min-Max R2-Loss"، والتي يمكن استخدامها كخسارة مساعدة أثناء تدريب النموذج بدقة كاملة. يمكن استخدام هذه الخسائر في سياقات مختلفة: فـ L-inf وMargin R2-Loss تكون فعّالة في حالات التكميل المتماثل، بينما تُظهر خسارة Soft-Min-Max R2-Loss أداءً أفضل في تطبيقات الضغط على النموذج. في تجاربنا، أظهرت خسارة R2-Loss تحسينًا في دقة التكميل ببتات قليلة باستخدام أحدث تقنيات التكميل بعد التدريب (PTQ)، والتدريب المُدرك للتكميل (QAT)، وتقنيات ضغط النموذج. وباستخدام R2-Loss، تم تحسين التكميل لوزن 2 بت ونشاط 8 بت لنموذج MobileNet-V2 من 50.66% إلى 59.49%، وتحسين التكميل لوزن ونشاط 2 بت لنموذج MobileNet-V1 من 55.96% إلى 59.05%، كما تم تحسين ضغط وزن 1 بت لنموذج ResNet18 من 45.54% إلى 52.58%، على التوالي.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp