خسارة R2: خسارة القيود النطاقية للضغط والكمّية النموذجية

يُعد التقليل التكميلي للنموذج والضغط عليه تقنيتين شائعتين لتقليل استهلاك الموارد الحاسوبية أثناء الاستدلال. وعلى الرغم من أن الأبحاث الحديثة قد حققت دقة معقولة باستخدام بتات أعلى مثل 4 بت أو 8 بت، إلا أن التحدي يبقى كبيرًا في محاولة تقليل التكميل أكثر، مثل 1 بت أو 2 بت. ولsuperior التحدي، نركز في هذا العمل على القيم الشاذة (outliers) في أوزان النموذج المُدرَّب مسبقًا، والتي تعيق تحقيق تقليل فعّال للبتات في التكميل والضغط. نقترح في هذا البحث ما يُسمى بـ "خسارة التقييد النطاقي" (Range Restriction Loss - R2-Loss)، والتي تهدف إلى بناء نماذج مناسبة للتقليل إلى عدد قليل من البتات والضغط عليها، وذلك من خلال إزالة القيم الشاذة من الأوزان أثناء التدريب المسبق. وباستخدام تقييد فعّال لنطاق الأوزان، نُشكّل التوزيع العام للوزن بشكل مكثّف، مما يضمن دقة عالية في التكميل بالبتات، وبالتالي يمكّن تقنيات الضغط والتكميل من الاستفادة بشكل أفضل من قدراتها المحدودة في التمثيل العددي. نقدّم ثلاث خسائر مختلفة: خسارة R2-Loss من النوع L-inf، وتمديدها بـ "خسارة الحدّ (Margin R2-Loss)"، بالإضافة إلى خسارة جديدة تُسمى "Soft-Min-Max R2-Loss"، والتي يمكن استخدامها كخسارة مساعدة أثناء تدريب النموذج بدقة كاملة. يمكن استخدام هذه الخسائر في سياقات مختلفة: فـ L-inf وMargin R2-Loss تكون فعّالة في حالات التكميل المتماثل، بينما تُظهر خسارة Soft-Min-Max R2-Loss أداءً أفضل في تطبيقات الضغط على النموذج. في تجاربنا، أظهرت خسارة R2-Loss تحسينًا في دقة التكميل ببتات قليلة باستخدام أحدث تقنيات التكميل بعد التدريب (PTQ)، والتدريب المُدرك للتكميل (QAT)، وتقنيات ضغط النموذج. وباستخدام R2-Loss، تم تحسين التكميل لوزن 2 بت ونشاط 8 بت لنموذج MobileNet-V2 من 50.66% إلى 59.49%، وتحسين التكميل لوزن ونشاط 2 بت لنموذج MobileNet-V1 من 55.96% إلى 59.05%، كما تم تحسين ضغط وزن 1 بت لنموذج ResNet18 من 45.54% إلى 52.58%، على التوالي.