TResNet: معمارية عالية الأداء مخصصة لوحدة معالجة الرسوميات (GPU)

تُظهر العديد من نماذج التعلم العميق التي تم تطويرها في السنوات الأخيرة أداءً أفضل من ResNet50 على مجموعة بيانات ImageNet من حيث الدقة، مع عدد أقل أو مماثل من عمليات الحساب المضاعفة (FLOPS). وعلى الرغم من اعتبار FLOPS عادةً مقياسًا مُستعارًا لفعالية الشبكة، فإن ResNet50 الأصلي غالبًا ما يكون أسرع بكثير من منافسيه الجدد عند قياس معدل التدريب والاستنتاج على وحدة معالجة الرسومات (GPU)، مما يوفر توازنًا أفضل بين الأداء والدقة.في هذا العمل، نقدّم سلسلة من التعديلات المعمارية التي تهدف إلى تعزيز دقة الشبكات العصبية، مع الحفاظ على كفاءتها في التدريب والاستنتاج على وحدة معالجة الرسومات. نبدأ أولاً بعرض وتحليل العوائق الناتجة عن التحسينات الموجهة نحو تقليل عدد FLOPS. ثم نقترح تصاميم بديلة تُستخدم بشكل أفضل في هيكل وحدة معالجة الرسومات والموارد المتاحة بها. وأخيرًا، نقدّم عائلة جديدة من النماذج المخصصة لوحدات معالجة الرسومات، تُسمى TResNet، والتي تحقق دقة وكفاءة أفضل من النماذج السابقة من نوع ConvNets.باستخدام نموذج TResNet ذو معدل أداء مماثل لـ ResNet50 على وحدة معالجة الرسومات، نصل إلى دقة 80.8% في التصنيف الأول (Top-1) على مجموعة بيانات ImageNet. كما تُظهر نماذج TResNet أداءً ممتازًا في التحويل (transfer learning)، وتُحقّق أفضل نتائج حالية على مجموعة من مجموعات البيانات المنافسة للتصنيف بعلامة واحدة، مثل Stanford Cars (96.0%)، وCIFAR-10 (99.0%)، وCIFAR-100 (91.5%)، وOxford-Flowers (99.1%). كما تُظهر أداءً جيدًا في مهام التصنيف متعدد العلامات والكشف عن الكائنات. تتوفر التنفيذات على الرابط التالي: https://github.com/mrT23/TResNet.