HyperAIHyperAI
منذ شهر واحد

القص عبر البحث في الهندسة القابلة للتحويل

Xuanyi Dong; Yi Yang
القص عبر البحث في الهندسة القابلة للتحويل
الملخص

تقليل الشبكة العصبية يخفض تكاليف الحساب لشبكة مفرطة المعلمات دون الإضرار بالأداء. خوارزميات التقليل السائدة تحدد مسبقًا عرض وعمق الشبكات المقلصة، ثم تقوم بنقل المعلمات من الشبكة غير المقلصة إلى الشبكات المقلصة. للقضاء على قيود الهيكل في الشبكات المقلصة، نقترح تطبيق بحث الهندسة العصبية لبحث مباشرة عن شبكة ذات أحجام قنوات وطبقات مرنة. يتم تعلم عدد القنوات/الطبقات عن طريق تقليل خسارة الشبكات المقلصة. خريطة الميزات للشبكة المقلصة هي تجميع لـ K شظايا من خرائط الميزات (تُولَد بواسطة K شبكات بأحجام مختلفة)، والتي يتم اختيارها بناءً على التوزيع الاحتمالي. يمكن أن تتراجع الخسارة ليس فقط إلى أوزان الشبكة، ولكن أيضًا إلى التوزيع المعامل ليتم ضبط حجم القنوات/الطبقات بشكل صريح. تحديداً، نقوم بتطبيق الاستكمال القناة حكماً للحفاظ على توافق خريطة الميزات بأحجام قنوات مختلفة أثناء إجراء التجميع. تعتبر الاحتمالية القصوى لكل حجم في كل توزيع بمثابة العرض والعمق للشبكة المقلصة، التي يتم تعلم معلماتها عن طريق نقل المعلومات، مثل التقطير بالمعرفة، من الشبكات الأصلية. تظهر التجارب على CIFAR-10 وCIFAR-100 وImageNet فعالية وجهة نظرنا الجديدة في تقليل الشبكة العصبية مقارنة بالخوارزميات التقليدية لتقليل الشبكة. تم تنفيذ العديد من نهج البحث ونقل المعلومات لإظهار فعالية هذين المكونين. الرمز البرمجي متاح على: https://github.com/D-X-Y/NAS-Projects.