Command Palette
Search for a command to run...
torchdistill: إطار معياري مُوجَّه بالتكوين لنقل المعرفة
torchdistill: إطار معياري مُوجَّه بالتكوين لنقل المعرفة
Yoshitomo Matsubara
الملخص
بينما يلقى التعلم المنقولة (الاستخلاص المعرفي) اهتمامًا متزايدًا من قبل المجتمع البحثي، فإن التطورات الحديثة في هذا المجال قد زادت من الحاجة إلى دراسات قابلة للتكرار وأطر عامة للغاية، بهدف خفض الحواجز أمام بحوث التعلم العميق عالية الجودة والقابلة للتكرار. قام عدد من الباحثين طواعية بنشر الأطر التي استخدموها في دراساتهم المتعلقة باستخلاص المعرفة، وذلك لمساعدة الباحثين الآخرين على إعادة إنتاج أعمالهم الأصلية. ومع ذلك، فإن هذه الأطر غالبًا ما تكون غير معممة بشكل جيد ولا تُصان بشكل كافٍ، مما يُجبر الباحثين على كتابة كم كبير من الشيفرة لإعادة هيكلة أو بناء على هذه الأطر لتقديم أساليب أو نماذج أو مجموعات بيانات جديدة، أو لتصميم تجارب جديدة. في هذا البحث، نقدم إطارنا المفتوح المصدر المُطوّر على أساس PyTorch، ومخصص بشكل خاص لأبحاث استخلاص المعرفة. تم تصميم هذا الإطار لتمكين المستخدمين من تصميم التجارب من خلال ملفات تكوينية من نوع PyYAML بطريقة إعلانية (Declarative)، كما يساعد الباحثين على إنجاز قائمة التحقق من اكتمال الشيفرة في مجال الذكاء الاصطناعي (ML Code Completeness Checklist) التي تم اقتراحها حديثًا. باستخدام الإطار المطور، نُظهر استراتيجيات تدريب فعالة متعددة، ونُطبّق مجموعة متنوعة من أساليب استخلاص المعرفة. كما نُعيد إنتاج بعض النتائج التجريبية الأصلية المنشورة على مجموعات بيانات ImageNet وCOCO في مؤتمرات التعلم الآلي الرائدة مثل ICLR وNeurIPS وCVPR وECCV، بما في ذلك أحدث الطرق المتميزة في المجال. وجميع الشيفرة المصدرية، والملفات التكوينية، وملفات السجل (Log Files)، ووزن النماذج المدربة متاحة للجميع عبر الرابط: https://github.com/yoshitomo-matsubara/torchdistill .