التعلم الميتا الفعّال من حيث الذاكرة مع الصور الكبيرة

تُعدّ أساليب التعلّم التلقائي (Meta learning) للتصنيف بعينات قليلة فعّالة من حيث الحوسبة أثناء الاختبار، حيث تتطلب فقط بضع خطوات تحسين أو عملية انتقال أمامي واحدة لتعلم مهمة جديدة، لكنها ما زالت مكلفة من حيث الذاكرة أثناء التدريب. ينشأ هذا التقييد لأن مجموعة الدعم الكاملة للمهمة، التي يمكن أن تحتوي على ما يصل إلى 1000 صورة، يجب معالجتها بالكامل قبل إجراء أي خطوة تحسين. وبالتالي، فإن الاستفادة من المكاسب الأداء التي تقدمها الصور الكبيرة تتطلب إما توازي تشغيل المتعلم التلقائي عبر عدة وحدات معالجة رسومية (GPUs)، وهو ما قد لا يكون متاحًا، أو التضحية بحجم المهمة أو حجم الصورة في حالات قيود الذاكرة. نحسن من كلا الخيارين من خلال اقتراح "LITE"، وهي خطة تدريب عامة وفعّالة من حيث استهلاك الذاكرة، تتيح التدريب التلقائي على مهام كبيرة مكوّنة من صور كبيرة باستخدام وحدة معالجة رسومية واحدة. نحقّق هذا من خلال ملاحظة أن المشتقات (الدرجات) الخاصة بمهمة معينة يمكن تحليلها إلى مجموع مشتقات محسوبة على كل صورة من صور التدريب الخاصة بهذه المهمة. هذا يمكّننا من إجراء عملية انتقال أمامي على مجموعة التدريب الكاملة للمهمة، مع تحقيق وفورات كبيرة في الذاكرة من خلال إجراء التغذية العكسية (back-propagation) فقط على مجموعة عشوائية جزئية من هذه الصور، والتي نُظهر أنها تقريب غير متحيّز للمشتق الكامل. نستخدم LITE لتدريب المتعلمين التلقائيين، ونُظهر دقة جديدة قياسية على معيار ORBIT الواقعية، وكذلك على ثلاث من أربع مكونات معيار VTAB+MD الصعب، متفوّقين على أبرز المتعلمين التلقائيين. كما يُمكّن LITE المتعلمين التلقائيين من المنافسة مع أساليب التعلم الناقل (transfer learning)، ولكن بتكاليف حوسبة أثناء الاختبار تقلّ بنسبة كبيرة، مما يجعلها بديلاً متنافساً للسياق الحديث الذي يُصرّ على أن التعلم الناقل هو كل ما تحتاجه للتصنيف بعينات قليلة.