التدريب المسبق مرة واحدة

التدريب المسبق مرة واحدة (POA) هو مفهوم اقترحته مجموعة Ant في ورقة بحثية بعنوان "POA: التدريب المسبق مرة واحدة للنماذج من جميع الأحجامتم اقتراح إطار عمل تدريب ذاتي الإشراف بثلاثة فروع في [15]، والذي يقدم فرعًا طلابيًا مرنًا ويأخذ عينات عشوائية من الشبكات الفرعية للتدريب في كل خطوة ما قبل التدريب. يمكن لـ POA إنشاء نماذج بأحجام مختلفة في تدريب ما قبل واحد، وهو مناسب للمهام اللاحقة. وقد أظهرت التجارب أنه يحقق أداءً متطورًا في مهام متعددة.

خلفية

يمهد التدريب المسبق الخاضع للإشراف الذاتي على نطاق واسع الطريق أمام نموذج أساسي واحد للتعامل مع العديد من مهام الرؤية المختلفة. تقوم معظم طرق التدريب المسبق بتدريب نموذج واحد فقط بحجم معين في كل مرة. ومع ذلك، تتطلب القيود الحسابية أو قيود التخزين المختلفة في السيناريوهات الواقعية بذل جهود كبيرة لتطوير مجموعة من النماذج ذات الأحجام المختلفة للنشر. تناولت هذه الدراسة القضايا المذكورة أعلاه.

نظرة عامة على التدريب المسبق مرة واحدة

إدخال فروع الطلاب المبتكرة والمرنة في نموذج التطوير الذاتي الحديث. في كل خطوة من خطوات التدريب المسبق، قام فريق البحث باستخراج شبكة فرعية عشوائيًا من الطالب الأصلي لتشكيل الطالب المرن وقام بتدريب جميع الفروع بطريقة ذاتية التكرير. بمجرد اكتمال التدريب المسبق، يمكن لـ POA استخراج نماذج مدربة مسبقًا بأحجام مختلفة للمهام اللاحقة. ومن الجدير بالذكر أن الطالب المرن يسهل التدريب المسبق المتزامن لعدة نماذج ذات أحجام مختلفة، والذي يعمل أيضًا كمجموعة إضافية من النماذج ذات الأحجام المختلفة لتعزيز التعلم التمثيلي. تثبت التجارب المكثفة (بما في ذلك أقرب الجيران، وتقييم الكشف الخطي، والتقييم على المهام المتعددة في اتجاه مجرى النهر) فعالية ومزايا POA الخاصة بنا. ويحقق أداءً متطورًا باستخدام الهياكل الأساسية ViT وSwin Transformer وResNet، مما يؤدي إلى إنشاء حوالي مائة نموذج بأحجام مختلفة من خلال جلسة تدريب أولية واحدة.