التعلم الميتا المُدرك للسياق

تُظهر نماذج اللغة الكبيرة مثل ChatGPT قدرةً ملحوظة على تعلّم مفاهيم جديدة أثناء الاستدلال دون أي تدريب دقيق (fine-tuning). ومع ذلك، لم تتمكن النماذج البصرية المدربة على اكتشاف كائنات جديدة أثناء الاستدلال من إعادة هذه القدرة، بل أدى أداءها إما إلى ضعف الأداء أو احتاج إلى تدريب ميتا (meta-training) و/أو تدريب دقيق على كائنات مشابهة. في هذا العمل، نقترح خوارزمية تعلّم ميتا تُقلّد نماذج اللغة الكبيرة من خلال تعلّم مفاهيم بصرية جديدة أثناء الاستدلال دون الحاجة إلى تدريب دقيق. تعتمد طريقتنا على مستخرج ميزات مُدرّب مسبقًا وثابت (frozen)، وتشبه التعلّم في السياق (in-context learning)، حيث تعيد صياغة التعلّم الميتا البصري كنمذجة تسلسلية للبيانات ذات التسميات المعروفة والبيانات الاختبارية ذات التسمية غير المعروفة. على 8 من أصل 11 معيارًا للاختبار في التعلّم الميتا، تفوق طريقتنا أو تساوي الأداء المُتّصِل بالحالة الراهنة (state-of-the-art)، وهي الخوارزمية P>M>F، التي تم تدريبها ميتا على هذه المعايير، وذلك دون الحاجة إلى أي تدريب ميتا أو تدريب دقيق. يمكن الوصول إلى الكود الخاص بنا من خلال الرابط: https://github.com/cfifty/CAML.