استخلاص المقاومة ضد التوزيعات غير المتشابهة من النماذج الأساسية للرؤية واللغة

نُقدِّم إطارًا مفاهيميًا بسيطًا وخفيفًا لتحسين مقاومة نماذج الرؤية من خلال دمج تقنيتي تTRANSFER المعرفة والتوسيع البيانات. ونُعالج الفرضية القائلة بأن النماذج الأكبر لا تمثل معلّمين أفضل، وذلك من خلال إظهار تحسينات كبيرة في مقاومة النماذج خارج التوزيع (out-of-distribution) عند تطبيق عملية نقل المعرفة من نماذج أساسية مُدرَّبة مسبقًا. استنادًا إلى هذا الاكتشاف، نُقدِّم تقنية "النقل العدواني المتقطع" (Discrete Adversarial Distillation - DAD)، التي تُستخدَم فيها نموذج مُعلّم مقاوم لإنشاء أمثلة عدائية، وتُستخدم VQGAN لتحويلها إلى تمثيلات منفصلة (discretized)، مما يُنتج عينات أكثر إفادة مقارنةً بتقنيات التوسيع القياسية. ونُقدِّم إطارًا نظريًا لاستخدام نموذج مُعلّم مقاوم في سياق نقل المعرفة مع التوسيع البيانات، ونُظهر تحسينات قوية في مقاومة النماذج خارج التوزيع والدقة على البيانات النظيفة عبر معماريات طالب مختلفة. وبشكل لافت، فإن طريقتنا تضيف حملًا حوسبية طفيفًا مقارنةً بالتقنيات المشابهة، ويمكن دمجها بسهولة مع تقنيات توسيع بيانات أخرى لتحقيق تحسينات إضافية.