T-LoRA: تخصيص نموذج التشتت لصورة واحدة دون الإفراط في التكيف

بينما تقدم تقنيات التعديل الدقيق للنماذج التفاضلية نهجًا قويًا لتهيئة النماذج المدربة مسبقًا لإنتاج أشياء محددة، فإنها غالبًا ما تعاني من الإفراط في التكيف عند حدوث نقص في عينات التدريب، مما يقوض قدرتها على التعميم وتنوع الإخراج. يتناول هذا البحث مهمة صعبة ومع ذلك ذات تأثير كبير وهي تكييف نموذج تفاضلي باستخدام صورة واحدة فقط للمفهوم، حيث تعتبر التهيئة بناءً على صورة واحدة الأكثر إمكانية عملية. نقدم T-LoRA، وهو إطار للتعديل الدقيق ذو الرتبة المنخفضة المعتمد على الزمن (Timestep-Dependent Low-Rank Adaptation) والمصمم خصيصًا لشخصنة النماذج التفاضلية. في دراستنا، نوضح أن خطوات التفاضل الأعلى أكثر عرضة للإفراط في التكيف مقارنة بخطوات التفاضل الأدنى، مما يتطلب استراتيجية تعديل دقيقة زمنيًا. يدمج T-LoRA ابتكارين رئيسيين: (1) استراتيجية تعديل ديناميكية تقوم بضبط تحديثات مقيدة بالرتبة بناءً على خطوات التفاضل، و(2) تقنية معامل الوزن التي تضمن الاستقلال بين مكونات المعدل من خلال المبادرة بالمصفوفات المتعامدة. تظهر التجارب الواسعة أن T-LoRA ومكوناتها الفردية تتفوق على LoRA القياسية وتقنيات شخصنة النماذج التفاضلية الأخرى. فهي تحقق توازنًا أفضل بين دقة المفهوم والتوافق مع النص، مما يسلط الضوء على إمكانات T-LoRA في السيناريوهات ذات البيانات المحدودة والموارد المقيدة. يمكن الوصول إلى الكود عبر الرابط https://github.com/ControlGenAI/T-LoRA.