من بين الطرق الشائعة لتعديل المعلمات الفعالة (PEFT)، اكتسبت LoRA ومشتقاتها شعبية كبيرة بفضل تجنبها لتكاليف الاستنتاج الإضافية. ومع ذلك، يظل هناك غالبًا فجوة في الدقة بين هذه الطرق والتعديل الكامل (FT). في هذه الدراسة، نقدّم أولًا تحليلًا جديدًا لتحليل تفكيك الوزن لاستكشاف الفروق الجوهرية بين FT وLoRA. وبالنظر إلى قدرة التعلم التي تم التوصل إليها، نقترح طريقة تُسمى "LoRA المُفكّكة حسب الوزن" (DoRA). تُفكّك DoRA الوزن المُدرّب مسبقًا إلى مكونين: المقدار والاتجاه، وذلك لغرض التدريب المُعدّل، حيث تستخدم LoRA بشكل خاص لتحديث الاتجاه، مما يُمكّن من تقليل عدد المعلمات القابلة للتدريب بشكل فعّال. وباستخدام \ours، نعزّز قدرة التعلّم والاستقرار التدريبي لـ LoRA مع تجنّب أي تكاليف إضافية أثناء الاستنتاج. تتفوّق \ours باستمرار على LoRA في تدريب نماذج LLaMA وLLaVA وVL-BART على مهام متعددة في المهام التالية: الاستدلال السليم، التدريب التوجيهي البصري، وفهم النص/الصورة/الفيديو. يُمكن الوصول إلى الشيفرة عبر الرابط: https://github.com/NVlabs/DoRA.