Xiangwei Shen Zhimin Li Zhantao Yang Shiyi Zhang et al

الملخص

أظهرت دراسات حديثة فعالية محاذاة نماذج التفريغ مباشرةً مع تفضيلات البشر باستخدام مكافأة قابلة للتفاضل. ومع ذلك، تواجه هذه الطرق تحديين رئيسيين: (1) تعتمد على عملية إزالة الضوضاء متعددة المراحل مع حساب المشتقات لتقدير المكافأة، وهي عملية مكلفة من الناحية الحسابية، مما يحد من عملية التحسين إلى عدد قليل جدًا من خطوات التفريغ؛ (2) تتطلب غالبًا تكييفًا خارج الزمن (offline) مستمرًا لنماذج المكافأة لتحقيق جودة جمالية مرغوبة، مثل الواقعية الفوتوغرافية أو تأثيرات الإضاءة الدقيقة. وللتغلب على قيد إزالة الضوضاء متعددة المراحل، نقترح طريقة تُسمى Direct-Align، التي تُعرّف مُسبَقًا توزيعًا أوليًا للضوضاء لاستعادة الصور الأصلية بشكل فعّال من أي خطوة زمنية من خلال التداخل، مستفيدة من المعادلة التي تُشير إلى أن حالات التفريغ هي تداخلات بين الضوضاء والصور المستهدفة، مما يقلل بشكل فعّال من ظاهرة التحسين الزائد في المراحل المتأخرة. علاوةً على ذلك، نقدّم تحسين التفضيل النسبي المعنوي (Semantic Relative Preference Optimization - SRPO)، حيث تُصاغ المكافآت على شكل إشارات مرتبطة بنصوص (text-conditioned). ويُمكن لهذا النهج التكيف الفوري مع المكافآت استجابةً لزيادة الإشارات الإيجابية والسلبية، مما يقلل الاعتماد على تحسين المكافآت خارج الزمن. وباستخدام التحسين الدقيق لنموذج FLUX مع إزالة ضوضاء محسّنة وتعديل مكافآت في الزمن الحقيقي، نُحسّن جودة الواقعية والجمال البصري المُقيّمة من قبل البشر بنسبة تزيد عن 3 أضعاف.