تحرير الصور بدون عكس باستخدام اللغة الطبيعية

رغم التقدم الأخير في تحرير الصور القائم على الانعكاس، لا يزال التلاعب بالصور ب导读 النص تحديًا للنماذج التفاضلية. وتتمثل العقبات الرئيسية في:1) طبيعة عملية الانعكاس المستهلكة للوقت؛2) صعوبة الموازنة بين الثبات والدقة؛3) نقص التوافق مع طرق العينات الثابتة الفعالة المستخدمة في النماذج الثابتة.لحل هذه المشكلات، نبدأ بطرح السؤال التالي: هل يمكن الاستغناء عن عملية الانعكاس في التحرير؟ وقد أظهرنا أن عندما يكون العينة الأولية معروفة، فإن جدول تباين خاص يقلل خطوة إزالة الضوضاء إلى الشكل نفسه لطرق العينات الثابتة المتعددة الخطوات. وسمينا هذا النموذج "نموذج الانتشار المتسق لإزالة الضوضاء" (Denoising Diffusion Consistent Model - DDCM)، ولاحظنا أنه يعني استراتيجية انعكاس افتراضية دون الحاجة إلى الانعكاس الصريح أثناء العينة.وقد أ further unified the آليات السيطرة على الانتباه في إطار عمل خالي من التعديلات لتحرير الصور ب导读 النص. ومن خلال دمج هذين الأسلوبين، نقدم تحريرًا خاليًا من الانعكاس (InfEdit)، والذي يسمح بالتحرير الثابت والمخلص لكل من التغييرات الدلالية الجامدة وغير الجامدة، مما يتناسب مع التعديلات المعقدة دون المساس بسلامة الصورة والانعكاس الصريح. وقد أظهر InfEdit أداءً قويًا في مهام التحرير المختلفة، كما حافظ على سير العمل السلس (أقل من 3 ثوانٍ على بطاقة واحدة من نوع A40)، مما يدل على إمكانية استخدامه في التطبيقات الفورية.صفحة المشروع: https://sled-group.github.io/InfEdit/