إعادة ترتيب الموضوع داخل الصورة

تتمحور الصور المُعدَّلة حاليًا بشكل رئيسي حول التلاعب الثابت، مثل استبدال مناطق محددة داخل الصورة أو تغيير نمطها العام. في هذه الورقة، نقدّم مهمة تلاعب ديناميكية مبتكرة تُسمى "إعادة ترتيب الموضوع". تتمثل هذه المهمة في نقل موضوع محدَّد من المستخدم إلى موضع مرغوب مع الحفاظ على واقعية الصورة. تُظهر أبحاثنا أن المهام الفرعية الأساسية لإعادة ترتيب الموضوع، والتي تشمل ملء الفراغ الناتج عن نقل الموضوع، وإعادة بناء الأجزاء المُغطاة من الموضوع، ودمج الموضوع بحيث يكون متناسقًا مع المناطق المحيطة، يمكن إعادة صياغتها بشكل فعّال كمهمة موحدة موجهة بالنص (prompt-guided inpainting). وبذلك، يمكننا استخدام نموذج توليدي انتشاري واحد لمعالجة هذه المهام الفرعية باستخدام أنواع مختلفة من الأوامر (prompts) التي تم تعلّمها من خلال تقنية التحويل الوظيفي (task inversion) التي نقترحها. علاوةً على ذلك، ندمج تقنيات ما قبل المعالجة وما بعد المعالجة لتحسين جودة إعادة ترتيب الموضوع بشكل أكبر. تشكّل هذه العناصر معًا إطارنا المسمى SEgment-gEnerate-and-bLEnd (SEELE). ولتقييم فعالية SEELE في إعادة ترتيب الموضوع، نُنشئ مجموعة بيانات واقعية تُسمى ReS. تُظهر النتائج التي حققها SEELE على مجموعة بيانات ReS فعاليته. يمكن الوصول إلى الكود وبيانات ReS من خلال الرابط التالي: https://yikai-wang.github.io/seele/.