ClothFlow: نموذج يعتمد على التدفق لإنشاء أشخاص مُلبسين

نقدّم نموذج ClothFlow، وهو نموذج توليد مبني على تدفق المظهر، لتصنيع صور أشخاص ملبسين في مهام توليد صور الشخص حسب الوضعية المُوجَّهة وتجربة الزي الافتراضية. من خلال تقدير تدفق كثيف بين مناطق الملابس المصدرية والمستهدفة، يتمكّن ClothFlow من نمذجة التغيرات الهندسية بشكل فعّال ونقل المظهر بشكل طبيعي لتكوين صور جديدة، كما هو موضح في الشكل 1. نحقّق هذا الهدف من خلال إطار عمل مكوّن من ثلاث مراحل: 1) مع التوجيه بوضعية مستهدفة، نقدّر أولًا تخطيطًا معنويًا للشخص، لتوفير توجيه أكثر غنىً لعملية التوليد. 2) مبنيًا على شبكتين من شبكات الهرم المميز (feature pyramid networks)، تُقدّم شبكة تقدير التدفق المتسلسل تقديرًا دقيقًا لتوافق المظهر بين مناطق الملابس المقابلة. ويُستخدم التدفق الكثيف الناتج لتشويه الصورة المصدرية بطريقة مرنة تأخذ بعين الاعتبار التشوهات. 3) أخيرًا، تأخذ شبكة التوليد المناطق المشوّهة من الملابس كمدخلات وترسم الرؤية المستهدفة. أجرينا تجارب واسعة على مجموعة بيانات DeepFashion لمهام توليد صور الشخص حسب الوضعية المُوجَّهة، وعلى مجموعة بيانات VITON لمهام تجربة الزي الافتراضية. وتوحي النتائج الكمية والكيفية القوية بفعالية طريقتنا.