تحسين نماذج الانتشار للتجربة الافتراضية الواقعية في البيئة الطبيعية

تتناول هذه الورقة موضوع المحاولة الافتراضية القائمة على الصور، والتي تُولِّد صورة لشخص يرتدي قطعة ملابس مختارة، بالاعتماد على زوج من الصور التي تُظهر الشخص والملابس على حدة. وقد سبق أن أعادت الدراسات السابقة تكييف نماذج التعبئة المعتمدة على الأمثلة من نماذج التشتت (diffusion) لتحسين طبيعة الصور المُولَّدة مقارنةً بأساليب أخرى (مثل الأساليب القائمة على GAN)، لكنها فشلت في الحفاظ على هوية القطعة الملابس. ولتجاوز هذه القيد، نقترح نموذجًا تشتتيًا جديدًا يُحسِّن دقة تجسيد الملابس ويُنتج صورًا واقعية للمحاولات الافتراضية. يُسمَّى منهجنا IDM-VTON، ويستخدم وحدتين مختلفتين لترميز المعاني الخاصة بصورة الملابس؛ وباستخدام بنية UNet الأساسية للنموذج التشتتي، فإن: 1) تُدمج المعاني عالية المستوى المستخرجة من مُشفر بصري في طبقة الانتباه المتقاطع، ثم 2) تُدمج الميزات منخفضة المستوى المستخرجة من UNet متوازٍ في طبقة الانتباه الذاتي. بالإضافة إلى ذلك، نقدِّم تحفيزات نصية مفصلة لكل من صورة الملابس والشخص لتعزيز واقعية الصور المُولَّدة. وأخيرًا، نقدِّم طريقة تخصيص باستخدام زوج من صور الشخص والملابس، والتي تُحسِّن بشكل كبير الدقة والواقعية. تُظهر النتائج التجريبية أن منهجنا يتفوق على الأساليب السابقة (سواءً التشتتية أو القائمة على GAN) في الحفاظ على تفاصيل الملابس وإنتاج صور واقعية للمحاولات الافتراضية، من حيث الجودة الكمية والكيفية. علاوةً على ذلك، تُظهر الطريقة المقترحة للتكيف فعاليتها في سياق واقعي. تتوفر مزيد من التصويرات البصرية في صفحة المشروع: https://idm-vton.github.io