التجربة الافتراضية لمرحلة واحدة من خلال تدفقات الانتباه القابلة للتشوه

يهدف التجربة الافتراضية إلى إنتاج نتيجة ملائمة واقعية بصريًا، معطى قطعة ملابس من داخل المتجر وصورة شخص مرجعي. تُبنى معظم الطرق الحالية على هيكل متعدد المراحل لمعالجة تشوه الملابس والدمج بين الجسم على حدة، أو تعتمد بشكل كبير على علامات متوسطة قائمة على المحلل (parser) التي قد تكون مشوهة أو غير دقيقة. ولحل التحديات المذكورة أعلاه، نقترح إطارًا أحادي المرحلة للتجربة الافتراضية من خلال تطوير تقنية جديدة تُسمى "تدفق الانتباه القابل للتشويه" (DAFlow)، والتي تطبّق مخطط الانتباه القابل للتشويه على تقدير التدفقات المتعددة. وباستخدام نقاط الوضع (pose keypoints) كمرشد فقط، يتم تقدير تدفقات الانتباه الذاتية والمتعددة (self- and cross-deformable attention flows) للصورة المرجعية للشخص والصورة الخاصة بالملابس على التوالي. ومن خلال أخذ عينات من عدة حقول تدفق، يتم استخلاص ودمج المعلومات على مستوى الميزات وعلى مستوى البكسل من مناطق ذات دلالات مختلفة عبر آلية الانتباه. ويتيح هذا التكامل تشوه الملابس وتركيب الجسم في آن واحد، مما يؤدي إلى نتائج واقعية بصريًا بطريقة متكاملة (end-to-end). وتوحي النتائج التجريبية الواسعة على مجموعتي بيانات تجربة الزي مقارنةً بالنتائج السابقة من حيث الجودة البصرية والكمية. علاوةً على ذلك، تُظهر التجارب الإضافية على مهام تحرير صور أخرى مرونة طريقة الاقتراح في توليد مشاهد متعددة الزوايا والتحريك الصوري.