إلى تجربة افتراضية واقعية بصريًا من خلال توليد محتوى صور بشكل تكيفي وحفظه

يهدف التجربة البصرية للملابس إلى نقل صورة ملابس مستهدفة إلى شخص مرجعي، وقد أصبح موضوعًا رئيسيًا في السنوات الأخيرة. وتركز الطرق السابقة عادةً على الحفاظ على خصائص صورة الملابس (مثل النسيج، الشعار، التطريز) أثناء تحويلها إلى وضعيات بشرية مختلفة. ومع ذلك، لا يزال يمثل إنتاج صور تجربة واقعية ودقيقة تحديًا كبيرًا عندما تظهر في الشخص المرجعي تغطيات واسعة (أو إغلاقات كبيرة) ووضعيات بشرية معقدة. لمعالجة هذه المشكلة، نقترح شبكة تجربة بصرية جديدة تُسمى "شبكة التوليد والحفاظ على المحتوى المتكيفة" (Adaptive Content Generating and Preserving Network - ACGPN). وبشكل خاص، تقوم ACGPN أولاً بتنبؤ التخطيط الدلالي للصورة المرجعية التي ستتغير بعد التجربة (مثل: قميص بأكمام طويلة → ذراع، ذراع → معطف)، ثم تحدد ما إذا كان ينبغي إنشاء محتوى الصورة أو الحفاظ عليه بناءً على التخطيط الدلالي المُتنبأ به، مما يؤدي إلى صور تجربة واقعية جدًا مع تفاصيل غنية في الملابس. وتتكون ACGPN عادةً من ثلاث وحدات رئيسية. أولاً، وحدة توليد التخطيط الدلالي تستخدم التجزئة الدلالية للصورة المرجعية لتوقع التخطيط الدلالي المطلوب بعد التجربة بشكل تدريجي. ثانيًا، وحدة تحويل الملابس تقوم بتحويل صور الملابس وفقًا للتخطيط الدلالي المُولَّد، حيث يتم إدخال قيد الفرق من الدرجة الثانية لضمان استقرار عملية التحويل أثناء التدريب. ثالثًا، وحدة ترميم المحتوى (inpainting) لدمج المعلومات تدمج جميع البيانات (مثل الصورة المرجعية، التخطيط الدلالي، الملابس المتحولة) لإنتاج تلقائي لكل جزء دلالي من جسم الإنسان. مقارنةً بالأساليب الرائدة في مجالها، تُنتج ACGPN صورًا واقعية بدقة عالية، مع جودة إدراكية أفضل وتفاصيل دقيقة أكثر.