ICON: الأشخاص الملبسين الضمنيين المستخلصين من الصور الطبيعية

الطرق الحالية لتعلم الأفاتار ثلاثية الأبعاد الواقعية والقابلة للتحريك تحتاج إما إلى مسح ضوئي ثلاثي الأبعاد في وضعيات مختلفة أو صور ثنائية الأبعاد مع وضعيات مستخدمين محكمة التحكم. بالمقابل، هدفنا هو تعلم أفاتار من الصور ثنائية الأبعاد فقط للأشخاص في وضعيات غير مقيدة. بناءً على مجموعة من الصور، يقدر طريقة البحث سطحاً ثلاثي الأبعاد مفصلاً من كل صورة ثم يدمج هذه السطوح في أفاتار قابل للتحريك. تعتبر الدوال الضمنية مناسبة جدًا للمهمة الأولى، حيث يمكنها التقاط تفاصيل مثل الشعر والملابس. ومع ذلك، فإن الطرق الحالية ليست ثابتة أمام الوضعيات البشرية المتنوعة وغالبًا ما تنتج سطوحًا ثلاثية الأبعاد ذات أطراف مكسورة أو منفصلة، تفاصيل ناقصة، أو أشكال غير بشرية. المشكلة هي أن هذه الطرق تعتمد على كودرات الخصائص العالمية التي تكون حساسة للوضعية العالمية. لحل هذه المشكلة، نقترح ICON ("Implicit Clothed humans Obtained from Normals") (الأفراد الملثمون الضمنيون المستنتجون من العناصر الطبيعية)، والتي تستفيد بدلاً من ذلك من الخصائص المحلية.يتكون ICON من وحدتين رئيسيتين، وكلتا الوحدتين تستغلان نموذج الجسم SMPL(-X). أولاً، يستنتج ICON عناصر طبيعية مفصلة للأفراد الملثمين (الأمام/الخلف) مشروطة بعناصر طبيعية SMPL(-X). ثانيًا، ينتج مُرَجِّع السطح الضمني الذي يدرك الرؤية سطحًا متساوي الكثافة لمجال احتلال الإنسان. بشكل مهم، أثناء عملية الاستنتاج، يتداول حلقة رد الفعل بين تحسين شبكة SMPL(-X) باستخدام العناصر الطبيعية المستنتجة ومن ثم تحسين العناصر الطبيعية.بالاعتماد على عدة إطارات إعادة بناء لموضوع في وضعيات متنوعة، نستخدم SCANimate لإنتاج أفاتار قابل للتحريك منها. تظهر التقييمات على بيانات AGORA وCAPE أن ICON يتفوق على أفضل التقنيات الحالية في إعادة البناء حتى مع بيانات تدريب شديدة التقييد. بالإضافة إلى ذلك، فإنه أكثر ثباتًا بكثير أمام العينات خارج التوزيع، مثل الوضعيات/الصور البرية والتقليم خارج الإطار. يعتبر ICON خطوة نحو إعادة بناء البشر الثلاثيين الأبعاد الملثمين بطريقة ثابتة من الصور البرية. هذا يمكّن من إنشاء أفاتار مباشرة من الفيديو مع تشوهات شخصية ومتناسقة مع الوضعيات بشكل طبيعي.