خسارة الشكل الإدراكية لإعادة بناء الوجه ثلاثي الأبعاد من كاميرا واحدة

إعادة بناء الوجه ثلاثي الأبعاد من صورة واحدة هو موضوع شائع، وتعالج الأساليب الموجودة المشكلة إما من خلال الاستدلال السريع بشبكات العصبونات أو إعادة بناء الهندسة بشكل تكراري خارج الخط (offline). في كلتا الحالتين، يتم تقليل دوال الطاقة المصممة بعناية، والتي تشمل عادةً مصطلحات الخسارة مثل الخسارة الضوئية والخسارة إعادة الإسقاط للنقاط المرجعية وغيرها.في هذا العمل، نقترح دالة خسارة جديدة لإعادة التقاط الوجه من صورة واحدة، مستوحاة من كيفية تقدير البشر لجودة إعادة بناء الوجه ثلاثي الأبعاد عند مشاهدة صورة معينة. كما هو معروف على نطاق واسع أن التظليل يوفر مؤشراً قوياً للشكل ثلاثي الأبعاد في نظام الرؤية البشري. لذلك، فإن دالة الخسارة الشكلية الجديدة "الإدراكية" لدينا تهدف إلى الحكم على جودة تقدير الوجه ثلاثي الأبعاد باستخدام مؤشرات التظليل فقط.تُطبق دالة الخسارة الخاصة بنا كشبكة عصبية تعمل بالتمييز وتتلقى صورة وجه مدخلة وصورة مظللة لمقدّر الهندسة، ثم تتوقع درجة تقييم كيف يتطابق التظليل مع الصورة المعطاة بشكل إدراكي. يعمل هذا الشبكة "المقيمة" على الصورة الملونة (RGB) ومقدّر الهندسة فقط، دون الحاجة إلى تقدير اللون القاعدي (albedo) أو الإضاءة في المشهد. بالإضافة إلى ذلك، تعمل دالة الخسارة الخاصة بنا بالكامل في فضاء الصور وهي بالتالي غير مرتبطة بتوبولوجيا الشبكة العنكبوتية (mesh topology).نوضح كيف يمكن الجمع بين دالة الخسارة الإدراكية الجديدة للشكل والمصطلحات الطاقوية التقليدية لإعادة بناء الوجه ثلاثي الأبعاد من صورة واحدة وتقدير الانحدار بشبكات العصبونات العميقة، مما يؤدي إلى تحسين النتائج الحالية التي تعتبر الأكثر تقدماً في هذا المجال.