FOF: تعلم حقل الوجود فورييه للإعادة الفورية للإنسان باستخدام كاميرا واحدة

قد أدت ظهور التعلم العميق إلى تقدم كبير في إعادة بناء الإنسان من كاميرا واحدة (monocular human reconstruction). ومع ذلك، فإن التمثيلات الحالية مثل النماذج المعلمة (parametric models)، شبكات الفوكسل (voxel grids)، الشبكات (meshes) والتمثيلات العصبية الضمنية (implicit neural representations) تواجه صعوبات في تحقيق نتائج عالية الجودة وسرعة في الوقت الحقيقي في آن واحد. في هذا البحث، نقترح حقل الوجود فورييه (Fourier Occupancy Field - FOF)، وهو تمثيل ثلاثي الأبعاد جديد قوي وكفؤ ومروّن لبناء الإنسان بدقة وفي الوقت الحقيقي من كاميرا واحدة. يمثل حقل الوجود فورييه الجسم الثلاثي الأبعاد بحقل ثنائي الأبعاد متعامد مع اتجاه الرؤية، حيث يتم تمثيل حقل الوجود للجسم على طول اتجاه الرؤية بشكل مكثف باستخدام المصطلحات الأولى من سلسلة فورييه، مما يحافظ على الطوبولوجيا والعلاقة المجاورة في المجال الثنائي الأبعاد. يمكن تخزين حقل الوجود فورييه كصورة متعددة القنوات، وهي متوافقة مع شبكات العصب المتكررة ثنائية الأبعاد ويمكنها جسر الفجوة بين الهندسات ثلاثية الأبعاد والصور ثنائية الأبعاد. يعتبر حقل الوجود فورييه مرناً وممتداً للغاية، على سبيل المثال، يمكن دمج النماذج المعلمة بسهولة في حقل الوجود فورييه كسابقة لإنتاج نتائج أكثر ثباتًا. استنادًا إلى حقل الوجود فورييه، صممنا أول إطار عمل لإعادة بناء الإنسان بدقة وفي الوقت الحقيقي بمعدل 30+إطارًا في الثانية من كاميرا واحدة. نوضح إمكانات حقل الوجود فورييه على كل من البيانات العامة والبيانات المحصلة بالفعل. سيتم إطلاق الكود لأغراض البحث.