FOF: 単眼リアルタイム人間再構築のためのフーリエ占有場の学習

深層学習の登場により、単眼による人間の再構築において大きな進歩が見られました。しかし、既存の表現方法（パラメトリックモデル、ボクセルグリッド、メッシュ、および暗黙的なニューラル表現など）は、高品質な結果とリアルタイム処理を同時に達成することが困難です。本論文では、単眼によるリアルタイムかつ正確な人間の再構築に向けた新しい強力で効率的かつ柔軟な3D表現であるフーリエ占有フィールド（Fourier Occupancy Field: FOF）を提案します。FOFは、3次元物体を視線方向に垂直な2次元フィールドで表現し、各2次元位置では視線方向に沿う物体の占有領域がフーリエ級数の最初の数項によってコンパクトに表されます。これにより2次元領域におけるトポロジーと近傍関係が保たれます。FOFはマルチチャネル画像として保存でき、2次元畳み込みニューラルネットワークと互換性があり、3次元形状と2次元画像との間のギャップを埋めることができます。また、FOFは非常に柔軟で拡張性が高く、例えばパラメトリックモデルを事前情報として簡単に統合してより堅牢な結果を得ることが可能です。本研究では、FOFに基づいて初めて30FPS以上の高忠実度リアルタイム単眼人間再構築フレームワークを開発しました。公開データセットや実際の撮影データを使用してFOFの潜在能力を示しています。本論文に関連するコードは研究目的で公開される予定です。