要約
本稿では、単眼自己回転人体映像から時空間的に一貫した幾何形状を復元するための、服を着た人体の再構成手法「SelfRecon」を提案する。従来の明示的表現（explicit representation）手法は、特定の映像シーケンスに対して事前に定義されたテンプレートメッシュを必要とするが、特定の被験者に対してはそのテンプレートを取得することが困難である。さらに、固定されたトポロジーの制約により、再構成精度や衣装の種類に制限が生じる。一方、暗黙的表現（implicit representation）は連続性の特徴により任意のトポロジーを扱え、高精細な幾何形状の表現が可能である。しかし、複数フレームの情報を統合して下流の応用に適した一貫性のある登録シーケンスを生成するのは困難である。本研究では、両者の利点を統合するアプローチを提案する。明示的メッシュの微分可能なマスク損失を用いて全体形状の一貫性を確保し、同時に暗黙的表面の詳細は微分可能なニューラルレンダリングによって精緻化する。さらに、明示的メッシュは周期的に更新され、トポロジーの変化に適応する。両表現間の整合性を維持するための整合性損失を設計した。既存手法と比較して、SelfReconは自己教師付き最適化により、任意の衣装を着た人体に対して高精細な表面を生成可能である。実データによる広範な実験結果から、本手法の有効性が確認された。ソースコードは以下のURLで公開されている：https://github.com/jby1993/SelfReconCode。