Command Palette
Search for a command to run...
TriSplat: シミュレーション対応のフィードフォワード3Dシーン再構築
TriSplat: シミュレーション対応のフィードフォワード3Dシーン再構築
Weijie Wang Zimu Li Jinchuan Shi Zeyu Zhang Botao Ye Marc Pollefeys Donny Y. Chen Bohan Zhuang
概要
タイトル:なし抄録:スパースビュー3D再構築は、画像から明示的なプリミティブを直接予測するフィードフォワードスプラッティングネットワークによってますます解決されている。しかし、既存のほとんどの手法はガウシアンプリミティブを中心に据えており、表面を間接的にしか表現しないため、下流のシミュレーション、物理推論、またはエンボディドインタラクションのために使用可能なメッシュを抽出するには、依然として高コストな事後処理ステップが必要であり、これはフィードフォワードの利点を損なう。この制限は、シーン構造とカメラパラメータをスパースな観測から同時に推定する必要があるポーズフリー設定において、特に顕著である。我々は、シーンに向き付き三角形プリミティブで表現し、単一順伝播によってシミュレーション準備完了のメッシュシーンを直接出力するフィードフォワード再構築ネットワークであるTriSplatを発表する。入力画像が与えられると、ネットワークは局所3Dポイントマップ、三角形属性、カメラポーズ、および任意の内部パラメータを予測する。三角形の向きを制約なしの潜在変数として回帰するのではなく、本手法は予測されたポイントマップから幾何学的法線を構築し、画像条件付きの法線ヘッドでそれらを精緻化し、三角形のパラメータ化のための安定した局所フレームに変換する。モノノーマルブートストラップスケジューリングは初期学習をさらに安定化させ、不透明度およびぼかしスケジューリングは、直接メッシュ抽出のために学習された表面表現を段階的に鮮明にする。RealEstate10KおよびDL3DV上での実験は、この表現がガウシアンベースのフィードフォワード手法よりも幾何学的忠実度の高い再構築を生み出しつつ、競争力のある新規視点レンダリング品質を維持することを示している。レンダリングプリミティブ自体が表面三角形であるため、出力は変換なしで物理エンジン、衝突検出器、および標準的なレンダリングパイプラインに直接取り込むことができ、フィードフォワード3Dシーン再構築のための実用的なシミュレーション準備完了ソリューションとなる。