AnySplat: 制約のない視点からのフィードフォワード3Dガウススプラッティング

私たちはAnySplatを紹介します。これは、未校正の画像コレクションから新しい視点を合成するためのフィードフォワードネットワークです。従来のニューラルレンダリングパイプラインは、既知のカメラポーズとシーンごとの最適化を必要とする一方で、最近のフィードフォワード手法は密集したビューの計算負荷に耐えられず、性能が低下します。しかし、私たちのモデルは一発で全てを予測します。単一の順方向パスにより、シーンのジオメトリと外観をエンコードした3Dガウスプリミティブのセットと、各入力画像に対応するカメラ内部パラメータおよび外部パラメータが生成されます。この統合された設計は、ポーズ注釈なしでカジュアルに撮影された多視点データセットにも容易に拡張できます。広範なゼロショット評価において、AnySplatは疎なビューと密集したビュー両方のシナリオでポーズ認識型ベースラインと同等の品質を達成しながら、既存のポーズフリー手法を超える結果を示しました。さらに、最適化ベースのニューラルフィールドと比較してレンダリング遅延が大幅に削減され、制約なしの撮影環境でもリアルタイムでの新しい視点合成が実現可能になりました。プロジェクトページ: https://city-super.github.io/anysplat/