Command Palette
Search for a command to run...
CLiFT: 圧縮された光線トークンを用いた計算効率の高い適応型ニューラルレンダリング
CLiFT: 圧縮された光線トークンを用いた計算効率の高い適応型ニューラルレンダリング
Zhengqing Wang Yuefan Wu Jiacheng Chen Fuyang Zhang Yasutaka Furukawa
概要
本論文では、シーンを「圧縮されたライティングフィールドトークン(Compressed Light-field Tokens: CLiFTs)」として表現するニューラルレンダリング手法を提案します。この手法は、シーンの豊かな外観情報と幾何学情報を保持しつつ、計算効率の高いレンダリングを可能にします。また、単一の訓練済みネットワークを使用して、シーンを表現するトークンの数や新しい視点をレンダリングするためにトークンの数を変更することもできます。具体的には、複数の画像が与えられた場合、マルチビュー符号化器はカメラポーズとともに画像をトークン化します。潜在空間でのK-meansアルゴリズムは、これらのトークンを使用して減らした数のレイ(線)を選択し、クラスタ中心点として使用します。マルチビュー「凝縮器」は、すべてのトークンの情報をこれらの中心点トークンに圧縮してCLiFTsを作成します。テスト時には、目標視点と計算予算(つまり、CLiFTsの数)が与えられると、システムは指定された数の近傍トークンを集めて、計算適応型レンダラーを使用して新しい視点を合成します。RealEstate10KおよびDL3DVデータセットにおける広範な実験により、当手法が定量的にも定性的にも有効であることが確認されました。当手法は大幅なデータ量削減を達成しながら同等のレンダリング品質を維持し、最高の総合レンダリングスコアを得ています。さらに、データサイズ、レンダリング品質、およびレンダリング速度間でトレードオフを提供しています。