UniK3D：ユニバーサルカメラモノクローラル3D推定

単眼3D推定は視覚的認識において極めて重要である。しかし、現在の手法はピンホールカメラモデルや補正済み画像といった過度に単純化された仮定に依存しており、その結果、汎用性が著しく制限され、魚眼やパノラマ画像を含む実世界のシナリオでは性能が著しく低下し、大きな文脈情報の喪失を引き起こしている。この課題に対処するため、本研究では任意のカメラモデルを扱える、初めての汎用的な単眼3D推定手法「UniK3D」を提案する。本手法は、カメラとシーン幾何のより良い分離を可能にする球面3D表現を導入し、制約のないカメラモデルに対しても正確なメトリック3D再構成を実現する。カメラモジュールでは、球面調和関数の学習による重ね合わせによって得られる、従来のモデル依存性のない「光線束（pencil of rays）」の新規表現を採用している。また、広視野カメラ向けに3D出力の収縮を防ぐために、新たな角度損失（angular loss）を導入し、カメラモジュールの設計と併用することで、性能の低下を抑制している。13種類の多様なデータセットを用いた包括的なゼロショット評価において、UniK3Dは3D、深度、カメラに関する複数の指標で最先端の性能を達成しており、特に大視野角やパノラマ設定において顕著な性能向上を示した一方で、従来のピンホールモデル・小視野角領域においても最高水準の精度を維持している。コードおよびモデルは、github.com/lpiccinelli-eth/unik3d にて公開されている。