エンドツーエンド学習による3Dポイントクラウド向けローカルマルチビュー記述子

本研究では、3次元点群に対する局所的な多視点記述子を学習するエンドツーエンドフレームワークを提案する。従来の研究では、多視点表現を採用する際、事前処理段階で手作業で設計された視点を用いてレンダリングを行うが、このプロセスはその後の記述子学習段階から分離されている。本フレームワークでは、微分可能なレンダラを用いて多視点レンダリングをニューラルネットワークに統合し、視点を最適化可能なパラメータとして扱えるようにすることで、注目点のより情報豊かな局所的文脈を捉えることが可能となる。また、識別力の高い記述子を得るため、複数の視点にわたる畳み込み特徴を注意深く統合するためのソフトビュー平均化モジュールを新たに設計した。既存の3次元登録ベンチマークにおける広範な実験の結果、本手法は定量的・定性的に、従来の局所記述子を上回る性能を示した。