要約
本稿では、補助画像を用いた点群補完（point cloud completion）という最近の課題に焦点を当て、局所的な潜在空間において二つのモダリティ（点群と画像）の情報を効果的に統合する手法を提案する。このアプローチにより、最先端の手法で用いられる単一視点からの複雑な点群再構成手法の必要性を回避できる。また、新たな弱教師あり（weakly-supervised）学習設定を検討し、完成された点群に対して微分可能なレンダラ（differentiable renderer）を適用することで、画像空間における忠実度（fidelity）を測定する形で補助画像が学習プロセスに教師信号を提供する仕組みを構築した。実験結果から、単一モダリティおよびマルチモダリティ両方の補完において、従来の教師あり手法を顕著に上回る性能が示された。さらに、弱教師ありアプローチの有効性も実証し、多数の教師あり手法を上回るとともに、点群情報のみを活用する最新の教師ありモデルと同等の性能を達成した。