HyperAIHyperAI

Command Palette

Search for a command to run...

マルチモーダル学習を用いた画像誘導型点群形状補完

Emanuele Aiello Diego Valsesia Enrico Magli

概要

本稿では、補助画像を用いた点群補完(point cloud completion)という最近の課題に焦点を当て、局所的な潜在空間において二つのモダリティ(点群と画像)の情報を効果的に統合する手法を提案する。このアプローチにより、最先端の手法で用いられる単一視点からの複雑な点群再構成手法の必要性を回避できる。また、新たな弱教師あり(weakly-supervised)学習設定を検討し、完成された点群に対して微分可能なレンダラ(differentiable renderer)を適用することで、画像空間における忠実度(fidelity)を測定する形で補助画像が学習プロセスに教師信号を提供する仕組みを構築した。実験結果から、単一モダリティおよびマルチモダリティ両方の補完において、従来の教師あり手法を顕著に上回る性能が示された。さらに、弱教師ありアプローチの有効性も実証し、多数の教師あり手法を上回るとともに、点群情報のみを活用する最新の教師ありモデルと同等の性能を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています