11日前

対照的なシーンコンテキストを用いたデータ効率的な3Dシーン理解の探求

Ji Hou, Benjamin Graham, Matthias Nießner, Saining Xie
対照的なシーンコンテキストを用いたデータ効率的な3Dシーン理解の探求
要約

3次元シーン理解における急速な進展は、データに対する需要の増大を伴っている。しかし、3次元シーン(例えば点群)の収集およびラベル付けは、常に困難である。たとえば、アクセス可能でスキャン可能なシーン(例:屋内空間)の数には限界がある。また、十分なデータが得られたとしても、3次元ラベル(例:インスタンスマスク)を取得するには人的労力が非常に必要となる。本論文では、3次元点群におけるデータ効率的な学習に焦点を当てる。この方向性への第一歩として、点レベルの対応関係とシーン内の空間的文脈の両方を活用する3次元事前学習手法「コントラスト的シーンコンテキスト(Contrastive Scene Contexts)」を提案する。本手法は、訓練データやラベルが限られる複数のベンチマークにおいて、最先端の性能を達成した。本研究の結果から、3次元点群に対する網羅的なラベル付けが必ずしも必要ではないことが示された。特に、ScanNetデータセットにおいて、点ラベルの0.1%のみを用いても、完全なアノテーションを使用したベースライン性能の89%(インスタンスセグメンテーション)および96%(セマンティックセグメンテーション)を達成している。

対照的なシーンコンテキストを用いたデータ効率的な3Dシーン理解の探求 | 最新論文 | HyperAI超神経