Command Palette
Search for a command to run...
Point2Vec による点群の自己監督表現学習
Point2Vec による点群の自己監督表現学習
Karim Abou Zeid Jonas Schult Alexander Hermans Bastian Leibe
概要
最近、自己監督学習フレームワークのdata2vecは、マスクされた教師-生徒アプローチを用いて様々なモダリティで有望な性能を示しています。しかし、このフレームワークが3D点群データに固有の課題に対しても一般化するかどうかはまだ明確ではありません。この質問に答えるため、我々はdata2vecを点群データ領域に拡張し、いくつかのダウンストリームタスクでの好結果を報告します。詳細な分析において、位置情報の漏洩が重いマスキング下でも生徒モデルに全体的な物体形状を露呈させることを見出しました。これにより、data2vecは点群データに対して強力な表現を学習する能力が阻害されます。この3D特有の欠点に対処するために、我々はpoint2vecを提案します。これはdata2vecのような事前学習が点群データで持つ全潜在力を解放します。実験結果では、point2vecがModelNet40とScanObjectNNでの形状分類や少ショット学習において他の自己監督学習方法よりも優れた性能を示しており、ShapeNetPartsでの部品セグメンテーションでも競争力のある結果を得ています。これらの結果は、学習された表現が強力かつ転移可能であることを示唆しており、point2vecが点群表現の自己監督学習における有望な方向性であることを強調しています。