Command Palette
Search for a command to run...
{Nizar Bouguila Zachary Patterson Sneha Paul}
要約
ポイントクラウドは、特定の構造を持たず、順序に対して不変な3D幾何学的データである。近年、視覚タスク分野におけるポイントクラウドの応用が注目を集めている。しかし、現在の多数のポイントクラウド関連研究は、大規模なラベル付きデータ上で教師あり学習を用いるものであり、これらのデータ収集は費用がかかり、手間がかかるという課題がある。このような状況を踏まえ、自己教師学習を含む非教師あり学習が、2Dコンピュータビジョンのさまざまなタスクにおいて有望な性能を示しており、3Dコンピュータビジョンへの応用の可能性も秘めている。本研究では、ポイントクラウドデータの未ラベル表現を、そのポイントクラウドからレンダリングされた2D画像も活用するマルチモーダル環境で学習する新しい自己教師学習手法「CrossMoCo」を提案する。CrossMoCoは、より多くのネガティブサンプルを用いたモーメンタム対照学習と、複数視点間のモーダル内対照学習という2つの新概念を導入することで、既存のマルチモーダル自己教師学習手法を上回る性能を達成している。第一の構成要素は、オンラインエンコーダとモーメンタムエンコーダを用い、多数のネガティブサンプルから学習することで一貫した学習信号を提供する。第二の構成要素は、同一モーダルのサンプルに対する異なる視点間の一貫性を強制することで、マルチモーダル表現の質を向上させる。本研究では、線形分類および少サンプル学習タスクにおいて、代表的なベンチマークデータセット(ModelNet40およびScanObjectNN)を用いて広範な実験を行った。その結果、両データセットにおいて、線形分類タスクで最大4.36%、少サンプル学習タスクで最大9.2%の性能向上を達成し、既存手法を上回ることを示した。本研究のコードは、https://github.com/snehaputul/CrossMoCo にて公開されている。
コードリポジトリ
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| 3d-object-classification-on-modelnet40 | CrossMoCo | Classification Accuracy: 91.49 |
| 3d-point-cloud-classification-on-modelnet40 | CrossMoCo | Overall Accuracy: 91.49 |
| 3d-point-cloud-linear-classification-on | CrossMoCo | Overall Accuracy: 91.49 |
| 3d-point-cloud-linear-classification-on-1 | CrossMoCo | Overall Accuracy: 86.06 |
| few-shot-3d-point-cloud-classification-on-1 | CrossMoCo | Overall Accuracy: 93.8 Standard Deviation: 4.5 |
| few-shot-3d-point-cloud-classification-on-2 | CrossMoCo | Overall Accuracy: 96.8 Standard Deviation: 1.7 |
| few-shot-3d-point-cloud-classification-on-3 | CrossMoCo | Overall Accuracy: 88.7 Standard Deviation: 3.9 |
| few-shot-3d-point-cloud-classification-on-4 | CrossMoCo | Overall Accuracy: 91.0 Standard Deviation: 3.4 |
| few-shot-3d-point-cloud-classification-on-6 | CrossMoCo | Overall Accuracy: 69.6 |
| few-shot-3d-point-cloud-classification-on-7 | CrossMoCo | Overall Accuracy: 78.1 |
| few-shot-3d-point-cloud-classification-on-8 | CrossMoCo | Overall Accuracy: 84.0 |
| few-shot-3d-point-cloud-classification-on-9 | CrossMoCo | Overall Accuracy: 87.6 |