Command Palette

Search for a command to run...

4ヶ月前

AdaCrossNet:マルチモーダル対照型点群学習における適応的動的損失重み付け

{Mauridhi Hery Purnomo Eko Mulyanto Yuniarno Kohichi Ogata Oddy Virgantara Putra}

AdaCrossNet:マルチモーダル対照型点群学習における適応的動的損失重み付け

要約

大規模な点群データセットの手動アノテーションは、その不規則な構造のため労力が大きい。CrossPointやCrossNetといったマルチモーダルデータを活用した自己教師学習におけるクロスモーダル対比学習手法は進展を遂げているが、モダリティ内(IM)およびクロスモーダル(CM)損失の静的重み付けに起因する訓練の不安定性という課題を抱えている。これらの静的重みは、異なるモダリティ間での収束速度の違いを考慮できないため、学習の効率性と安定性に悪影響を及ぼす。本研究では、点群理解を目的とした新しい自己教師学習フレームワークAdaCrossNetを提案する。AdaCrossNetは、IMおよびCM対比学習における動的重み調整機構を用いて、3次元点群とその関連する2次元レンダリング画像の間の類似性を共通潜在空間内で同時に強化することで表現を学習する。本手法の動的重み調整機構は、各モダリティの収束挙動に従って、IM損失とCM損失の寄与を適応的にバランスさせる。訓練の安定性を確保するため、重み更新の平滑化に指数移動平均(EWMA)を採用している。標準ベンチマークデータセットであるModelNet40、ShapeNetPart、ScanObjectNNを用いた実験の結果、AdaCrossNetは他の手法を上回る性能を示した。ModelNet40の分類タスクでは91.4%の精度を達成し、ShapeNetPartのセグメンテーションタスクではmIoUスコア85.1%を記録した。さらに、DGCNNバックボーンと組み合わせた場合、ScanObjectNNデータセットにおいて82.1%の精度を達成し、顕著な性能向上を示した。本手法は、学習効率の向上と下流タスクにおける学習表現の汎化能力の向上を両立することに成功した。

コードリポジトリ

ベンチマーク

ベンチマーク方法論指標
3d-part-segmentation-on-shapenet-partAdaCrossNet
Class Average IoU: 85.1
3d-point-cloud-classification-on-modelnet40AdaCrossNet
Overall Accuracy: 93.1
3d-point-cloud-linear-classification-onAdaCrossNet
Overall Accuracy: 91.4
3d-point-cloud-linear-classification-on-1AdaCrossNet
Overall Accuracy: 82.1

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
AdaCrossNet:マルチモーダル対照型点群学習における適応的動的損失重み付け | 論文 | HyperAI超神経