HyperAIHyperAI

Command Palette

Search for a command to run...

空間時間自己監督表現学習による3次元点群の学習

Siyuan Huang Yichen Xie Song-Chun Zhu Yixin Zhu

概要

現在までに、さまざまな3Dシーン理解タスクにおいて、実用的かつ汎化可能な事前学習モデルが不足している状況です。これは主に、3Dシーン理解タスクの複雑な性質と、カメラ視点、照明、遮蔽などによって引き起こされる多大な変動が原因となっています。本論文では、この課題に対処するために、ラベルなしの3D点群データから自己教師あり学習で学習できる空間時間表現学習(Spatio-Temporal Representation Learning: STRL)フレームワークを導入します。乳児が自然界の視覚データから学ぶ方法に着想を得て、3Dデータから得られる豊富な空間時間的な手がかりを探求します。具体的には、STRLは3D点群シーケンスから時系列的に相関のある2つのフレームを取り込み、空間データ拡張により変換し、自己教師あり学習で不変表現を学びます。STRLの効果を検証するため、合成データセット、室内データセット、室外データセットの3種類のデータセットに対して広範な実験を行いました。実験結果は、監督学習手法と比較して、自己教師あり学習で得られた表現がさまざまなモデルの性能を同等またはそれ以上のものにすることができることを示しています。さらに、事前学習モデルを3D形状分類、3D物体検出、3D意味分割などの下流タスクに汎化させる能力も有しています。また、3D点群に埋め込まれた空間時間的な文脈的手がかりは、学習された表現を大幅に改善することを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています