HyperAIHyperAI

Command Palette

Search for a command to run...

Point 4D Transformer Networkによる点群動画における空間時系列モデリング

Mohan Kankanhalli Yi Yang Hehe Fan

概要

点群動画(point cloud videos)は、空間次元において不規則性と順序の欠如を示し、異なるフレーム間で点が一貫して出現しないという特徴を持つ。点群動画における動的変化を捉えるために、通常は点の追跡(point tracking)が用いられるが、点がフレーム間で流入・流出するため、正確な点軌道の推定は極めて困難である。さらに、追跡手法は点の色に依存する傾向があり、色を持たない点群(colorless point clouds)に対しては機能を果たせない場合がある。本論文では、点追跡を回避するため、原始的な点群動画をモデル化する新しい「Point 4D Transformer(P4Transformer)」ネットワークを提案する。具体的には、P4Transformerは以下の2つのモジュールから構成される:(i) 点群動画に含まれる空間時系列的な局所構造を埋め込むための点4D畳み込み(point 4D convolution)、および (ii) 埋め込まれた局所特徴に対して自己注意(self-attention)を実行することで、動画全体にわたる外観および運動情報を捉えるTransformer。このアプローチにより、明示的な追跡ではなく、注意重みによって関連性や類似性を持つ局所領域が統合される。4つのベンチマークを用いた広範な実験(3D行動認識および4Dセマンティックセグメンテーション)により、本手法が点群動画モデリングにおいて有効であることが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Point 4D Transformer Networkによる点群動画における空間時系列モデリング | 記事 | HyperAI超神経