HyperAIHyperAI

Command Palette

Search for a command to run...

Keypoint Transformer: 難易度の高い手と物体の相互作用における関節識別を解決し、正確な3D姿勢推定を実現する

Shreyas Hampali Sayan Deb Sarkar Mahdi Rad Vincent Lepetit

概要

単一の色情像から近接して相互作用する2つの手の3次元姿勢を推定するための堅牢で正確な手法を提案します。この問題は非常に困難であり、大きな被覆や関節間の混同が発生する可能性があります。最先端の手法では、各関節に対してヒートマップを回帰することでこの問題を解決していますが、これには関節の位置特定と認識という2つの課題を同時に解く必要があります。本研究では、これらのタスクを分離するために、まずCNN(畳み込みニューラルネットワーク)を使用して関節を2次元キーポイントとして位置特定し、その後、これらのキーポイントでのCNN特徴量間の自己注意機構を利用して対応する手の関節と結びつける方法を提案します。このアーキテクチャは「キーポイントトランスフォーマー」と呼び、InterHand2.6Mデータセットにおいて約半分のモデルパラメータ数で最先端の性能を達成しており、非常に効率的です。また、本手法は1つまたは2つの手によって操作される物体の3次元姿勢推定にも容易に拡張できることを示しています。さらに、3次元で完全に注釈された75,000枚以上の画像からなる新しいデータセットを作成し、公開することとしました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています