Keypoint Transformer: 難易度の高い手と物体の相互作用における関節識別を解決し、正確な3D姿勢推定を実現する

単一の色情像から近接して相互作用する2つの手の3次元姿勢を推定するための堅牢で正確な手法を提案します。この問題は非常に困難であり、大きな被覆や関節間の混同が発生する可能性があります。最先端の手法では、各関節に対してヒートマップを回帰することでこの問題を解決していますが、これには関節の位置特定と認識という2つの課題を同時に解く必要があります。本研究では、これらのタスクを分離するために、まずCNN（畳み込みニューラルネットワーク）を使用して関節を2次元キーポイントとして位置特定し、その後、これらのキーポイントでのCNN特徴量間の自己注意機構を利用して対応する手の関節と結びつける方法を提案します。このアーキテクチャは「キーポイントトランスフォーマー」と呼び、InterHand2.6Mデータセットにおいて約半分のモデルパラメータ数で最先端の性能を達成しており、非常に効率的です。また、本手法は1つまたは2つの手によって操作される物体の3次元姿勢推定にも容易に拡張できることを示しています。さらに、3次元で完全に注釈された75,000枚以上の画像からなる新しいデータセットを作成し、公開することとしました。