3D手の姿勢は、動作認識においてまだ十分に研究されていないモダリティです。姿勢はコンパクトでありながら情報量が豊富で、計算リソースに制限のあるアプリケーションにとって大きな利益をもたらす可能性があります。しかし、姿勢だけでは人間の対象物や環境との相互作用を完全に捉えることができず、動作の理解が不完全となります。本研究では、HandFormerという新しいマルチモーダルトランスフォーマーを提案し、手と物体の相互作用を効率的にモデル化します。HandFormerは、高時間解像度での3D手の姿勢を組み合わせて微細な運動モデリングを行い、疎にサンプリングされたRGBフレームを使用してシーンの意味論情報を符号化します。手の姿勢の独自の特性に注目し、時間的な要因分解を行って各関節をその短期的な軌道によって表現します。この要因分解された姿勢表現と疎なRGBサンプルの組み合わせは非常に効率的かつ高精度です。手の姿勢のみを使用する単一モーダル版HandFormerは、既存の骨格ベース手法よりも5倍少ないFLOPsで優れた性能を示しています。RGBフレームを使用することで、Assembly101およびH2Oデータセットにおいてエゴセントリック動作認識における新たな最先端性能を達成し、大幅な改善が見られました。