エゴセントリックRGB動画から手の動きや動作を理解することは、自己遮蔽や曖昧性のため、基本的ではあるが困難な課題である。遮蔽や曖昧性に対処するため、時間的情報を活用して堅牢な推定を実現するトランスフォーマー基盤のフレームワークを提案する。手のポーズ推定と動作認識の間には、時間的粒度の違いおよび意味的相関が存在することに着目し、2段階のトランスフォーマーエンコーダをカスケード接続したネットワーク階層を構築した。1つ目のエンコーダは短時間スパンの時間的特徴を活用して手のポーズを推定し、2つ目のエンコーダは長時間にわたってフレーム単位のポーズ情報と物体情報を集約することで、動作認識を実現する。本手法は、FPHAおよびH2Oという2つの第一人称手動作ベンチマークにおいて、競争力ある性能を達成した。広範なアブレーションスタディにより、本研究の設計選択の有効性が検証された。