不確実性を考慮したアクション分離Transformerによるアクション予測

人間の行動予測は、過去の観測に基づいて人々が将来何を行うかを予測することを目的としている。本論文では、行動予測のための「不確実性を考慮した行動分離型トランスフォーマー（Uncertainty-aware Action Decoupling Transformer: UADT）」を提案する。従来の手法が直接動詞・名詞のペア形式で行動を予測するのに対し、本手法は行動予測タスクを動詞予測と名詞予測の2つの独立したタスクに分離する。その目的は、これらの分離されたタスクが互いに補完し合い、最終的に行動予測の性能を向上させることにある。具体的には、動詞から名詞を予測するモデルと、名詞から動詞を予測するモデルから構成される二重ストリームのトランスフォーマー構造を提案する。動詞から名詞を予測するモデルは動詞情報を活用して名詞の予測を向上させ、逆に名詞から動詞を予測するモデルも同様に名詞情報を活用する。さらに、本モデルを確率論的な枠組みで拡張し、各分離タスクの予測不確実性を定量的に評価することで、より有益で冗長のない特徴を選択する。これにより、名詞予測は最も情報量が高く冗長のない動詞特徴を活用し、動詞予測も同様の仕組みで行われる。最終的に、各ストリームの不確実性に基づいて動的に統合することで、連携した行動予測を実現する。提案手法は、EPIC-KITCHENS、EGTEA Gaze+、50-Saladsといった行動予測ベンチマークにおいて、最先端の性能を達成し、その有効性を実証した。