ホイ検出における身体部位相互作用性学習のための個人間キューミニング

人間-物体インタラクション（HOI）検出は、行動理解において重要な役割を果たしている。近年、大きな進展が見られつつあるものの、インタラクティブ性の学習は依然としてHOI検出における課題である。既存の手法はしばしば冗長な否定的H-Oペア候補を生成し、効果的にインタラクティブなペアを抽出できない。インタラクティブ性は全身レベルおよび部位レベルの両方で研究されており、H-Oペアリングの促進に寄与しているが、これまでの研究は一度に1人のターゲット人物に着目する（つまり局所的な視点）に留まり、他の人物が持つ情報を見逃している。本論文では、複数人の身体部位を同時に比較することで、より有用で補完的なインタラクティブ性の手がかりを得られると主張する。すなわち、グローバルな視点から身体部位のインタラクティブ性を学ぶために、ターゲット人物の身体部位のインタラクティブ性を分類する際、その人物自身の視覚的特徴に加え、画像内の他の人物からの視覚的手がかりも活用する。自己注意（self-attention）に基づいて身体部位の重要度マップを構築し、人物間の情報的特徴を抽出し、すべての身体部位間の包括的な関係性を学習する。提案手法は広く用いられるベンチマークであるHICO-DETおよびV-COCOで評価された。本研究が提示する新しい視点により、包括的かつグローバル-ローカルな身体部位インタラクティブ性学習は、最先端手法を大幅に上回る性能を達成した。実装コードは以下のURLで公開されている：https://github.com/enlighten0707/Body-Part-Map-for-Interactiveness。