Command Palette
Search for a command to run...
人間-物体相互作用の検出を擬造的な組成学習を用いて行う
人間-物体相互作用の検出を擬造的な組成学習を用いて行う
Hou Zhi ; Yu Baosheng ; Qiao Yu ; Peng Xiaojiang ; Tao Dacheng
概要
人間と物体の相互作用(Human-Object Interaction: HOI)検出は、画像や動画から人間と物体の関係を推論する基本的なタスクであり、高レベルのシーン理解において重要な役割を果たします。しかし、HOI検出は通常、物体との相互作用がオープンな長尾分布を持つことにより問題を抱えています。一方で、人間は非常に強力な組合せ知覚能力を持ち、稀または未見のHOIサンプルを認識することができます。この点に着想を得て、私たちはオープンな長尾分布問題を解決するために新しいHOI組合せ学習フレームワークを開発しました。このフレームワークは Fabricated Compositional Learning (FCL) と呼ばれています。具体的には、効果的な物体表現を生成するための物体生成器(object fabricator)を導入し、動詞と生成された物体を組み合わせて新しいHOIサンプルを作成します。提案した物体生成器を使用することで、稀または未見のカテゴリに対して大規模なHOIサンプルを生成し、HOI検出におけるオープンな長尾分布問題を軽減することが可能となります。最も一般的なHOI検出データセットであるHICO-DETでの広範な実験により、提案手法が不均衡なHOI検出に対する有効性が示され、稀および未見のHOIカテゴリにおける最先端の性能が大幅に向上することを確認しています。コードは https://github.com/zhihou7/HOI-CL で公開されています。