2ヶ月前

自己構成学習を用いた人間-物体相互作用概念の発見

Hou, Zhi ; Yu, Baosheng ; Tao, Dacheng
自己構成学習を用いた人間-物体相互作用概念の発見
要約

人間-物体相互作用(Human-Object Interaction, HOI)の包括的理解には、事前に定義されたHOI概念(またはカテゴリ)の一部だけでなく、他の合理的なHOI概念も検出する必要があります。しかし、現在のアプローチは多くの未知のHOI概念(つまり、未知だが合理的な動詞と物体の組み合わせ)を探索することに失敗することが多いです。本論文では、1) 包括的なHOI理解のために新しいかつ挑戦的なタスクであるHOI Concept Discoveryを導入し、2) HOI概念発見用の自己合成学習フレームワーク(Self-Compositional Learning, SCL)を開発します。具体的には、訓練中にオンラインで更新される概念信頼度行列を維持します:1) 概念信頼度行列に基づいてすべての合成HOIインスタンスに疑似ラベルを割り当てて自己訓練を行い、2) すべての合成HOIインスタンスの予測結果を使用して概念信頼度行列を更新します。これにより、提案手法は既知および未知のHOI概念について学習することが可能になります。我々はいくつかの人気のあるHOIデータセット上で広範な実験を行い、提案手法がHOI概念発見、物体操作認識(object affordance recognition)、およびHOI検出において有効であることを示しました。例えば、提案された自己合成学習フレームワークは以下の性能向上を達成しています:1) HICO-DETデータセットで10%以上、V-COCOデータセットで3%以上のHOI概念発見性能向上;2) MS-COCOおよびHICO-DETデータセットで9%以上のmAP向上による物体操作認識性能向上;3) 稀少優先および非稀少優先の未知HOI検出においてそれぞれ30%以上と20%以上の相対的な性能向上。コードは公開されており、https://github.com/zhihou7/HOI-CL から入手可能です。

自己構成学習を用いた人間-物体相互作用概念の発見 | 最新論文 | HyperAI超神経