人間-物体相互作用検出のためのアフォーダンストランスファーラーニング

人間と物体の相互作用（Human-Object Interaction: HOI）を理解することは、より深いシーン理解のために不可欠であり、物体の機能性（または機能：affordance）は、人間が未知の物体との未見のHOIを発見するために極めて重要です。この点に着想を得て、私たちは新しい物体とのHOIを検出しつつ、機能性を認識するための機能転移学習アプローチを導入します。具体的には、HOI表現は機能表現と物体表現の組み合わせに分解でき、追加の画像から得られる機能表現と新しい物体表現を組み合わせることで、未知の相互作用を構成することが可能になります。つまり、機能性を新しい物体に転移させることができます。提案された機能転移学習により、モデルは既知の機能表現から新しい物体の機能性を推論することもできます。したがって、提案手法は1) 未知の物体を持つHOI検出の性能向上、特に未見の物体を持つHOI検出において；2) 新しい物体の機能性推論という2つの目的で使用することができます。HICO-DETおよびV-COCOから派生したHOI-COCOという2つのデータセットでの実験結果は、最近の最先端手法に対してHOI検出および物体機能性検出において大幅な改善が示されています。コードは以下のURLで利用可能です：https://github.com/zhihou7/HOI-CL