3ヶ月前

QAHOI:ヒューマン・オブジェクトインタラクション検出のためのクエリベースアンカー

Junwen Chen, Keiji Yanai
QAHOI:ヒューマン・オブジェクトインタラクション検出のためのクエリベースアンカー
要約

人間-オブジェクトインタラクション(HOI)検出は、物体検出タスクの下流タスクとして、画像内における人間とオブジェクトのペアを局所化し、それらの間の意味的関係を抽出することを要求する。近年、高い効率性を備えることから、ワンステージアプローチがこのタスクにおける新たなトレンドとなっている。しかし、これらのアプローチは、可能なインタラクションポイントの検出や人間-オブジェクトペアのフィルタリングに注力する一方で、異なるオブジェクトが空間スケールにおいて位置やサイズに大きなばらつきを持つことには十分に配慮していない。この問題に対処するため、本研究ではマルチスケールアーキテクチャを用いて異なる空間スケールからの特徴を抽出し、クエリベースのアンカーを活用してHOIインスタンスのすべての要素を予測する、トランスフォーマーに基づく手法QAHOI(Query-Based Anchors for Human-Object Interaction detection)を提案する。さらに、強力なバックボーンがQAHOIの精度を著しく向上させることを実証し、トランスフォーマーをバックボーンに用いたQAHOIは、HICO-DETベンチマークにおいて最近の最先端手法を大きく上回る性能を達成した。ソースコードは以下のURLから公開されている:$\href{https://github.com/cjw2021/QAHOI}{\text{https://github.com/cjw2021/QAHOI}}$。