2ヶ月前

要約と検索:共通注目領域検出のためのコンセンサス認識動的畳み込みの学習

Zhang, Ni ; Han, Junwei ; Liu, Nian ; Shao, Ling
要約と検索:共通注目領域検出のためのコンセンサス認識動的畳み込みの学習
要約

人間は共通の注目領域検出を、まず全体的なグループにおける共識知識を要約し、その後各画像に対応する物体を探することで行います。従来の手法は、最初のプロセスで堅牢性、拡張性、または安定性に欠け、二番目のプロセスでは単純に共識特徴量と画像特徴量を融合することが多かったです。本論文では、「要約と探索」プロセスを明示的かつ効果的に実行する新しい共識認識型動的畳み込みモデルを提案します。共通の注目領域特徴量を要約するために、まず効果的なプーリング手法を使用して各画像ごとの堅牢な特徴量を要約し、次に自己注意機構を通じて画像間の共識情報を集約します。これにより、当モデルは拡張性と安定性の要件を満たします。次に、要約された共識知識を符号化するために共識特徴量から動的カーネルを生成します。細かい画像固有の共識物体情報と粗いグループ全体での一般的な知識それぞれに対して補完的に二種類のカーネルが生成されます。その後、複数スケールでの動的畳み込みを使用することで物体探索を効果的に実行できます。さらに、ネットワークの学習のために新しいかつ効果的なデータ合成手法も提案しています。4つのベンチマークデータセットに対する実験結果が提案手法の有効性を確認しています。当研究のコードおよび注目マップは \url{https://github.com/nnizhang/CADC} で公開されています。

要約と検索:共通注目領域検出のためのコンセンサス認識動的畳み込みの学習 | 最新論文 | HyperAI超神経