差別的共注目度と背景マイニング変換器を用いた共注目対象検出

これまでの共通注目物体検出に関する研究は、主に画像間の一貫性関係を掘り下げることにより共通注目度の手がかりを抽出することに焦点を当て、背景領域の明示的な探索を無視してきました。本論文では、複数の経済的な多粒度相関モジュールに基づく差別的共通注目度と背景掘り出しトランスフォーマー（DMT）フレームワークを提案します。このフレームワークは、共通注目度と背景情報を明示的に掘り出し、それらの差別性を効果的にモデル化します。具体的には、まず画像間の関係をピクセル単位のセグメンテーション特徴に導入しながら計算効率を維持するための領域対領域相関モジュールを提案します。次に、事前に定義された2種類のトークンを使用し、我々が提案したコントラスト誘導ピクセル対トークン相関モジュールおよび共通注目度トークン対トークン相関モジュールを通じて共通注目度と背景情報を掘り出します。さらに、学習されたトークンの指導のもとでセグメンテーション特徴の識別力を向上させるためのトークンガイド特徴強化モジュールも設計しました。セグメンテーション特徴抽出とトークン構築に対して反復的な相互促進を行います。3つのベンチマークデータセットでの実験結果は、我々が提案した手法の有効性を示しています。ソースコードは以下のURLから入手可能です：https://github.com/dragonlee258079/DMT.