7日前

GiT:Vehicle Re-identificationのためのグラフインタラクティブTransformer

Fei Shen, Yi Xie, Jianqing Zhu, Xiaobin Zhu, Huanqiang Zeng
GiT:Vehicle Re-identificationのためのグラフインタラクティブTransformer
要約

トランスフォーマーは、画像をパッチのシーケンスとして扱い、そのシーケンスから堅牢なグローバル特徴を学習するという点で、コンピュータビジョン分野においてますます人気が高まっている。しかし、純粋なトランスフォーマーは、車両再識別(vehicle re-identification)には完全に適しているとは言えない。なぜなら、車両再識別には堅牢なグローバル特徴だけでなく、判別性の高いローカル特徴も必要となるからである。こうした課題に対応するため、本論文ではグラフ相互作用トランスフォーマー(Graph Interactive Transformer, GiT)を提案する。マクロ視点では、複数のGiTブロックを積み重ねることで車両再識別モデルを構築し、その中でグラフはパッチ内における判別性の高いローカル特徴を抽出し、トランスフォーマーはパッチ間の堅牢なグローバル特徴を学習する。マイクロ視点では、グラフとトランスフォーマーが相互に作用する状態にあり、ローカル特徴とグローバル特徴の効果的な協調が実現される。具体的には、現在のグラフが前のレベルのグラフとトランスフォーマーの出力に埋め込まれた後、現在のトランスフォーマーが現在のグラフと前のレベルのトランスフォーマーの出力に埋め込まれる。また、グラフとトランスフォーマーの相互作用に加え、本研究で新たに設計されたローカル補正グラフ(local correction graph)は、ノード間の関係性を探索することで、パッチ内における判別性の高いローカル特徴を学習する。3つの大規模な車両再識別データセットを用いた広範な実験により、本研究で提案するGiT手法が、最先端の車両再識別手法を上回ることを実証した。