要約
可視光-熱赤外線クロスモーダル人物再識別（VT-ReID）タスクにおいては、人間の姿勢や被覆による認識困難だけでなく、異なる撮像システムによって引き起こされるモーダル差異の解決も必要です。本論文では、局所的な最短経路と全体的な強化（Cross-modal Local Shortest Path and Global Enhancement: CM-LSP-GE）モジュールを提案します。これは、局所特徴と全体特徴の合同学習に基づく二重ストリームネットワークです。本論文の核心的なアイデアは、局所特徴のアライメントを使用して被覆問題を解決し、全体特徴を強化することでモーダル差異を解消することです。まず、注意機構を用いた二重ストリームResNetネットワークを設計し、双方向モーダル特徴を抽出し、統一された特徴空間にマッピングします。次に、クロスモーダルな人物姿勢と被覆問題を解決するために、画像を水平に複数の等しい部分に分割し、二つのグラフ間での局所特徴の最短経路を使用して細かい局所特徴アライメントを行います。さらに、バッチ正規化強化モジュールが全体特徴に対して強化戦略を適用し、クラス間で異なる強化効果を得ます。多粒度損失融合戦略によりアルゴリズムの性能がさらに向上します。最後に、局所特徴と全体特徴の合同学習メカニズムを使用してクロスモーダル人物再識別の精度を向上させます。二つの典型的なデータセットにおける実験結果は、我々のモデルが最新手法よりも明確に優れていることを示しています。特にSYSU-MM01データセットでは、Rank-1およびmAP（mean Average Precision）において2.89%および7.96%の改善が見られました。ソースコードは近日中に公開されます。