18日前
TransIFC:効率的な細粒度鳥類画像分類のための不変特徴認識型特徴濃縮学習
{You-Fu Li, Zhaoli Zhang, Tingting Liu, Bochen Xie, Yongjian Deng, Cheng Zhang, Hai Liu}
要約
細粒度鳥類画像分類(FBIC)は、絶滅危惧種の鳥類の観察および保護において有意義な意味を持つだけでなく、マルチメディア処理およびコンピュータビジョン分野における画像分類の一般的なタスクとしても広く関心が寄せられている。しかし、FBICは、鳥類の換羽、複雑な背景、および任意の姿勢といった複数の課題に直面している。これらの課題に効果的に対処するため、本研究では、鳥類画像内における不変かつ本質的な情報を学習する新しい不変特徴認識型トランスフォーマー(TransIFC)を提案する。この目的のため、鳥類画像の特徴を活かすために2つの新規モジュールを導入した。すなわち、階層段階特徴集約(HSFA)モジュールと、特徴の中の特徴抽象化(FFA)モジュールである。HSFAモジュールは、複数層の特徴を連結することで、鳥類画像のマルチスケール情報を集約する。一方、FFAモジュールは、識別スコアに基づく特徴選択により、鳥類の不変な特徴(不変手がかり)を抽出する。トランスフォーマーをバックボーンとして採用することで、鳥類画像における長距離依存性を持つ意味的関係を明確に捉えることが可能となる。さらに、TransIFCにおけるHSFAおよびFFAモジュールの解釈可能性を裏付ける豊富な可視化結果を提示している。包括的な実験の結果、TransIFCはCUB-200-2011データセット(91.0%)およびNABirdsデータセット(90.9%)において、最先端の性能を達成した。最後に、Stanford Carsデータセットを用いた拡張実験を通じて、本手法が他の細粒度視覚分類タスクへの汎化可能性を示唆している。