敵対的防御効果を有する人物再識別データ拡張手法

人物再識別（ReID）モデルのセキュリティは、ReIDの実用応用において決定的な役割を果たす。しかし、深層ニューラルネットワークは脆弱性を示しており、クリーンな画像に検出不可能な adversarial perturbations（敵対的摂動）を加えることで、通常は良好な性能を発揮する深層ネットワークを欺くことが可能である。本研究では、敵対的攻撃に対する防御効果を有するReIDマルチモーダルデータ拡張手法を提案する。本手法は以下の2つの構成要素からなる。1）グレースケールパッチ置換（Grayscale Patch Replacement）：局所的グレースケールパッチ置換（Local Grayscale Patch Replacement, LGPR）と大域的グレースケールパッチ置換（Global Grayscale Patch Replacement, GGPR）から構成される。この手法は、モデルの精度向上に貢献するだけでなく、敵対的サンプルに対する防御能力を強化する効果も有する。2）マルチモーダル防御（Multi-Modal Defense）：可視光画像、グレースケール画像、スケッチ画像という3種類の同種モーダル画像を統合し、モデルの防御能力をさらに強化する。これらの同種モーダル画像を融合させることで、入力サンプルの多様性が増加し、モデルが色の変動に過剰に適合するのを抑制する。その結果、攻撃者が探求可能な敵対的空間がデータセットに一致しにくくなり、モデルの精度が向上するとともに、攻撃効果が著しく低下する。融合する同種モーダル画像の数が増えるほど、防御能力は強化される。提案手法は複数のデータセットにおいて優れた性能を発揮し、CVPR2020で提案されたMS-SSIMに基づく攻撃に対して成功裏に防御を実現した。その結果、精度は467倍（0.2% → 93.3%）向上した。本手法の実装コードは、https://github.com/finger-monkey/ReID_Adversarial_Defense にて公開されている。