18日前

StyleAdv:クロスドメイン少サンプル学習のためのメタスタイル adversarial 訓練

Yuqian Fu, Yu Xie, Yanwei Fu, Yu-Gang Jiang
StyleAdv:クロスドメイン少サンプル学習のためのメタスタイル adversarial 訓練
要約

クロスドメイン少サンプル学習(Cross-Domain Few-Shot Learning, CD-FSL)は、異なるドメイン間で少サンプル学習を実現する最近注目されているタスクである。このタスクは、ソースデータセット上で学習した事前知識を、新しいターゲットデータセットに転移することを目指している。CD-FSLは、異なるデータセット間にある大きなドメインギャップによって特に困難を伴う。重要な点として、このようなドメインギャップは視覚的スタイルの変化に起因しており、既存のwave-SAN手法は、ソースデータのスタイル分布を広げることでこの問題を緩和できることを経験的に示している。しかし、wave-SANは単に2枚の画像のスタイルを交換するという単純な操作にとどまっている。この基本的な操作により生成されるスタイルは「現実的」かつ「容易」なものとなり、結局は元のソーススタイルの集合内に留まってしまう。これに着目し、従来の敵対学習のアイデアを参考に、CD-FSL向けにモデル非依存のメタスタイル敵対訓練(Style Adversarial training, StyleAdv)手法と、新たなスタイル敵対攻撃手法を提案する。特に、本研究で提案するスタイル攻撃法は、モデルの訓練に向け、『仮想的』かつ『困難な』敵対的スタイルを合成する。これは、元のスタイルに対して符号付きスタイル勾配を用いた摂動によって実現される。このようにスタイルに対して継続的に攻撃を行い、モデルがこれらの困難な敵対的スタイルを正しく認識するよう強制することで、モデルは徐々に視覚的スタイルに対して頑健性を獲得し、新たなターゲットデータセットに対する一般化能力が向上する。本手法は従来のCNNベースのバックボーンに加え、大規模事前学習済みのビジョントランスフォーマー(Vision Transformer, ViT)にも適用可能である。8種類の異なるターゲットデータセットを用いた広範な実験により、本手法の有効性が確認された。ResNetを基盤とする場合も、ViTを基盤とする場合も、いずれにおいてもCD-FSLの最新の最先端(state-of-the-art)性能を達成した。コードは以下のURLで公開されている:https://github.com/lovelyqian/StyleAdv-CDFSL。