17日前
Few-Shot Learning におけるシンプルなパイプラインの限界を突き詰める:外部データおよびファインチューニングが差を生む
Shell Xu Hu, Da Li, Jan Stühmer, Minyoung Kim, Timothy M. Hospedales

要約
少サンプル学習(Few-shot Learning, FSL)は、コンピュータビジョン分野において重要なトピックであり、高度なメタ学習手法から単純な転移学習ベースラインに至るまで、多様なアプローチが広範に研究されてきた。本研究では、より現実的で実用的な少サンプル画像分類の設定において、シンプルだが効果的なパイプラインの限界を追求する。そのために、ニューラルネットワークアーキテクチャの視点からFSLにアプローチし、異なるデータ供給条件下におけるネットワーク更新の3段階パイプラインを検討する。具体的には、事前学習に非教師付き外部データを活用し、メタ学習のための少サンプルタスクをベースカテゴリでシミュレートし、新規タスクにおけるラベル付きデータが限られた状況でファインチューニングを行う。本研究では以下の問いに取り組む:(1)外部データにおける事前学習がFSLにどのように寄与するか?(2)最先端のトランスフォーマー構造はどのように活用できるか?(3)ファインチューニングはドメインシフトをどのように緩和するか?最終的に、シンプルなトランスフォーマーに基づくパイプラインが、Mini-ImageNet、CIFAR-FS、CDFSL、Meta-Datasetといった標準ベンチマークにおいて、驚くほど優れた性能を達成することを示した。本研究のコードとデモは、https://hushell.github.io/pmf にて公開されている。