自己教師付き知識蒸留を用いた少サンプル学習

現実世界には、極めて多数の物体クラスが存在するため、一度にすべてのクラスを学習することは現実的ではない。少サンプル学習（few-shot learning）は、わずかなサンプルのみで非定常な分布からの迅速な学習が可能である点から、有望な学習枠組みとして注目されている。近年の研究[7, 41]では、単に優れた特徴埋め込み（feature embedding）を学習するだけで、より複雑なメタ学習やメトリック学習アルゴリズムを上回る性能が達成可能であることが示されている。本論文では、少サンプル学習タスクにおける深層ニューラルネットワークの表現能力を向上させるシンプルなアプローチを提案する。本手法は二段階の学習プロセスに基づく。第一段階では、特徴埋め込みのエントロピーを最大化するようにニューラルネットワークを学習し、自己教師あり補助損失を用いて最適な出力多様体（output manifold）を構築する。第二段階では、自己教師ありのペア（twins）を統合することで特徴埋め込みのエントロピーを最小化しつつ、学生-教師蒸留（student-teacher distillation）によって多様体の構造を制約する。実験の結果、第一段階の自己教師あり学習のみでも、既存の最先端手法を上回る性能が達成され、さらに第二段階の蒸留プロセスによってさらなる性能向上が得られた。本研究のコードは以下のURLから公開されている：https://github.com/brjathu/SKD。