17日前

少サンプル学習における不変表現と等価表現の補完的強みの探求

Mamshad Nayeem Rizve, Salman Khan, Fahad Shahbaz Khan, Mubarak Shah
少サンプル学習における不変表現と等価表現の補完的強みの探求
要約

多くの現実世界の問題において、大量のラベル付きサンプルを収集することは現実的ではない。少サンプル学習(Few-shot Learning, FSL)は、限られたサンプル数のもとで新しいカテゴリに迅速に適応するという目的を達成するための主流のアプローチであり、近年の研究では勾配ベースのメタ学習およびメトリック学習のアイデアを活用してFSLタスクが主に解決されてきた。しかし、最近の研究では、単純な埋め込みネットワーク(embedding network)による強力な特徴表現が、従来の複雑なFSLアルゴリズムを上回る性能を発揮することが示されている。本研究では、この知見を基に、一般の幾何変換に対して同時かつ一貫して等価性(equivariance)と不変性(invariance)を強制する新たな学習メカニズムを提案する。これまでの研究では、等価性または不変性のいずれかを単独で利用することが一般的であったが、本研究の知見によれば、両者を同時に導入した例はまだ報告されていない。これらの対照的な目的を同時に最適化することで、モデルは入力変換に依存しない特徴だけでなく、幾何変換の構造を符号化する特徴も同時に学習できる。この相補的な特徴セットにより、極めて少ないデータサンプルで新しいクラスへの一般化性能が著しく向上する。さらに、新たな自己教師型蒸留(self-supervised distillation)目的関数を導入することで、さらなる性能向上を達成した。広範な実験の結果、知識蒸留(knowledge distillation)を用いない状態でも、本手法は5つの代表的なベンチマークデータセットにおいて、現在の最先端FSL手法を上回ることを確認した。