17日前
埋め込み伝播:少サンプル分類のための滑らかな多様体
Pau Rodríguez, Issam Laradji, Alexandre Drouin, Alexandre Lacoste

要約
Few-shot分類は、訓練データセットとテストデータセットのクラスが互いに排他的であるため、両者のデータ分布が大きく異なることが課題となる。この分布シフトは、一般化性能の低下を引き起こしやすい。近年、多様体平滑化(manifold smoothing)は、決定境界を拡張し、クラス表現のノイズを低減することで、分布シフト問題に対処できることが示されている。さらに、多様体の平滑性は、半教師あり学習および伝達学習(transductive learning)アルゴリズムにおいて重要な要因である。本研究では、few-shot分類における多様体平滑化のため、埋め込み伝播(embedding propagation)を非パラメトリックな未教師あり正則化項として用いる手法を提案する。埋め込み伝播は、ニューラルネットワークから抽出された特徴量間の類似性グラフに基づく内挿を活用する。実証的に、埋め込み伝播がより滑らかな埋め込み多様体を生成することを示した。また、伝達学習型分類器に埋め込み伝播を適用することで、mini-ImageNet、tiered-ImageNet、ImageNet-FS、CUBの各データセットにおいて、新たなSOTA(最良の結果)を達成した。さらに、複数の半教師あり学習シナリオにおいて、モデルの精度を最大16%ポイント向上させることを確認した。提案する埋め込み伝播操作は、ニューラルネットワークに非パラメトリックなレイヤーとして容易に統合可能である。トレーニングコードおよび使用例は、https://github.com/ElementAI/embedding-propagation にて公開している。