要約
汎化性能が優れた機械学習モデルは、未見のテスト例に対して低誤差を達成するべきである。したがって、テスト例を適切に反映するように訓練例を最適に摂動（perturb）する方法が分かれば、より良い汎化性能が得られる可能性がある。しかし、標準的な機械学習フレームワークでは、テストデータの分布が未知であるため、このような摂動を取得することは不可能である。この課題に対処するため、我々は新しい正則化手法である「メタドロップアウト（meta-dropout）」を提案する。この手法は、メタ学習フレームワーク内で、訓練例の潜在特徴を摂動することで汎化性能を向上させる方法を学習する。具体的には、入力に依存する形でテスト例に対する誤差を低減できるように、潜在特徴に対して乗法的ノイズを出力するノイズ生成器をメタ学習する。その後、学習されたノイズ生成器は、メタテスト段階において未観測のタスクの訓練例を摂動することで、汎化性能を向上させることができる。本手法は、少サンプル分類データセット上で検証された結果、ベースモデルの汎化性能を顕著に向上させ、情報ボトルネックやマニフォルドミックスアップ、情報ドロップアウトといった既存の正則化手法と比較して大幅に優れた性能を示した。