エムピリカルベイズ転移的メタラーニング：合成勾配を用いた手法

我々は、トランスダクティブな設定において、サポートセットに加えてラベルなしのクエリセットを活用することで、複数のタスクから学習を行うメタ学習アプローチを提案する。このフレームワークの構築にあたり、マルチタスク学習における経験的ベイズ（empirical Bayes）の定式化を再検討した。経験的ベイズの周辺対数尤度に対する下界（evidence lower bound）は、各タスクのクエリセットにおける変分事後分布と真の事後分布の間の局所的なKLダイバージェンスの和として分解される。本研究では、メタモデル（合成勾配ネットワークと初期化ネットワークから構成）を介してすべての変分事後分布を結合する、新たなアンモアタイズド変分推論法を導出する。各変分事後分布は、真の勾配にアクセスできない状況下でも、合成勾配降下法によりクエリセット上の真の事後分布を近似する形で導出される。ミニ・イメージネット（Mini-ImageNet）およびCIFAR-FSベンチマークにおけるエピソード的少サンプル分類の実験結果において、従来の最先端手法を上回る性能を達成した。さらに、合成勾配の潜在能力をさらに検証するため、2つのゼロショット学習実験も実施した。