HyperAIHyperAI

Command Palette

Search for a command to run...

エムピリカルベイズ転移的メタラーニング:合成勾配を用いた手法

Shell Xu Hu Pablo G. Moreno Yang Xiao Xi Shen Guillaume Obozinski Neil D. Lawrence Andreas Damianou

概要

我々は、トランスダクティブな設定において、サポートセットに加えてラベルなしのクエリセットを活用することで、複数のタスクから学習を行うメタ学習アプローチを提案する。このフレームワークの構築にあたり、マルチタスク学習における経験的ベイズ(empirical Bayes)の定式化を再検討した。経験的ベイズの周辺対数尤度に対する下界(evidence lower bound)は、各タスクのクエリセットにおける変分事後分布と真の事後分布の間の局所的なKLダイバージェンスの和として分解される。本研究では、メタモデル(合成勾配ネットワークと初期化ネットワークから構成)を介してすべての変分事後分布を結合する、新たなアンモアタイズド変分推論法を導出する。各変分事後分布は、真の勾配にアクセスできない状況下でも、合成勾配降下法によりクエリセット上の真の事後分布を近似する形で導出される。ミニ・イメージネット(Mini-ImageNet)およびCIFAR-FSベンチマークにおけるエピソード的少サンプル分類の実験結果において、従来の最先端手法を上回る性能を達成した。さらに、合成勾配の潜在能力をさらに検証するため、2つのゼロショット学習実験も実施した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています