11日前

Meta-GMVAE:教師なしメタ学習のためのガウス混合VAE

{Sung Ju Hwang, Seanie Lee, Dongchan Min, Dong Bok Lee}
Meta-GMVAE:教師なしメタ学習のためのガウス混合VAE
要約

教師なし学習は、ラベルのないデータからその内在的な構造を捉える意味のある表現を学習することを目的としており、その学習結果は下流のタスクに転移可能である。一方、メタ学習は、異なるタスク間で一般化できる能力を学ぶことを目的としており、学習済みモデルが新しいタスクに迅速に適応できるようにする。この点で、メタ学習は教師なし学習と類似した精神を共有しており、どちらも「初期から学習するよりも、より効果的かつ効率的な学習プロセス」を学ぶことに焦点を当てている。しかし、両者の根本的な違いは、従来のメタ学習手法の多くが教師あり学習である点にあり、完全にラベル付きデータにアクセス可能であることを前提としている。しかし、メタ学習のためのラベル付きデータセットを構築することは、ラベル付けに人的労力が必要なため高コストであり、さらに事前に定義されたタスク分布に限定された応用しか実現できないという課題がある。本論文では、変分自己符号化器(Variational Autoencoder: VAE)と集合レベルの変分推論に基づき、原理的な教師なしメタ学習モデルであるMeta-GMVAEを提案する。さらに、ランダムにサンプリングされたエピソードにおいて各モダリティがクラス概念を表すと仮定し、ガウス混合モデル(GMM)を事前分布として導入することで、期待値最大化(Expectation-Maximization: EM)法により最適化を行う。得られたモデルは、下流の少サンプル分類タスクに適用可能であり、サポートセットとクエリセットの潜在表現に対して半教師ありEMを実行することで、タスク固有のパラメータを推定し、クエリセットのラベルを事後分布の集約により予測する。提案手法は、OmniglotおよびMini-ImageNetデータセット上で、下流の少サンプル分類タスクにおける性能を評価することで検証された。実験結果から、既存の教師なしメタ学習ベースラインに対して顕著な性能向上が得られ、特定の設定では教師ありのMAMLをも上回ることが示された。

Meta-GMVAE:教師なしメタ学習のためのガウス混合VAE | 最新論文 | HyperAI超神経