11日前

メモリ関連微分学習

Yi Luo, Aiguo Chen, Bei Hui, Ke Yan
メモリ関連微分学習
要約

従来の教師あり学習アプローチは、入力特徴量から出力ラベルへの写像に焦点を当てる。学習が終了した後、学習済みモデルはテストデータの特徴量に対して単独で適応され、テストラベルを孤立して予測するが、この過程では学習データそのものとそれらの関連性が無視され、利用されない。膨大な学習データとその関連性を最大限に活用するため、本研究では「メモリ関連微分(Memory-Associated Differential: MAD)学習」という新しい学習枠組みを提案する。まず、すべての学習データを記憶するための追加コンポーネント「メモリ」を導入する。次に、微分方程式といくつかのサンプリング手法を組み合わせることで、ラベルの差分および特徴量間の関連性を学習する。最終的に評価フェーズでは、幾何学的に意味のある方法で記憶された事実に加え、学習された差分と関連性を用いて未知のラベルを推論・予測する。本理論は単一変数(unary)状況において丁寧に構築し、画像認識に適用した後、二変数(binary)状況であるリンク予測へと拡張した。その結果、ogbl-ddiデータセットにおいて、強力な最先端ベースラインを上回る性能を達成した。

メモリ関連微分学習 | 最新論文 | HyperAI超神経