HyperAIHyperAI

Command Palette

Search for a command to run...

学習された層別計量と部分空間を用いた勾配ベースのメタ学習

Yoonho Lee Seungjin Choi

概要

勾配ベースのメタ学習手法は、勾配降下法を利用して様々なタスク間の共通性を学習します。従来のこれらの手法はメタ学習タスクにおいて成功を収めてきましたが、メタテスト時には単純な勾配降下法に頼っていました。当研究の主要な貢献は、{\em MT-net}(MTネット)です。このネットワークにより、メタ学習者が各層の活性化空間上でサブスペースを学習し、そのサブスペース上でタスク固有の学習者が勾配降下を行うことが可能になります。さらに、{\em MT-net}(MTネット)のタスク固有の学習者は、メタ学習された距離計量に基づいて勾配降下を行い、これにより活性化空間がタスク識別に対してより敏感になるように変形されます。我々は、この学習されたサブスペースの次元数が、タスク固有の学習者の適応課題の複雑さを反映することを示しました。また、当モデルは初期学習率の選択に対して従来の勾配ベースのメタ学習手法よりも少ない感度を持つことを確認しています。当手法は少ショット分類および回帰タスクにおいて最先端またはそれに匹敵する性能を達成しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
学習された層別計量と部分空間を用いた勾配ベースのメタ学習 | 記事 | HyperAI超神経