HyperAIHyperAI

Command Palette

Search for a command to run...

パラメータ割当学習による柔軟なマルチタスクネットワーク

Krzysztof Maziarz Efi Kokiopoulou Andrea Gesmundo Luciano Sbaiz Gabor Bartok Jesse Berent

概要

本稿では、マルチタスク応用向けに新たな学習手法を提案する。マルチタスクニューラルネットワークは、パラメータ共有を活用することで、異なるタスク間で知識を転移する能力を持つ。しかし、関連のないタスク間でパラメータを共有すると、性能が低下する可能性がある。この問題に対処するため、パラメータ共有の細粒度パターンを学習するフレームワークを提案する。ネットワークが層を跨ぐ複数の構成要素から構成されていることを仮定し、本フレームワークは学習されたバイナリ変数を用いて、各構成要素をどのタスクに割り当てるかを決定することで、関連するタスク間でのパラメータ共有を促進し、それ以外の場合は抑制する。これらのバイナリ割当変数は、Gumbel-Softmax再パラメータ化法を用いることで、標準的な逆誤差伝播法によりモデルパラメータと同時に学習可能となる。オムニグロットベンチマークへの適用において、提案手法は最先端手法と比較して誤差率を17%相対的に低減した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています