パラメータ割当学習による柔軟なマルチタスクネットワーク

本稿では、マルチタスク応用向けに新たな学習手法を提案する。マルチタスクニューラルネットワークは、パラメータ共有を活用することで、異なるタスク間で知識を転移する能力を持つ。しかし、関連のないタスク間でパラメータを共有すると、性能が低下する可能性がある。この問題に対処するため、パラメータ共有の細粒度パターンを学習するフレームワークを提案する。ネットワークが層を跨ぐ複数の構成要素から構成されていることを仮定し、本フレームワークは学習されたバイナリ変数を用いて、各構成要素をどのタスクに割り当てるかを決定することで、関連するタスク間でのパラメータ共有を促進し、それ以外の場合は抑制する。これらのバイナリ割当変数は、Gumbel-Softmax再パラメータ化法を用いることで、標準的な逆誤差伝播法によりモデルパラメータと同時に学習可能となる。オムニグロットベンチマークへの適用において、提案手法は最先端手法と比較して誤差率を17％相対的に低減した。