マルチタスク学習における勾配集約のためのベイズ不確実性

機械学習の重要性が高まる中で、複数の推論タスクを並列で実行する需要が増しています。各タスクに対して専用のモデルを実行する方法は計算コストが高いため、マルチタスク学習（MTL）への関心が高まっています。MTLの目的は、複数のタスクを効率的に解決できる単一のモデルを学習することにあります。MTLモデルの最適化は、通常、各タスクごとに1つの勾配を計算し、それらを統合して全体的な更新方向を得る方法で行われます。しかし、こうした手法は勾配の次元における感度という重要な側面を考慮していません。本研究では、ベイズ推論を用いた新しい勾配集約手法を提案します。具体的には、タスク固有のパラメータに確率分布を設定することで、タスクの勾配に対しても分布が導かれるようにしています。この追加的な情報により、各勾配次元における不確実性を定量化でき、集約の際にその不確実性を適切に反映することが可能になります。我々は、多様なデータセット上で本手法の有効性を実証し、最先端の性能を達成することを示しました。