HyperAIHyperAI

Command Palette

Search for a command to run...

マルチタスク学習を交渉ゲームとして捉える

Aviv Navon Aviv Shamsian Idan Achituve Haggai Maron Kenji Kawaguchi Gal Chechik Ethan Fetaya

概要

マルチタスク学習(Multi-task Learning, MTL)では、複数のタスクに対して同時に予測を行う統合モデルを訓練する。統合学習は計算コストを削減し、データ効率を向上させる一方で、異なるタスク間の勾配が衝突する可能性があるため、単一タスク学習のモデルと比較して性能が低下しやすいという課題がある。この問題を緩和するための一般的な手法として、各タスクの勾配を特定のヒューリスティックを用いて統合し、パラメータ更新方向を決定する方法がある。本論文では、この勾配統合ステップを、タスク間が協議して統合的なパラメータ更新方向について合意に至る「交渉ゲーム」として捉える新しい視点を提案する。ある種の仮定のもとで、この交渉問題は一意の解、すなわちナッシュ交渉解(Nash Bargaining Solution)を持つことが保証される。本研究では、このナッシュ交渉解をマルチタスク学習の原理的なアプローチとして採用することを提案する。さらに、新たなMTL最適化手法であるNash-MTLを定式化し、その収束性に関する理論的保証を導出する。実験的にも、Nash-MTLが複数の異なる領域におけるMTLベンチマークにおいて、最先端の性能を達成することを示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています