11日前
マルチタスク学習を交渉ゲームとして捉える
Aviv Navon, Aviv Shamsian, Idan Achituve, Haggai Maron, Kenji Kawaguchi, Gal Chechik, Ethan Fetaya

要約
マルチタスク学習(Multi-task Learning, MTL)では、複数のタスクに対して同時に予測を行う統合モデルを訓練する。統合学習は計算コストを削減し、データ効率を向上させる一方で、異なるタスク間の勾配が衝突する可能性があるため、単一タスク学習のモデルと比較して性能が低下しやすいという課題がある。この問題を緩和するための一般的な手法として、各タスクの勾配を特定のヒューリスティックを用いて統合し、パラメータ更新方向を決定する方法がある。本論文では、この勾配統合ステップを、タスク間が協議して統合的なパラメータ更新方向について合意に至る「交渉ゲーム」として捉える新しい視点を提案する。ある種の仮定のもとで、この交渉問題は一意の解、すなわちナッシュ交渉解(Nash Bargaining Solution)を持つことが保証される。本研究では、このナッシュ交渉解をマルチタスク学習の原理的なアプローチとして採用することを提案する。さらに、新たなMTL最適化手法であるNash-MTLを定式化し、その収束性に関する理論的保証を導出する。実験的にも、Nash-MTLが複数の異なる領域におけるMTLベンチマークにおいて、最先端の性能を達成することを示した。