HyperAIHyperAI

Command Palette

Search for a command to run...

Rep-MTL:表現レベルのタスクサリエンシーの力を解放するマルチタスク学習

Zedong Wang Siyuan Li Dan Xu

概要

マルチタスク学習(Multi-Task Learning)がタスク間で補完的な知識を活用する可能性を秘めているにもかかわらず、現在のマルチタスク最適化(Multi-Task Optimization, MTO)手法は、オプティマイザ中心のロススケーリングや勾配操作戦略を通じてタスク間の衝突を解決することに焦点を当てているが、一貫したパフォーマンス向上を実現できていない。本論文では、タスク間の相互作用が自然に生じる共有表現空間(shared representation space)が、現存のオプティマイザと補完的な操作に豊富な情報と可能性を提供していると主張する。特に、タスク間の補完性(inter-task complementarity)の促進においては、そのような空間はほとんど研究されていない。この直感に基づき、本研究ではRep-MTLを提案する。これは、タスク固有の最適化と共有表現学習の間の相互作用を表現レベルでのタスクの重要性(task saliency)を用いて定量化する手法である。エントロピーに基づくペナルティとサンプル単位でのタスク間整合性の調整を通じて、Rep-MTLは単なる衝突解決にとどまらず、個々のタスクの有効な学習を維持しつつ、ネガティブトランスファー(negative transfer)を軽減することを目指している。同時に、補完的な情報共有を明示的に促進する。実験は、タスクシフトおよびドメインシフトの両方をカバーする4つの困難なMTLベンチマークで行われた。その結果、Rep-MTLは基本的な等重み付けポリシーと組み合わせても、競争力のある性能向上を実現し、効率性も良好であることが示された。標準的なパフォーマンス指標に加え、パワーロー指数(Power Law exponent)の分析により、Rep-MTLがタスク固有の学習とタスク間共有のバランスを効果的に取っていることが示された。プロジェクトページは HERE で公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Rep-MTL:表現レベルのタスクサリエンシーの力を解放するマルチタスク学習 | 記事 | HyperAI超神経