HyperAIHyperAI

Command Palette

Search for a command to run...

プロンプト誘導型Transformerによるマルチタスク密集予測

Yuxiang Lu Shalayiding Sirejiding Yue Ding Chunlin Wang Hongtao Lu

概要

タスク条件付きアーキテクチャはパラメータ効率性に優れるものの、最先端のマルチデコーダ手法と比較して性能面で劣るという課題を抱えている。性能とモデルパラメータ数のトレードオフをいかに実現するかは、重要なかつ困難な問題である。本論文では、この課題を最適化するため、シンプルかつ軽量なタスク条件付きモデルである「プロンプト誘導型トランスフォーマー(Prompt Guided Transformer, PGT)」を提案する。本手法は、タスク固有のプロンプトを自己注意機構に組み込むことで、複数のタスクにわたるグローバル依存関係のモデリングとパラメータ効率的な特徴適応を実現する「プロンプト条件付きトランスフォーマーブロック」を設計している。このブロックは共有エンコーダおよびデコーダの両方に統合され、タスク内およびタスク間の特徴をより効果的に捉える能力を向上させる。さらに、パラメータ使用量をさらに削減するため、軽量なデコーダを設計しており、全体のモデルパラメータのうちわずか2.7%にとどまる。PASCAL-ContextおよびNYUD-v2という2つのマルチタスク密度予測ベンチマーク上で実施した広範な実験により、本手法がタスク条件付き手法の中でも最先端の性能を達成しつつ、パラメータ数を少なく抑え、性能とパラメータサイズの間に顕著なバランスを維持できることを示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
プロンプト誘導型Transformerによるマルチタスク密集予測 | 記事 | HyperAI超神経