HyperAIHyperAI

Command Palette

Search for a command to run...

Mr. DETR:検出Transformer向けの指導的マルチルート学習

Chang-Bin Zhang Yujie Zhong Kai Han

概要

従来の手法は、検出用Transformerの学習を、補助的な1対多割り当てを導入することで向上させてきた。本研究では、モデルをマルチタスクフレームワークとして捉え、同時に1対1および1対多の予測を実行する。Transformerデコーダ内の各構成要素——自己注意(self-attention)、クロス注意(cross-attention)、フィードフォワードネットワーク——が、これらの2つの学習目標において果たす役割を詳細に検討した。実証的な結果から、デコーダ内の任意の独立した構成要素が、他の構成要素が共有されていても、同時に両方のタスクを効果的に学習できることを示した。この知見に基づき、1対1予測用のメインルートと、1対多予測用の2つの補助ルートを備えたマルチルート学習メカニズムを提案する。さらに、1対多予測におけるオブジェクトクエリを動的にかつ柔軟に誘導する新しい「誘導的自己注意(instructional self-attention)」を導入し、学習機構を強化した。推論時には補助ルートを削除することで、モデル構造や推論コストに影響を与えない。様々なベースラインで広範な実験を実施した結果、図1に示す通り一貫した性能向上が得られた。プロジェクトページ:https://visual-ai.github.io/mrdetr


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Mr. DETR:検出Transformer向けの指導的マルチルート学習 | 記事 | HyperAI超神経