要約
従来の手法は、検出用Transformerの学習を、補助的な1対多割り当てを導入することで向上させてきた。本研究では、モデルをマルチタスクフレームワークとして捉え、同時に1対1および1対多の予測を実行する。Transformerデコーダ内の各構成要素——自己注意（self-attention）、クロス注意（cross-attention）、フィードフォワードネットワーク——が、これらの2つの学習目標において果たす役割を詳細に検討した。実証的な結果から、デコーダ内の任意の独立した構成要素が、他の構成要素が共有されていても、同時に両方のタスクを効果的に学習できることを示した。この知見に基づき、1対1予測用のメインルートと、1対多予測用の2つの補助ルートを備えたマルチルート学習メカニズムを提案する。さらに、1対多予測におけるオブジェクトクエリを動的にかつ柔軟に誘導する新しい「誘導的自己注意（instructional self-attention）」を導入し、学習機構を強化した。推論時には補助ルートを削除することで、モデル構造や推論コストに影響を与えない。様々なベースラインで広範な実験を実施した結果、図1に示す通り一貫した性能向上が得られた。プロジェクトページ：https://visual-ai.github.io/mrdetr