提示引导的Transformer用于多任务密集预测

任务条件化架构在参数效率方面具有优势，但在性能上仍不及当前最先进的多解码器方法。如何在模型性能与参数量之间实现有效权衡，是一个重要且具有挑战性的问题。本文提出一种简单而轻量级的任务条件化模型——提示引导Transformer（Prompt Guided Transformer, PGT），以优化这一难题。该方法设计了一种提示条件化的Transformer模块，通过在自注意力机制中引入任务特定的提示（prompt），实现跨多任务的全局依赖建模与参数高效的特征适配。该模块被集成于共享编码器与解码器中，有效增强了模型对任务内及任务间特征的捕捉能力。此外，我们设计了一种轻量级解码器，进一步降低参数使用量，其参数仅占模型总参数的2.7%。在两个多任务密集预测基准数据集PASCAL-Context与NYUD-v2上的大量实验表明，所提方法在任务条件化模型中达到了当前最优性能，同时显著减少了参数量，实现了性能与模型规模之间的良好平衡。