一句话总结

ReChannel由UCSD与香港科技大学研究者提出，通过将预训练DiT的VAE解码器替换为轻量级的token-to-patch线性头（$\sim 33\text{K}$∼33K参数），直接输出任务原生的像素空间场，在无trimap抠图、KITTI深度估计与指代表达分割上达到最先进水平，同时在匹配的4B参数设置下，比编辑加潜在解码的对应方案快$2.48\times$2.48×。

核心贡献

• ReChannel将冻结的预训练扩散Transformer（DiT）的输出token重新解释为空间载体，将每个token映射到固定的像素块（patch），其通道承载任务原生量（如深度、抠图alpha），而非RGB，从而消除了目标侧的VAE解码器。
• 该方法使用一个极简的统一接口：冻结的文本到图像DiT骨干网络、轻量级的任务特定LoRA适配，以及一个共享的token-local线性头（约33K参数），该头直接输出像素空间块，无需任何空间解码器或上采样，以统一形式处理几何、掩码、分割和热力图。
• 在六个稠密预测任务和十余个基准测试中，ReChannel在无trimap抠图、KITTI深度估计和指代表达分割上取得了新的最先进结果，在表面法线、显著性检测和姿态估计上保持竞争力，并且在匹配的4B参数设置下，比编辑加潜在解码的对应方案更准确且快$2.48\times$2.48×。

引言

基于RGB的稠密预测从单张图像估计像素对齐的场，如深度、掩码、抠图alpha和热力图，这是许多视觉任务的核心能力。现有方法要么依赖判别式基础编码器加上任务特定解码器，要么将文本到图像生成模型重新用作先验。生成式路线已被证明有效，但现有方法大多将稠密目标视为待合成的图像：它们将任务场编码到RGB训练的VAE潜在空间，再解码回像素。这种目标侧渲染接口是间接的，给非外观量带来了RGB重建负担，并增加了计算开销。作者认为，生成式先验的价值在于其已组织的丰富空间场，而非其生成目标的能力。他们提出ReChannel，该方法丢弃了目标侧VAE。取而代之，冻结的扩散Transformer骨干网络仅通过任务特定LoRA进行轻量适配，token-local线性投影则直接从适配后的token网格中读出任务原生块场。这将稠密预测重新定义为对空间载体的重新通道化，而非生成图像，从而产生一个统一、极简的接口，在六个任务上达到最先进水平，同时比编辑加潜在解码的对应方案快达$2.48\times$2.48×。

方法

作者提出ReChannel，一个将预训练的文本到图像扩散Transformer重新用于稠密预测任务而不使用生成式解码器的框架。核心思想是将Transformer的空间token网格视为读出基底，通过轻量线性映射将每个token直接投影到局部像素空间块。这避免了传统的图像生成接口，并将稠密目标保持在其原生像素对齐格式中。

输入管线保留了预训练T2I模型的原始RGB通路。输入图像$x$x由冻结的VAE编码器编码，得到属于预训练模型分布的潜在表示。该潜在表示随后输入扩散Transformer（DiT）骨干网络，以确定性零噪声模式运行。骨干网络权重保持冻结，任务特定适配通过低秩（LoRA）参数$\Delta_t$Δt​注入：

$Z_t = F_{\theta + \Delta_t} \left(\mathrm{VAE}_{\mathrm{enc}}(x); \sigma = 0, c_t\right),$Zt​=Fθ+Δt​​(VAEenc​(x);σ=0,ct​),

其中$F_\theta$Fθ​是预训练Transformer，$c_t$ct​是文本条件（例如指代表达），$Z_t = \{z_{ij}^t\}$Zt​={zijt​}是任务$t$t的结果空间token场。该设计保留了预训练的RGB场结构，同时通过LoRA将其导向目标语义。

关键创新在于读出阶段。没有使用生成式解码器或多阶段空间头，每个适配后的token $z_{ij}^t$zijt​通过共享的token-local线性投影独立映射到局部稠密块：

$\hat{Y}_{ij}^t = \text{reshape}\left(W_t z_{ij}^t + b_t\right), \quad \hat{Y}_{ij}^t \in \mathbb{R}^{p \times p \times K_t}.$Y^ijt​=reshape(Wt​zijt​+bt​),Y^ijt​∈Rp×p×Kt​.

这里$p$p是块大小，$K_t$Kt​是任务的输出通道数。该投影在每一个token上相同应用，没有token间的空间混合。reshape操作仅将投影解包到像素空间；预测的空间结构完全继承自适配后的token场。这就是ReChannel读出：它重新解释每个token的通道，从RGB外观变为任务原生场，同时保持空间载体不变。

相同的读出机制被实例化到多个不同任务中。对每个任务，分别训练一个独立的LoRA适配器和读出投影，$K_t$Kt​和监督损失根据目标表示选择。标量场，如深度、alpha抠图和显著性，使用$K_t = 1$Kt​=1；表面法线使用$K_t = 3$Kt​=3；姿态估计使用多通道热力图。连续回归任务使用标准像素空间损失训练，而二值掩码任务使用像素空间掩码监督。损失函数保持常规，因为重点在于输出接口而非任务特定的损失工程。

实验

ReChannel在六个稠密预测任务上进行了评估，通过LoRA适配器和token-local线性头适配冻结的FLUX-Klein文本到图像骨干网络，遵循每个基准的标准协议。它在深度、抠图、指代表达分割和姿态估计上取得了最先进或具有竞争力的结果，同时消融实验证实LoRA适配和强大的预训练先验是必要的，且适配后的token场已经编码了输出，使得额外的输出机制或目标侧VAE解码变得冗余。token-local读出是最准确且最快的配置，因为它完全消除了解码器。

ReChannel-9B在大多数基准上取得了最佳的深度和表面法线估计，超越了专用和生成式基线。对于单目深度，它在KITTI和ScanNet上领先，在NYU上略逊于一种方法。在表面法线上，ReChannel-9B在所有三个数据集上获得了最低的平均角度误差，其较小的ReChannel-4B变体已与最强生成式方法相当。ReChannel-9B在KITTI和ScanNet上取得了最佳的绝对相对深度误差，在这两个数据集上优于Edit2Perc。在表面法线上，ReChannel-9B在NYU、ScanNet和iBims上获得了最低的平均角度误差，而ReChannel-4B与顶级生成式基线持平。像GeoWizard这样的生成式方法在深度和法线上均被ReChannel持续超越，在KITTI深度和iBims法线上差距更大。专用判别式方法（如DAv2、DSINE）在除NYU深度外的所有几何任务上均被ReChannel-9B超越，在NYU深度上DAv2仍占优势。

ReChannel-9B在无trimap抠图上树立了新的最先进水平，以明显优势超越最强的专用和生成式先验基线。在零样本AIM-500设置下，优势更为显著，误差不到之前最佳生成式方法的一半，表明跨域泛化能力提升。token-local读出移除了目标侧VAE，这对这种边界敏感任务尤其有益。ReChannel-9B在P3M-500-P（5.69）和P3M-500-NP（6.67）上均取得了新的最先进SAD，分别超过专用ViTAE-S 0.55和0.92点，超过生成式先验GenPercept 4.06和6.10点。在零样本AIM-500上，ReChannel-9B达到34.90 SAD，不到GenPercept的75.5的一半，表明避免目标侧VAE的往返过程既提升了域内边界精度，也增强了分布外迁移能力。

ReChannel模型在所有RefCOCO划分上实现了最先进的指代表达分割，无需任何掩码提议头、LLM解码器或任务特定架构。4B变体已经超越了所有先前7B–8B基于LLM的方法和此前最佳的PSALM-1.3B，而9B模型进一步将平均cIoU提升至82.0。这表明仅从适配后的T2I骨干网络进行token-local线性读出，就能提供早期工作通过专用输出机制寻求的空间定位和分割精度。ReChannel-4B超越了所有先前方法，包括1.3B的PSALM（77.1平均cIoU）和基于7B–8B LLM的模型，达到了80.3平均cIoU。ReChannel-9B在所有八个划分中最佳，并在82.0平均cIoU上树立了新的最先进水平，无需任何专用掩码头或LLM解码器。

ReChannel-9B在COCO姿态估计上达到79.2 AP，超过专用ViTPose-L 0.9点，且无需任何姿态特定架构。在显著性检测中，它在DUTS-TE和ECSSD上取得了所有报告方法中的最佳Fmax和MAE。这些结果表明，相同的token-local读出能够适应结构化热力图和二值掩码。ReChannel-9B使用通用读出且无姿态特定设计，将COCO AP提升0.9点，超越ViTPose-L。在显著性上，ReChannel-9B在DUTS-TE和ECSSD上均取得了最高Fmax和最低MAE。

当骨干网络冻结且仅训练线性头时，表面法线和抠图会退化到近乎平凡的预测，表明预训练token场并非天然与任务输出对齐。使用随机初始化替代预训练先验会留下巨大的精度差距，而增加额外的输出容量或生成式解码路径并不会比简单的token-local线性读出有所改进。token-local读出是最准确且最快的配置，因为目标结构已存在于适配后的token场中。在冻结主体上仅训练头部会导致表面法线误差超过44°，抠图SAD超过170，接近常数预测状态。相同架构的随机初始化导致抠图误差大约翻倍，法线也显著变差，确认了对强大预训练先验的依赖。一个13倍大的卷积头和4B骨干网络的全量微调并未优于token-local线性读出，而生成式接口（潜在、VAE解码、编辑）始终更差。token-local线性读出不增加可测量的延迟，而生成式替代方案由于额外的解码过程慢1.56倍至2.48倍。

ReChannel模型在广泛的稠密预测任务上进行了评估，包括单目深度、表面法线、抠图、指代表达分割、姿态估计和显著性，使用标准基准并与专用和生成式基线进行比较。实验验证了从预训练扩散骨干网络进行简单的token-local线性读出，无需任何任务特定架构，即可在所有这些任务上达到最先进结果，超越专用判别式方法和生成式方法。消融研究证实，强大的预训练先验是必不可少的，且token-local读出是最准确和高效的设计，因为目标空间结构已在适配后的token场中被捕获。