通过高效退化适应恢复任意模型

随着移动设备的普及，高效恢复任何退化图像的需求变得越来越重要和影响深远。传统方法通常需要为每种特定的退化训练专门的模型，这导致了效率低下和冗余问题。近年来，一些解决方案要么引入额外的模块来学习视觉提示，显著增加了模型的规模，要么从在大规模数据集上训练的大语言模型中进行跨模态迁移，增加了系统架构的复杂性。相比之下，我们的方法称为RAM（Restoration-Aware Model），采取了一条统一的路径，通过联合嵌入机制利用各种退化之间的固有相似性，实现了高效且全面的恢复，而无需扩大模型规模或依赖大型多模态模型。具体而言，我们研究了每个输入的子潜在空间，识别出关键组件并以门控方式重新加权。这种内在的退化感知能力进一步与上下文注意力机制结合，在X形框架中增强了局部-全局交互。在综合恢复设置下的广泛基准测试确认了RAM的最先进性能，其可训练参数减少了约82%，浮点运算量减少了约85%。我们的代码和模型将公开发布。