9 天前

基于成分导向的多退化学习用于图像修复

{Feng Zhao, Man Zhou, Hu Yu, Zizheng Yang, Mingde Yao, Jie Huang, Jinghao Zhang}
基于成分导向的多退化学习用于图像修复
摘要

深入挖掘多种图像复原任务之间的内在关联,有助于揭示退化过程背后的本质特征。近年来,各类“一体化”方法蓬勃发展,这些方法能够在单一模型中同时处理多种图像退化问题。然而,在实际应用中,针对任务间关联性的探索仍十分有限,主要原因在于缺乏对各类图像退化背后基础成因的深入理解,导致模型在引入更多任务时表现出较差的可扩展性。为此,本文提出一种全新的视角,通过“成因导向”而非传统的“任务导向”方式,实现可扩展的退化建模与学习。具体而言,我们提出一种名为成因导向退化重构框架(Ingredients-oriented Degradation Reformulation, IDR)的方法,该框架包含两个阶段:任务导向知识收集与成因导向知识融合。在第一阶段,我们依据退化过程背后的物理机制,对不同类型的退化执行针对性操作,并为每类退化建立相应的先验中心(prior hubs)。在第二阶段,通过可学习的主成分分析(learnable PCA)逐步将前述任务导向的中心重构为统一的成因导向中心,并引入动态路由机制,以实现对未知退化的概率性去除。大量在多种图像复原任务上的实验结果表明,所提方法在有效性与可扩展性方面均表现出色。尤为重要的是,IDR展现出对未知下游任务的良好泛化能力,具备较强的实用前景。

基于成分导向的多退化学习用于图像修复 | 最新论文 | HyperAI超神经