2 个月前

学习准确且丰富的立体图像超分辨率特征

Hu Gao; Depeng Dang
学习准确且丰富的立体图像超分辨率特征
摘要

立体图像超分辨率(stereoSR)旨在通过融合另一视角的互补信息来提升超分辨率结果的质量。尽管当前的方法已经取得了显著进展,但它们通常在全分辨率表示上进行操作以保留空间细节,这导致在准确捕捉上下文信息方面面临挑战。同时,这些方法利用所有特征相似性来跨视图融合信息,可能会忽略无关信息的影响。为了解决这一问题,我们提出了一种混合尺度选择性融合网络(MSSFNet),该网络能够在保留精确空间细节的同时融入丰富的上下文信息,并自适应地从两个视图中选择和融合最准确的特征,从而促进高质量的立体图像超分辨率。具体而言,我们开发了一种混合尺度块(MSB),该块能够在多个空间尺度上获得上下文增强的特征表示,同时保留精确的空间细节。此外,为了动态保留最重要的跨视图信息,我们设计了一种选择性融合注意力模块(SFAM),该模块能够搜索并传输来自另一视图的最准确特征。为了学习丰富的局部和非局部特征集,我们引入了快速傅里叶卷积块(FFCB),以显式地整合频域知识。大量实验表明,MSSFNet 在定量和定性评估中均显著优于现有最先进的方法。

学习准确且丰富的立体图像超分辨率特征 | 最新论文 | HyperAI超神经