9 天前

基于层级回归网络的从RGB图像进行光谱重建

Yuzhi Zhao, Lai-Man Po, Qiong Yan, Wei Liu, Tingyu Lin
基于层级回归网络的从RGB图像进行光谱重建
摘要

由于具备窄带成像技术,高光谱相机在多个领域已成功实现视觉图像的捕捉。从RGB图像进行高光谱重建,本质上是高光谱成像的逆过程,其核心在于推导出逆响应函数。现有方法大多直接将RGB图像映射至对应光谱,但未显式考虑上下文信息;此外,当前算法普遍采用编码器-解码器结构,导致信息损失严重。为解决上述问题,本文提出一种四级分层回归网络(Hierarchical Regression Network, HRNet),并引入PixelShuffle层实现跨层级的特征交互。同时,采用残差密集块(residual dense block)以消除真实世界RGB图像中的伪影,并引入残差全局块(residual global block)构建注意力机制,从而扩大感受野。我们在NTIRE 2020高光谱重建从RGB图像挑战赛中对所提HRNet进行了全面评估,结果显示,该方法在第2赛道(真实世界图像)中荣获第一名,在第1赛道(干净图像)中位列第三。欢迎访问项目主页 https://github.com/zhaoyuzhi/Hierarchical-Regression-Network-for-Spectral-Reconstruction-from-RGB-Images 以体验我们的代码及预训练模型。

基于层级回归网络的从RGB图像进行光谱重建 | 最新论文 | HyperAI超神经