16 天前

基于分割先验的区域自适应变换用于图像压缩

Yuxi Liu, Wenhan Yang, Huihui Bai, Yunchao Wei, Yao Zhao
基于分割先验的区域自适应变换用于图像压缩
摘要

近年来,学习型图像压缩(Learned Image Compression, LIC)取得了显著进展。现有方法通常采用基于卷积神经网络(CNN)或自注意力机制的模块作为压缩过程中的变换方法。然而,此前尚无研究针对神经变换机制在特定区域上的优化。为此,本文提出使用类别无关的分割掩码(即不带类别标签的语义掩码),以提取区域自适应的上下文信息。我们所提出的区域自适应变换模块(Region-Adaptive Transform)根据这些掩码对不同区域施加自适应卷积操作,从而实现更精细的特征建模。此外,我们设计了一种即插即用的模块——尺度仿射层(Scale Affine Layer),用于融合来自不同区域的丰富上下文信息。尽管已有先前工作将分割掩码作为额外的中间输入用于图像压缩,但我们的方法在核心思想上存在显著差异。关键优势在于:为避免引入额外的比特率开销,我们将在训练阶段可访问的分割掩码视为“特权信息”(privilege information),而在推理阶段无需使用。据我们所知,这是首次将类别无关的分割掩码作为特权信息应用于图像压缩任务,并在像素保真度指标(如峰值信噪比,PSNR)上取得了更优性能。实验结果表明,与以往表现优异的方法相比,本方法在保持相同重建质量的前提下,相较 VTM-17.0 实现了约 8.2% 的比特率节省。相关源代码已开源,地址为:https://github.com/GityuxiLiu/SegPIC-for-Image-Compression。

基于分割先验的区域自适应变换用于图像压缩 | 最新论文 | HyperAI超神经