一句话总结

作者提出了局部线性图像结构嵌入（LLISE）及其核变体，这是对局部线性嵌入（LLE）的一种改进。该方法使用结构相似性（SSIM）替代均方误差，以学习图像结构流形，从而捕捉结构特征并区分失真，进而将流形学习与图像保真度评估联系起来。

核心贡献

• 本文引入了图像结构流形以捕捉结构特征并区分图像失真，解决了传统均方误差或基于 $\ell_2$ℓ2​ 范数的指标在图像质量评估中的局限性。
• 提出了局部线性图像结构嵌入（LLISE）及其核变体，通过用结构相似性指数（SSIM）替换标准的平方误差损失，对局部线性嵌入框架进行改进，从而在降维过程中保持图像保真度。
• 该方法将流形学习与图像保真度评估相结合，为未来的质量评估研究奠定了理论基础。

引言

图像质量评估依赖于流形学习技术来建模高维视觉数据并检测结构失真，使其成为从计算机视觉到多媒体处理等应用的关键环节。然而，传统方法严重依赖均方误差或 L2 范数，这与人类视觉感知存在较大偏差，且难以捕捉有意义的图像保真度。为弥补这一不足，作者利用结构相似性（SSIM）开发了局部线性图像结构嵌入（LLISE）及其核变体。通过将传统距离度量替换为 SSIM，构建了能够有效区分视觉失真的图像结构流形，为感知感知的流形学习建立了新基础。

数据集

• 数据集构成与来源： 作者以标准 Lena 图像为基础构建数据集，应用六种不同的退化技术，生成用于流形学习和失真识别的受控样本集。

• 子集详情： 训练集包含 121 张图像，由原始 Lena 图像及 120 张失真变体组成。六种失真类型（对比度拉伸、高斯噪声、亮度增强、高斯模糊、椒盐脉冲噪声和 JPEG 失真）每种均包含 20 张图像，这些图像在均方误差（MSE）水平上以 45 为步长从 45 递增至 900 生成。样本外测试集包含 12 张固定 MSE 为 500 的图像，涵盖单一失真与组合失真。

• 数据使用与处理： 作者将所有图像划分为 $8 \times 8$8×8 的块，并将其嵌入至 $512 \times 512$512×512 维空间。在 LLISE 和核 LLISE 中，分别针对线性重建和嵌入应用特定的正则化参数。整个训练集用于学习和评估嵌入流形，其中 1-最近邻（1-NN）分类器独立分析每个块。随后通过对所有处理过的块进行多数投票，得出图像级别的失真标签。

• 元数据与评估策略： 每个块和图像均被分配指示退化类型的分类元数据，其中 0 表示原始图像，1 至 6 表示所应用的失真类型。测试集经过相同的嵌入与分类流程，以评估样本外泛化能力，其性能以标准 LLE 和核 LLE 基线作为基准进行衡量。

方法

作者提出了局部线性图像结构嵌入（LLISE），这是一种流形学习框架，旨在通过利用结构相似性指数（SSIM）替代传统的欧氏距离度量，来捕捉图像结构并区分不同类型的失真。该方法受局部线性嵌入（LLE）启发，但对其核心原则进行了调整，以更好地建模图像中的结构关系。在 LLISE 中，每张图像被划分为 $b = \lceil d/q \rceil$b=⌈d/q⌉ 个不重叠的块，其中 $d$d 为图像的总维度，$q$q 为块大小。每个块被视为 $\mathbb{R}^q$Rq 中的向量，目标是学习每个块的 $p$p 维图像结构流形，其中 $p \leq q$p≤q。该框架首先通过移除均值对每个块进行中心化，以确保数据均值为零，这简化了 SSIM 的计算，并与零均值条件下的结构相似性假设相一致。

参见框架示意图

LLISE 的核心遵循与 LLE 类似的两步流程：局部重建与全局嵌入。首先，基于 SSIM 距离为每个块构建 $k$k-最近邻（$k$k-NN）图，该距离定义为 $||\tilde{\boldsymbol{x}}_1 - \tilde{\boldsymbol{x}}_2||_S = 1 - \text{SSIM}(\tilde{\boldsymbol{x}}_1, \tilde{\boldsymbol{x}}_2)$∣∣x~1​−x~2​∣∣S​=1−SSIM(x~1​,x~2​)，其中两个块向量之间的 SSIM 基于亮度、对比度和结构分量计算。对于每个块，在单位权重约束下，通过最小化基于 SSIM 的重建误差来确定重建权重。此步骤从结构相似性的角度捕捉图像块的局部线性结构。

完成重建阶段后，块被嵌入至低维空间 $\mathbb{R}^p$Rp，同时保持重建权重不变。该嵌入通过求解二次优化问题获得，该问题在嵌入空间中最小化重建误差，并受限于确保嵌入点均值为零且协方差为单位矩阵的约束。这一全局嵌入步骤确保了流形结构在降维空间中得到保留，从而实现了对图像结构的有效表示。

作者还通过基于重建的方法将 LLISE 扩展至处理样本外数据。对于每个样本外块，在训练块中识别其 $k$k-最近邻，并使用与训练阶段相同的基于 SSIM 的目标函数计算重建权重。随后，通过线性重建其训练集中 $k$k-最近邻的嵌入向量，得到该样本外块的嵌入表示。这一样本外扩展机制确保了所学习的流形可直接应用于未见数据，而无需重新训练。

此外，该框架通过核局部线性图像结构嵌入（Kernel LLISE）推广至核空间。在此过程中，图像块通过核函数 $\phi(\cdot)$ϕ(⋅) 映射至高维特征空间，从而使数据在特征空间中可能位于更简单的流形上。核矩阵由块之间的成对核评估构建，经过归一化和双重中心化处理，以确保特征空间中的均值为零。随后在此核诱导空间中执行 $k$k-NN 和重建步骤，重建权重通过核评估计算得出。样本外嵌入采用类似方法，权重在特征空间中推导得出，最终嵌入通过对核嵌入进行线性重建获得。

无论是在原始空间还是核空间，LLISE 的整体架构均将 SSIM 作为结构距离度量。相较于标准的 $\ell_2$ℓ2​ 范数，SSIM 更适用于图像质量评估，尤其在区分结构性失真与非结构性失真方面表现更佳。这种以结构为核心的设计使该方法能够捕捉图像的内在结构，并提升需要图像保真度区分任务的性能。