邻域代表性采样用于高效端到端视频质量评估

高分辨率真实视频为深度视频质量评估（VQA）带来了效率与准确性的两难困境。一方面，保持原始分辨率会导致难以接受的计算开销；另一方面，现有的处理方法如缩放和裁剪，由于丢失细节与内容，会改变原始视频的质量特性，从而对质量评估产生负面影响。基于对人类视觉系统中时空冗余性及视觉编码理论的研究洞察，我们发现邻域内的质量信息通常具有高度相似性，这启发我们提出一种高效的质量敏感型邻域代表性采样方案。本文提出一种统一的采样框架——时空网格微立方体采样（Spatial-Temporal Grid Mini-cube Sampling, St-GMS），用于生成一种新型样本，称为“片段”（fragments）。首先，全分辨率视频按照预设的时空网格划分为微立方体单元，随后在时间对齐的基础上采样质量代表性特征，组合形成用于VQA输入的片段。此外，我们设计了一种专为片段数据定制的网络架构——片段注意力网络（Fragment Attention Network, FANet）。结合片段与FANet，所提出的高效端到端方法FAST-VQA与FasterVQA在所有主流VQA基准测试中均显著优于现有方法，同时计算复杂度仅相当于当前最先进方法的1/1612（FLOPs）。代码、模型及演示资源已开源，详见：https://github.com/timothyhtimothy/FAST-VQA-and-FasterVQA。