17 天前

QT-DoG:面向领域泛化的量化感知训练

Saqib Javed, Hieu Le, Mathieu Salzmann
QT-DoG:面向领域泛化的量化感知训练
摘要

领域泛化(Domain Generalization, DG)旨在训练出不仅在训练阶段所用的源域数据上表现良好,且在未见的新型目标数据分布上同样具备优异性能的模型。DG中的一个核心挑战是防止模型对源域数据发生过拟合,而这一问题可通过在损失函数景观中寻找更平坦的极小值点来缓解。本文提出了一种面向领域泛化的量化感知训练方法(Quantization-aware Training for Domain Generalization, QT-DoG),并实证表明,权重量化能够有效促使损失景观中出现更平坦的极小值,从而显著提升模型的领域泛化能力。与传统以模型压缩为目标的量化方法不同,QT-DoG将量化视为一种隐式的正则化手段:通过在模型权重中引入噪声,引导优化过程向对扰动不敏感、抗过拟合能力更强的平坦极小值区域收敛。我们从理论和实证两个层面提供了充分证据,证明量化本身具有天然促进平坦极小值形成的特性,从而实现跨领域的更优泛化性能。此外,得益于量化带来的模型尺寸压缩优势,我们进一步验证了多个量化模型的集成策略可显著提升模型精度,且在不增加任何计算或内存开销的前提下,超越当前最先进的领域泛化方法。大量实验结果表明,QT-DoG在多种数据集、网络架构及量化算法下均展现出良好的泛化能力,且可与现有其他领域泛化方法无缝结合,充分体现了其广泛的适用性与鲁棒性。