基于贝叶斯提示学习的图像-语言模型泛化

基础图像-语言模型因其通过提示学习（prompt learning）实现对下游任务的高效适应而受到广泛关注。提示学习将语言模型输入的一部分视为可训练参数，其余部分则保持冻结，并优化经验风险最小化（Empirical Risk Minimization, ERM）目标。然而，经验风险最小化已知在分布外（distributional shift）情况下表现不佳，导致模型在训练中未见过的提示上泛化能力下降。为此，本文利用贝叶斯方法的正则化能力，从贝叶斯视角重新审视提示学习，并将其建模为变分推断（variational inference）问题。所提出的方法对提示空间进行正则化，有效缓解了对已见提示的过拟合问题，显著提升了模型在未见提示上的泛化性能。本框架通过概率化建模输入提示空间，引入先验分布（a priori distribution），使方法能够兼容无条件或基于图像条件的各类提示学习范式。在15个基准测试上的实证结果表明，贝叶斯提示学习能够实现对提示空间的合理覆盖，有效避免学习虚假特征，并充分挖掘可迁移的不变特征。这一优势使得模型在跨数据集、跨领域场景下对未见提示仍具备更强的泛化能力。代码已开源，地址为：https://github.com/saic-fi/Bayesian-Prompt-Learning