摘要
当机器学习模型在测试分布与训练分布存在差异的环境中运行时，传统的风险最小化范式容易失效，尤其在存在虚假相关性（spurious correlations）的情况下。通过在多个环境的数据上进行训练，并寻找具有不变性的预测因子，可以有效降低虚假特征的影响，使模型聚焦于与结果具有因果关系的特征。在本研究中，我们将这种不变风险最小化（Invariant Risk Minimization, IRM）问题建模为多个环境之间的一个集成博弈（ensemble game）的纳什均衡（Nash equilibrium）求解问题。通过这一建模方式，我们提出了一种简单高效的训练算法，该算法基于最优响应动态（best response dynamics），在实验中表现出与Arjovsky等人（2019）提出的复杂双层优化方法相当甚至更优的实证准确率，且具有显著更低的方差。本研究的一个关键理论贡献在于，证明了所提出的博弈模型在任意有限数量环境下的纳什均衡集合，等价于不变预测因子的集合，即使在使用非线性分类器和非线性变换的情况下依然成立。因此，我们的方法在理论上继承了Arjovsky等人（2019）所建立的对大量环境的泛化保证。该算法进一步丰富了博弈论在机器学习中的成功应用实例，如生成对抗网络（Generative Adversarial Networks, GANs）等。