领域泛化是指学习能够推广到未见过的目标领域的模型。我们提出了一种简单而有效的方法，称为跨域集成蒸馏（XDED），该方法在学习领域不变特征的同时，鼓励模型收敛到平坦的最小值，这最近被证明是实现领域泛化的充分条件。为此，我们的方法生成了来自不同领域但具有相同标签的训练数据输出概率的集成，并对每个输出与该集成之间的不匹配进行惩罚。此外，我们还介绍了一种去风格化技术，通过标准化特征来促使模型在任意目标领域中产生风格一致的预测。我们的方法在跨域图像分类、跨数据集人员重新识别和跨数据集语义分割等公开基准测试中显著提高了泛化能力。此外，我们还展示了通过我们的方法学习的模型对对抗攻击和图像损坏具有较强的鲁棒性。