我们介绍了一种深度学习图像分割框架，该框架对缺失的成像模态具有极高的鲁棒性。与尝试插补或合成缺失数据不同，所提出的方法为每种模态学习一种将输入图像嵌入到单一潜在向量空间中的表示方法，该空间中可以进行算术运算（如求平均值）。在推理时，可以对可用模态的点进行平均处理，然后进一步加工以生成所需的分割结果。因此，任何可用模态的组合子集都可以作为输入提供，而无需学习组合数量的插补模型。在两个神经影像学MRI数据集（脑肿瘤和多发性硬化病变）上进行评估时，当提供所有模态时，该方法能够产生最先进的分割结果；此外，当移除某些模态时，其性能下降非常平缓，显著优于其他替代的均值填充或合成方法。