分布外检测 Out-of-Distribution

分布外 (Out-of-Distribution, OOD) 检测是机器学习领域中一个关键的研究方向，它专注于识别那些在模型训练阶段未被覆盖的数据样本。这种检测技术对于提高模型的鲁棒性至关重要，尤其是在模型可能遇到与训练数据显著不同的新环境时。 OOD 检测的核心挑战在于，模型需要能够在面对未知或异常数据时做出正确的响应，而不是盲目地做出预测。这些未知样本可能来自完全不同的分布，或者具有与训练数据不同的特征，这要求模型具备一定的泛化能力。

在实际应用中，OOD 检测的应用场景非常广泛，包括但不限于医疗诊断、金融风险评估、自动驾驶等。在这些领域中，模型的决策可能会产生重大影响，因此能够准确识别并处理 OOD 样本变得尤为重要。例如，在医疗诊断中，模型可能会遇到罕见病例，这些病例在训练数据中可能从未出现过，如果不能正确识别这些 OOD 样本，可能会导致错误的诊断。

上海交通大学和阿里巴巴通义实验室于 2024 年发布了论文「Embedding Trajectory for Out-of-Distribution Detection in Mathematical Reasoning」，已被 NeurIPS 2024 接收，是数学推理场景下的首个分布外检测研究成果。