间隔理论是支持向量机中的概念，其中间隔是指超平面划分两类样本之间的最小距离，而间隔理论可被用于解释 AdaBoost 算法在训练误差为 0 的情况下，继续训练可进一步提升模型的泛化性能。

令 x 和 y 代表样例的输入和输出空间，D 是 x · y 上的样例真实分布，而 S=$latex {{ \{ \left( {x\mathop{{}}\nolimits\_{{1}},y\mathop{{}}\nolimits\_{{1}}} \right) },…,{ \left( {x\mathop{{}}\nolimits\_{{m}},y\mathop{{}}\nolimits\_{{m}}} \right) }} \}$latex{(x_1,y_1),…,(x_m,y_m)} 是样例 D 上的抽样，在假设空间 H 中，基分类器 h : x → y 进行加权组合形成的集成分类器 f ∈ C(H)，即 H 的凸包。

在 AdaBoost 算法中，集成分类器 f(x) 由一系列基分类器加权投票产生结果，即 $latex {f{ \left( {x} \right) }\text{ }=\text{ }{\mathop{ \sum }\limits\_{{i}}{ \alpha \mathop{{}}\nolimits\_{{i}}h\mathop{{}}\nolimits\_{{i}}{ \left( {x} \right) }}}}$latexf(x) = ∑_iα_ih_i(x) 。其中 $latex {{\mathop{ \sum }\limits\_{{i}}{ \alpha \mathop{{}}\nolimits\_{{i}}}}\text{ }=\text{ }1, \alpha \mathop{{}}\nolimits\_{{i}}\text{ } \ge \text{ }0}$latex∑_iα_i = 1,α_i ≥ 0 ，基于强分类器定义，可以定义如下间隔：

$latex {yf{ \left( {x} \right) }\text{ }=\text{ }{\mathop{ \sum }\limits\_{{i:y=h\mathop{{}}\nolimits\_{{i}}{ \left( {x} \right) }}}{ \alpha \mathop{{}}\nolimits\_{{i}}}}\text{ }-\text{ }{\mathop{ \sum }\limits\_{{i:y \neq h\mathop{{}}\nolimits\_{{i}}{ \left( {x} \right) }}}{ \alpha \mathop{{}}\nolimits\_{{i}}}}}$latexyf(x) = ∑_i:y=h_i(x)α_i − ∑_i:y=h_i(x)α_i

即正确投票与错误投票的加权差。

参考来源

【1】机器学习中的 “Margin”