ギャップ理論はサポート ベクター マシンの概念であり、間隔とは 2 種類のサンプル間の最小距離を超平面で割ったものを指します。間隔理論を使用して、AdaBoost アルゴリズムのトレーニング エラーが 0 の場合にトレーニングを継続できることを説明できます。モデルの汎化パフォーマンスをさらに向上させます。

x と y がサンプルの入力空間と出力空間を表し、D が x · y 上のサンプルの真の分布であるとします。 S=$latex {{ \{ \left( {x\mathop{{}}\nolimits\_{{1}},y\mathop{{}}\nolimits\_{{1}}} \right) },…,{ \left ({x\mathop{{}}\nolimits\_{{m}},y\mathop{{}}\nolimits\_{{m}}} \right) }} \}$latex{(x_1,y_1),…,(x_m,y_m)} はサンプル D のサンプリングです。空間 H では、アンサンブル分類器は基本分類器 h : x → y の重み付けされた組み合わせによって形成されます。 f ∈ C(H)、H の凸包です。

AdaBoost アルゴリズムでは、統合分類子 f(x) は、一連の基本分類子、つまり $latex {f{ \left( {x} \right) }\text{ }=\text{ } の重み付け投票によって生成されます。 {\mathop { \sum }\limits\_{{i}}{ \alpha \mathop{{}}\nolimits\_{{i}}h\mathop{{}}\nolimits\_{{i}}{ \left( {x } \right ) }}}}$latexf(x) = の重み付け投票によって生成されます。∑_iα_ih_i(x)。その中には latex {{\mathop{ \sum }\limits\_{{i}}{ \alpha \mathop{{}}\nolimits\_{{i}}}}\text{ }=\text{ }1, \alpha \ mathop {{}}\nolimits\_{{i}}\text{ } \ge \text{ }0} では、強分類器の定義に基づいて、次の間隔を定義できます。

$latex {yf{ \left( {x} \right) }\text{ }=\text{ }{\mathop{ \sum }\limits\_{{i:y=h\mathop{{}}\nolimits\_{{i }}{ \left( {x} \right) }}}{ \alpha \mathop{{}}\nolimits\_{{i}}}}\text{ }-\text{ }{\mathop{ \sum }\ limits\_{{i:y \neq h\mathop{{}}\nolimits\_{{i}}{ \left( {x} \right) }}}{ \alpha \mathop{{}}\nolimits\_{{i} }}}}$latexyf(x) = ∑_i:y=h_i(x)α_i − ∑ limits_i:y=h_i(x)α_i

つまり、正しい投票と間違った投票の間の重み付けされた差です。

参考文献

【1】機械学習における「マージン」