ギャップ理論はサポート ベクター マシンの概念であり、間隔とは 2 種類のサンプル間の最小距離を超平面で割ったものを指します。間隔理論を使用して、AdaBoost アルゴリズムのトレーニング エラーが 0 の場合にトレーニングを継続できることを説明できます。モデルの汎化パフォーマンスをさらに向上させます。

x と y がサンプルの入力空間と出力空間を表し、D が x · y 上のサンプルの真の分布であるとします。 S= はサンプル D のサンプリングです。空間 H では、アンサンブル分類器は基本分類器 h : x → y の重み付けされた組み合わせによって形成されます。 f ∈ C(H)、H の凸包です。

AdaBoost アルゴリズムでは、統合分類子 f(x) は、一連の基本分類子、つまり 。その中には では、強分類器の定義に基づいて、次の間隔を定義できます。

つまり、正しい投票と間違った投票の間の重み付けされた差です。

参考文献

【1】機械学習における「マージン」