간격 이론지원 벡터 머신의 개념으로, 간격은 초평면으로 나눈 두 유형의 샘플 간의 최소 거리를 의미하며, 간격 이론을 사용하면 AdaBoost 알고리즘의 학습 오류가 0일 때 학습을 계속하면 모델의 일반화 성능을 더욱 향상시킬 수 있음을 설명할 수 있습니다.

x와 y가 샘플의 입력 및 출력 공간을 나타내고, D가 x · y에 대한 샘플의 실제 분포라고 하자. 에스=$latex {{ \{ \left( {x\mathop{{}}\nolimits\_{{1}},y\mathop{{}}\nolimits\_{{1}}} \right) },…,{ \left( {x\mathop{{}}\nolimits\_{{m}},y\mathop{{}}\nolimits\_{{m}}} \right) }} \}$latex{(x_1,y_1),…,(x_m,y_m)}는 샘플 D에 대한 샘플링입니다. 가설 공간 H에서 기본 분류기 h : x → y는 가중 결합되어 앙상블 분류기를 형성합니다. 에프 ∈ C(H)는 H의 볼록 껍질입니다.

AdaBoost 알고리즘에서 앙상블 분류기 f(x)는 일련의 기본 분류기의 가중 투표를 통해 생성됩니다. 즉, $latex {f{ \left( {x} \right) }\text{ }=\text{ }{\mathop{ \sum }\limits\_{{i}}{ \alpha \mathop{{}}\nolimits\_{{i}}h\mathop{{}}\nolimits\_{{i}}{ \left( {x} \right) }}}}$latexf(x) = ∑_iα_ih_i(x) . 여기서 $latex {{\mathop{ \sum }\limits\_{{i}}{ \alpha \mathop{{}}\nolimits\_{{i}}}}\text{ }=\text{ }1, \alpha \mathop{{}}\nolimits\_{{i}}\text{ } \ge \text{ }0}$latex∑_iα_i = 1,α_i ≥ 0 , 강력한 분류기 정의에 따라 다음 간격을 정의할 수 있습니다.

latex {yf{ \left( {x} \right) }\text{ }=\text{ }{\mathop{ \sum }\limits\_{{i:y=h\mathop{{}}\nolimits\_{{i}}{ \left( {x} \right) }}}{ \alpha \mathop{{}}\nolimits\_{{i}}}}\text{ }-\text{ }{\mathop{ \sum }\limits\_{{i:y \neq h\mathop{{}}\nolimits\_{{i}}{ \left( {x} \right) }}}{ \alpha \mathop{{}}\nolimits\_{{i}}}}

즉, 정확한 투표와 틀린 투표 간의 가중 차이를 말합니다.

참고문헌

【1】머신러닝의 '마진'