HyperAI超神经

간격 이론지원 벡터 머신의 개념으로, 간격은 초평면으로 나눈 두 유형의 샘플 간의 최소 거리를 의미하며, 간격 이론을 사용하면 AdaBoost 알고리즘의 학습 오류가 0일 때 학습을 계속하면 모델의 일반화 성능을 더욱 향상시킬 수 있음을 설명할 수 있습니다.

x와 y가 샘플의 입력 및 출력 공간을 나타내고, D가 x · y에 대한 샘플의 실제 분포라고 하자. 에스= ${{ \{ \left( {x\mathop{{}}\nolimits_{{1}},y\mathop{{}}\nolimits_{{1}}} \right) },…,{ \left( {x\mathop{{}}\nolimits_{{m}},y\mathop{{}}\nolimits_{{m}}} \right) }} \}$ 는 샘플 D에 대한 샘플링입니다. 가설 공간 H에서 기본 분류기 h : x → y는 가중 결합되어 앙상블 분류기를 형성합니다. 에프 ∈ C(H)는 H의 볼록 껍질입니다.

AdaBoost 알고리즘에서 앙상블 분류기 f(x)는 일련의 기본 분류기의 가중 투표를 통해 생성됩니다. 즉, ${f{ \left( {x} \right) }\text{ }=\text{ }{\mathop{ \sum }\limits_{{i}}{ \alpha \mathop{{}}\nolimits_{{i}}h\mathop{{}}\nolimits_{{i}}{ \left( {x} \right) }}}}$ . 여기서 ${{\mathop{ \sum }\limits_{{i}}{ \alpha \mathop{{}}\nolimits_{{i}}}}\text{ }=\text{ }1, \alpha \mathop{{}}\nolimits_{{i}}\text{ } \ge \text{ }0}$ , 강력한 분류기 정의에 따라 다음 간격을 정의할 수 있습니다.

${yf{ \left( {x} \right) }\text{ }=\text{ }{\mathop{ \sum }\limits_{{i:y=h\mathop{{}}\nolimits_{{i}}{ \left( {x} \right) }}}{ \alpha \mathop{{}}\nolimits_{{i}}}}\text{ }-\text{ }{\mathop{ \sum }\limits_{{i:y \neq h\mathop{{}}\nolimits_{{i}}{ \left( {x} \right) }}}{ \alpha \mathop{{}}\nolimits_{{i}}}}$

즉, 정확한 투표와 틀린 투표 간의 가중 차이를 말합니다.

참고문헌

【1】머신러닝의 '마진'

마진 이론

참고문헌