VC 이론

VC 차원이진 분류기의 용량을 측정하는 데 사용됩니다. 이는 분류기가 분류할 수 있는 최대 학습 샘플 수를 나타냅니다. 직관적인 정의는 다음과 같습니다. 지표 함수 집합의 경우, 함수 집합의 함수를 통해 모든 가능한 2h 형태로 확장할 수 있는 h개의 샘플이 있는 경우, 함수 집합은 h개의 샘플을 분해할 수 있다고 합니다. 함수 집합의 VC 차원은 분할할 수 있는 샘플 h의 최대 개수입니다.

임의의 수의 샘플에 대해 모든 샘플을 분해할 수 있는 함수 집합이 존재하는 경우, 함수 집합의 VC 차원은 무한합니다. 제한된 실수 함수의 VC 차원은 특정 임계값을 통해 지표 함수로 변환될 수 있습니다.

VC 차원의 의미

VC 차원의 값이 클수록 일반화 능력이 떨어지고 신뢰 위험도 커집니다. 요약하자면, 샘플 수를 늘리고 VC 차원을 줄이면 신뢰 위험을 줄일 수 있습니다.

VC는 가설 H의 강력함을 반영할 수도 있습니다. 즉, VC 차원이 클수록 H는 더 강력해집니다. 더 많은 지점을 분해할 수 있기 때문입니다.