편향-분산 분해

편향-분산 분해는 편향과 분산의 관점에서 학습 알고리즘의 일반화 성능을 설명하는 도구입니다. 이는 다음과 같이 정의됩니다.

예측할 변수를 t로 나타내고, 특징 변수를 x로 나타냄) 분포 p(t,x)에서 각각 독립적으로 추출된 데이터 세트가 K개 있다고 가정합니다.

다양한 데이터 세트를 사용하여 학습하면 다양한 모델을 얻을 수 있습니다. 학습 알고리즘의 성능은 이러한 K개 데이터 세트에서 학습된 K개 모델의 평균 성능으로 측정됩니다. 즉, 다음과 같습니다.

여기서 h(x)는 데이터를 생성하는 실제 함수, 즉 t=h(x)를 나타냅니다.