각 샘플 x에 대해 h가 조건부 위험 R(h(x)|x)을 최소화할 수 있다면 전체 위험도 최소화됩니다. 이로 인해 베이즈 결정 규칙이 발생합니다. 전체 위험을 최소화하려면 각 샘플에 대한 조건부 위험 R(c|x)를 최소화하는 범주 레이블만 선택하면 됩니다. 즉,

이때 h∗를 베이즈 최적 분류기라고 하며, 이에 대응하는 전체 위험 R(h∗)를 베이즈 위험이라고 합니다.