各サンプル x について、h が条件付きリスク R(h(x)|x) を最小化できる場合、全体のリスクも最小化されます。これにより、ベイズの決定ルールが生まれます。全体的なリスクを最小化するには、各サンプルの条件付きリスク R(c|x) を最小化するカテゴリ ラベルを選択するだけです。

このとき、h*をベイズ最適分類器と呼び、対応する全体リスクR(h*)をベイズリスクと呼びます。