Wenn h für jede Stichprobe x das bedingte Risiko R(h(x)|x) minimieren kann, wird auch das Gesamtrisiko minimiert. Daraus ergibt sich die Bayes-Entscheidungsregel: Um das Gesamtrisiko zu minimieren, müssen wir nur die Kategoriebezeichnung auswählen, die das bedingte Risiko R(c|x) für jede Stichprobe minimiert, d. h.

Zu diesem Zeitpunkt wird h∗ als optimaler Bayes-Klassifikator und das entsprechende Gesamtrisiko R(h∗) als Bayes-Risiko bezeichnet.