Pour chaque échantillon x, si h peut minimiser le risque conditionnel R(h(x)|x), alors le risque global sera également minimisé. Cela donne lieu à la règle de décision de Bayes : pour minimiser le risque global, il suffit de sélectionner l'étiquette de catégorie qui minimise le risque conditionnel R(c|x) pour chaque échantillon, c'est-à-dire

À ce stade, h∗ est appelé le classificateur optimal de Bayes, et le risque global correspondant R(h∗) est appelé le risque de Bayes.