Hypothèse D'indépendance Conditionnelle Des Attributs
Le classificateur naïf de Bayes adopte « l'hypothèse d'indépendance conditionnelle des attributs » : pour les catégories connues, il est supposé que tous les attributs sont indépendants les uns des autres.
Bayes naïf amélioré :
- Afin d'éviter que les informations portées par d'autres attributs ne soient « effacées » par des valeurs d'attribut qui ne sont jamais apparues dans l'ensemble d'apprentissage, un « lissage » est généralement effectué lors de l'estimation des valeurs de probabilité, et une « correction de Laplace » est souvent utilisée ;
- L’hypothèse d’indépendance conditionnelle des attributs est assouplie dans une certaine mesure ;
- La relation de dépendance entre les attributs est caractérisée à l'aide de graphes acycliques dirigés, et la distribution de probabilité conjointe des attributs est décrite à l'aide de tables de probabilité conditionnelle.
Les classificateurs bayésiens naïfs sont hautement évolutifs et nécessitent donc un certain nombre de paramètres linéaires dans le nombre de variables (caractéristiques/prédicteurs) dans le problème d'apprentissage. L'entraînement par vraisemblance maximale peut être réalisé en évaluant une expression sous forme fermée en temps linéaire, plutôt que de nécessiter l'approximation itérative chronophage utilisée par de nombreux autres types de classificateurs.
Dans la littérature statistique et informatique, le modèle naïf de Bayes est connu sous différents noms, notamment Bayes simple et Bayes indépendant. Tous ces noms font référence à l'utilisation du théorème de Bayes dans la règle de décision du classificateur, mais Naive Bayes n'utilise pas (nécessairement) les méthodes bayésiennes ; Russell et Norvig notent que « 'Naive Bayes' est parfois appelé un classificateur bayésien, une utilisation bâclée qui a incité les vrais bayésiens à l'appeler le modèle de Bayes muet. »