Le Rasoir D'occam
Le rasoir d'OccamCela signifie que s’il existe plusieurs hypothèses cohérentes avec les observations, la plus simple est choisie. Le rasoir d’Occam est souvent utilisé comme technique heuristique. Il s’agit d’un outil permettant d’aider les gens à développer des modèles théoriques et ne peut pas être utilisé comme base pour juger des théories.
L'origine du rasoir d'Occam
Le rasoir d'Occam est également appelé « rasoir d'Occam » dans certains endroits. Son nom latin est lex parsimoniae, qui signifie la loi de simplicité.
Il s'agit d'une règle de résolution de problèmes proposée par Guillaume d'Ockham, un logicien et moine franciscain du XIVe siècle, qui a déclaré dans son Commentaire sur le Livre des Proverbes, Volume 2, Question 15 : « Ne gaspillez jamais plus et faites ce que vous pouvez faire avec moins. »
En d’autres termes, s’il existe plusieurs théories sur le même problème, chacune d’entre elles faisant des prédictions tout aussi précises, alors celle qui fait le moins d’hypothèses doit être choisie. Bien que les méthodes plus complexes donnent généralement de meilleures prédictions, tant que le pouvoir prédictif n’est pas un problème (c’est-à-dire que les résultats sont à peu près les mêmes), moins il y a d’hypothèses, mieux c’est.
Application du rasoir d'Occam
Le prototype du rasoir d'Occam ne s'applique qu'aux modèles ayant un pouvoir explicatif égal (c'est-à-dire qu'il vous dit simplement de choisir le modèle le plus simple parmi ceux qui sont tout aussi bons).
Une forme plus générale du rasoir d'Occam peut être dérivée de la comparaison de modèles bayésiens.
Il est basé sur les facteurs de Bayes et peut être utilisé pour comparer des modèles qui ne correspondent pas aussi bien aux observations. Ces modèles trouvent parfois le meilleur équilibre entre pouvoir explicatif et complexité.
En général, la valeur exacte du facteur de Bayes est difficile à obtenir, mais il existe de nombreuses méthodes pour donner une valeur approximative, telles que le critère d'information d'Akaike, le critère d'information bayésien, la méthode variationnelle de Bayes, le taux de fausses découvertes et la méthode de Laplace. De nombreux chercheurs en IA utilisent ces méthodes dans l’apprentissage d’Occam.