奥卡姆剃刀 Occam’s Razor

奥卡姆剃刀是指若有多个假设与观察一致,则选最简单的那个。奥卡姆剃刀常被作为启发法技巧来使用,是帮助人们发展理论模型的工具,不能作为判断理论的依据。

奥卡姆剃刀的由来

奥卡姆剃刀在一些地方也称 “奥坎的剃刀”,其拉丁文为 lex parsimoniae ,意思是简约之法则.

它是由 14 世纪逻辑学家、圣方济各会修士奥卡姆的威廉提出的一个解决问题的法则,他在《箴言书注》2 卷 15 题说 “切勿浪费较多东西,去做 ‘用较少的东西,同样可以做好的事情’。”

换一种说法,如果关于同一个问题有许多种理论,每一种都能作出同样准确的预言,那么应该挑选其中使用假定最少的。尽管越复杂的方法通常能做出越好的预言,但是在不考虑预言能力(即结果大致相同)的情况下,假设越少越好。

奥卡姆剃刀的应用

奥卡姆剃刀的原型只适用于具有同等解释力的模型(也就是说,它只是告诉在同样好的模型中选择较简单的那一个)。

奥卡姆剃刀的一个更通用的形式,可以从贝叶斯模型比较中产生。

它基于贝叶斯因子,可以适用于那些并不和观察结果同样吻合的模型比较。这些模型有时候可以在解释力和复杂性中找到最好的平衡。

总的来说,贝叶斯因子的准确值很难得到,但是有很多种方法给出近似值,例如赤池信息量准则、贝叶斯信息准则、变分贝叶斯方法、错误发现率以及拉普拉斯方法。许多人工智能研究者将这些方法用于奥卡姆学习中。