VC 维理论 VC Theory
VC 维是用于度量二分类器的容量,其表示了分类器能够分类的训练样本最大数目,直观定义是:对一个指标函数集,若存在 h 个样本可被函数集中的函数按所有可能的 2h 形式展开,则称函数集可将 h 个样本打散,函数集的 VC 维即其能打散的最大样本数目 h 。
若对任意数量的样本,存在函数集可将其全部打散,则该函数集的 VC 维是无穷大,有界实函数的 VC 维则可通过一定的阈值将其转化为指示函数。
VC 维的含义
VC 维的值越大,表明其推广能力越差,置信风险也就越大,综上所述,提高样本数量,降低 VC 维可降低置信风险。
VC 还可反映假设 H 的强大程度 Powerfulness,即 VC 维越大,H 也就越强,因为它可以打散更多的点。