VC 维理论 VC Theory

VC 维是用于度量二分类器的容量，其表示了分类器能够分类的训练样本最大数目，直观定义是：对一个指标函数集，若存在 h 个样本可被函数集中的函数按所有可能的 2h 形式展开，则称函数集可将 h 个样本打散，函数集的 VC 维即其能打散的最大样本数目 h 。

若对任意数量的样本，存在函数集可将其全部打散，则该函数集的 VC 维是无穷大，有界实函数的 VC 维则可通过一定的阈值将其转化为指示函数。

VC 维的含义

VC 维的值越大，表明其推广能力越差，置信风险也就越大，综上所述，提高样本数量，降低 VC 维可降低置信风险。

VC 还可反映假设 H 的强大程度 Powerfulness，即 VC 维越大，H 也就越强，因为它可以打散更多的点。