Dimension VCIl est utilisé pour mesurer la capacité d'un classificateur binaire. Il représente le nombre maximal d'échantillons d'entraînement que le classificateur peut classer. La définition intuitive est la suivante : pour un ensemble de fonctions indicatrices, s'il existe h échantillons qui peuvent être développés par les fonctions de l'ensemble de fonctions sous toutes les formes 2h possibles, alors l'ensemble de fonctions est dit capable de décomposer les h échantillons. La dimension VC de l'ensemble de fonctions est le nombre maximal d'échantillons h qui peuvent être décomposés.

Si pour un nombre quelconque d'échantillons, il existe un ensemble de fonctions qui peuvent les décomposer tous, alors la dimension VC de l'ensemble de fonctions est infinie. La dimension VC d'une fonction réelle bornée peut être convertie en une fonction indicatrice via un certain seuil.

Signification de la dimension VC

Plus la valeur de la dimension VC est élevée, plus sa capacité de généralisation est faible et plus le risque de confiance est grand. En résumé, l’augmentation du nombre d’échantillons et la réduction de la dimension VC peuvent réduire le risque de confiance.

VC peut également refléter la puissance de l'hypothèse H, c'est-à-dire que plus la dimension VC est grande, plus H est fort car il peut décomposer plus de points.