Théorie de la coquille : un modèle statistique de la réalité

L'hypothèse fondamentale de l'apprentissage automatique est que les données considérées sont séparables en classes ; bien que cela semble intuitivement raisonnable, les contraintes de séparabilité se sont révélées remarquablement difficiles à formuler de manière mathématique. Nous pensons que ce problème trouve son origine dans le désalignement entre les techniques statistiques existantes et les données couramment rencontrées : les représentations d'objets sont généralement de haute dimension, tandis que les techniques statistiques ont tendance à traiter les hautes dimensions comme un cas dégénéré. Pour résoudre ce problème, nous développons un cadre statistique dédié à l'apprentissage automatique en haute dimension. Ce cadre s'inspire de l'observation selon laquelle les relations entre objets forment une hiérarchie naturelle ; cela nous amène à modéliser les objets comme des instances de processus génératifs hiérarchiques de haute dimension. En utilisant une technique statistique basée sur la distance, également développée dans cet article, nous démontrons que, dans de tels processus génératifs, chaque instance d'un processus au sein de la hiérarchie est presque toujours encapsulée par une coquille distinctive qui exclut presque toutes les autres instances. Ce résultat donne naissance à la théorie des coquilles, un cadre d'apprentissage statistique automatique dans lequel les contraintes de séparabilité (les coquilles distinctives) sont formellement dérivées du processus génératif supposé.