Théorème Du « Pas De Repas Gratuit »

Théorème de la NFLCela signifie qu'aucun algorithme d'apprentissage ne peut produire des apprenants précis dans tous les domaines, c'est-à-dire que pour les problèmes dans un certain domaine, les performances attendues de tous les algorithmes sont les mêmes.

Description spécifique à la NFL

• La moyenne de toutes les fonctions objectives possibles donne la même valeur attendue de « l'erreur de l'ensemble non d'apprentissage » ;
• La moyenne de la fonction objective dans n'importe quel ensemble d'entraînement fixe donne la même valeur attendue de « l'erreur de l'ensemble non d'entraînement » ;
• La moyenne des connaissances antérieures donne la même valeur attendue de « l’erreur de l’ensemble non lié à l’apprentissage » ;
• La moyenne des connaissances antérieures dans n’importe quel ensemble d’entraînement fixe donne la même valeur attendue de « l’erreur de l’ensemble non d’entraînement » ;

Le théorème NFL conduit à une « loi de conservation » universelle : pour un algorithme d'apprentissage réalisable, la somme de ses performances sur toutes les fonctions objectives possibles est nulle.