Une nouvelle étude révèle qu'un seul point de données provenant de sources extérieures pourrait suffire à prévenir l'effondrement des modèles d'intelligence artificielle. Ce phénomène, qualifié de « collapse du modèle » et nommé en 2024, décrit la dégradation inévitable des performances d'un système d'IA lorsqu'il est entraîné exclusivement sur des données qu'il a lui-même générées. Face à l'épuisement imminent des textes de haute qualité nécessaires à l'apprentissage des grands modèles de langage, les chercheurs s'inquiètent de voir ces systèmes basculer progressivement vers la production de réponses erronées ou de non-sens. Pour comprendre et contrer ce risque, une équipe composée de chercheurs du King's College de Londres, de l'Université norvégienne de sciences et de technologie, et du Centre international de physique théorique Abdus Salam, a opté pour une approche originale. Plutôt que d'analyser directement les architectures complexes et opaques des modèles de langage massifs, ils se sont concentrés sur des modèles statistiques plus simples mais puissants, appelés familles exponentielles. L'objectif était d'isoler les mécanismes fondamentaux responsables de la dégradation dans un contexte d'apprentissage en boucle fermée, où l'IA n'ingère que ses propres sorties. Leurs analyses publiées dans la revue Physical Review Letters démontrent que l'entraînement standard, basé sur la méthode de la vraisemblance maximale, conduit inévitablement à un effondrement si aucune information extérieure n'est introduite. Cependant, l'intégration d'un unique point de données réel, ou même l'incorporation d'une croyance a priori issue de connaissances acquises, suffit à maintenir la stabilité du modèle dans tous les cas testés. De manière surprenante, cet effet préventif reste valable même si la quantité de données générées par la machine est infiniment supérieure à ce seul point de référence humain. Ces découvertes suggèrent que le problème de la génération de non-sens ne relève pas uniquement de la complexité des algorithmes modernes, mais d'une faille statistique fondamentale dans les systèmes autonomes. En établissant ces principes sur des modèles simplifiés, les scientifiques espèrent transposer ces solutions aux réseaux de neurones et aux grands modèles déployés dans des domaines critiques comme les véhicules autonomes ou les assistants conversationnels. Le professeur Yasser Roudi, du département de mathématiques du King's College, souligne que les travaux antérieurs sur l'effondrement des modèles se heurtaient souvent à l'opacité des grands systèmes, rendant difficile l'explication des hallucinations observées. En revanche, cette approche simplifiée permet de définir objectivement pourquoi l'ajout d'une seule donnée réelle empêche la production de non-sens. Cette méthode offre une voie claire pour construire des outils informatiques capables de résister à la dérive vers l'inauthenticité à mesure que les données synthétiques occupent une part croissante de l'entraînement. Les auteurs ont également observé un phénomène similaire chez une autre catégorie de modèles, les machines de Boltzmann restreintes, renforçant l'hypothèse que ce principe est universel au sein de cette classe de modèles statistiques. L'étape suivante consistera à valider ces théories sur des architectures plus complexes, telles que les grands réseaux de neurones, afin de garantir une sécurité durable pour l'avenir de l'intelligence artificielle.