Effondrement Du Modèle
L'effondrement des modèles est un problème dans le domaine de l'intelligence artificielle, en particulier dans l'apprentissage automatique et la formation des modèles d'apprentissage en profondeur. Cela fait référence au moment où le modèle commence à générer des données qui sont loin de la véritable distribution des données pendant la formation, les performances du modèle chuteront fortement et, à terme, la sortie du modèle deviendra dénuée de sens.
Le concept d’effondrement de modèle a reçu beaucoup d’attention en 2024, notamment dans la formation de grands modèles de langage (LLM). papier"L’effondrement du modèle est-il inévitable ? Briser la malédiction de la récursivité en accumulant des données réelles et synthétiquesGrâce à des analyses expérimentales et théoriques, le problème de l'effondrement du modèle a été exploré et une stratégie permettant d'éviter cet effondrement par l'accumulation de données a été proposée. L'article a été publié dans l'« Atelier ICML 2024 sur les modèles de base en situation réelle ». Il souligne que lorsqu'un modèle est entraîné sur des données générées par lui-même, ses performances se dégradent progressivement jusqu'à devenir inutilisable. Ce phénomène est appelé « effondrement du modèle ». Les chercheurs ont vérifié expérimentalement que le remplacement des données réelles d'origine par chaque génération de données synthétiques entraîne effectivement l'effondrement du modèle. Ils démontrent ensuite que l'effondrement du modèle peut être évité en accumulant des générations consécutives de données synthétiques parallèlement aux données réelles d'origine, et que ces résultats sont valables pour toute une gamme de tailles de modèles, d'architectures et d'hyperparamètres.