Les jetons de pépin désignent les résultats anormaux d'un modèle de langage volumineux qui auraient dû assurer son bon fonctionnement. Une équipe de recherche formée conjointement par l'Université des sciences et technologies de Huazhong, l'Université technologique de Nanyang et d'autres universités a publié une étude en 2024. « Jetons de problème dans les grands modèles de langage »Cela indique qu’il y a des mots erronés dans le grand modèle, ce qui peut entraîner des erreurs ou des incohérences dans les résultats de sortie du modèle. La méthode de l’équipe de recherche pour détecter les jetons défectueux fournit des informations significatives pour réduire les erreurs liées au tokenizer dans les grands modèles. Dans leurs recherches, ils ont découvert que les mots défectueux ont un effet de regroupement dans l’espace d’intégration, ce qui les a incités à utiliser des algorithmes de regroupement pour compléter l’identification des mots défectueux.

La génération de Glitch Token peut être causée par les raisons suivantes :

1. Problèmes de données:Des erreurs, du bruit ou des incohérences dans les données d’entraînement peuvent amener le modèle à apprendre des informations incorrectes.
2. Problèmes d'architecture du modèle：Des déficiences ou des limitations dans l'architecture du modèle peuvent conduire à la génération de jetons de pépin.
3. Surapprentissage:Le modèle suradapte les données d'entraînement, ce qui peut entraîner de mauvaises performances sur les nouvelles données.
4. Problèmes liés au processus de formation:Par exemple, un taux d'apprentissage inapproprié, un nombre de cycles d'entraînement, etc.
5. Problème d'augmentation des données:Des méthodes d’augmentation de données inappropriées peuvent introduire des erreurs.
6. Panne ou erreur matérielle:Un problème matériel est peut-être survenu pendant le processus de calcul.
7. Erreur d'algorithme:Erreur algorithmique dans la mise en œuvre du modèle.
8. Problèmes de taille du modèle: Une taille de modèle trop grande ou trop petite peut affecter les performances.
9. Asymétrie de la distribution des données:La distribution des données réelles est différente de celle des données de formation.
10. Manque de données de formation suffisantes:Peut conduire à un apprentissage insuffisant du modèle.