Loi De Densité

La loi de densité est un nouveau concept sur les grands modèles de langage (LLM) proposé par l'équipe du professeur Liu Zhiyuan du laboratoire de traitement du langage naturel de l'université Tsinghua en décembre 2024. Les résultats de l'article associé sont "Loi de densité des LLM".

La loi de densité décrit que la densité de puissance des grands modèles de langage (LLM) croît de manière exponentielle au fil du temps. La densité de capacité est définie comme le rapport entre la taille effective des paramètres et la taille réelle des paramètres d'un LLM donné, où la taille effective des paramètres fait référence au nombre de paramètres du modèle de référence requis pour obtenir les mêmes performances que le modèle cible. Cette loi révèle la performance et l’efficacité des LLM à différentes échelles et offre une nouvelle perspective pour évaluer et optimiser le développement des LLM.

En analysant 29 grands modèles open source largement utilisés, l’équipe de recherche a constaté que la densité de capacité maximale de LLM augmente de manière exponentielle au fil du temps, doublant environ tous les 3,3 mois (environ 100 jours). Selon la loi de densité, la surcharge d’inférence du modèle diminue de manière exponentielle au fil du temps. De janvier 2023 à ce jour, le coût d’inférence des modèles de niveau GPT-3.5 a été réduit de 266,7 fois.

La loi de densité souligne l’importance de trouver un équilibre entre la performance et l’efficacité du modèle, notamment face aux défis liés à l’augmentation des besoins en ressources informatiques et à l’impact environnemental. En outre, cette loi souligne également que les méthodes de compression de modèles existantes, telles que l'élagage et la distillation, ne peuvent généralement pas améliorer la densité des modèles compressés, ce qui indique que des algorithmes de compression de modèles plus efficaces sont nécessaires pour améliorer la densité des petits modèles.