HyperAIHyperAI

Command Palette

Search for a command to run...

Q Labs vise des modèles de mille milliards de paramètres

L'équipe Q Labs Research a publié en 2026 une série de recommandations d'entraînement destinées à former des transformeurs beaucoup plus grands que ceux utilisés aujourd'hui, afin de réduire l'écart d'efficacité entre l'IA et les humains. Les travaux, portés notamment par Ethan Baron, partent d'un constat: les modèles actuels demandent trop de données par paramètre, alors que le cerveau humain apprendrait de façon plus économe. La prescription Chinchilla, longtemps suivie dans l'industrie, retient environ 20 jetons d'entraînement par paramètre; l'étude estime qu'elle est beaucoup trop faible quand la quantité de données est limitée et que le budget de calcul croît. Dans le régime de données contraintes, qui correspond à la réutilisation du même corpus pendant plusieurs époques, l'équipe montre qu'il ne faut pas seulement augmenter les données si elles manquent. Il faut aussi agrandir le modèle, multiplier les passages et enrichir les prédictions par un ensemble de réseaux. En extrapolant leur loi de mise à l'échelle à 5 billions de jetons et à un budget de 10 puissance 29 FLOPs, opérations à virgule flottante, les auteurs obtiennent un ensemble dépassant 300 paramètres par jeton, soit environ 7 000 fois le ratio de Chinchilla. Ils voient dans cette trajectoire une route vers des réseaux à quadrillion de paramètres, si l'infrastructure suit. Pour y parvenir, l'étude introduit une loi combinant la taille du jeu de données unique, la taille du réseau, le nombre d'époques et le nombre de membres d'ensemble. Elle constate notamment que la régularisation du poids doit augmenter fortement quand le modèle grossit et quand le nombre de répétitions s'accroît. Cette adaptation permet de limiter le surapprentissage, principal obstacle aux très grands modèles entraînés sur peu de données. Les chercheurs mettent aussi en avant deux formes d'ensembling. La première, le snapshot ensembling, moyenne des captures successives d'un même entraînement, sans nécessiter de formation supplémentaire. La seconde, le deep ensembling, combine plusieurs modèles entraînés séparément; plus coûteuse, elle réduit toutefois le surapprentissage et devient préférable quand la puissance disponible dépasse largement les besoins liés aux données. Q Labs conclut que la recette classique devient insuffisante dans un monde où le calcul augmente plus vite que les données humaines de qualité. En ajustant taille, répétitions, hyperparamètres et ensembles, la perte du modèle continue de baisser avec plus de calcul. Sur corpus contraints, la méthode propose déjà d'augmenter la taille optimale des réseaux de plusieurs ordres de grandeur. Les auteurs précisent toutefois que cette perspective demande de nouvelles avancées algorithmiques, matérielles et techniques avant de devenir pleinement réaliste.

Liens associés