Command Palette
Search for a command to run...
Rapport technique d'IQuest-Coder-V1
Rapport technique d'IQuest-Coder-V1
Abstract
Dans ce rapport, nous présentons la série IQuest-Coder-V1 (7B/14B/40B/40B-Loop), une nouvelle famille de grands modèles linguistiques dédiés au code (LLM pour Large Language Models). En dépassant les représentations statiques du code, nous proposons un paradigme d’entraînement multicouche basé sur le flux de code, qui capture l’évolution dynamique de la logique logicielle à travers les différentes phases du pipeline. Nos modèles sont développés selon une chaîne évolutionnaire, commençant par un pré-entraînement initial fondé sur des faits de code, des dépôts (repositories) et des données de complétion. Par la suite, nous mettons en œuvre une phase intermédiaire spécialisée, intégrant des trajectoires de raisonnement et d’agenticité dans un contexte de 32 000 tokens, ainsi que des trajectoires à l’échelle du dépôt dans un contexte de 128 000 tokens, afin de consolider des fondations logiques profondes. Les modèles sont ensuite finalisés par une phase de post-entraînement visant à renforcer des compétences spécifiques en programmation, divisée en deux voies spécialisées : la voie de réflexion (utilisant un apprentissage par renforcement piloté par le raisonnement) et la voie d’instruction (optimisée pour une assistance générale). L’IQuest-Coder-V1 atteint des performances de pointe parmi les modèles concurrents sur des dimensions critiques de l’intelligence du code : ingénierie logicielle agente, programmation compétitive et utilisation complexe d’outils. Pour répondre aux contraintes de déploiement, la variante IQuest-Coder-V1-Loop introduit un mécanisme récurrent conçu pour optimiser le compromis entre capacité du modèle et empreinte de déploiement, offrant ainsi une voie architecturale améliorée pour un équilibre efficace entre efficacité et efficience. Nous pensons que la mise à disposition de la série IQuest-Coder-V1, incluant la chaîne complète et transparente (« white-box ») des points de contrôle allant des bases de pré-entraînement aux modèles finaux de réflexion et d’instruction, accélérera la recherche en intelligence autonome du code et en systèmes agents applicables dans le monde réel.