HyperAIHyperAI

Command Palette

Search for a command to run...

Rapport technique d'IQuest-Coder-V1

Abstract

Dans ce rapport, nous présentons la série IQuest-Coder-V1 (7B/14B/40B/40B-Loop), une nouvelle famille de grands modèles linguistiques dédiés au code (LLM pour Large Language Models). En dépassant les représentations statiques du code, nous proposons un paradigme d’entraînement multicouche basé sur le flux de code, qui capture l’évolution dynamique de la logique logicielle à travers les différentes phases du pipeline. Nos modèles sont développés selon une chaîne évolutionnaire, commençant par un pré-entraînement initial fondé sur des faits de code, des dépôts (repositories) et des données de complétion. Par la suite, nous mettons en œuvre une phase intermédiaire spécialisée, intégrant des trajectoires de raisonnement et d’agenticité dans un contexte de 32 000 tokens, ainsi que des trajectoires à l’échelle du dépôt dans un contexte de 128 000 tokens, afin de consolider des fondations logiques profondes. Les modèles sont ensuite finalisés par une phase de post-entraînement visant à renforcer des compétences spécifiques en programmation, divisée en deux voies spécialisées : la voie de réflexion (utilisant un apprentissage par renforcement piloté par le raisonnement) et la voie d’instruction (optimisée pour une assistance générale). L’IQuest-Coder-V1 atteint des performances de pointe parmi les modèles concurrents sur des dimensions critiques de l’intelligence du code : ingénierie logicielle agente, programmation compétitive et utilisation complexe d’outils. Pour répondre aux contraintes de déploiement, la variante IQuest-Coder-V1-Loop introduit un mécanisme récurrent conçu pour optimiser le compromis entre capacité du modèle et empreinte de déploiement, offrant ainsi une voie architecturale améliorée pour un équilibre efficace entre efficacité et efficience. Nous pensons que la mise à disposition de la série IQuest-Coder-V1, incluant la chaîne complète et transparente (« white-box ») des points de contrôle allant des bases de pré-entraînement aux modèles finaux de réflexion et d’instruction, accélérera la recherche en intelligence autonome du code et en systèmes agents applicables dans le monde réel.


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp