HyperAIHyperAI

Command Palette

Search for a command to run...

Kimi K3 : experts doutent de la distillation d'Anthropic

Les responsables américains ont récemment accusé l'entreprise chinoise Moonshot d'avoir développé son modèle de langage open-source Kimi K3 en détournant illégalement des puces Nvidia et en exploitant le modèle Fable d'Anthropic. Selon Michael Kratsios, conseiller scientifique à la Maison-Blanche, et le secrétaire au Trésor Scott Bessent, cette pratique constituerait un vol technologique industriel destiné à saper la recherche américaine. Ces allégations s'inscrivent dans un contexte de tensions croissantes autour du contrôle des exportations de composants à haute performance vers la Chine. Toutefois, des experts en intelligence artificielle nuancent fortement ces affirmations. Braden Hancock, chercheur à l'Institut Laude et cofondateur de Snorkel AI, souligne qu'il est techniquement improbable qu'une distillation seule ait permis d'atteindre les performances de Kimi K3 en quelques semaines. Fable n'étant devenu public que le 1er juillet, le délai est jugé insuffisant pour extraire, traiter et intégrer suffisamment de données. Nathan Lambert, chercheur à l'Allen Institute for AI, ajoute que l'industrie dévie progressivement de la simple distillation, remplacée par des techniques d'apprentissage par renforcement, bien plus complexes et coûteuses à déployer. Utiliser l'interface d'un modèle de pointe pour générer des données d'entraînement entraînerait des frais exorbitants et des goulots d'étranglement matériels. La distillation, qui consiste à interroger systématiquement un modèle avancé pour en reproduire le raisonnement, reste une pratique répandue, bien que débattue. Elon Musk a lui-même reconnu que son entreprise avait utilisé cette méthode sur les modèles d'OpenAI. La frontière entre distillation et création de données synthétiques reste d'ailleurs floue. Par le passé, Anthropic avait également dénoncé des activités similaires de Moonshot, DeepSeek et MiniMax, identifiant des millions de requêtes suspectes via des adresses IP. Malgré ces controverses, les analystes insistent sur la réelle expertise technique des équipes chinoises. Hancock rappelle que certains fondateurs de Moonshot possèdent des doctorats prestigieux et que la Chine progresse grâce à ses propres compétences en ingénierie, et non par simple imitation. Au-delà du débat technique, la question du matériel demeure centrale. Les puces Nvidia interdites à l'exportation circulent effectivement sur des marchés parallèles, comme en témoignent les poursuites récentes contre des constructeurs de serveurs. Sam Bresnick, du Centre de technologie et de sécurité émergente de Georgetown, plaide pour l'instauration de règles de vérification systématique pour les data centers, afin de tracer l'utilisation des équipements de pointe. Face à ces enjeux, les États-Unis cherchent à durcir le contrôle des exportations tout en tentant de préserver leur avance technologique. Le dialogue entre experts sur les méthodes d'entraînement reste tendu, reflétant une compétitivité mondiale où l'innovation, la sécurité des données et la géopolitique des semi-conducteurs s'entremêlent étroitement.

Liens associés