La distillation de modèles est une technique puissante et largement utilisée pour optimiser l’exploitation des modèles d’intelligence artificielle, permettant de transférer les connaissances d’un modèle grand et coûteux (le « professeur ») vers un modèle plus petit, plus rapide et moins cher (l’« élève »). Cette méthode a révolutionné le déploiement de l’IA en production, offrant des gains significatifs en coût par token, en latence, en capacité d’exécution sur périphériques embarqués (mobiles, IoT), en confidentialité (données traitées localement) et en personnalisation. Elle repose sur un processus structuré : sélection d’un modèle professeur (comme Claude, GPT-4 ou Gemini), génération de paires entrée-sortie via des requêtes ciblées, nettoyage des données pour éliminer les erreurs ou hallucinations, entraînement supervisé du modèle élève, puis évaluation itérative. Le résultat est un modèle léger capable de reproduire fidèlement les performances du modèle original dans un domaine spécifique. Cependant, une récente accusation lancée par Anthropic a profondément remis en question l’image bienveillante de cette technique. L’entreprise affirme que trois laboratoires d’IA chinois ont mené des attaques à grande échelle de distillation sur son modèle Claude, en envoyant des millions de requêtes via l’API avec des prompts diversifiés pour extraire systématiquement les réponses de haute qualité. Ces données ont ensuite été utilisées pour entraîner des modèles concurrents, reproduisant ainsi les capacités avancées de Claude — notamment son alignement, sa capacité à suivre des instructions et son style de rédaction — sans avoir à les développer de zéro. Ce type d’attaque vise précisément le « dernier kilomètre » du développement d’un modèle : la phase coûteuse et complexe d’alignement éthique et de perfectionnement du comportement, plutôt que la connaissance brute. Les signes d’une telle attaque sont détectables par des analyses comportementales : des utilisateurs légitimes montrent des motifs d’usage organiques et hétérogènes, tandis que les comptes suspects présentent des schémas uniformes, comme une exploration systématique de l’espace des fonctionnalités (comme une grille de recherche), des pics d’activité synchronisés, des signatures d’infrastructure partagées malgré une répartition géographique, et des requêtes demandant des raisonnements étape par étape à des fréquences anormalement élevées. Ces anomalies ont permis à Anthropic de détecter et bloquer ces activités. Malgré ce risque, la distillation reste un outil essentiel pour les entreprises soucieuses d’optimiser leurs déploiements d’IA. Son potentiel est trop important pour être ignoré. La solution réside dans une utilisation responsable : s’appuyer sur des modèles professeurs licenciés, ou sur des modèles open-source dont les conditions d’utilisation autorisent explicitement la distillation. L’avenir de l’IA repose sur un équilibre entre innovation ouverte et protection des investissements intellectuels. La distillation, techniquement brillante, doit désormais être encadrée par des politiques claires, des mécanismes de surveillance et une éthique renforcée.