Microsoft dévoile Mu, un modèle compact à 330 millions de paramètres : performances comparables à Phi-3.5-mini et intégration dans Windows pour des commandes vocales instantanées

Au cours de la nuit, Microsoft a officiellement lancé son nouveau modèle à petits paramètres, Mu. Ce modèle, doté de seulement 330 millions de paramètres, est comparable en performance au Phi-3.5-mini, précédemment publié par l'entreprise, tout en étant dix fois plus petit. L'un des aspects marquants de Mu est sa capacité à atteindre une vitesse de réponse supérieure à 100 tokens par seconde sur des ordinateurs portables NPU hors ligne, ce qui constitue une avancée notable dans le domaine des modèles à petits paramètres. L'une des caractéristiques principales de Mu est son intégration dans Windows sous forme d'un agent intelligent. Les utilisateurs peuvent envoyer des instructions en langage naturel, et l'agent les traduit en opérations système. Par exemple, une simple phrase comme "Augmente la taille de la flèche de la souris et ajuste l'éclat de l'écran" permet à l'agent de localiser précisément les paramètres concernés et d'appliquer les modifications en un clic, ce qui améliore considérablement la facilité d'utilisation de Windows. Architecture de Mu : Optimisation Exceptionnelle pour des Déploiements Locaux Petite Taille La conception de Mu repose sur les bases du modèle Phi Silica, également développé par Microsoft, mais a été spécifiquement optimisée pour des déploiements locaux de petite taille, notamment sur les PC Copilot+ équipés d'une unité de traitement neuronal (NPU). L'architecture centrale de Mu est un Transformers dédié au décodage, avec trois innovations majeures : Économie de paramètres : Une architecture optimisée pour réduire la taille tout en préservant les performances. Optimisation pour la latence : Techniques de réduction du temps de réponse pour des applications en temps réel. Flexibilité linguistique : Capacité à traiter une grande variété de termes en langage naturel. En outre, Mu bénéficie de méthodes d'entraînement avancées, notamment la préparation stable avec un calendrier de décroissance et l'optimiseur Muon. Le modèle a été formé sur des A100 GPU, en s'appuyant sur les techniques initialement développées pour la famille de modèles Phi. La formation a débuté par une pré-entraînement sur plusieurs milliards de tokens de haute qualité, permettant à Mu d'apprendre la grammaire, la sémantique et les connaissances du monde. Pour améliorer encore sa précision, Mu a bénéficié de distillation de connaissances provenant du modèle Phi, ce qui a considérablement amélioré l'efficacité de ses paramètres. Avec seulement dix fois moins de paramètres que Phi-3.5-mini, Mu parvient à des performances similaires. Intégration à Windows : Un Agent Intelligent à Faible Latence et Haute Précision Microsoft s'est engagé à développer un agent intelligent capable de comprendre le langage naturel et de modifier les paramètres du système sans heurts pour rendre l'utilisation de Windows plus intuitive. L'idée est d'intégrer cet agent dans la barre de recherche existante, garantissant une expérience utilisateur fluide. Pour y parvenir, il a fallu que le modèle puisse répondre avec une latence ultra-basse à de nombreuses configurations possibles des paramètres du système. Après avoir testé divers modèles, Microsoft a choisi Mu en raison de ses caractéristiques appropriées. Bien que la version de base de Mu ait une précision initiale inférieure de 50%, l'équipe a réussi à améliorer cette dernière de manière significative. Les entraînements ont été élargis à 3,6 millions de sampes (soit 1300 fois plus), et le nombre de paramètres système traités a été augmenté de 50 environ à plusieurs centaines. Des techniques d'amélioration supplémentaires ont été mises en place, notamment : - Annotation automatisée synthétique : Generation automatique de données d'entraînement. - Personnalisation des prompts avec métadonnées : Adaptation des inputs d'entraînement pour des cas spécifiques. - Diversification de la formulation : Utilisation de divers termes pour des mêmes actions. - Injection de bruit : Introduction d'erreurs pour améliorer la robustesse. - Échantillonnage intelligent : Sélection ciblée des exemples d'entraînement. Ces efforts ont permis à la version fine-tunée de Mu d'atteindre les objectifs de qualité fixés. Des tests montrent que l'agent intelligent basé sur Mu excelle dans la compréhension et l'exécution des paramètres de Windows, avec des temps de réponse inférieurs à 500 millisecondes. Cette intégration d'un agent intelligent dans le système d'exploitation Windows représente une avancée significative dans la simplification des interactions utilisateur avec leur ordinateur. Les utilisateurs peuvent désormais effectuer des modifications simples et complexes de leurs paramètres système grâce à des commandes vocales ou textuelles en langage naturel, offrant ainsi une expérience d'utilisation plus agréable et plus accessible.