DeepSeek réduit drastiquement les coûts d'infrastructure avec une nouvelle version d'IA utilisant l'attention creuse

Le laboratoire chinois DeepSeek teste une technique appelée « attention sparse » dans sa dernière mise à jour, la version 3.2, afin de réduire significativement les coûts liés au traitement des modèles d’intelligence artificielle. Cette approche vise à optimiser le fonctionnement des grands modèles en limitant le nombre d’éléments interconnectés lors du traitement des données, plutôt que d’analyser chaque élément de manière exhaustive. En se concentrant uniquement sur les parties les plus pertinentes des entrées, cette méthode permet de diminuer la charge computationnelle, d’accélérer les calculs et de réduire la consommation d’énergie. Cette innovation s’inscrit dans une tendance croissante visant à rendre l’intelligence artificielle plus accessible et durable. En effet, les modèles actuels, bien qu’extrêmement puissants, exigent des ressources matérielles considérables, ce qui limite leur déploiement à des entreprises ou des centres de recherche disposant de moyens financiers importants. L’attention sparse pourrait permettre à des systèmes plus petits ou moins coûteux de rivaliser avec les modèles traditionnels, tout en maintenant une performance élevée. DeepSeek, déjà connu pour ses avancées dans le domaine des modèles linguistiques, continue de repousser les frontières de l’efficacité. La version 3.2, qui intègre cette technique, montre des résultats prometteurs en termes de rapidité de réponse et de réduction de la mémoire utilisée, sans compromettre la qualité des sorties. Ces améliorations pourraient avoir un impact majeur sur l’adoption des IA dans des contextes à ressources limitées, comme les appareils mobiles ou les services en nuage à faible coût. En somme, cette avancée illustre comment des ajustements intelligents dans l’architecture des modèles peuvent mener à des gains substantiels, tant sur le plan technique que économique. Si les résultats se confirment à grande échelle, l’attention sparse pourrait devenir une norme dans le développement futur des systèmes d’intelligence artificielle, rendant ces technologies plus durables et accessibles à un public plus large.