NTT présente des avancées majeures en intelligence artificielle et apprentissage automatique à ICML 2025

À l'occasion du 42e Congrès international sur l'apprentissage automatique (ICML 2025) tenu à Vancouver du 13 au 19 juillet 2025, des chercheurs de NTT Research, Inc. et de NTT R&D, divisions du groupe NTT (TYO:9432), ont présenté douze articles. Le congrès, un événement majeur dédié à l'avancement de l'apprentissage automatique, aborde des domaines variés comme la vision par ordinateur, la biologie computationnelle, la reconnaissance vocale et la robotique. Trois des articles acceptés ont été co-signés par des chercheurs du groupe Physics of Artificial Intelligence (PAI) de NTT Research. Le premier, intitulé "Representation Shattering in Transformers: A Synthetic Study with Knowledge Editing", a analysé les algorithmes de modification des connaissances (KE), qui ajustent les poids des modèles de langage à grande échelle (LLM) pour corriger des associations factuelles erronées. Les chercheurs ont identifié un phénomène nommé "representation shattering", qui perturbe les représentations des entités non ciblées et réduit ainsi la précision des modèles. Le deuxième article, "Archetypal SAE: Adaptive and Stable Dictionary Learning for Concept Extraction in Large Vision Models", a mis en lumière une limitation des autoencodeurs creux (SAE), utilisés pour rendre l'apprentissage automatique plus compréhensible. Ces derniers souffrent d'une instabilité sévère. Les chercheurs ont proposé une solution : les Archetypal SAE, qui améliorent la stabilité et la fiabilité de ces outils. Le troisième article, "Dynamical Phases of Short-Term Memory Mechanisms in RNNs", a exploré les mécanismes de mémoire à court terme dans les réseaux de neurones récurrents (RNNs), offrant des perspectives nouvelles et des prédictions testables pour la neurosciences. Outre les travaux du PAI, huit autres articles ont été co-écrits par des chercheurs de NTT R&D au Japon. L'un d'eux, "Portable Reward Tuning: Towards Reusable Fine-Tuning across Different Pretrained Models", a introduit une technologie appelée "Portable Tuning", permettant d'éviter le retraitement des modèles d'IA spécialisés lors des mises à jour des modèles de base, réduisant ainsi les coûts et améliorant la durabilité des modèles d'IA générative. Un autre article, "Plausible Token Amplification for Improving Accuracy of Differentially Private In-Context Learning Based on Implicit Bayesian Inference", a théoriquement expliqué comment l'ajout de "bruit" pour garantir la confidentialité des données affecte la précision des LLM. Cette méthode pourrait faciliter l'utilisation de ces modèles dans des secteurs sensibles comme la santé ou la finance. Un troisième article, "K2IE: Kernel Method-based Kernel Intensity Estimators for Inhomogeneous Poisson Processes", a amélioré l'efficacité des processus de Poisson sur de grands ensembles de données, utiles pour analyser des phénomènes comme les épidémies ou les publications sur les réseaux sociaux. Enfin, un poster a présenté une technique pour fusionner plusieurs modèles, "Linear Mode Connectivity between Multiple Models modulo Permutation Symmetries", montrant que la performance de ces modèles fusionnés s'améliore avec le nombre de modèles intégrés. Hidenori Tanaka, chef du groupe PAI de NTT Research, a souligné l'engagement du groupe envers des technologies d'IA durables, respectueuses de l'autonomie humaine, équitables et sécurisées. Il a exprimé sa fierté concernant les travaux menés par son équipe et ses collègues. NTT Research, fondé en avril 2025, vise à explorer les mécanismes de l'IA, à identifier des similitudes avec l'intelligence biologique et à renforcer la confiance dans la collaboration entre humains et machines. L'entreprise investit 30 % de ses bénéfices annuels dans la recherche et le développement.