NTT verbessert AI-Genauigkeit, Sicherheit und Kosten bei ICML 2025.

Forscher von NTT bauen AI und maschinelles Lernen auf der ICML 2025 aus SUNNYVALE, Kalifornien & TOKYO – (BUSINESS WIRE) – Forscher von NTT Research, Inc. und NTT R&D, Tochterunternehmen des NTT-Konzerns (TYO:9432), präsentierten zwölf Aufsätze auf der 42. International Conference on Machine Learning (ICML), die vom 13. bis 19. Juli 2025 in Vancouver stattfand. Die ICML 2025 ist eine führende globale Konferenz, die sich dem Fortschritt des maschinellen Lernens innerhalb der künstlichen Intelligenz widmet, insbesondere für Anwendungen wie maschinelles Sehen, Computational Biology, Spracherkennung und Robotik. Drei der angenommenen Aufsätze, die von Mitgliedern der Physics of Artificial Intelligence (PAI) Group von NTT Research koautoren wurden, erweiterten unser Verständnis von der Genauigkeit großer Sprachmodelle (LLMs), der Interpretierbarkeit maschinellen Lernens und den neuronalen Mechanismen des Kurzzeitgedächtnisses in rekurrenten neuronalen Netzen (RNNs). Im Aufsatz „Representation Shattering in Transformers: A Synthetic Study with Knowledge Editing“ untersuchten die Forscher, warum Algorithmen zur Wissensbearbeitung (KE), die Gewichte von LLMs ändern, um inkorrekte, veraltete oder unerwünschte faktische Assoziationen zu korrigieren, die Genauigkeit und die Schließeleistung der Modelle negativ beeinflussen können. Sie zeigten, dass ein Phänomen, das sie „Darstellungszerfall“ nennen, für diese Verschlechterung der Leistung verantwortlich ist, indem es die Darstellungen von Entitäten über die gezielte hinaus beeinflusst und relevante Strukturen verformt, die das Modell ermöglichen, unbekannte Wissensaspekte über eine Entität abzuleiten. Im Aufsatz „Archetypal SAE: Adaptive and Stable Dictionary Learning for Concept Extraction in Large Vision Models“ legten die Forscher eine grundlegende Beschränkung bei Sparse Autoencoders (SAEs) offen, einem Framework zur verbesserten Interpretierbarkeit maschinellen Lernens: eine schwere Instabilität, die ihre Zuverlässigkeit und ihre Nützlichkeit als Interpretierungswerkzeug untergräbt. Sie schlugen eine Lösung vor, die Archetypal SAEs (und eine Variante, Relaxed Archetypal SAEs), die die Stabilität von SAEs erheblich verbessert. Im Aufsatz „Dynamical Phases of Short-Term Memory Mechanisms in RNNs“ erforschten die Forscher die bisher weitgehend unbekannten neuronalen Mechanismen des Kurzzeitgedächtnisses. Ihre Arbeit lieferte neue Einblicke in diese Mechanismen und stellte experimentell überprüfbare Vorhersagen für weitere Studien in der Systemneurobiologie auf. „Als Unternehmen ist NTT darauf aus, AI-Technologien zu entwickeln, die nachhaltige Entwicklung fördern, menschliche Autonomie respektieren, Fairness und Offenheit gewährleisten und Sicherheit und Datenschutz schützen“, sagte Hidenori Tanaka, Gruppenleiter der PAI-Gruppe bei NTT Research. „Die Umsetzung dieser positiven Auswirkungen beginnt mit der grundlegenden wissenschaftlichen Untersuchung des maschinellen Lernens. Ich bin stolz auf die Arbeit, die die PAI-Gruppe und unsere Kollegen bei NTT R&D leisten, und es war eine große Ehre, unsere Ergebnisse auf der ICML 2025 mit der restlichen akademischen AI-Gemeinschaft zu teilen.“ Zusätzlich zu den Aufsätzen der PAI-Gruppe präsentierten Wissenschaftler der NTT R&D-Labore in Japan acht weitere Aufsätze auf der ICML 2025. Ein Aufsatz, „Portable Reward Tuning: Towards Reusable Fine-Tuning across Different Pretrained Models“, stellte die weltweit erste „Portablen Feinabstimmungstechnologie“ vor, die die Notwendigkeit eliminiert, spezialisierte AI-Modelle neu zu trainieren, wenn die zugrunde liegenden Grundmodelle aktualisiert werden. Dies reduziert erheblich die Kosten für das Neutrainieren und verbessert die Nachhaltigkeit angepasster generativer KI. Ein weiterer Aufsatz, „Plausible Token Amplification for Improving Accuracy of Differentially Private In-Context Learning Based on Implicit Bayesian Inference“, schlug Plausible Token Amplification (PTA) vor, die als erste Methode theoretisch aufgezeigt hat, wie das Hinzufügen von „Rauschen“ auf Basis der Differentialprivacy (einer Methode zur Verminderung von Datenverlusten) die Genauigkeit von LLMs verschlechtert. Diese Technik wird dazu beitragen, die Nutzung von LLMs in Bereichen, die persönliche Nutzerdaten verwenden, wie Gesundheitswesen, Regierung und Finanzwesen, zu fördern. Im Aufsatz „K2IE: Kernel Method-based Kernel Intensity Estimators for Inhomogeneous Poisson Processes“ demonstrierten die Forscher einen großen Fortschritt in der Recheneffizienz von Poisson-Prozessen mit großen Datensätzen, die zur Analyse und Prognose von Ereignismustern im Raum und Zeit verwendet werden, von Beiträgen auf sozialen Netzwerken bis hin zu Krankheitsschüben. Die fünf anderen angenommenen Aufsätze, die von NTT R&D-Wissenschaftlern verfasst oder mitverfasst wurden, umfassten Themen wie die AUC-Maximierung bei Kovariatenverschiebung, Black-Box-Training von neuronalen Netzen durch Nullordnungsoptimierung, die Generierung von Projektionen zur Reduzierung der Dimensionalität heterogener Linearer Programmierprobleme, geführte Nullordnungsmethoden für stochastische nichtkonvexe Probleme mit entscheidungsabhängigen Verteilungen sowie tiefes Ridgelet-Transform und vereinte Universalitätssatz für tiefe und flache jointly-group-equivariant Maschinen. Darüber hinaus präsentierten NTT R&D-Forscher ein Poster über Modellmerging, „Linear Mode Connectivity between Multiple Models modulo Permutation Symmetries“. Vorherige Studien haben Methoden vorgeschlagen, um zwei vortrainierte Modelle durch Nutzung der in neuronalen Netzen inhärenten Permutationsymmetrie zu mergen, um funktional äquivalente, aber unterschiedliche Modelle zu konstruieren. Diese Studie erweiterte diese Methoden, um gleichzeitig drei oder mehr Modelle zu mergen und zeigte, dass die Leistung des gemergten Modells mit der Anzahl der gemergten Modelle zunimmt. NTT ist bestrebt, durch die Kombination von Vertrauen, Integrität und Innovation Unternehmen und Gemeinschaften auf der ganzen Welt mit neuesten AI-Lösungen zu versehen, die Effizienz, Sicherheit und Fortschritt fördern. Die im April 2025 gegründete NTT Research PAI-Gruppe forscht an der Natur der KI und strebt danach, Ähnlichkeiten zwischen biologischer und künstlicher Intelligenz zu erkunden, die Komplexität der KI-Mechanismen weiter zu entwirren und ein Vertrauen aufzubauen, das zu einer harmonischeren Fusion von menschlicher und künstlicher Zusammenarbeit führt. Insgesamt zeigte die Präsentation von zwölf Aufsätzen auf der ICML 2025 die führende Rolle von NTT in der Entwicklung fortschrittlicher AI-Technologien. Die Forschungsergebnisse tragen dazu bei, die Genauigkeit, Sicherheit und Kosteneffizienz von KI-Systemen zu verbessern und somit die breitere Akzeptanz und Anwendung solcher Technologien in verschiedenen Branchen voranzutreiben. Die PAI-Gruppe und andere NTT Research-Teams arbeiten kontinuierlich daran, wissenschaftliche Grenzen zu überschreiten und innovative Lösungen zu liefern, die globale Herausforderungen angehen. NTT Research eröffnete seine Büros im Juli 2019 in Silicon Valley, um grundlegende Forschung zu betreiben und Technologien voranzubringen, die als Fundament für die Entwicklung hochwirksamer Innovationen innerhalb der globalen NTT-Gruppe dienen. Aktuell hausen vier Gruppen in den NTT Research-Anlagen in Sunnyvale: das Physics and Informatics (PHI) Lab, das Cryptography and Information Security (CIS) Lab, das Medical and Health Informatics (MEI) Lab und die Physics of Artificial Intelligence (PAI) Gruppe. Das Unternehmen zielt darauf ab, Wissenschaft in vier Bereichen voranzubringen: 1) Quanteninformation, Neurobiologie und Photonik; 2) Kryptographie und Informationsicherheit; 3) Medizinische und Gesundheitsinformationswissenschaften; und 4) Künstliche Intelligenz. NTT Research ist Teil von NTT, einem globalen Technologie- und Business-Solutions-Anbieter mit einem jährlichen R&D-Aufwand von 30 % seines Gewinns. Die Namen NTT und NTT Research, sowie die Logos von NTT und NTT Research, sind Markenzeichen und Service-Marken von NTT, Inc. oder NTT Research, Inc. und/oder ihren Tochtergesellschaften. Alle anderen erwähnten Produktbezeichnungen sind Markenzeichen ihrer jeweiligen Eigentümer. © 2025 NTT Research, Inc.