NVIDIA und das Londoner KI-Labor Ineffable Intelligence haben eine technische Partnerschaft angekündigt, um die Infrastruktur für das skalierbare Reinforcement Learning zu entwickeln. Diese Kooperation zielt darauf ab, Systeme zu ermöglichen, die durch ständige Erfahrungslernen neue Erkenntnisse generieren, anstatt lediglich vorbekanntes Wissen anzuwenden. Das Unternehmen Ineffable Intelligence wurde von David Silver, dem Architekten von AlphaGo, gegründet und ist erst kürzlich aus der Stillschweige-Phase hervorgegangen. Jensen Huang, CEO von NVIDIA, betonte, dass die nächste Generation der künstlichen Intelligenz in sogenannten Superlernern liegt, die kontinuierlich aus Erfahrungen lernen. Durch die Zusammenarbeit mit Ineffable Intelligence soll die notwendige Infrastruktur für große Reinforcement-Learning-Modelle gemeinsam entworfen werden. David Silver, Pionier auf dem Gebiet des Reinforcement Learning, unterschied zwischen zwei Aufgabenstellungen. Während es gelungen sei, Systeme zu bauen, die das menschliche Wissen beherrschen, sei die schwierigere Aufgabe die Erschließung neuen Wissens durch autonome Systeme. Dies erfordere einen fundamental anderen Ansatz. Für solche Lernprozesse ist eine hoch optimierte Pipeline unerlässlich. Im Gegensatz zum Pretraining, bei dem feste Datensätze menschlicher Daten durch das System fließen, erzeugt das Reinforcement Learning Daten in Echtzeit. Das System muss dabei kontinuierlich handeln, Beobachtungen machen, bewerten und Anpassungen vornehmen. Diese engen Lernschleifen stellen hohe Anforderungen an die Datenübertragung, die Speicherbandbreite und das Serving, weit über die Bedürfnisse beim Pretraining hinaus. Zudem werden diese Systeme auf Formen von Erfahrungen trainiert, die sich grundlegend von menschlicher Sprache oder bekannten Daten unterscheiden und möglicherweise neuartige Modellarchitekturen erfordern. In der gemeinsamen technischen Arbeit konzentrieren sich die Ingenieure beider Unternehmen auf den Aufbau einer skalierbaren Trainingspipeline. Die Untersuchungen beginnen auf der NVIDIA Grace Blackwell-Plattform und werden unter anderem auf die kommende NVIDIA Vera Rubin-Plattform ausgeweitet. Das Ziel ist es, die für die Zukunft erforderliche Hardware- und Softwarelandschaft zu verstehen, während sich das KI-Feld von rein menschlichen Daten hin zu Modellen verschiebt, die durch Simulation und Erfahrung lernen. Eine korrekte Umsetzung dieser Infrastruktur wird den Weg für ein bisher unerreichtes Skalierungsniveau beim Reinforcement Learning in komplexen Umgebungen ebnen. Dies ermöglicht es den Agenten, bahnbrechende Entdeckungen in allen Wissensbereichen zu tätigen und die Grenzen dessen zu verschieben, was durch künstliche Intelligenz möglich ist.