Neues Memristor-Chip-Design verbessert Effizienz und Datenschutz bei verteiltem Deep Learning.

In den letzten Jahrzehnten haben Computerwissenschaftler immer fortschrittlichere maschinelles Lernen entwickelt, das spezifische Muster vorhersagen oder Aufgaben durch die Analyse großer Datenmengen effektiv erledigen kann. Dennoch haben einige Studien die Verletzbarkeit einiger künstlicher Intelligenz (KI)-basierten Werkzeuge aufgezeigt, die sensible Informationen potenziell von böswilligen Dritten angegriffen werden können. Ein Ansatz, der größere Datensicherheit bieten könnte, ist das fédérated learning (FL), bei dem verschiedene Nutzer oder Parteien zusammenarbeiten, um ein gemeinsames neuronales Netzwerk zu trainieren, ohne dass sie ihre Rohdaten untereinander austauschen müssen. Dieses Verfahren könnte insbesondere in Branchen, die von KI profitieren könnten, aber hochsensible Nutzerdaten speichern, wie Gesundheitswesen und Finanzdienstleistungen, von Vorteil sein. Wissenschaftler aus der Tsinghua Universität, dem China Mobile Research Institute und der Hebei Universität haben kürzlich eine neue compute-in-memory (CIM) Chip-Architektur für fédérated learning entwickelt, die auf Memristoren basiert. Memristoren sind nichtflüchtige elektronische Bauteile, die sowohl Berechnungen durchführen als auch Informationen speichern können, indem sie ihren Widerstand anhand des in der Vergangenheit durchgeflossenen Stroms anpassen. Die von den Forschern vorgeschlagene Chip-Architektur wurde in einer Studie veröffentlicht, die in „Nature Electronics“ erschienen ist, und zeigte, dass sie sowohl die Effizienz als auch die Sicherheit von fédérated learning-Ansätzen verbessern kann. „Fédérated learning bietet einen Rahmen, in dem mehrere Teilnehmer gemeinsam ein neuronales Netzwerk trainieren können, während sie die Datenschutz ihrer Daten gewährleisten. Dies wird üblicherweise durch homomorphe Verschlüsselung erreicht," schreiben Xueqi Li, Bin Gao und ihre Kollegen in ihrem Artikel. „Allerdings erfordert die Umsetzung dieses Ansatzes am lokalen Edge die Generierung von Schlüsseln, die Erstellung von Fehlerpolynomen und umfangreiche Berechnungen, was zu erheblichen Zeitaufwand und Energieverbrauch führt." Das neu entwickelte Memristor-basierte Architekturkonzept der Forscher kann beide Funktionen – Berechnungen durchführen und Informationen speichern – kombinieren, wodurch die Bewegung von Daten reduziert und der Energiebedarf für das kollektive Training eines künstlichen neuronalen Netzwerks (ANN) durch fédérated learning minimiert wird. Der Chip enthält außerdem eine physikalische Unklonbare Funktion (PUF), eine hardwarebasierte Technik zur Erstellung sicherer Schlüssel während der verschlüsselten Kommunikation, sowie einen echten Zufallszahlengenerator, eine Methode zur Erzeugung unvorhersehbarer Zahlen für die Verschlüsselung. „Unsere Architektur, die eine konkurrierende-Formierungsarray-Operationsmethode, eine im Speicher integrierte Entropieextraktionschaltkreisgestaltung und ein redundantes Residuensystem-basiertes Codierungsschema beinhaltet, ermöglicht Berechnungen mit geringem Fehler, die Implementierung der physikalischen Unklonbaren Funktion und des echten Zufallszahlengenerators innerhalb desselben Memristor-Arrays und peripherer Schaltkreise," schreiben die Forscher. Um die Funktionalität ihres Memristor-basierten fédérated learning-Chips zu veranschaulichen, führten die Forscher eine Fallstudie durch, in der vier Teilnehmer ein zweischichtiges Long Short-Term Memory (LSTM)-Netzwerk mit 482 Gewichten für die Sepsis-Vorhersage trainierten. Das LSTM-Netzwerk ist eine Tiefenlernmethode, die häufig für Vorhersagen auf Grundlage sequentieller Daten, Texten oder medizinischen Aufzeichnungen verwendet wird. Die Testgenauigkeit auf dem 128-kB Memristor-Array war nur 0,12% niedriger als die durch zentralisierte Software-lernmethoden erzielte Genauigkeit. Zudem zeigte ihr Ansatz einen reduzierten Energie- und Zeitbedarf im Vergleich zu herkömmlichen digitalen fédérated learning-Methoden. Die Ergebnisse dieser jüngsten Studie verdeutlichen das Potenzial memristorbasierter compute-in-memory-Architekturen zur Steigerung der Effizienz und des Datenschutzes bei der Implementierung von fédérated learning. In Zukunft könnte der von Li, Gao und ihren Kollegen entwickelte Chip weiter optimiert und zur gemeinsamen Ausbildung anderer Tiefenlernalgorithmen für verschiedene realweltliche Aufgaben genutzt werden. Branchenexperten sehen in diesem neuen Chip-Design einen wichtigen Fortschritt in der Entwicklung sicherer und energieeffizienterer Lösungen für fédérated learning. Die Tsinghua Universität, das China Mobile Research Institute und die Hebei Universität sind bekannt für ihre führende Rolle in der Forschung zu Memristoren und compute-in-memory-Technologien. Ihre gemeinsame Arbeit trägt dazu bei, die Grenzen des maschinellen Lernens zu erweitern und gleichzeitig die Sicherheit und Privatsphäre der Nutzer zu schützen.