GANs Bestehen Aus Tausenden Von Zeilen, Aber Sicherheit Ist Das Wichtigste

Von Super Neuro

Generative Adversarial Neural Networks (GANs) sind der Schlüssel zum nächsten Schritt in der Entwicklung von Deep Learning (ML) und bieten in vielen Bereichen hervorragende Anwendungsaussichten.

Doch für den Erfolg von GANs müssen noch die beiden Hürden Hardware und Framework überwunden werden.

Was? GAN

Für die Entwicklung von GANs besteht eine mögliche Strategie darin, zunächst den Markt im Bild- und Videobereich zu besetzen und dann in andere Bereiche vorzudringen. Beispielsweise können simulierte Datensätze für HPC-Anwendungen (High Performance Computer Cluster) verwendet werden.

Es ist jedoch noch nicht absehbar, wann die koordinierte Entwicklung von Infrastruktur und Software ausreichen wird, um mehr Anwendungen zu ermöglichen. Dennoch sind die Rolle und der Einfluss von GANs bemerkenswert genug, um zielgerichtete Arbeit zu leisten und die nächste Stufe der KI vorzubereiten.

Einige Leute, die damit nicht vertraut sind, fragen sich vielleicht, warum wir GANs studieren sollten, wenn es bereits viele ausgereifte ML-Methoden gibt?

Tatsächlich haben GANs Ergebnisse erzielt, die einfache Erkennungs- und Klassifizierungsmethoden übertreffen, die Ausgaben auf der Grundlage von Referenzen oder Stichproben generieren, und die Ergebnisse sind außergewöhnlich.

Funktional sind GANs anderen Convolutional Neural Networks sehr ähnlich. Die Kernberechnung des Diskriminators in einem GAN ähnelt einem einfachen Bildklassifizierer, während der Generator einem Convolutional Neural Network ähnelt, das Inhalte produziert.

GAN besteht aus zwei Deep-Learning-Netzwerken: einem Generatornetzwerk und einem Diskriminatornetzwerk. Dabei handelt es sich eigentlich um bestehende Konzepte im maschinellen Lernen, die jedoch auf eine neue Art und Weise zusammenarbeiten, was auch die Einzigartigkeit von GANs ausmacht.

Bei der Arbeit mit Grafiken nimmt der Generator einen Datensatz und versucht, ihn in ein Bild umzuwandeln. Beispielsweise synthetisiert er aus den Daten ein Bild und übergibt es dann an den Diskriminator, der eine Entscheidung darüber trifft, ob das Bild „echt“ oder „gefälscht“ ist.

Der Generator lernt durch das Feedback des Diskriminators dessen Schwächen und beide erzielen im Spiel miteinander bessere Ergebnisse. Dieser Ansatz macht jedoch die für das Training erforderlichen Berechnungen komplizierter und bringt auch einige neue Schwierigkeiten mit sich.

Schwierigkeiten mit GANs

GANs verfügen über eine beeindruckende Leistung, es ist jedoch nicht einfach, sie voll auszunutzen. Beispielsweise kann es zu einem Moduskollaps kommen, der zu Instabilitäten im Trainings- und Feedbackprozess führt.

Ein weiteres häufiges Problem besteht darin, dass ein Netzwerk in einer Konfrontation das andere überwältigt. Beispielsweise erzeugt der Generator Bilder, die der Diskriminator nicht unterscheiden kann. In diesem Fall kann der Generator kein gutes Feedback erhalten und nicht effektiv lernen.

Glücklicherweise kann das Problem der Ungleichgewichtsbekämpfung rechtzeitig behoben werden, aber die hohen Anforderungen an die Hardware sind nicht so einfach zu bewältigen.

Das Trainieren eines einfachen neuronalen Netzwerks erfordert eine gewisse Rechenleistung, sodass GANs das System belasten, insbesondere hinsichtlich des Speicherbedarfs.

Es ist schwierig, diese Art von Arbeit auf einer Maschine zu erledigen, die nur über eine CPU verfügt, und bei der Verwendung einer GPU stehen wir in der Realität vor dem Problem begrenzter Ressourcen.

„GANs erfordern mehr Rechenleistung und die Infrastruktur holt auf“, sagte Bryan Catanzaro, Vizepräsident für angewandtes ML bei Nvidia. „Bei der Verwendung von GANs ist ein höherer Datendurchsatz erforderlich, da diese Modelle sehr groß sein und viele Parameter aufweisen können. Das Training erfordert daher viel Rechenleistung und Speicher.“

„Viele der von uns trainierten GANs sind speicherbeschränkt, und selbst Trainingsmodelle mit einer Batchgröße von eins oder zwei füllen den gesamten GPU-Speicher, weil die Modelle normalerweise so groß sind.“

Gute GANs brauchen gute Sättel

Catanzaro fügte hinzu: „Der Aufbau eines größeren Systems kann beim Training hilfreich sein, und es ist auch sinnvoll, Batches auf mehrere GPUs aufzuteilen. Dies erfordert jedoch eine leistungsstarke GPU-zentrierte Verbindung wie NVlink, das für Video-GANs auf DGX-1 verwendet wird.“

In dieser Hinsicht demonstriert ihre Arbeit an der interaktiven Videogenerierung für Spiele die hervorragende Leistung von GANs, die Umgebungen dynamisch und nahezu in Echtzeit generieren können.

Er erwähnte auch DGX-2: „Sobald es fertig ist, wird es unsere Arbeit beschleunigen.“

Bei Nvidias Arbeit an der Videosynthese mit GANs ist das Problem der Ausführung großer Modelle auf GPUs besonders ausgeprägt.

„Wir interessieren uns für Grafikprobleme und sind daran interessiert, diese für die Generierung von Videospielen zu nutzen, um Inhalte besser zu erstellen. Dabei können Sie ganz einfach virtuelle Welten erstellen, indem Sie mit Videos der realen Welt trainieren.“

„Allerdings ist dieser Prozess auch kompliziert, insbesondere bei Video-GANs, da es nicht nur darum geht, das aktuelle Bild zu generieren, sondern auch eine Reihe zusammenhängender Bilder. Dies erfordert besseren Speicher und eine höhere Rechenleistung.“

Beispielsweise haben wir kürzlich über das Potenzial von GANs bei der Arzneimittelforschung gesprochen. Es zeigte sich, dass neben dem Adversarial Network auch Reinforcement-Learning-Komponenten und Diskriminator-Feedback erforderlich waren, was die Anforderungen an die Infrastruktur erhöhte.

Das Pharma-Startup Insilico Medicine hat mithilfe von Hochleistungs-GPU-Clustern zur Anpassung seiner Modelle im System einige Erfolge erzielt, um jedoch noch weiter zu gehen, sind noch mehr Rechenleistung, mehr Speicher und eine bessere Speicherbandbreite erforderlich.

Die Zukunft der GANs

„GANs jeder Größe könnten über die Bild- und Videogenerierung hinaus in akademischen, technischen oder Unternehmenskontexten eingesetzt werden, aber es müssen sowohl Hardware- als auch Softwarebeschränkungen behoben werden, bevor weit verbreitete Anwendungsfälle möglich sind, und das ist noch zu früh“, sagte Catanzaro.

„Es gab Versuche, GANs in anderen Bereichen einzusetzen, etwa bei Text- und Audioanwendungen, aber die Ergebnisse waren nicht so gut wie bei Bildern und Videos.“

Dies zeigt nur, dass es schwierig ist, zu beweisen, was funktioniert, bevor man es ausprobiert.

„GANs waren im Bereich der Sehkraft bisher sehr erfolgreich, weshalb sie in der medizinischen Bildgebung die Oberhand gewonnen haben“, fügte Catanzaro hinzu.

Zwar ist zu hoffen, dass mehr Unternehmen ein breites Spektrum an Anwendungsbereichen jenseits von Bildern und Videos im Gaming oder bei der Inhaltserstellung erkunden können, doch benötigen beide Seiten dieser Plattform ausgereiftere Bedingungen.

Es scheint jeden Tag neue Ideen und Fortschritte in der GAN-Forschung zu geben, aber der Mangel an Anwendungen, die effizient auf der Hardware laufen können, schafft eine undankbare Situation.

Wie die Entwicklung der KI zeigt, können jedoch durch kontinuierliche Optimierung und Anpassung auch ferne Technologien kurzfristig in unser Blickfeld geraten.

Es ist Zeit für GAN

Nvidia ist führend bei der bahnbrechenden Arbeit an GANs, da GPUs die dominierende Trainingsplattform sind, was selbst mit ihren besten DGX-Systemen eine anspruchsvolle Trainingsaufgabe darstellt.

Es lässt sich leicht vorhersagen, dass Nvidia mit seinen starken Fähigkeiten in der Zukunft der Grafik und des Gamings die Spielregeln ändern könnte.

Doch wenn wir beobachten, wie GPUs von Gaming-Geräten für Verbraucher zu Beschleunigern für Supercomputer werden, können wir vielleicht lernen, dass wir eine Technologie in der Forschung nicht unterschätzen sollten, nur weil sie nur ein gutes Gaming-Erlebnis bietet.

Alles in allem hoffe ich, dass GANs im neuen Jahr neben der Video- und Bildbearbeitung auch in weiteren Bereichen Anwendung finden werden.

Wenn Sie GANs verwenden, müssen Sie sich jedoch möglicherweise zunächst mit einer ausreichenden Hardwareumgebung ausstatten. Nun, ohne weitere Umschweife, gehen wir zu GAN! Viel Glück!