Ein neuronales Netzwerk lernt die Mandelbrot-Menge – ein faszinierendes Experiment, das die Grenzen der Fähigkeit von Multi-Layer-Perceptrons (MLPs) aufzeigt. Die Mandelbrot-Menge, eine der komplexesten und schönsten mathematischen Strukturen, ist ein Fraktal, dessen Grenze unendlich feine Details aufweist. Obwohl sie deterministisch ist – ohne Rauschen oder Zufall – bietet sie eine ideale Testumgebung, um zu untersuchen, wie neuronale Netze hochfrequente, nichtlineare Funktionen lernen können. Die zentrale Herausforderung liegt in der sogenannten Spektral-Bias-Problematik: MLPs lernen zunächst niedrigfrequente Muster und haben Schwierigkeiten, feine, hochfrequente Strukturen wie die filigranen Ränder der Mandelbrot-Menge zu erfassen. Um das Lernproblem zu formulieren, wird die klassische binäre Klassifikation („innerhalb“ oder „außerhalb“ der Menge) durch eine kontinuierliche Regression ersetzt. Statt nur zu entscheiden, ob ein Punkt zur Menge gehört, wird ein glatter glatter Fluchtzeitwert berechnet, der die Iterationen bis zum Fluchtverhalten berücksichtigt und logarithmisch skaliert wird, um eine gleichmäßige Verteilung zu erzielen. Dieser Wert dient als Zielvariable für das Netzwerk. Um effizient zu lernen, wird ein datenbasiertes Sampling verwendet: Die Trainingsdaten sind nicht gleichmäßig verteilt, sondern konzentrieren sich auf die Grenzregionen, wo die Fluchtzeitwerte zwischen 0,35 und 0,95 liegen – also genau dort, wo die Fraktalstruktur am komplexesten ist. Die Baseline-Modellarchitektur ist ein tiefes, residualer MLP mit 8 Blöcken, 256 Neuronen pro Schicht und SiLU-Aktivierung. Es erhält die rohen kartesischen Koordinaten (x, y) als Eingabe. Das Ergebnis ist verblüffend: Die grobe Form der Mandelbrot-Menge wird erkannt, aber die feinen Strukturen – insbesondere die dünnen Filamente und die selbstähnlichen Muster – bleiben verschwommen oder fehlen völlig. Dies zeigt, dass die Architektur selbst nicht der Grund für den Misserfolg ist. Die Lösung liegt in der Eingaberepräsentation. Mit der Einführung von Gaußschen Fourier-Features – einer zufälligen sinusförmigen Transformation der Eingabekoordinaten in einen höherdimensionalen Raum – wird die Leistung dramatisch verbessert. Diese Features repräsentieren die Eingabe in der Frequenzdomäne, wodurch das Netzwerk hochfrequente Variationen viel einfacher erfassen kann. Besonders effektiv ist die Multi-Scale-Gaußsche Fourier-Transformation, die mehrere Frequenzbänder (z. B. 2,0; 6,0; 10,0) kombiniert. Dadurch wird die selbstähnliche Struktur des Fraktals optimal erfasst. Das Ergebnis ist beeindruckend: Während das Basismodell nach einer gewissen Phase keine weiteren Details mehr lernt, entwickelt das Fourier-Modell kontinuierlich feinere Strukturen – von groben Formen über feine Filamente bis hin zu subtilen, selbstähnlichen Mustern. Die Visualisierungen zeigen, dass die Fourier-Features die Netzwerkleistung nicht nur verbessern, sondern die Art und Weise verändern, wie es lernen kann. Die Erkenntnis ist tiefgreifend: Die Schwierigkeit liegt nicht in der Architektur, der Datenmenge oder der Optimierung, sondern in der Repräsentation der Eingabedaten. Durch die richtige Eingabekodierung wird ein extrem komplexes mathematisches Objekt für ein einfaches Netzwerk zugänglich. Dieses Prinzip hat weitreichende Implikationen – von Computergrafik über physikbasierte Lernverfahren bis hin zur Signalverarbeitung. Die Wahl der Eingaberepräsentation kann den Unterschied zwischen einem flachen, unscharfen Modell und einem hochauflösenden, detaillierten Repräsentanten ausmachen. Die Visualisierungen und Animationen wurden vollständig aus den Modellausgaben generiert – ohne externe Fraktal-Renderer. Der gesamte Code ist im begleitenden GitHub-Repository verfügbar, was die Reproduzierbarkeit und Transparenz des Experiments unterstreicht. Dieses Projekt ist ein Paradebeispiel dafür, wie fundamentale mathematische Strukturen mit modernen Methoden des maschinellen Lernens erforscht und verstanden werden können – und wie elegante mathematische Ideen wie Fourier-Transformationen die Grenzen der KI erweitern können.