Transformer erzielt 44 % auf ARC-AGI-1 für 67 Cent

Ein unabhängiger KI-Forscher hat ein kleines Transformator-Modell von Grund auf trainiert, das auf dem ARC-AGI-1-Benchmark 44 Prozent erreicht und damit viele etablierte Large Language Models übertrifft. Die Inbetriebnahme dauerte lediglich eineinhalb Stunden auf einer NVIDIA RTX 5090 bei geschätzten Kosten von 67 Cent. Die erzielten Ergebnisse entsprechen in etwa den Leistungen von TRM und HRM, wobei das Modell zusätzlich sieben Prozent auf ARC-AGI-2 erzielt. Der veröffentlichte Code ist offen zugänglich und soll als Basis für weiterführende Forschung zur Stichprobeneffizienz dienen. Im Mittelpunkt der Arbeit steht die Untersuchung der Effizienzgrenzen moderner Deep-Learning-Architekturen sowie die drastische Senkung der Rechenkosten für schnelle Iterationszyklen. Im Vergleich zum Vorgängermodell wurde die Architektur optimiert und das Training ausschließlich auf Ausgabetokens beschränkt, was zu einem überwiegend superviseden Ansatz führt. Überraschenderweise steigt die Leistung auf 44 Prozent, obwohl die Testverlustkurven ungünstiger verlaufen. Weitere Verbesserungen erbrachten der Wechsel zu einem NorMuon-Optimizer mit assistierendem AdamW, der Einsatz von SwiGLU-Aktivierungsfunktionen sowie die Integration von 3D-RoPE und aufgabenspezifischen Embeddings. Zudem wurden nicht überlappende Aufgaben aus ARC-2 sorgfältig gefiltert in die Trainingsdaten aufgenommen, um Datenlecks zu vermeiden. Der Forscher betont, dass ARC-AGI als Meta-Learning-Benchmark seit sechs Jahren ungesättigt blieb und hervorragend eignet, um fluid intelligence und sample efficiency zu evaluieren. Die aktuellen Ergebnisse widerlegen die Annahme, dass massive Modelle oder synthetische Daten zwingend erforderlich sind, um komplexe logische Aufgaben zu lösen. Kritiker der Vorgängerarbeit wiesen auf mögliche Kostenverteilungsprobleme und Benchmark-Konformität hin; der Autor argumentiert hingegen mit amortisierten Trainingskosten durch paralleles Training aller Testaufgaben sowie der klaren Trennung von Trainings- und Evaluationsdatensätzen. Vergleiche mit LLMs zeigen, dass vortrainierte Modelle initial schlecht abschnitten und selbst fortschrittliche Denkprozesse nach Feintuning bei neuen ARC-2-Aufgaben einbrechen, was auf mangelnde generalisierende logische Fähigkeiten hindeutet. Der kleine Transformator demonstriert stattdessen, dass konventionelle Architekturen bei gezielter Optimierung signifikante Erfolge erzielen können. Der Autor prognostiziert, dass Leistungen um 65 Prozent innerhalb des reinen Transformator-Frameworks erreichbar seien. Der Quellcode ist auf GitHub öffentlich verfügbar und soll andere Entwickler ermutigen, die Kosten weiter zu senken und die Effizienzgrenzen zu verschieben, ohne auf aufwendige Datenaugmentierungen oder synthetische Datensätze zurückzugreifen.