LLM Basierend Auf Grundprinzipien, Ein Neues Trainingsparadigma POET

Reparameterized Training via Orthogonal Equivalence Transformation (POET) ist ein neuartiger reparametrisierter Trainingsalgorithmus, der am 9. Juni 2025 vom Max-Planck-Institut in Deutschland und der Chinesischen Universität Hongkong vorgeschlagen wurde. Er nutzt die orthogonale Äquivalenztransformation zur Optimierung von Neuronen. Die Ergebnisse der Studie sind:Reparametrisiertes LLM-Training mittels orthogonaler Äquivalenztransformation".

POET funktioniert durch die Neuparametrisierung jedes Neurons mithilfe zweier lernbarer orthogonaler Matrizen und einer festen Zufallsgewichtsmatrix. Da POET die spektralen Eigenschaften der Gewichtsmatrix nachweislich bewahrt, kann es die Zielfunktion stabil optimieren und die Generalisierung verbessern. Das Forschungsteam entwickelte effiziente Approximationsmethoden, die POET flexibel und skalierbar für das Training großer neuronaler Netzwerke machen.