Command Palette
Search for a command to run...
Einfache Und Leistungsstarke Adaptive Kosinusprojektion MaCP
Datum
Minimal yet Mighty adaptive Cosine Projection (MaCP) ist eine neue effiziente Anpassungsmethode, die am 29. Mai 2025 von der Universität Amsterdam vorgeschlagen wurde und darauf abzielt, eine hervorragende Leistung bei der Feinabstimmung großer Basismodelle mit minimalen Parametern und Speicheraufwand zu erzielen.MaCP: Minimale, aber leistungsstarke Anpassung durch hierarchische Kosinusprojektion“, das mit dem ACL 25 Best Theme Paper Award ausgezeichnet wurde.
MaCP nutzt die Energiekompressions- und Dekorrelationseigenschaften der diskreten Kosinustransformation (DCT), um Gewichtsänderungen in der Low-Rank-Adaption in den diskreten Kosinusraum zu projizieren und die kritischsten Frequenzkomponenten auf mehreren Frequenzebenen auszuwählen, wodurch die Effizienz und Genauigkeit des Modells verbessert wird. Im Vergleich zu bestehenden effizienten Methoden zur Parameterfeinabstimmung (wie LoRA, VeRA und LaMDA) bei mehreren Aufgaben reduziert MaCP den Speicherbedarf und die Rechenkomplexität erheblich und verbessert gleichzeitig die Genauigkeit.
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.