HyperAIHyperAI

Command Palette

Search for a command to run...

Console

Einfache Und Leistungsstarke Adaptive Kosinusprojektion MaCP

Date

vor 4 Monaten

Minimal yet Mighty adaptive Cosine Projection (MaCP) ist eine neue effiziente Anpassungsmethode, die am 29. Mai 2025 von der Universität Amsterdam vorgeschlagen wurde und darauf abzielt, eine hervorragende Leistung bei der Feinabstimmung großer Basismodelle mit minimalen Parametern und Speicheraufwand zu erzielen.MaCP: Minimale, aber leistungsstarke Anpassung durch hierarchische Kosinusprojektion“, das mit dem ACL 25 Best Theme Paper Award ausgezeichnet wurde.

MaCP nutzt die Energiekompressions- und Dekorrelationseigenschaften der diskreten Kosinustransformation (DCT), um Gewichtsänderungen in der Low-Rank-Adaption in den diskreten Kosinusraum zu projizieren und die kritischsten Frequenzkomponenten auf mehreren Frequenzebenen auszuwählen, wodurch die Effizienz und Genauigkeit des Modells verbessert wird. Im Vergleich zu bestehenden effizienten Methoden zur Parameterfeinabstimmung (wie LoRA, VeRA und LaMDA) bei mehreren Aufgaben reduziert MaCP den Speicherbedarf und die Rechenkomplexität erheblich und verbessert gleichzeitig die Genauigkeit.

Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Einfache Und Leistungsstarke Adaptive Kosinusprojektion MaCP | Wiki | HyperAI