HyperAIHyperAI

Command Palette

Search for a command to run...

CALF: Ausrichtung von LLMs für Zeitreihenprognosen durch cross-modales Feinjustierung

Peiyuan Liu extsuperscript1,* Hang Guo extsuperscript1,* Tao Dai extsuperscript2,† Naiqi Li extsuperscript1,† Jigang Bao extsuperscript1 Xudong Ren extsuperscript1 Yong Jiang extsuperscript1 Shu-Tao Xia extsuperscript1,3

Zusammenfassung

Tieflernes (z. B. Transformer) wird weit verbreitet und erfolgreich in der Vorhersage von multivariaten Zeitreihen (MTSF) eingesetzt. Im Gegensatz zu bestehenden Methoden, die sich auf das Training von Modellen anhand einer einzelnen Eingabeform von Zeitreihen konzentrieren, haben MTSF-Methoden, die auf großen Sprachmodellen (LLMs) basieren und sowohl textbasierte als auch zeitliche Eingaben verwenden, kürzlich eine große Überlegenheit gezeigt, insbesondere bei begrenzten zeitlichen Daten. Dennoch ignorieren aktuelle LLM-basierte MTSF-Methoden oft die Verteilungsunterschiede zwischen textuellen und zeitlichen Eingabetoken, was zu suboptimaler Leistung führt. Um dieses Problem zu lösen, schlagen wir ein neues Framework zur Cross-Modal LLM Feinabstimmung (CALF) für MTSF vor, das die Verteilungsunterschiede zwischen textuellen und zeitlichen Daten reduziert. Dieses Framework besteht hauptsächlich aus einem zeitlichen Zielzweig mit zeitlicher Eingabe und einem textuellen Quellzweig mit ausgerichteter textueller Eingabe.Um die Verteilungsunterschiede zu verringern, entwickeln wir ein Cross-Modal Match-Modul, das zunächst die Verteilungen der multimodalen Eingaben ausrichtet. Darüber hinaus wurde ein Feature-Regularisierungsverlust entwickelt, um den Abstand zwischen den Zwischenfeatures der beiden Zweige zu minimieren und so bessere Gewichtsaktualisierungen zu ermöglichen. Gleichzeitig wird ein Output-Konsistenzverlust eingeführt, um sicherzustellen, dass die Ausgabedarstellungen beider Zweige effektiv übereinstimmen. Dank dieser Modalausrichtung erreicht CALF einen neuen Stand der Technik sowohl bei langfristigen als auch bei kurzfristigen Vorhersageaufgaben mit geringer Rechenkomplexität und zeigt gute Few-Shot- und Zero-Shot-Fähigkeiten ähnlich denen in LLMs.Der Quellcode ist unter https://github.com/Hank0626/LLaTA verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp