Time-LLM: Zeitreihenprognose durch Neuprogrammierung großer Sprachmodelle

Die Zeitreihenprognose spielt in vielen realen dynamischen Systemen eine zentrale Rolle und wurde umfassend untersucht. Im Gegensatz zu Anwendungen im Bereich Natural Language Processing (NLP) und Computer Vision (CV), bei denen ein einzelnes großes Modell mehrere Aufgaben bewältigen kann, sind Zeitreihenprognosemodelle oft spezialisiert und erfordern für unterschiedliche Aufgaben und Anwendungsfälle jeweils unterschiedliche Architekturen. Obwohl vortrainierte Grundlagenmodelle in NLP und CV beeindruckende Fortschritte erzielt haben, ist ihre Entwicklung im Bereich Zeitreihen durch Datenarmut eingeschränkt. Kürzlich veröffentlichte Studien haben gezeigt, dass große Sprachmodelle (LLMs) über starke Fähigkeiten zur Mustererkennung und Schlussfolgerung bei komplexen Folgen von Tokens verfügen. Die Herausforderung besteht jedoch darin, die Modalitäten von Zeitreihendaten und natürlicher Sprache effektiv zu verknüpfen, um diese Fähigkeiten zu nutzen. In dieser Arbeit präsentieren wir Time-LLM, einen Reprogrammierungsansatz, um LLMs für allgemeine Zeitreihenprognose zu adaptieren, wobei der zugrundeliegende Sprachmodell-Backbone unverändert bleibt. Wir beginnen damit, die Eingabedaten durch textbasierte Prototypen zu reprogrammieren, bevor sie in das fixierte LLM eingespeist werden, um die Modalitäten zu alignieren. Um die Fähigkeit des LLMs zur Schlussfolgerung anhand von Zeitreihendaten zu verbessern, schlagen wir Prompt-as-Prefix (PaP) vor, welches den Eingabekontext bereichert und die Transformation der reprogrammierten Eingabepatches leitet. Die transformierten Zeitreihenpatches, die das LLM generiert, werden schließlich projiziert, um die Prognosen abzuleiten. Unsere umfassenden Evaluierungen zeigen, dass Time-LLM ein leistungsfähiger Zeitreihenlerner ist, der state-of-the-art, spezialisierte Prognosemodelle übertrifft. Darüber hinaus zeigt Time-LLM herausragende Leistung sowohl in Few-Shot- als auch in Zero-Shot-Lernszenarien.