HyperAIHyperAI

Command Palette

Search for a command to run...

TransLLM: Ein einheitlicher Multi-Task-Foundation-Frame für städtische Verkehrswege durch lernbare Prompting

Jiaming Leng Yunying Bi Chuan Qin Bing Yin Yanyong Zhang Chao Wang

Zusammenfassung

Städtische Verkehrs- und Mobilitätssysteme stehen vor vielfältigen Herausforderungen in unterschiedlichen Aufgaben, wie beispielsweise der Verkehrsprognose, der Vorhersage des Ladebedarfs für Elektrofahrzeuge (EV) sowie der Taxidisposition. Bestehende Ansätze leiden unter zwei zentralen Einschränkungen: Kleine tiefgreifende Lernmodelle sind auf spezifische Aufgaben zugeschnitten und benötigen große Datenmengen, was ihre Übertragbarkeit auf unterschiedliche Szenarien einschränkt. Große Sprachmodelle (LLMs), obwohl sie durch natürliche Sprachinterfaces eine hohe Flexibilität bieten, stoßen bei der Verarbeitung strukturierter räumlich-zeitlicher Daten und der numerischen Schlussfolgerung im Bereich der Verkehrssysteme auf Schwierigkeiten. Um diese Grenzen zu überwinden, stellen wir TransLLM vor – einen einheitlichen Grundlagenrahmen, der räumlich-zeitliche Modellierung mit großen Sprachmodellen durch lernbare Prompt-Komposition verbindet. Unser Ansatz verfügt über einen leichtgewichtigen räumlich-zeitlichen Encoder, der komplexe Abhängigkeiten mittels dilatierter zeitlicher Faltungen und dualer Nachbarschafts-Grafen-Attention-Netzwerke erfasst und nahtlos über strukturierte Embeddings mit LLMs interagiert. Ein neuartiges Prompt-Routing auf Instanzebene, das mittels Verstärkungslernen trainiert wird, passt die Prompts dynamisch an die Eingabedaten an und überwindet so feste, auf Aufgaben spezialisierte Vorlagen. Der Rahmen arbeitet folgendermaßen: Er kodiert räumlich-zeitliche Muster in kontextuelle Repräsentationen, komponiert dynamisch personalisierte Prompts zur Steuerung des Schlussfolgerungsprozesses im LLM und projiziert die resultierenden Repräsentationen mittels spezialisierter Ausgabeschichten, um aufgabenbezogene Vorhersagen zu generieren. Experimente an sieben Datensätzen und drei Aufgaben zeigen die herausragende Wirksamkeit von TransLLM sowohl im überwachten als auch im Zero-Shot-Setting. Im Vergleich zu zehn Baseline-Modellen erzielt TransLLM wettbewerbsfähige Ergebnisse sowohl bei Regressions- als auch bei Planungsaufgaben und demonstriert eine starke Generalisierungsfähigkeit sowie eine hohe Anpassungsfähigkeit über Aufgaben hinweg. Der Quellcode ist unter folgender URL verfügbar: [https://…] zugänglich.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
TransLLM: Ein einheitlicher Multi-Task-Foundation-Frame für städtische Verkehrswege durch lernbare Prompting | Paper | HyperAI