TransLLM: Ein einheitlicher Multi-Task-Foundation-Frame für städtische Verkehrswege durch lernbare Prompting

Städtische Verkehrs- und Mobilitätssysteme stehen vor vielfältigen Herausforderungen in unterschiedlichen Aufgaben, wie beispielsweise der Verkehrsprognose, der Vorhersage des Ladebedarfs für Elektrofahrzeuge (EV) sowie der Taxidisposition. Bestehende Ansätze leiden unter zwei zentralen Einschränkungen: Kleine tiefgreifende Lernmodelle sind auf spezifische Aufgaben zugeschnitten und benötigen große Datenmengen, was ihre Übertragbarkeit auf unterschiedliche Szenarien einschränkt. Große Sprachmodelle (LLMs), obwohl sie durch natürliche Sprachinterfaces eine hohe Flexibilität bieten, stoßen bei der Verarbeitung strukturierter räumlich-zeitlicher Daten und der numerischen Schlussfolgerung im Bereich der Verkehrssysteme auf Schwierigkeiten. Um diese Grenzen zu überwinden, stellen wir TransLLM vor – einen einheitlichen Grundlagenrahmen, der räumlich-zeitliche Modellierung mit großen Sprachmodellen durch lernbare Prompt-Komposition verbindet. Unser Ansatz verfügt über einen leichtgewichtigen räumlich-zeitlichen Encoder, der komplexe Abhängigkeiten mittels dilatierter zeitlicher Faltungen und dualer Nachbarschafts-Grafen-Attention-Netzwerke erfasst und nahtlos über strukturierte Embeddings mit LLMs interagiert. Ein neuartiges Prompt-Routing auf Instanzebene, das mittels Verstärkungslernen trainiert wird, passt die Prompts dynamisch an die Eingabedaten an und überwindet so feste, auf Aufgaben spezialisierte Vorlagen. Der Rahmen arbeitet folgendermaßen: Er kodiert räumlich-zeitliche Muster in kontextuelle Repräsentationen, komponiert dynamisch personalisierte Prompts zur Steuerung des Schlussfolgerungsprozesses im LLM und projiziert die resultierenden Repräsentationen mittels spezialisierter Ausgabeschichten, um aufgabenbezogene Vorhersagen zu generieren. Experimente an sieben Datensätzen und drei Aufgaben zeigen die herausragende Wirksamkeit von TransLLM sowohl im überwachten als auch im Zero-Shot-Setting. Im Vergleich zu zehn Baseline-Modellen erzielt TransLLM wettbewerbsfähige Ergebnisse sowohl bei Regressions- als auch bei Planungsaufgaben und demonstriert eine starke Generalisierungsfähigkeit sowie eine hohe Anpassungsfähigkeit über Aufgaben hinweg. Der Quellcode ist unter folgender URL verfügbar: [https://…] zugänglich.