HoTPP Benchmark: Sind wir gut in der Vorhersage langfristiger Ereignisse?

Die Vorhersage mehrerer zukünftiger Ereignisse innerhalb eines gegebenen Zeitraums ist für Anwendungen im Finanzwesen, im Einzelhandel, in sozialen Netzwerken und in der Gesundheitsversorgung von entscheidender Bedeutung. Markierte zeitliche Punktprozesse (MTPP) bieten einen konsistenten Rahmen zur Modellierung sowohl der Zeitpunkte als auch der Etiketten von Ereignissen. Allerdings konzentriert sich der Großteil der bestehenden Forschung auf die Vorhersage lediglich des nächsten Ereignisses, wodurch die Langzeitvorhersage weitgehend unerforscht bleibt. Um diese Lücke zu schließen, stellen wir HoTPP vor – den ersten Benchmark, der speziell entwickelt wurde, um Langzeitvorhersagen rigoros zu evaluieren. Wir identifizieren Schwächen gängiger Bewertungsmetriken, schlagen eine theoretisch fundierte T-mAP-Metrik vor, präsentieren starke statistische Baselines und liefern effiziente Implementierungen populärer Modelle. Unsere empirischen Ergebnisse zeigen, dass moderne MTPP-Ansätze oft schlechter abschneiden als einfache statistische Baselines. Zudem analysieren wir die Vielfalt der vorhergesagten Ereignissequenzen und stellen fest, dass die meisten Methoden unter Mode-Collapse leiden. Schließlich untersuchen wir den Einfluss von Autoregression und intensitybasierten Verlustfunktionen auf die Vorhersagequalität und skizzieren vielversprechende Richtungen für zukünftige Forschung. Der HoTPP-Quellcode, die Hyperparameter und die vollständigen Evaluierungsergebnisse sind auf GitHub verfügbar.