Ein Transformer-basierter Rahmen für die Darstellungslernung multivariater Zeitreihen

In dieser Arbeit stellen wir erstmals einen auf Transformers basierenden Rahmen für die unüberwachte Darstellungslernung multivariater Zeitreihen vor. Vorgebildete Modelle können potenziell für nachgeschaltete Aufgaben wie Regression und Klassifikation, Vorhersage sowie die Imputation fehlender Werte eingesetzt werden. Durch die Bewertung unserer Modelle auf mehreren Benchmark-Datensätzen für die multivariate Zeitreihen-Regression und -Klassifikation zeigen wir, dass unser Modellansatz nicht nur die bisher erfolgreichste Methode zur unüberwachten Lernung multivariater Zeitreihen darstellt, sondern zudem die derzeitige state-of-the-art-Leistung übertrifft, die durch überwachte Methoden erzielt wird – selbst dann, wenn die Anzahl der Trainingsbeispiele äußerst begrenzt ist, und dies unter gleichzeitiger Gewährleistung von rechnerischer Effizienz. Schließlich demonstrieren wir, dass die unüberwachte Vorbildung unserer Transformer-Modelle gegenüber der vollständig überwachten Lernung eine erhebliche Leistungsverbesserung bietet, selbst ohne die Nutzung zusätzlicher unbeschrifteter Daten, d. h., indem dieselben Datensample durch das unüberwachte Lernziel wiederholt genutzt werden.