Verbesserung der Positionscodierung von Transformers für die Klassifikation multivariater Zeitreihen

Transformers haben in zahlreichen Anwendungen des tiefen Lernens hervorragende Leistungen gezeigt. Bei der Anwendung auf Zeitreihendaten sind effektive Positions-Encoder notwendig, um die Reihenfolge der Zeitreihendaten zu erfassen. Die Wirksamkeit von Positions-Encodierung bei der Analyse von Zeitreihen ist bisher jedoch wenig untersucht und bleibt umstritten – beispielsweise, ob absolute oder relative Positions-Encodierung besser geeignet ist oder ob eine Kombination beider Ansätze vorteilhafter ist. Um diese Frage zu klären, untersuchen wir zunächst bestehende Methoden zur absoluten und relativen Positions-Encodierung im Kontext der Klassifikation von Zeitreihen. Anschließend stellen wir eine neue Methode zur absoluten Positions-Encodierung für Zeitreihendaten vor, die als time Absolute Position Encoding (tAPE) bezeichnet wird. Unser Ansatz integriert sowohl die Länge der Zeitreihe als auch die Dimension des Eingabeeinbettungsraums in die absolute Positions-Encodierung. Zudem schlagen wir eine rechnerisch effiziente Implementierung der relativen Positions-Encodierung (eRPE) vor, um die Generalisierbarkeit für Zeitreihen zu verbessern. Basierend auf diesen neuen Encodierungsansätzen entwickeln wir ein neuartiges Modell für die multivariate Zeitreihenklassifikation (MTSC), das tAPE/eRPE mit einer convolutionbasierten Eingabecodierung kombiniert und als ConvTran bezeichnet wird. Dieses Modell zielt darauf ab, die Positions- und Dateneinbettung von Zeitreihen zu optimieren. Die vorgeschlagenen absoluten und relativen Positions-Encodierungsverfahren sind einfach und effizient und können problemlos in Transformer-Blöcke integriert werden. Sie sind für nachgeschaltete Aufgaben wie Vorhersage, extrinsische Regression und Anomalieerkennung geeignet. Umfassende Experimente an 32 multivariaten Zeitreihendatensätzen zeigen, dass unser Modell signifikant genauer ist als aktuelle State-of-the-Art-Modelle auf Basis von Convolution und Transformers. Der Quellcode und die Modelle sind unter \url{https://github.com/Navidfoumani/ConvTran} öffentlich zugänglich.