Verbesserung multivariater Zeitreihen-Klassifikatoren durch die Integration von Self-Attention und relativer Positionierung

Zeitreihen-Klassifikation (Time Series Classification, TSC) ist eine wichtige und herausfordernde Aufgabe für zahlreiche Anwendungen im Bereich des visuellen Rechnens. Trotz der Vielzahl an entwickelten Methoden für die TSC wurden Deep Neural Networks (DNNs) bisher relativ selten eingesetzt. In diesem Paper stellen wir zwei neuartige Aufmerksamkeitsblöcke vor – den Global Temporal Attention-Block und den Temporal Pseudo-Gaussian erweiterten Self-Attention-Block (TPS) –, die bestehende tiefen Lernansätze für die TSC signifikant verbessern können, selbst wenn diese Ansätze speziell für ein bestimmtes Datenset oder eine bestimmte Aufgabe entworfen und optimiert wurden. Diese Behauptung wird durch die Bewertung mehrerer state-of-the-art tiefen Lernansätze für die TSC auf der Benchmark der University of East Anglia (UEA) bestätigt, einer standardisierten Sammlung aus 30 multivariaten Zeitreihen-Klassifikationsdatensätzen (MTSC). Wir zeigen, dass die Integration der vorgeschlagenen Aufmerksamkeitsblöcke die durchschnittliche Genauigkeit der Basismodelle um bis zu 3,6 % steigern kann. Darüber hinaus integriert der vorgeschlagene TPS-Block ein neues Injektionsmodul, das relative Positionsinformationen in Transformers einbezieht. Als eigenständige Komponente mit geringerem Rechenaufwand ermöglicht der TPS-Block eine bessere Leistung als die meisten aktuellen DNN-basierten Ansätze für die TSC. Die Quellcodes für unsere experimentellen Setups sowie die vorgeschlagenen Aufmerksamkeitsblöcke werden öffentlich zugänglich gemacht.