HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung multivariater Zeitreihen-Klassifikatoren durch die Integration von Self-Attention und relativer Positionierung

Mehryar Abbasi Parvaneh Saeedi

Zusammenfassung

Zeitreihen-Klassifikation (Time Series Classification, TSC) ist eine wichtige und herausfordernde Aufgabe für zahlreiche Anwendungen im Bereich des visuellen Rechnens. Trotz der Vielzahl an entwickelten Methoden für die TSC wurden Deep Neural Networks (DNNs) bisher relativ selten eingesetzt. In diesem Paper stellen wir zwei neuartige Aufmerksamkeitsblöcke vor – den Global Temporal Attention-Block und den Temporal Pseudo-Gaussian erweiterten Self-Attention-Block (TPS) –, die bestehende tiefen Lernansätze für die TSC signifikant verbessern können, selbst wenn diese Ansätze speziell für ein bestimmtes Datenset oder eine bestimmte Aufgabe entworfen und optimiert wurden. Diese Behauptung wird durch die Bewertung mehrerer state-of-the-art tiefen Lernansätze für die TSC auf der Benchmark der University of East Anglia (UEA) bestätigt, einer standardisierten Sammlung aus 30 multivariaten Zeitreihen-Klassifikationsdatensätzen (MTSC). Wir zeigen, dass die Integration der vorgeschlagenen Aufmerksamkeitsblöcke die durchschnittliche Genauigkeit der Basismodelle um bis zu 3,6 % steigern kann. Darüber hinaus integriert der vorgeschlagene TPS-Block ein neues Injektionsmodul, das relative Positionsinformationen in Transformers einbezieht. Als eigenständige Komponente mit geringerem Rechenaufwand ermöglicht der TPS-Block eine bessere Leistung als die meisten aktuellen DNN-basierten Ansätze für die TSC. Die Quellcodes für unsere experimentellen Setups sowie die vorgeschlagenen Aufmerksamkeitsblöcke werden öffentlich zugänglich gemacht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp