HyperAIHyperAI
vor 16 Tagen

Few-Shot-Behördenfehlerdiagnose mittels Ensembling eines Transformer-basierten Modells mit Mahalanobis-Distanz-Metriklern aus mehrskaligen Merkmalen

{Men-Tzung Lo, Van-Truong Pham, Thi-Thao Tran, Van-Quang Nguyen, Manh-Hung Vu}
Abstract

Fortgeschrittene Deep-Learning-Modelle haben bei der Diagnose von Lagerungsstörungen gegenüber herkömmlichen maschinellen Lern- und Signalverarbeitungstechniken hervorragende Leistungen gezeigt. Der Ansatz des Few-Shot-Lernens hat zudem zunehmend Aufmerksamkeit erregt, um das Problem begrenzter Trainingsdaten anzugehen. Dennoch basieren fortschrittliche Modelle zur Diagnose von Lagereinheiten häufig auf Faltungsneuralen Netzen (CNNs), die vor allem lokale Merkmale der Eingabedaten betonen. Zudem bleibt die präzise Klassifizierung von Lagereinheitsignalen aufgrund der Vielfalt an Datenvariationen, Störungstypen, Aufnahmeeinstellungen und äußerst geringer Datensätze weiterhin herausfordernd, was weiteren Forschungsbedarf auf diesem Gebiet aufzeigt. In dieser Studie stellen wir einen neuartigen end-to-end-Ansatz zur Diagnose von Lagereinheiten vor, der auch bei begrenzten Daten – sowohl künstlichen als auch realen Störungen – funktioniert. Insbesondere schlagen wir ein Modul zur automatischen Merkmalsextraktion aus den Eingabedaten vor, das wir „Multiskalige große-Kern-Merkmalsextraktion“ nennen. Die extrahierten Merkmale werden anschließend in ein zweigeteiltes Modell eingespeist, das aus einem globalen und einem lokalen Zweig besteht. Der globale Zweig basiert auf einer Transformer-Architektur mit Kreuz-Attention, um globale Kontextinformationen zu verarbeiten und die Korrelation zwischen Abfrage- und Support-Sets zu erfassen. Der lokale Zweig ist ein metrikbasiertes Modell, das die Mahalanobis-Distanz verwendet, um lokale Merkmale aus dem Support-Satz zu trennen. Die Ausgaben beider Zweige werden anschließend zur Klassifikation kombiniert. Umfassende Experimente und Ablationsstudien wurden an zwei öffentlichen Datensätzen durchgeführt, darunter CWRU und PU. Qualitative und quantitative Ergebnisse mit unterschiedlichen Mengen an Trainingsbeispielen zeigen, dass das vorgeschlagene Modell gegenüber anderen state-of-the-art-Verfahren überlegene Leistung erzielt. Der Quellcode wird unter https://github.com/HungVu307/Few-shot-via-ensembling-Transformer-with-Mahalanobis-distance veröffentlicht werden.