HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Verbesserung der Robustheit der Sequenzmarkierung mittels maskierter adversarischer Trainierung

{Jianhua Lu Weitong Ruan Xinyue Liu Luoxin Chen}

Verbesserung der Robustheit der Sequenzmarkierung mittels maskierter adversarischer Trainierung

Abstract

Adversariales Training (AT) hat starke Regularisierungseffekte auf Deep-Learning-Algorithmen gezeigt, indem kleine Eingabestörungen eingeführt werden, um die Robustheit des Modells zu verbessern. Bei Sprachaufgaben erzielt adversariales Training Wortniveau-Robustheit durch Hinzufügen von Eingabestörungen, was für Textklassifikation vorteilhaft ist. Es fehlt jedoch an ausreichender Verbesserung kontextueller Informationen und ist daher weniger geeignet für Sequenzmarkierungsaufgaben wie Chunking und Named Entity Recognition (NER). Um diese Einschränkung zu überwinden, schlagen wir maskeiertes adversariales Training (MAT) vor, um die Robustheit in Sequenzmarkierungsaufgaben durch verbesserte Nutzung kontextueller Information zu erhöhen. Bei MAT maskiert oder ersetzt das Verfahren bestimmte Wörter in einem Satz, wenn der adversarielle Verlust aus gestörten Eingaben berechnet wird, wodurch die Modellrobustheit durch stärkeren Einsatz kontextbasierter Informationen gesteigert wird. In unseren Experimenten zeigt unsere Methode signifikante Verbesserungen hinsichtlich Genauigkeit und Robustheit bei der Sequenzmarkierung. Durch die zusätzliche Integration von ELMo-Embeddings erreicht unser Modell Ergebnisse, die mit den besten Stand der Technik auf den CoNLL-2000- und CoNLL-2003-Benchmarks vergleichbar oder sogar besser sind, wobei dabei deutlich weniger Parameter verwendet werden.

Benchmarks

BenchmarkMethodikMetriken
chunking-on-conll-2000ELMo + MAT + Multi-Task
Exact Span F1: 97.04

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verbesserung der Robustheit der Sequenzmarkierung mittels maskierter adversarischer Trainierung | Forschungsarbeiten | HyperAI