HyperAIHyperAI

Command Palette

Search for a command to run...

FRAGE: Frequenzagnostische Wortrepräsentation

Chengyue Gong*1 [email protected] Di He*2 [email protected] Xu Tan3 [email protected] Tao Qin3 [email protected] Liwei Wang2,4 [email protected] Tie-Yan Liu3 [email protected]

Zusammenfassung

Ständige Wortschreibungen (auch als Word Embedding bekannt) sind ein grundlegendes Bauelement in vielen neuronale Netzwerke basierenden Modellen, die in der Verarbeitung natürlicher Sprache eingesetzt werden. Obwohl es allgemein anerkannt ist, dass Wörter mit ähnlicher Semantik im Einbettungsraum nahe beieinander liegen sollten, haben wir festgestellt, dass gelernte Wort-Einbettungen in mehreren Aufgaben tendenziell von der Worfrequenz beeinflusst sind: Die Einbettungen von häufig vorkommenden und selten vorkommenden Wörtern befinden sich in verschiedenen Teilregionen des Einbettungsraums, und die Einbettung eines seltenen und eines häufigen Wortes kann weit voneinander entfernt sein, selbst wenn sie semantisch ähnlich sind. Dies macht gelernte Wort-Einbettungen ineffektiv, insbesondere für seltene Wörter, und begrenzt dadurch die Leistung dieser neuronalen Netzwerkmodelle. In diesem Artikel entwickeln wir eine elegante, einfache und dennoch effektive Methode zur Lernung von \emph{FRequency-AGnostic word Embedding} (FRAGE) unter Verwendung von adversarialem Training. Wir haben umfassende Studien auf zehn Datensätzen durchgeführt, die vier Aufgaben der Verarbeitung natürlicher Sprache abdecken, darunter Wortähnlichkeit, Sprachmodellierung, maschinelle Übersetzung und Textklassifizierung. Die Ergebnisse zeigen, dass mit FRAGE eine höhere Leistung als bei den Baseline-Methoden in allen Aufgaben erzielt wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp