HyperAIHyperAI

Command Palette

Search for a command to run...

Mehr Embeddings, bessere Sequence Labeler?

Xinyu Wang Yong Jiang Nguyen Bach Tao Wang Zhongqiang Huang Fei Huang Kewei Tu

Zusammenfassung

Neuere Arbeiten schlagen eine Familie kontextueller Embeddings vor, die die Genauigkeit von Sequenzlabelern gegenüber nicht-kontextuellen Embeddings erheblich verbessert. Es gibt jedoch keine eindeutige Aussage darüber, ob sich durch die Kombination verschiedener Embedding-Typen in unterschiedlichen Szenarien bessere Sequenzlabeler entwickeln lassen. In diesem Paper führen wir umfangreiche Experimente an drei Aufgaben über 18 Datensätze und acht Sprachen durch, um die Genauigkeit der Sequenzlabelung bei verschiedenen Kombinationen von Embeddings zu untersuchen, und ziehen drei Beobachtungen: (1) Die Kombination weiterer Embedding-Varianten führt in ressourcenreichen und cross-domain-Szenarien sowie unter bestimmten Bedingungen in ressourcenschwachen Szenarien zu einer höheren Genauigkeit; (2) Die Kombination zusätzlicher kontextueller Subword-Embeddings mit kontextuellen Zeichen-Embeddings verschlechtert die Genauigkeit in extrem ressourcenschwachen Szenarien; (3) Basierend auf der Beobachtung (1) führt die Kombination weiterer ähnlicher kontextueller Embeddings nicht zu weiteren Verbesserungen. Wir hoffen, dass diese Erkenntnisse dazu beitragen, stärkere Sequenzlabeler in verschiedenen Szenarien zu entwickeln.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Mehr Embeddings, bessere Sequence Labeler? | Paper | HyperAI