HyperAIHyperAI

Command Palette

Search for a command to run...

Automatisierte Verkettung von Einbettungen für strukturierte Vorhersage

Xinyu Wang Yong Jiang Nguyen Bach Tao Wang Zhongqiang Huang Fei Huang Kewei Tu

Zusammenfassung

Vorab trainierte kontextualisierte Einbettungen (Embeddings) sind leistungsfähige Wortrepräsentationen für strukturierte Vorhersageaufgaben. Neuere Arbeiten haben gezeigt, dass durch die Kombination verschiedener Einbettungstypen bessere Wortrepräsentationen erzielt werden können. Die Auswahl der Einbettungen zur Bildung der besten kombinierten Repräsentation variiert jedoch in der Regel je nach Aufgabe und dem Satz von potenziellen Einbettungen, und die ständig wachsende Anzahl an Einbettungstypen macht dieses Problem komplizierter. In dieser Arbeit schlagen wir eine Automatisierung der Kombination von Einbettungen (Automated Concatenation of Embeddings, ACE) vor, um den Prozess der Suche nach besseren Kombinationen von Einbettungen für strukturierte Vorhersageaufgaben zu automatisieren. Diese Vorschläge basieren auf einem Ansatz, der von jüngsten Fortschritten bei der Suchmaschinenarchitektur inspiriert ist. Insbesondere wählt ein Controller abwechselnd eine Kombination von Einbettungen aus, basierend auf seiner aktuellen Einschätzung der Effektivität einzelner Einbettungstypen für eine bestimmte Aufgabe, und aktualisiert diese Einschätzung auf Grundlage einer Belohnung. Wir optimieren die Parameter des Controllers unter Verwendung von Strategien des Reinforcement Learnings und berechnen die Belohnung anhand der Genauigkeit eines Aufgabemodells, das mit der ausgewählten Kombination als Eingabe versorgt wird und auf einem Aufgabendatensatz trainiert wird. Empirische Ergebnisse an sechs Aufgaben und 21 Datensätzen zeigen, dass unser Ansatz starke Baseline-Methoden übertrifft und in allen Bewertungen mit feinjustierten Einbettungen den Stand der Technik erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Automatisierte Verkettung von Einbettungen für strukturierte Vorhersage | Paper | HyperAI