HyperAIHyperAI

Command Palette

Search for a command to run...

Selbstadaptives hierarchisches Satzmodell

Han Zhao Zhengdong Lu Pascal Poupart

Zusammenfassung

Die Fähigkeit, einen Satz in verschiedenen Stufen (z.B. Wort-Phrase-Satz) genauestens zu modellieren, spielt eine zentrale Rolle in der Verarbeitung natürlicher Sprache. Als Beitrag zu diesem Ziel schlagen wir ein selbstadaptives hierarchisches Satzmodell (AdaSent) vor. AdaSent bildet effektiv eine Hierarchie von Repräsentationen von Wörtern über Phrasen bis hin zu Sätzen durch rekursive, gatete lokale Komposition benachbarter Segmente. Wir entwerfen ein Wettbewerbsmechanismus (durch Gating-Netzwerke), der es ermöglicht, dass die Repräsentationen desselben Satzes in einer bestimmten Lernaufgabe (z.B. Klassifizierung) eingesetzt werden, wodurch das Problem des Gradientenverschwindens, das in anderen rekursiven Modellen beständig ist, effektiv gemindert wird. Sowohl qualitative als auch quantitative Analysen zeigen, dass AdaSent während des Trainings automatisch die für die aktuelle Aufgabe geeigneten Repräsentationen bilden und auswählen kann, was zu einem überlegenen Klassifikationsleistungsergebnis im Vergleich zu konkurrierenden Modellen auf fünf Benchmark-Datensätzen führt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Selbstadaptives hierarchisches Satzmodell | Paper | HyperAI