HyperAIHyperAI

Command Palette

Search for a command to run...

Lernen kontextsensitiver Faltungsfiltre für die Textverarbeitung

Dinghan Shen Martin Renqiang Min Yitong Li Lawrence Carin

Zusammenfassung

Faltungsneuronale Netze (CNNs) sind kürzlich als beliebtes Bauelement für die Verarbeitung natürlicher Sprache (NLP) hervorgetreten. Trotz ihrer Erfolge verwenden die meisten existierenden CNN-Modelle im NLP denselben gelernten (und statischen) Filterbestand für alle Eingabesätze. In dieser Arbeit betrachten wir einen Ansatz, bei dem ein kleines Metanetz kontextsensitive Faltungsfilter für die Textverarbeitung lernt. Die Rolle des Metanetzes besteht darin, die kontextuelle Information eines Satzes oder Dokuments in eine Reihe von einkommungsbewussten Filtern abstrahieren zu können. Wir erweitern dieses Framework weiter, um Satzpaare zu modellieren, wobei ein bidirektionales Filtergenerierungsmechanismus eingeführt wird, um koabhängige Satzrepräsentationen zu erfassen. In unseren Benchmarks an vier verschiedenen Aufgaben, einschließlich Ontologieklassifikation, Sentimentanalyse, Auswahl von Antwortständen und Paraphrasenerkennung, übertrifft unser vorgeschlagenes Modell, ein modifiziertes CNN mit kontextsensitiven Filtern, konsistent sowohl das Standard-CNN als auch die auf Aufmerksamkeit basierenden CNN-Baselines. Durch die Visualisierung der gelernten kontextsensitiven Filter bestätigen und begründen wir zudem die Effektivität des vorgeschlagenen Frameworks.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp