HyperAIHyperAI

Command Palette

Search for a command to run...

Neubetrachtung von LSTM-Netzwerken für die semi-supervisierte Textklassifizierung durch eine gemischte Zielfunktion

Devendra Singh Sachan; Manzil Zaheer; Ruslan Salakhutdinov

Zusammenfassung

In dieser Arbeit untersuchen wir ein bidirektionales LSTM-Netzwerk für die Textklassifizierung unter Verwendung sowohl überwachter als auch halbüberwachter Ansätze. Mehrere frühere Arbeiten haben vorgeschlagen, dass entweder komplexe Vortrainingsverfahren mithilfe unüberwachter Methoden wie Sprachmodellierung (Dai und Le 2015; Miyato, Dai und Goodfellow 2016) oder komplizierte Modelle (Johnson und Zhang 2017) notwendig sind, um eine hohe Klassifikationsgenauigkeit zu erreichen. Wir entwickeln jedoch eine Trainingsstrategie, die es selbst einem einfachen BiLSTM-Modell ermöglicht, wenn es mit dem Kreuzentropieverlust trainiert wird, wettbewerbsfähige Ergebnisse im Vergleich zu komplexeren Ansätzen zu erzielen. Darüber hinainaus berichten wir über Stand-des-Wissens-Ergebnisse für die Textklassifizierungsaufgabe auf mehreren Benchmark-Datensätzen durch den Einsatz einer Kombination aus Entropieminimierung, adversärlichen und virtuellen adversärlichen Verlustfunktionen sowohl für etikettierte als auch nicht etikettierte Daten. Insbesondere bei den Datensätzen zur Stimmungsanalyse ACL-IMDB und zur Themenklassifizierung AG-News übertreffen unsere Methoden aktuelle Ansätze deutlich. Wir zeigen außerdem die Allgemeingültigkeit der gemischten Zielfunktion durch die Verbesserung der Leistung bei der Relationsextraktion.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Neubetrachtung von LSTM-Netzwerken für die semi-supervisierte Textklassifizierung durch eine gemischte Zielfunktion | Paper | HyperAI