Neubetrachtung von LSTM-Netzwerken für die semi-supervisierte Textklassifizierung durch eine gemischte Zielfunktion

In dieser Arbeit untersuchen wir ein bidirektionales LSTM-Netzwerk für die Textklassifizierung unter Verwendung sowohl überwachter als auch halbüberwachter Ansätze. Mehrere frühere Arbeiten haben vorgeschlagen, dass entweder komplexe Vortrainingsverfahren mithilfe unüberwachter Methoden wie Sprachmodellierung (Dai und Le 2015; Miyato, Dai und Goodfellow 2016) oder komplizierte Modelle (Johnson und Zhang 2017) notwendig sind, um eine hohe Klassifikationsgenauigkeit zu erreichen. Wir entwickeln jedoch eine Trainingsstrategie, die es selbst einem einfachen BiLSTM-Modell ermöglicht, wenn es mit dem Kreuzentropieverlust trainiert wird, wettbewerbsfähige Ergebnisse im Vergleich zu komplexeren Ansätzen zu erzielen. Darüber hinainaus berichten wir über Stand-des-Wissens-Ergebnisse für die Textklassifizierungsaufgabe auf mehreren Benchmark-Datensätzen durch den Einsatz einer Kombination aus Entropieminimierung, adversärlichen und virtuellen adversärlichen Verlustfunktionen sowohl für etikettierte als auch nicht etikettierte Daten. Insbesondere bei den Datensätzen zur Stimmungsanalyse ACL-IMDB und zur Themenklassifizierung AG-News übertreffen unsere Methoden aktuelle Ansätze deutlich. Wir zeigen außerdem die Allgemeingültigkeit der gemischten Zielfunktion durch die Verbesserung der Leistung bei der Relationsextraktion.