混合目的関数を用いた半教師付きテキスト分類のLSTMネットワークの再検討

本論文では、監督学習と半教師あり学習の両方を用いてテキスト分類タスクを行う双方向LSTMネットワークについて研究を行いました。これまでのいくつかの研究では、言語モデルなどの非教師あり手法を使用した複雑な事前学習スキーム（Dai and Le 2015; Miyato, Dai, and Goodfellow 2016）や複雑なモデル（Johnson and Zhang 2017）が必要であると指摘されてきましたが、高精度の分類を達成するためにはそれらが必須ではないことを示しています。私たちは、クロスエントロピー損失関数を使用して訓練することで、単純なBiLSTMモデルでもより複雑なアプローチと競合する結果を得られる訓練戦略を開発しました。さらに、ラベル付きデータと非ラベル付きデータに対して、エントロピー最小化損失、敵対的損失、および仮想敵対的損失を組み合わせて使用することで、いくつかのベンチマークデータセットにおけるテキスト分類タスクで最先端の結果を報告しています。特にACL-IMDB感情分析データセットとAG-Newsトピック分類データセットにおいて、私たちの方法は現行のアプローチを大幅に上回っています。また、混合目的関数の汎用性も示しており、関係抽出タスクでの性能向上にも寄与しています。