BertGCN：BERTとGCNを統合した従属型テキスト分類

本研究では、テキスト分類のための大規模事前学習と伝達学習（transductive learning）を統合するモデル「BertGCN」を提案する。BertGCNは、データセット上に異種グラフ（heterogeneous graph）を構築し、BERTによる表現を用いて文書をノードとして表現する。BertGCN内におけるBERTモジュールとGCNモジュールを共同で学習することにより、両者の利点を活かすことが可能となる。すなわち、膨大な未加工データを活用できる大規模事前学習の強みと、グラフ畳み込みによってラベルの影響を伝播させることで、訓練データとラベルなしテストデータの表現を同時に学習する伝達学習の利点を併せ持つ。実験の結果、BertGCNは多様なテキスト分類データセットにおいて最先端（SOTA）の性能を達成した。コードは https://github.com/ZeroRin/BertGCN にて公開されている。