要約
データからテキストへのタスクにおける「事前学習＋微調整」戦略について研究する。実験の結果、T5形式のテキストからテキストへの事前学習により、データからテキストを生成するためのパイプライン型ニューラルアーキテクチャや、BERTやGPT-2といった他の言語モデルベースの事前学習手法と比較して、シンプルでエンドツーエンドのTransformerベースのモデルが優れた性能を発揮することが明らかになった。特に、T5による事前学習は、ドメイン外のテストセットにおいて顕著な性能向上をもたらし、より優れた汎化能力をもたらすことが示された。今後、データからテキストへのタスクにおいて転移学習がますます普及する中で、本研究が将来の研究における有用なベースラインとなることを期待している。