要約
事前学習済み言語モデル（PTLM）は、多くの自然言語処理（NLP）タスクにおいて顕著な成果を上げているが、イベントの時系列的推論を要するタスクに対しては依然として課題を抱えている。このような時系列的推論は、イベント中心のアプリケーションにおいて不可欠である。本研究では、イベントの時系列的関係に関する特定知識をPTLMに付与する継続的事前学習アプローチを提案する。我々は、マスクされたイベントや時系列的指標の復元を目的とした自己教師学習の目的関数を設計し、また、イベントまたは時系列的指標が置き換えられた破損した文と元の文を識別するタスクを導入した。これらの目的関数を統合してPTLMをさらに事前学習させることにより、モデルがイベントおよび時系列情報に注目する能力が強化され、イベント時系列的推論能力が向上する。この効果的な継続的事前学習フレームワーク（ECONET）は、5つの関係抽出および質問応答タスクにおいて、PTLMのファインチューニング性能を向上させ、多数の下流タスクで新たなまたは既存の最先端（SOTA）水準の性能を達成した。