KB-Textギャップの橋渡し：構造化された知識を活用した事前学習によるKBQAの向上

知識ベース質問応答（KBQA）は、自然言語の質問に対して、エンティティやリレーションなどの事実情報を知識ベース（KBs）から提供することを目指しています。しかし、従来の事前学習言語モデル（Pre-trained Language Models: PLMs）は大規模な自然言語コーパス上で直接事前学習されるため、構造化されたKB内の複雑な部分グラフを理解し表現するのに困難を伴います。テキストと構造化されたKBのギャップを埋めるために、我々は構造化知識対応型事前学習方法（Structured Knowledge-aware Pre-training: SKP）を提案します。事前学習段階では、2つの新しい構造化知識対応型タスクを導入し、モデルが複雑な部分グラフの暗黙的な関係性とより良い表現を効果的に学習できるように誘導します。下流のKBQAタスクでは、効率的な線形化戦略と区間注意メカニズムをさらに設計しました。これらはそれぞれ、モデルが複雑な部分グラフをよりよく符号化し、推論時に無関係な部分グラフからの干渉を遮断するのに役立ちます。WebQSPでの詳細な実験と分析により、SKPの有効性が確認され、特に部分グラフ検索における大幅な改善（+4.08% H@10）が示されました。