HyperAIHyperAI

Command Palette

Search for a command to run...

文書レベル関係抽出における構造強化型Transformerエンコーダ

Wanlong Liu

概要

ドキュメントレベルの関係抽出は、文書内のエンティティペア間の関係的事実を発見することを目的としており、近年ますます注目を集めている。既存の大多数の手法は、主にグラフベース法とTransformerベース法に要約される。しかし、従来のTransformerベース法はエンティティ間の構造的情報を無視しているのに対し、グラフベース法はエンティティの符号化段階と構造的推論段階を分離しているため、構造情報の効果的な抽出が困難である。本研究では、エンティティの構造情報をTransformerエンコーダに統合する効果的な構造強化Transformerエンコーダモデル(SETE)を提案する。まず、メンション依存関係に基づいてメンションレベルのグラフを定義し、これをトークンレベルのグラフに変換する。次に、エンティティ間の構造的および文脈的情報を豊かにするため、二重自己注意機構(dual self-attention mechanism)を設計することで、従来のTransformerエンコーダの推論能力を向上させる。3つの公開データセットにおける実験結果から、提案手法のSETEが従来の最先端手法を上回ることを示し、さらに分析により本モデルの解釈可能性が確認された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています