HyperAIHyperAI

Command Palette

Search for a command to run...

GRETEL:長文抽出要約のためのグラフコントラストトピック強化言語モデル

Qianqian Xie Jimin Huang Tulika Saha Sophia Ananiadou

概要

近年、ニューラルトピックモデル(NTM)が事前学習済み言語モデル(PLM)に統合され、テキスト要約においてグローバルな意味情報を捉えることが試みられている。しかし、これらの手法では、グローバルな意味情報をどのように捉え、統合するかという点で依然として限界が存在する。本論文では、グラフ対比トピックモデルと事前学習済み言語モデルを統合することで、長文の抽出型要約においてグローバルおよびローカルな文脈的意味情報を効果的に活用できる新たなモデル、グラフ対比トピック強化言語モデル(GRETEL)を提案する。グローバルな文書コンテキストと正解要約からの意味情報を融合するため、GRETELは階層的Transformerエンコーダとグラフ対比学習を組み合わせたグラフ対比トピックモデルを用いることで、PLMにグローバルな意味情報をより効果的に取り入れることを可能にする。これにより、最適でないトピックをカバーする冗長な文ではなく、正解要約とトピック的に関連する顕著な文を効率的に抽出するようモデルを促進する。汎用ドメインおよびバイオメディカルデータセットにおける実験結果から、提案手法が既存の最先端(SOTA)手法を上回ることを示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています