HyperAIHyperAI

Command Palette

Search for a command to run...

AMR解析および生成のためのグラフ事前学習

Xuefeng Bai Yulong Chen Yue Zhang

概要

抽象意味表現(Abstract Meaning Representation, AMR)は、テキストの核心的な意味情報をグラフ構造で表現する手法である。近年、事前学習言語モデル(Pre-trained Language Models, PLMs)は、AMR解析およびAMRからテキストへの生成というタスクにおいて大きな進展を遂げている。しかし、PLMsは通常、テキストデータ上で事前学習が行われるため、構造的知識を最適にモデル化するには不十分である。この課題に対処するため、本研究ではAMRグラフ上で構造認識能力を向上させるためのグラフ自己教師学習(graph self-supervised training)の手法を検討する。具体的には、グラフからグラフへの事前学習を目的とした2つのグラフ自己符号化(graph auto-encoding)戦略を導入し、事前学習段階でテキストとグラフ情報を統合するための4つのタスクを設計した。さらに、事前学習と微調整(fine-tuning)のタスク間のギャップを埋めるための統一的なフレームワークを提案する。AMR解析およびAMRからテキストへの生成という両タスクにおける実験結果から、本モデルの優位性が示された。本研究の知見によれば、意味グラフ上で事前学習を行うことは、本研究が初めて試みたことである。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
AMR解析および生成のためのグラフ事前学習 | 記事 | HyperAI超神経