HyperAIHyperAI

Command Palette

Search for a command to run...

KnowPrompt: 知識を意識したプロンプト調整と協調最適化による関係抽出

Xiang Chen Ningyu Zhang Chuanqi Tan Fei Huang Xin Xie Shumin Deng Yunzhi Yao Luo Si Huajun Chen

概要

最近、プロンプトチューニングは特定の少ショット分類タスクにおいて有望な結果を達成しています。プロンプトチューニングの基本的な考え方は、入力にテキスト断片(すなわちテンプレート)を挿入し、分類タスクをマスク言語モデル化問題に変換することです。しかし、関係抽出においては、適切なプロンプトテンプレートを決定するのにドメインの専門知識が必要であり、適切なラベルワードを得るには手間がかかる上に時間もかかります。さらに、関係ラベル間には無視できない豊富な意味論的および事前知識が存在します。このため、我々は関係ラベル間の知識をプロンプトチューニングに組み込むことに焦点を当て、共役最適化を持つ知識認識型プロンプトチューニング手法(Knowledge-aware Prompt-tuning with synergistic optimization: KnowPrompt)を提案しました。具体的には、学習可能な仮想タイプワードと回答ワードを使用して、関係ラベルに含まれる潜在的な知識をプロンプト構築に注入します。その後、構造化制約を使用してそれらの表現を共役的に最適化します。標準設定と低リソース設定の5つのデータセットにおける広範な実験結果が我々の手法の有効性を示しています。当該コードとデータセットは再現性のために https://github.com/zjunlp/KnowPrompt で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています