HyperAIHyperAI

Command Palette

Search for a command to run...

パラメータ効率的なテキスト生成のためのコントロールプレフィックス

Jordan Clive Kris Cao Marek Rei

概要

Prefix-tuningは、大規模な事前学習済み言語モデルを下流の応用タスクに適応させるための強力な軽量技術である。しかし、従来のPrefix-tuningは、データセット内のすべてのサンプルに対して同一のデータセットレベルでの調整済みプロンプトを使用している。本研究ではこのアイデアを拡張し、条件付きの入力依存情報を組み込むことが可能な動的アプローチである「Control Prefixes」を提案する。この手法は、プロンプトチューニングと制御生成の利点を統合し、事前学習されたTransformerの異なる層に属性レベルでの学習可能な表現を組み込むことで、生成テキストを特定の方向へ誘導可能とする。本研究では、自然言語生成(NLG)におけるGEMベンチマークから得られた5つのデータセットを対象に、本手法の体系的な評価を実施した。パラメータ効率性を目的としているが、Control Prefixesが完全微調整(full fine-tuning)手法を上回る性能を示すことも明らかにした。特にWebNLGを含む複数のデータからテキスト生成タスクにおいて、最先端の結果を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています