11日前

大多数の言語モデルは詩人にもなれる:AI執筆アシスタントと制約付きテキスト生成スタジオ

Allen Roush, Sanjay Basu, Akshay Moorthy, Dmitry Dubovoy
大多数の言語モデルは詩人にもなれる:AI執筆アシスタントと制約付きテキスト生成スタジオ
要約

制約付き自然言語生成分野の急速な進展にもかかわらず、語彙が語彙的・意味的・音韻的に制約された言語モデルの潜在能力に注目した研究はほとんど行われていない。本研究では、極めて強い制約下においても、多くの言語モデルが説得力のあるテキストを生成できることを確認した。そこで、テキスト単位の生成前に、言語モデルの語彙に対してフィルタ関数を合成的に適用するという、シンプルかつ普遍的に適用可能な手法を提案する。このアプローチは即時接続型(plug-and-play)であり、モデル自体の変更を必要としない。本手法の価値を示すために、さまざまな制約条件(たとえば特定の文字を禁止する、生成される語に特定の音節数を強制する、または別の語の部分アナグラムとなるようにするなど)の任意の組み合わせでテキストを生成または選択できる、使いやすいAIライティングアシスタント「Constrained Text Generation Studio(CTGS)」を紹介する。また、文字「e」を一切含まないプローズデータセットを新たに構築した。このデータセットにおいて、本手法は微調整(fine-tuning)のみに比べて明確に優れた性能を発揮することを示した。さらに、本手法を実装したHugging Face Spaces向けWebアプリ「Gadsby」も公開している。コードは以下のリンクから公開されている:https://github.com/Hellisotherpeople/Constrained-Text-Generation-Studio

大多数の言語モデルは詩人にもなれる:AI執筆アシスタントと制約付きテキスト生成スタジオ | 最新論文 | HyperAI超神経