潜在予測ネットワークによるコード生成

多くの言語生成タスクでは、構造化された入力と非構造化された入力の両方に基づいてテキストを生成する必要があります。本稿では、任意の数の入力関数に条件付けられた出力シーケンスを生成する新しいニューラルネットワークアーキテクチャを提案します。重要なのは、当方の手法が条件付けコンテキストの選択と生成の粒度（例えば文字やトークン）を周辺化できる点です。これにより、スケーラブルで効果的な学習が可能となります。このフレームワークを使用して、自然言語と構造化仕様の混合からプログラミングコードを生成する問題に取り組みます。私たちは、収集型トレーディングカードゲーム「マジック：ザ・ギャザリング」と「ヒースストーン」から派生した2つの新しいデータセットを作成しました。これらのデータセットおよび既存の第3のコーパスにおいて、複数の予測子を周辺化することで、モデルが強力なベンチマークを上回ることを示しています。