シンボリック言語における言語モデルの結合

最近、エンドツーエンドのニューラルアプローチが、パフォーマンスと使いやすさの面で自然言語処理（NLP）タスクを支配していますが、解釈可能性と堅牢性に欠けています。本研究では、Binderというトレーニング不要のニューロシンボリックフレームワークを提案します。このフレームワークは、タスク入力をプログラムにマッピングし、(1) 言語モデル（LM）機能の統一APIをプログラミング言語（例：SQL、Python）にバインドして文法カバレッジを拡張し、より多様な質問に対応することができ、(2) プログラム解析器としてLMを使用するとともに、実行時にAPIによって呼び出される基盤モデルとしても使用し、(3) タスク内のコンテキストで数少ないサンプル注釈のみが必要です。具体的には、GPT-3 CodexをLMとして使用しました。解析段階では、コンテキスト内で数少ないサンプル注釈を使用することで、Codexは元のプログラミング言語で回答できないタスク入力部分を識別し、回答できない部分を解決するためにCodexに適切なAPIコールを生成し、元の文法と互換性がある場所にAPIコールを配置することができます。実行段階では、APIコール内での適切なプロンプトによりCodexは多様な機能（例：常識的な質問応答（commonsense QA）、情報抽出）を実行できます。BinderはWikiTableQuestionsおよびTabFactデータセットにおいて最先端の結果を達成しており、明示的な出力プログラムにより人間によるデバッグが容易になっています。なお、以前の最良システムはすべてタスク固有の数万件のサンプルで微調整されていましたが、Binderはトレーニングなしで数十件の注釈のみを使用しています。当該コードはhttps://github.com/HKUNLP/Binder から利用可能です。