大規模言語モデルを用いた構成的意味解析

人間は新しいタスクに直面した際に、構成的（compositional）に推論を行うことができる。従来の研究では、適切なプロンプト技術を用いることで、大規模言語モデル（LLM）がSCANのような人工的な構成的汎化タスクを解くことが可能であることが示されている。本研究では、より現実的な意味解析（semantic parsing）タスクにおいて、より大きな語彙を伴う状況下で生じる新たな課題を同定し、これらの課題に対処するため、プロンプト技術を改良した。我々の最良の手法は、最小から最大（least-to-most）プロンプティングに基づくものである。この手法は、プロンプティングを用いた構文解析によって問題を分解し、その分解結果をもとに適切な例示（exemplars）を選定し、逐次的に意味解析を生成する。このアプローチにより、従来手法が使用する学習データの1％のみで、CFQタスクにおいて新たなSOTA（最良の成果）を達成することができた。本研究のアプローチは一般的な性質を有しているため、他のタスクや分野においても同様の取り組みが新たな成果をもたらすことが期待される。特に、知識集約型の応用分野においてその効果が顕著になると予想される。