トピックに沿って Classifier-Free Guidance を使用する

Classifier-Free Guidance (CFG) は最近、テキストから画像への生成において、軽量な技術としてプロンプトへの準拠を促進するために注目されています。本研究では、CFG を純粋な言語モデルの推論時技術として広範に使用できることを示します。我々の実験結果は以下の通りです。CFG は Pythia, GPT-2, LLaMA 家族のモデルが Q&A, 推理, コード生成, 機械翻訳などの一連のタスクで性能を向上させることを示しています。特に、LLaMA-7B が PaLM-540B よりも LAMBADA で最先端の成果を達成しました。CFG はパラメータ数が2倍のモデルと同等の改善をもたらすことがわかりました。CFG は Chain-of-Thought や Self-Consistency のような他の推論時手法と組み合わせて使用でき、難易度の高いタスクでのさらなる改善につながります。CFG を使用することで、フォーム駆動型やコンテンツ駆動型の複雑なプロンプトに対するアシスタントの一貫性と信頼性を高めることができます。ヒューマン評価では、GPT4All に CFG を適用した場合がベースラインよりも75%高い優位性を持つことが示されました。以上のように、本研究では CFG の多様な用途とその有効性を詳細に検討し、言語モデルにおける推論時の性能向上に寄与することを確認しました。