DeepMind、人間のフィードバックへの対応力を高めるCromeを発表：LLMアライメントのための因果フレームワーク

報酬モデルと人間フィードバックの対応：因果ロバスト性の重要性 報酬モデル（RMs）は、大型言語モデル（LLMs）が人間のフィードバックに合わせるための基本的なコンポーネントですが、「報酬ハッキング」の問題に直面しています。これらのモデルは、反応の長さや形式などの表面的な特徴に焦点を当て、事実の正確さや関連性などの真の品質指標を識別せず、これが問題の原因となっています。標準的な訓練目標は、訓練データに含まれる偽の相関関係と反応品質の真の因果関係を区別できず、これが脆弱な報酬モデル（RMs）を生成し、不適切なポリシーを生み出す結果となっています。この状況を改善するために、因果理解に基づいて訓練する新しい方法が必要です。その方法は、因果質の属性に対して敏感で、様々な偽の兆候に対して不変性を持つ報酬モデルを育成することを目指しています。 既存のRMアプローチの制限と因果ロバスト性へのニーズ 既存のRMアプローチは、標準的な強化学習によるヒューマンフィードバック（RLHF）システムにおける報酬ハッキング問題の解決を試みています。これらの系統は、Bradley-Terryや成対ランク法などに基づいていますが、いくつかの限界があります。例えば、Odinのようなアーキテクチャの変更、ポリシーレベルでの調整、そして集合や一貫性チェックを含むデータ中心の手法などが挙げられます。さらに、因果関係に基づいた最近の方法も、MMD正則化や修正書き換えを通じて因果効果を推定しますが、これらの方法はあらかじめ特定された偽の因子にのみ対応しており、未知の相関関係を見逃すことがあります。また、拡張戦略は粗く、評価に焦点を当てた方法は多様な偽の変動に対して報酬モデルを訓練する強固なメカニズムを提供できていないという課題があります。 新しい枠組み：Crome（因果ロバスト報酬モデル） Google DeepMind、マクギル大学、そしてMILA - クエベックAI研究所の研究者たちは、Crome（Causally Robust Reward Modeling）と呼ばれる新しいフレームワークを提案しました。Cromeは、回答生成の明確な因果モデルに基づいて構築されており、LLMsによって生成された対照的な仮説データを加えた好みデータセットでRMsを訓練します。これにより、真の品質ドライバーと表面的な手がかりを判別することができます。Cromeはさらに、2種類の合成トレーニングペアを作成します。因果増強（Causal Augmentations）は、具体的な因果属性（例：事実の正確性）に沿った変更を導入することで、真の品質の変動に敏感になるように設計されています。一方、中立増強（Neutral Augmentations）は、スタイルなどの偽の属性に対する不変性を強化するために結び付けデータを使用します。 技術アプローチ：対照的な増強と構成損失の最適化 Cromeは2つの主要なフェーズで動作します。まず、因果モデルに基づいて属性を感知する対照的なデータを生成します。次に、この組み合わせデータでの専門的な損失を最適化することで報酬モデルを訓練します。理論的には、因果増強が真の報酬ドライバーを偽の相関因子から分離する過程について解説されています。研究者はUltraFeedbackデータセットを用いてGemini 2.0 Flashによって生成された対照的情報を使い、RewardBenchやreWordBenchで性能を評価しています。異なる基盤のLLM（Gemma-2-9B-IT、Qwen2.5-7Bなど）を用いた実験により、ダウンストリームでのアライメントへの影響をBest-of-N選択を通じて分析しています。 パフォーマンスの向上：RewardBenchからWildGuardTestまで RewardBenchでは、CromeはRRMよりもランキング精度が向上し、特に安全性和説明力といったカテゴリーで著しい改善が見られました。例えば、安全性では最大13.18%、説明力では最大7.19%のパフォーマンス向上を達成しています。また、reWordBenchでもGemma-2-9B-ITを用いたPairPM設定で最大9.1%の精度向上を示しています。RRMに対して、RewordBenchへの適合度がより高く（19.78%の精度低下に対して21.54%）、23の変換中的に21のパターンで優れた性能を示しています。さらに、WildGuardTestにおいては、Best-of-N選択を通じて有害なプロンプトに対する攻撃成功率が低下し、良性のプロンプトに対する拒否率はほぼ同等を維持しました。 結論と将来の方向性：因果データ増強の研究 Cromeは、因果理解に基づいた新規訓練方法を通じて、報酬モデルの報酬ハッキング問題を解決するフレームワークとして導入されました。因果増強と中立増強の2つの対策を用いることで、様々な基盤のLLMと報酬モデリング技法で強力な基準モデルを上回る結果を示しています。特に、rewordBenchでの多様な偽の変動に対する優れたロバスト性が特筆すべき点です。Cromeのデータキュレーション中心の訓練手法は、合成データ生成の新しい研究方向性を開き、因果属性の検証が将来の堅牢な言語モデルアライメント開発に有益になる可能性があります。 背景情報：専門家や業界のコメント Cromeの提案は、報酬モデルにおける因果ロバスト性の必要性を強調しており、AIの信頼性と安全性の観点から大きな注目を集めています。このフレームワークは、言語生成の高度な質管理に貢献する可能性が高く、業界全体に広がっている報酬ハッキング問題へのソリューションとして期待されています。研究者たちは、因果理解を活用して報酬モデルを訓練することで、AIシステムの安全性と信頼性を大幅に向上させることができるとの見解を示しており、今後の研究開発への道を開いています。