RedlineBenchは、Crosbyが2026年に公開した、法律契約交渉評価ベンチマークデータセットです。実際のビジネス取引シナリオにおいて、AIエージェントが修正箇所の注釈付けや交渉判断を行う能力を測定することを目的としています。法律エージェントの評価、契約書の自動修正、複数ラウンドの交渉判断モデリング、実際のビジネスワークフローにおける大規模言語モデルの能力評価などに幅広く活用されています。 このデータセットには、3つの複数ラウンド交渉シナリオ（SaaS MSAシナリオ2つとプロフェッショナルサービス MSAシナリオ1つ）を網羅する、実行可能なHarborタスクが140個含まれており、各シナリオは4つの交互ラウンドで構成されています。 3つのシナリオは、シリーズA資金調達済みの人事テクノロジー企業であるAgentCoを中心に展開し、交渉内容はSaaSマスターサービス契約です。各ラウンドでは、立場が交互に入れ替わります。各シナリオは同じページに掲載された企業背景情報を共有していますが、具体的な背景情報、交渉マニュアル（戦略ガイドライン）、開始文書、交渉姿勢、各当事者の利害関係は異なります。