RedlineBench는 Crosby에서 2026년에 발표한 법률 계약 협상 평가 벤치마크 데이터셋입니다. 실제 비즈니스 거래 시나리오에서 AI 에이전트가 수정 사항을 표시하고 협상 결정을 내리는 능력을 측정하는 것을 목표로 합니다. RedlineBench는 법률 에이전트 평가, 계약서의 자동 수정, 다단계 협상 결정 모델링, 실제 비즈니스 워크플로우에서 대규모 언어 모델의 능력 평가 등 다양한 분야에서 널리 활용되고 있습니다. 이 데이터 세트에는 3개의 다중 라운드 협상 시나리오(2개의 SaaS MSA 시나리오와 1개의 전문 서비스 MSA 시나리오)를 다루는 140개의 실행 가능한 Harbor 작업이 포함되어 있으며, 각 시나리오는 4개의 교대 라운드로 구성됩니다. 세 가지 시나리오는 시리즈 A 투자를 유치한 HR 기술 회사인 AgentCo를 중심으로 진행되며, 협상 내용은 SaaS 마스터 서비스 계약입니다. 각 라운드에서는 양측의 입장이 번갈아 가며 바뀝니다. 모든 시나리오는 동일한 사업 배경 정보를 공유하지만, 구체적인 배경 정보, 협상 매뉴얼(전략 지침), 시작 문서, 협상 입장, 그리고 각 당사자의 이해관계는 서로 다릅니다.