RedlineBench est un jeu de données de référence pour l'évaluation des négociations contractuelles, publié par Crosby en 2026. Il vise à mesurer la capacité des agents d'IA à effectuer des annotations et à prendre des décisions de négociation dans des scénarios de transactions commerciales réelles. Il est largement utilisé pour l'évaluation des agents juridiques, la modification automatisée des contrats (annotations), la modélisation des décisions de négociation en plusieurs étapes et l'évaluation des performances des grands modèles de langage dans les flux de travail commerciaux réels. L'ensemble de données contient 140 tâches Harbor exécutables couvrant trois scénarios de négociation à plusieurs tours (deux scénarios MSA SaaS et un scénario MSA de services professionnels), chaque scénario étant composé de quatre tours alternés. Les trois scénarios s'articulent autour d'AgentCo, une entreprise de technologies RH en phase de levée de fonds de série A, et portent sur un contrat-cadre de services SaaS. Chaque tour implique une alternance des rôles ; chaque scénario partage la même page d'informations générales sur l'entreprise, mais les informations spécifiques, les manuels de négociation (directives stratégiques), les documents initiaux, les positions de négociation et les enjeux diffèrent pour chaque partie.