RedlineBench ist ein von Crosby im Jahr 2026 veröffentlichter Benchmark-Datensatz zur Bewertung von Vertragsverhandlungen. Er dient der Messung der Fähigkeit von KI-Systemen, in realen Geschäftsszenarien Vertragsänderungen vorzunehmen und Verhandlungsentscheidungen zu treffen. RedlineBench findet breite Anwendung in der Bewertung von Rechtsagenten, der automatisierten Vertragsänderung, der Modellierung von Verhandlungsentscheidungen in mehreren Runden und der Leistungsbewertung großer Sprachmodelle in realen Geschäftsprozessen. Der Datensatz enthält 140 ausführbare Harbor-Aufgaben, die drei mehrrundige Verhandlungsszenarien abdecken (zwei SaaS-MSA-Szenarien und ein MSA-Szenario für professionelle Dienstleistungen), wobei jedes Szenario aus vier abwechselnden Runden besteht. Die drei Szenarien drehen sich um AgentCo, ein HR-Technologieunternehmen der Serie A, und der Verhandlungsgegenstand ist ein SaaS-Rahmenvertrag. In jeder Runde wechseln die Positionen; alle Szenarien verwenden dieselbe Seite mit Hintergrundinformationen zum Unternehmen, aber die spezifischen Hintergrundinformationen, Verhandlungshandbücher (Strategieleitfäden), Einleitungsdokumente, Verhandlungspositionen und Interessen der einzelnen Parteien unterscheiden sich.