{Anthropic}
Abstract
Dieses Addendum zu unserem Modellkarten-Dokument für Claude 3 beschreibt Claude 3.5 Sonnet, ein neues Modell, das die Leistungsfähigkeit unseres bisher leistungsfähigsten Modells, Claude 3 Opus, übertrifft, dabei jedoch schneller arbeitet und kostengünstiger ist. Claude 3.5 Sonnet verfügt über verbesserte Fähigkeiten, darunter eine bessere Programmier- und visuelle Verarbeitung. Da es eine Weiterentwicklung der Claude-3-Modellfamilie darstellt, legen wir ein Addendum vor, anstatt eine neue Modellkarte zu erstellen. Wir liefern aktualisierte Bewertungen sowie Ergebnisse aus unseren Sicherheitstests.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| code-generation-on-humaneval | GPT-4o (0-shot) | Pass@1: 90.2 |
| mmr-total-on-mrr-benchmark | Claude 3.5 Sonnet | Total Column Score: 463 |
| multi-task-language-understanding-on-mmlu | Claude 3.5 Sonnet (5-shot) | Average (%): 88.7 |
| question-answering-on-newsqa | Anthropic/claude-3-5-sonnet | EM: 74.23 F1: 82.3 |
| visual-question-answering-on-mm-vet | Claude 3.5 Sonnet (claude-3-5-sonnet-20240620) | GPT-4 score: 74.2±0.2 |
| visual-question-answering-on-mm-vet-v2 | Claude 3.5 Sonnet (claude-3-5-sonnet-20240620) | GPT-4 score: 71.8±0.2 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.