Command Palette
Search for a command to run...
{Anthropic}

초록
이 클로드 3 모델 카드의 보충 자료는 기존 최고 성능 모델인 클로드 3 오퍼스를 능가하면서도 더 빠르고 낮은 비용으로 작동하는 새로운 모델인 클로드 3.5 손넷에 대해 설명합니다. 클로드 3.5 손넷은 개선된 프로그래밍 능력과 시각 처리 능력을 갖추고 있습니다. 이 모델은 클로드 3 모델 라인업의 진화 버전이므로, 별도의 모델 카드를 제공하는 대신 보충 자료를 제공합니다. 또한 안전성 테스트의 최신 평가 결과와 성능 데이터를 함께 제시합니다.
벤치마크
| 벤치마크 | 방법론 | 지표 |
|---|---|---|
| code-generation-on-humaneval | GPT-4o (0-shot) | Pass@1: 90.2 |
| mmr-total-on-mrr-benchmark | Claude 3.5 Sonnet | Total Column Score: 463 |
| multi-task-language-understanding-on-mmlu | Claude 3.5 Sonnet (5-shot) | Average (%): 88.7 |
| question-answering-on-newsqa | Anthropic/claude-3-5-sonnet | EM: 74.23 F1: 82.3 |
| visual-question-answering-on-mm-vet | Claude 3.5 Sonnet (claude-3-5-sonnet-20240620) | GPT-4 score: 74.2±0.2 |
| visual-question-answering-on-mm-vet-v2 | Claude 3.5 Sonnet (claude-3-5-sonnet-20240620) | GPT-4 score: 71.8±0.2 |