HyperAI
Command Palette
Search for a command to run...
LLM 평가
대형 언어 모델을 평가하는 벤치마크로, 각 벤치마크가 다루는 모델 수와 평가 방식을 보여줍니다
평가
| AA-Briefcase v1.1 | 1186 | ||
| AA-Omniscience v1.1 · | 7.1 | ||
| FrontierCode-AA 2.0 · | 20.2% | ||
| Humanity's Last Exam 수학, 과학, 인문학에 걸친 전문가 검증 2,500문항으로 구성된 프런티어 수준 벤치마크로, 최종적인 폐쇄형 학술 평가를 목표로 설계되었습니다. | 12.0% | ||
| CritPt 연구 수준의 물리 추론 과제로 LLM을 시험하기 위해 설계된 벤치마크로, 71개의 복합 연구 과제를 포함합니다. | 0.3% | ||
| AA-LCR v1.1: Long Context Reasoning 10k에서 100k 토큰에 이르는 장문 문서에서 정보를 추출하고 추론하며 종합하는 언어 모델의 능력을 측정하는 어려운 벤치마크입니다(cl100k_base 토크나이저로 측정). |
가중치
| 109 |
| 7.6% |
| CritPt v2 가중치 | 110 | 33.5% |
| HLE-Diamond 일반 · 가중치 | 133 | 17.3% |
| Terminal-Bench 4.0 코딩 · 가중치 | 147 | 11.1% |
| AutomationBench-AA 가중치 | 150 | 46.0% |
| GDP.pdf 가중치 | 148 | 13.2% |
| 259 |
| 61.3% |
| GPQA Diamond GPQA에서 가장 어려운 198개 문항으로, 박사급 전문가는 65% 정확도를 달성하지만 숙련된 비전문가는 웹 접근에도 불구하고 34%에 그칩니다. | 205 | 71.3% |
| GDPval-AA v2.1 GDPval-AA v2.1은 OpenAI의 GDPval 데이터셋을 위한 평가 프레임워크입니다. 44개 직업과 9개 주요 산업에 걸친 실제 과제로 AI 모델을 시험합니다. 모델에는 셸 접근 권한과 웹 브라우징 기능이 주어지며 Stirrup을 통한 에이전트 루프로 과제를 해결하고, Elo 평가는 블라인드 쌍대 비교로 산출됩니다. | 172 | 1109 |
| IFBench 모델이 특정 출력 요구사항을 따를 수 있는 능력을 시험하는 58개의 다양하고 검증 가능한 도메인 외 제약에서 정밀한 지시 따르기 일반화를 평가하는 벤치마크입니다. | 150 | 43.0% |
| Terminal-Bench Hard 소프트웨어 공학, 시스템 관리, 데이터 처리 과제를 통해 터미널 환경에서 AI 역량을 평가하는 에이전트 벤치마크입니다. | 147 | 6.8% |
| 𝜏²-Bench Telecom 에이전트와 사용자가 통신 서비스 문제를 해결하기 위해 행동을 조율해야 하는 기술 지원 시나리오를 모의하는 이중 제어 대화형 AI 벤치마크입니다. | 147 | 36.3% |
| SciCode 16개 과학 분야의 80개 실험실 문제에서 가져온 288개 테스트 세트 하위 문제로 구성된, 과학자가 큐레이션한 코딩 벤치마크입니다. | 142 | 48.7% |
| MMMU-Pro 지름길과 추측 전략을 제거하여 30개 학문 분야에서 멀티모달 모델을 더 엄격하게 시험하는 강화된 MMMU 벤치마크입니다. | 126 | 70.8% |
| Terminal-Bench 2.1 Terminal-Bench 2.0의 검증된 갱신판으로, 소프트웨어 공학, 시스템 관리, 데이터 처리, 모델 학습, 보안 전반의 89개 큐레이션 과제를 담고 있으며, 점수가 환경 격차가 아닌 에이전트 역량을 반영하도록 환경과 지침을 수정했습니다. | 114 | 38.6% |
| MLCR-AA: Medical Long Context Reasoning Wisedocs의 공개 벤치마크로, 길고 파편화된 의료 기록을 모델이 얼마나 잘 추론하는지 측정하며, 보험 및 의료 사례를 검토하는 전문가가 의존하는 다중 문서 종합을 수행합니다. | 96 | 15.8% |
| 𝜏³-Banking 𝜏-Knowledge 프레임워크의 핀테크 고객 지원 벤치마크로, 에이전트가 대규모 비정형 지식 베이스를 탐색하고 다단계 도구 호출을 실행해 현실적인 은행 워크플로를 해결할 수 있는지 시험합니다. | 89 | 17.5% |
| MMLU-Pro 14개 과목 영역에 걸친 12,000개의 대학원 수준 문항으로 MMLU를 강화한 버전으로, 10개의 답안 선택지와 더 깊은 추론 요구사항을 갖추고 있습니다. | 83 | 74.2% |
| LiveCodeBench LeetCode, AtCoder, CodeForces에서 새로운 경쟁 프로그래밍 문제를 지속적으로 수집하는 오염 없는 코딩 벤치마크로, 코드 생성, 자기 수정, 실행을 평가합니다. | 82 | 47.2% |
| AIME 2025 2025 American Invitational Mathematics Examination의 30개 문제 전체로, 000-999의 정수 답안을 사용하는 올림피아드 수준의 수학적 추론을 시험합니다. | 78 | 51.3% |
| FrontierCode 1.1 Cognition의 FrontierCode 1.1 구현으로, 실제 저장소의 유지관리자가 실제로 병합할 방식으로 코딩 과제를 완수하는지 모델을 시험하는 비공개 에이전트 코딩 벤치마크입니다. | 75 | 38.8% |
| Global-MMLU-Lite MMLU의 경량 다국어 버전으로, 다양한 언어와 문화적 맥락에서 지식과 추론 능력을 평가하도록 설계되었습니다. | 39 | 78.6% |
| Harvey LAB-AA v1.1 Harvey의 Legal Agent Benchmark(LAB) 구현으로, 24개 법률 실무 영역에 걸친 120개 비공개 과제 데이터셋에서 실제 법률 업무로 AI 에이전트를 시험합니다. Harvey와 협력하여 구축된 v1.1은 모든 산출물을 과제의 원본 문서와 대조해 환각을 검사하므로, 모든 루브릭 기준을 통과했더라도 중대한 환각이 있으면 점수를 받지 못합니다. 세 명의 심사위원 패널이 각 산출물을 기준별로 채점합니다. | 27 | 2.8% |
| AA-AnalystAgent 데이터 분석 벤치마크로, 비즈니스 분석가나 데이터 분석가가 일상적으로 마주하는 정량적 질문에 답하기 위해 스프레드시트와 문서를 다루는 AI 에이전트의 능력을 시험합니다. | 26 | 40.0% |
| EnterpriseOps-Gym-AA ServiceNow의 EnterpriseOps-Gym을 독립적으로 구현한 것으로, LLM 에이전트가 실시간 도구 사용을 통해 8개 비즈니스 도메인에 걸친 상태 기반의 다단계 엔터프라이즈 워크플로를 완수할 수 있는지 시험하며, 기반 데이터베이스의 최종 상태로 채점하는 에이전트 벤치마크입니다. | 23 | 40.2% |
| MATH-500 MATH 데이터셋의 500문제 부분집합으로, 대수, 기하, 정수론을 포함한 6개 영역의 경시대회 수준 수학을 다룹니다. | 23 | 81.0% |
| Code2Video-AA HeyGen의 Code2Video Bench 구현으로, 114개의 디자인 브리프에서 HyperFrames HTML을 사용해 짧은 제품 및 브랜드 영상을 모델이 얼마나 잘 만드는지 평가합니다. | 22 | 1025 |
| Multimodal Knowledge Agent (MKA) Google DeepMind의 Multimodal Knowledge Agent(MKA) 벤치마크 구현으로, 에이전트가 건축 도면, 엔지니어링 도식, 임상 스캔처럼 시각 정보가 밀집한 프로젝트 파일을 읽고 전문가 수준의 산출물을 만들 수 있는지 시험합니다. | 21 | 41.0% |
| VIALS-AA Handshake AI의 VIALS 벤치마크 구현으로, 언어 모델이 과학 이미지를 해석하고 그 안의 증거에 관한 질문에 답할 수 있는지 시험합니다. | 21 | 45.3% |
| AA-3D: Interactive 3D Experience AI 모델이 상호작용형 3D 경험을 얼마나 잘 구현하는지 평가하는 벤치마크입니다. 모델은 Stirrup을 통해 오프라인 샌드박스에서 에이전트로 작업하여 작성된 브리프를 three.js 장면으로 만들며, Elo 평가는 블라인드 쌍대 투표로 산출됩니다. | 20 | 995 |
| CWE-Bench-AA Collinear AI의 CWE-bench 구현으로, 코딩 에이전트가 실제 오픈소스 코드베이스를 감사하고, 명시된 관심 영역에서 취약점을 찾아 정상 동작을 깨뜨리지 않고 패치할 수 있는지 시험하는 방어적 사이버보안 벤치마크입니다. | 19 | 55.8% |
| CyberGym-E2E-AA Berkeley RDI의 CyberGym-E2E 구현으로, C/C++ 오픈소스 프로젝트에서 실제 메모리 안전성 취약점을 찾고, 개념 증명 입력으로 재현하고, 프로젝트 테스트를 깨뜨리지 않고 패치하는 에이전트를 시험하는 방어적 사이버보안 벤치마크입니다. | 19 | 71.8% |
| DeepsecBench-AA Vercel의 DeepsecBench 구현으로, 실제 오픈소스 애플리케이션 코드에서 에이전트가 취약점을 얼마나 잘 찾는지 시험하는 방어적 사이버보안 벤치마크입니다. | 19 | 19.9% |
| HealthBench OpenAI의 HealthBench: 응급 의뢰부터 글로벌 보건에 이르기까지 의사가 작성한 루브릭으로 채점하는 5,000건의 건강 대화입니다. | 15 | 58.5% |
| HealthBench Professional OpenAI의 HealthBench Professional: 상담, 작성, 연구 과제를 아우르는 525건의 임상의 대화로, 의사가 작성한 루브릭으로 채점합니다. | 15 | 63.0% |
| ITBench-AA IBM의 ITBench 벤치마크 구현으로, 오프라인 장애 스냅샷에서 Kubernetes 장애 근본 원인 분석으로 AI 에이전트를 시험합니다. 에이전트는 알림, 이벤트, 트레이스, 토폴로지를 검사하고 장애의 원인이 되는 기여 요인 엔티티(디플로이먼트, 파드, 네임스페이스, 네트워크 정책 등)를 식별합니다. | 14 | 39.2% |
| APEX-Agents-AA APEX-Agents 벤치마크 구현으로, 현실적인 애플리케이션 도구를 갖춘 전문 서비스 환경에서 장기 지평의 교차 애플리케이션 과제로 AI 에이전트를 시험합니다. | 9 | 27.4% |