데이터 효율적 LLM 평가를 위한 순위 상관관계 예측을 통한 하위 집합 선택(SubLlME)은 HP Labs와 다른 팀에서 2025년 7월에 제안한 새로운 평가 방법입니다. 이 방법은 전체 평가가 필요 없이 순위 상관관계 예측을 통해 효율적이고 정확한 모델 성능 평가를 달성하는 것을 목표로 합니다.SubLIME: 데이터 효율적인 LLM 평가를 위한 순위 상관 관계 예측을 통한 하위 집합 선택"로 ACL 25 최우수 주제 논문상을 수상했습니다.

SubLIME은 올림픽 수학 경시대회의 평가 전략을 활용합니다. 작지만 대표적인 부분집합을 지능적으로 선택하여 전체 평가에서 모델의 상대적 성능을 예측함으로써, 매우 일관된 모델 순위 결과를 유지하면서도 평가 비용을 크게 절감합니다(80%~99% 감소).