미켈란젤로

미켈란젤로는 딥마인드 연구진이 2024년에 제안한 방법으로, 장문 텍스트 맥락에서 대규모 언어 모델의 추론 능력을 평가하는 방법입니다. LSQ(Latent Structure Queries)라는 프레임워크를 사용하여 이전 평가에서 컨텍스트가 누출되는 것을 방지하면서 임의로 컨텍스트 길이를 늘리고 다양한 복잡도 수준을 설정할 수 있는 합성 장문 텍스트 평가 작업을 생성합니다. 관련 논문 결과는 다음과 같습니다.미켈란젤로: 건초더미 너머의 긴 맥락 평가, 잠재 구조 쿼리를 통해".

미켈란젤로는 잠재 목록, 다중 라운드 공동 참조 해결(MRCR), IDK라는 3가지 간단한 작업을 포함합니다. 이러한 과제는 긴 텍스트의 맥락에서 모델의 합성 및 추론 능력을 테스트하기 위해 설계되었으며, 이러한 능력은 단순한 정보 검색 과제를 넘어서는 것입니다. 예를 들어, 잠재 목록 작업에서는 모델이 일련의 코드 명령어에서 잠재 데이터 구조의 속성을 추적해야 합니다. MRCR 과제에서는 모델이 자연스러운 텍스트의 순서를 이해하고, 유사한 텍스트 초안을 구별하고, 복잡한 쿼리에서 지정된 컨텍스트 조각을 재생성해야 합니다. IDK 작업은 모델이 주어진 맥락에서 모르는 정보를 이해할 수 있는지 테스트합니다.