FActScore는 워싱턴 대학교, 매사추세츠 대학교 애머스트 캠퍼스, 앨런 인공지능 연구소(AI2), 그리고 Meta의 연구 팀(Sewon Min 등)이 2023년 EMNLP에서 제안한 지표로, 긴 텍스트 생성의 사실 정확도를 측정하는 데 특화되어 있다. 먼저 생성된 내용을 독립적인 원자적 사실로 분해한 후, 각 사실을 신뢰할 수 있는 지식 소스(예: Wikipedia)와 대조하여 지지 여부를 판단한다. 최종 점수는 지지된 원자적 사실이 전체 원자적 사실에서 차지하는 비율로 계산된다.

이 지표는 정확도만 고려하며 재현율은 계산하지 않는다. 점수 범위는 0–100이며, 일반적으로 백분율 또는 0–1 점수로 보고되고, 값이 높을수록 더 좋은 성능을 나타내며, 생성된 내용 내에서 검증 가능한 사실의 비율이 높음을 의미한다. 주로 대형 언어 모델이 인물 전기나 백과사전식 긴 텍스트를 생성할 때의 사실적 신뢰성을 평가하는 데 사용된다.

[JIALIU_0]