환각에 맞서는 WISE 기술

WISE(Wisdom for Hallucination Mitigation) 기술은 2024년 저장대학교에서 제안되었습니다. 이 기술은 대규모 언어 모델에서 환각 현상을 해결하고 모델의 지식 메모리 편집 기능을 향상시키는 것을 목표로 합니다. 관련 논문 결과는 다음과 같습니다.WISE: 대규모 언어 모델의 평생 모델 편집을 위한 지식 메모리 재고"그리고 NeurIPS(2024 신경 정보 처리 시스템 컨퍼런스)에 채택되었습니다.

이 기술의 핵심은 듀얼 매개변수 메모리 메커니즘에 있는데, 이는 다양한 작업에서 인간 뇌의 좌반구와 우반구가 업무를 분담하는 방식을 모방한 것입니다. WISE는 주 메모리를 통해 사전 훈련된 지식을 저장하고, 편집된 지식을 특별히 저장하기 위해 사이드 메모리를 도입합니다. 이러한 측면 기억은 장기 기억의 일반화 능력과 검색 기반 작업 기억의 신뢰성 및 지역성을 결합한 중기 기억으로 볼 수 있습니다.

연구팀은 지속적인 편집을 위해 지식 분할 메커니즘을 설계했습니다. 이를 통해 서로 다른 편집 그룹을 매개변수의 서로 다른 하위 공간에 저장한 다음 충돌 없이 공유 메모리에 병합할 수 있습니다. 광범위한 실험을 통해 WISE가 기존 모델 편집 방법보다 성능이 뛰어나고 GPT, LLaMA, Mistral과 같은 널리 사용되는 대규모 언어 모델 아키텍처에서 배포 범위를 벗어난 사례를 처리하기 위해 질문 답변, 환각 해소, 평생 모델 편집이라는 불가능한 삼위일체를 극복할 수 있음이 입증되었습니다.