환각

인공지능(AI) 분야에서 환각이나 인공환각(공상이나 망상이라고도 함)은 사실인 것처럼 제시된 거짓되거나 오해의 소지가 있는 정보가 포함된 AI가 생성한 반응입니다. 일반적으로 이는 모델이 생성한 콘텐츠가 현실 세계의 사실이나 사용자 입력과 일치하지 않는 현상을 말합니다. 전문가의 지식을 효과적으로 검토하고, 강화 학습을 위한 고정밀 전문 지식을 활용하여 대규모 모델의 반복과 업데이트를 달성하는 것은 과학적 환상을 없애는 중요한 방법입니다.환상과 대형 모델의 출현은 같은 원리입니다.

자연어 처리에서의 환각

자연어 처리에서 환각은 종종 "의미가 없거나 제공된 소스 콘텐츠에 충실하지 않은 생성된 콘텐츠"로 정의됩니다. 환각을 분류하는 데는 여러 가지 방법이 있습니다. 출력이 출처와 모순되는지 또는 출처에서 확인할 수 없는지에 따라 내재적 환각과 외재적 환각으로 나뉩니다. 출력이 프롬프트와 모순되는지 여부에 따라 각각 폐쇄형 도메인과 개방형 도메인이 있습니다.

자연어 처리에서 환각의 원인

자연어 모델이 데이터를 환각적으로 표현할 수 있는 데에는 여러 가지 이유가 있습니다.

• 데이터의 환상

데이터 환각의 주요 원인은 출처 참조 불일치입니다. 이러한 불일치는 (1) 휴리스틱 데이터 수집의 결과로 발생하거나 (2) 일부 NLG 작업의 특성상 필연적으로 이러한 불일치가 발생하기 때문에 발생합니다. 모델이 소스-참조(대상) 불일치가 있는 데이터로 학습된 경우, 모델은 제공된 소스에 반드시 근거가 있고 충실하지 않은 텍스트를 생성하도록 유도될 수 있습니다.

• 모델이 만든 환상

환각은 GPT-3와 같이 훈련 중 환각의 가능성을 최대화하도록 훈련된 불완전한 생성 모델의 통계적으로 피할 수 없는 부산물인 것으로 나타났으며, 이를 피하려면 능동적 학습(인간의 피드백을 통한 강화 학습 등)이 필요합니다. 다른 연구에서는 인간형 관점을 채택하여 환각은 참신함과 유용성 사이의 긴장으로 인해 발생한다고 주장합니다. 예를 들어, 테레사 아마빌과 프랫은 인간의 창의성을 새롭고 유용한 아이디어의 창출로 정의합니다.

텍스트와 표현 간의 인코딩 및 디코딩 오류는 환각을 유발할 수 있습니다. 인코더가 학습 데이터의 서로 다른 부분 사이에 잘못된 상관관계를 학습하는 경우 생성된 오류 정보가 입력과 달라질 수 있습니다. 디코더는 인코더로부터 인코딩된 입력을 받아 최종 대상 시퀀스를 생성합니다. 디코딩의 두 가지 측면이 환각으로 이어질 수 있습니다. 첫째, 디코더가 인코딩된 입력 소스의 잘못된 부분을 처리하여 오류가 발생할 수 있습니다. 둘째, 디코딩 전략 자체의 설계가 환상으로 이어질 수 있습니다. 세대 다양성을 증가시키는 디코딩 전략(예: Top-K 샘플링)은 환각 증가와 양의 상관관계가 있습니다.

참고문헌

【1】https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)