HyperAIHyperAI

Command Palette

Search for a command to run...

AI의 환각 현상은 왜 발생하는가? 정직한 '모르겠습니다'가 오히려 문제일 수 있다

인공지능이 허구적 답변을 내보내는 이유는 모델이 '모르는 것을 알면서도 대답하려는' 훈련 방식에 있다. 오픈AI와 조지아공과대학 연구팀은 최근 논문을 통해, 훈련 데이터가 완벽하더라도 일부 질문은 본질적으로 답할 수 없으며, 이로 인해 언어모델은 자연스럽게 오답을 생성할 수밖에 없다고 밝혔다. 하지만 핵심은 모델이 ‘모른다’고 말할 수 있도록 훈련되지 않았다는 점이다. 현재의 평가 기준은 정답을 내면 1점, 비어 있거나 틀리면 0점으로만 평가해, 자신 없어도 자신감 있게 대답하는 모델이 더 높은 점수를 받는 구조다. 이로 인해 모델은 ‘가짜를 믿는 것’이 성공 전략이 되어버렸다. 연구팀은 평가 체계를 개선해 오답에 대한 벌점을 두고, 진실성과 자기 인식을 점수에 반영해야 한다고 주장한다. 일부 전문가들은 이 제안이 기술적으로 타당하다고 평가하지만, 실제 적용 가능성에는 의문을 제기한다. 오픈AI는 유저 확보와 수익성 확보를 위해 모델이 너무 자주 ‘모른다’고 말하면 사용자가 다른 서비스로 이탈할 수 있다는 현실적 고민을 안고 있다. 한 연구자는 “‘모른다’고 말하면 제품이 무용지물이 된다”고 지적하며, 현재의 성공 모델은 정확성보다 확신과 매력성에 기반하고 있음을 강조한다. 결국, 인공지능의 진실성 문제는 기술적 한계를 넘어서 기업의 비즈니스 전략과 사용자 경험의 균형 문제로 확대되고 있다.

관련 링크