미시간대, AI 글쓰기 감지 신기술 'Liketropy' 개발

미시간대학교 연구팀이 인공지능(AI)으로 작성된 글을 정확하게 탐지하면서도 인간의 글을 잘못 의심하는 비율을 최소화한 새로운 도구를 개발했다고 발표했다. 이 도구는 'Liketropy'라는 이름으로, 가능성과 엔트로피라는 두 가지 통계적 개념을 결합해 작동한다. Liketropy는 사전 학습이나 모델에 대한 접근 없이도 글이 인간이나 대형 언어 모델(LLM)에 의해 작성되었는지를 판별할 수 있는 '제로샷 통계 검사' 방식을 사용한다. 현재 Liketropy 도구는 주로 LLM에 초점을 맞추고 있으며, 텍스트의 통계적 특성, 예를 들어 단어가 얼마나 놀라운지나 예측 가능한지를 분석해 인간과 기계에 의해 작성된 글을 구분한다. 연구팀은 대규모 데이터셋에서 테스트를 실시했으며, 특히 공개되지 않은 모델이나 AI 검출기를 뛰어넘도록 설계된 텍스트에서도 우수한 성능을 보였다고 밝혔다. 특정 LLM을 대상으로 설계된 검사에서는 평균 96% 이상의 정확도와 1% 이하의 오인비율을 달성했다. 타라 라반드(Tara Radvand) 미시간대학교 로스경영대학원 박사과정 학생은 "우리는 단순히 손가락질하는 검출기를 만들지 않기 위해 매우 신중하게 접근했습니다. AI 검출기가 과신할 경우, 특히 교육과 정책 분야에서 위험할 수 있습니다."라고 말했다. "우리의 목표는 오인을 최소화하면서도 통계적으로 확신을 갖고 AI 생성 콘텐츠를 탐지하는 것이었습니다." 연구팀은 특히 국제학생과 영어가 모국어가 아닌 학생들을 위한 공정성을 고려했다. 최근 연구들은 영어를 제2외국어로 사용하는 학생들이 어조나 문장 구조 때문에 'AI 같음'으로 잘못 표시될 가능성이 있음을 보여주었다. Liketropy는 이러한 학생들이 제출 전 자신의 글을 안전하고 투명하게 자가 점검할 수 있도록 돕는다. 향후 계획으로는 연구팀은 Liketropy를 다양한 분야에서 사용할 수 있는 도구로 확장할 예정이다. 법률, 과학, 대입 심사 등 각 분야는 '신중-효과' 균형에서 다른 임계값을 가지고 있다는 사실을 알게 되었다. 이를 반영해 각 분야에 맞는 도구를 개발할 계획이다. AI 검출기의 중요한 응용 분야 중 하나는 사회적 미디어에서의 가짜 정보 유포 방지다. 일부 도구는 LLM을 이용해 극단적인 신념을 채택하고 사회적 미디어에서 가짜 정보를 퍼뜨리도록 학습시키는 경우가 있다. 이는 대규모 가짜 콘텐츠를 생성할 수 있어, 연구팀은 이러한 콘텐츠와 댓글을 탐지해 플랫폼이 유해한 담론의 확산을 제한할 수 있는 신뢰성 높은 검출 도구 개발이 필수적이라고 강조했다. 미시간대학교의 GPT와 Maizey AI 어시스턴트 등 내부 AI 도구가 외부 AI 모델, 예를 들어 ChatGPT에 의해 생성된 텍스트인지 확인하는 데도 Liketropy를 활용할 계획이다. Liketropy는 미시간 학생 통계과학 학제적 심포지엄(Michigan Student Symposium for Interdisciplinary Statistical Sciences)에서 최고 발표상(Best Presentation Award)을 받았으며, 프랑스 기반의 여성 기계학습 및 데이터 과학 커뮤니티인 파리 여성 기계학습 및 데이터 과학(Paris Women in Machine Learning and Data Science)에서도 소개되었다. 이 연구는 arXiv 프리프린트 서버에 게재되었다. 업계 전문가들은 Liketropy가 AI 생성 콘텐츠를 효과적으로 감지하는 동시에 인간의 글을 잘못 의심하는 비율을 크게 줄였다는 점에서 긍정적으로 평가하고 있다. 이 도구는 교육, 연구, 그리고 사회적 미디어 분야에서 가짜 정보와 부당한 의심 사이의 균형을 잘 유지함으로써 신뢰성을 높일 것으로 기대된다. 미시간대학교는 이미 다수의 AI 도구를 활용하고 있으며, Liketropy가 이들 도구와 함께 사용되어 더욱 효과적인 결과를 가져올 것으로 보인다.