교육 분야에서 인간-AI 협업 하이브리드 에세이를 위한 자동 경계 탐지 방향

최근 대규모 언어 모델(Large Language Models, LLMs), 예를 들어 ChatGPT와 같은 모델들은 특정 지시사항이 주어지면 인간과 유사하며 자연스러운 응답을 생성할 수 있는 능력을 보이고 있다. 기술 발전으로 인한 편의성을 인정하면서도, 교육계에서는 학생들이 이러한 LLM을 활용해 작문 과제를 대신 수행하고, 이를 자신의 원본 작업인 것처럼 제출할 가능성에 대한 우려를 표하고 있다. 이러한 우려에 따라 많은 인공지능(AI) 생성 콘텐츠 탐지 연구가 수행되었으나, 대부분의 이전 연구들은 텍스트가 완전히 인간이 작성한 것인지 또는 완전히 AI가 생성한 것인지라는 이분법적인 가정 하에 AI 콘텐츠 탐지를 분류 문제로 모델링하였다. 본 연구에서는 이러한 기존 연구에서 거의 다뤄지지 않았지만 더 현실적인 맥락인, 인간과 생성형 LLM이 협업하여 작성한 하이브리드 텍스트(hybrid text)에 대한 AI 콘텐츠 탐지를 탐구하였다. 먼저, 주어진 하이브리드 텍스트 내에서 인간이 작성한 콘텐츠와 AI가 생성한 콘텐츠 사이의 전환 지점을 식별하는 것으로 탐지 작업을 정의하였으며, 이를 '경계 탐지(boundary detection)'로 명명하였다. 이후 본 연구는 두 단계 접근법을 제안하였는데, 첫째, 인코더 학습 과정에서 AI 생성 콘텐츠와 인간 작성 콘텐츠를 분리하는 방식을 도입하였고, 둘째, 인접한 프로토타입들 간의 거리를 계산한 후, 가장 멀리 떨어진 인접한 프로토타입 쌍 사이에 경계가 존재한다고 가정하였다. 광범위한 실험을 통해 다음과 같은 주요 발견을 확인하였다: (1) 제안한 방법은 다양한 실험 설정에서 기존 베이스라인 방법보다 일관되게 우수한 성능을 보였다; (2) 인코더 학습 과정이 제안한 방법의 성능 향상에 크게 기여함을 확인하였으며, (3) 단일 경계를 가진 하이브리드 에세이의 경우, 상대적으로 큰 프로토타입 크기를 채택함으로써 제안 방법의 성능을 더욱 향상시킬 수 있었으며, 이로 인해 도메인 내 평가(In-Domain evaluation)에서 22%의 성능 향상과 도메인 외 평가(Out-of-Domain evaluation)에서 18%의 성능 향상이 달성되었다.