AI 시험 성능 고도화, 대학은 평가 체계 개편해야
호주 울롱공대학 연구진이 생성형 인공지능(AI)의 대학 법학 시험 수행 능력을 재평가한 결과, AI의 분석 및 서술 능력이 과거 대비 비약적으로 향상된 것으로 나타났다. 2023년 실험에서 인간 수준의 분석력 부재를 드러냈던 모델은 최근 연구에서 법적 가설 상황 처리 및 에세이 작성에서 인간 학생군을 압도하거나 동등한 수준을 기록했다. 연구진은 9개 AI 모델 5개사를 대상으로 형법 및 불법행위법 전공 최종시험을 치르도록 했다. 외부 교재는 제공되지 않았으나 인터넷 접근과 심화 추론 기능이 활성화된 상태였다. 생성된 18편의 답안은 교수의 1차 채점과 보강교수의 맹검 채점을 통과했으며, 형법 평균 점수는 76.3%로 학생 상위 82.5%를 초과했다. 불법행위법 평균은 66%로 학생 61% 수준을 상회했다. 2023년 형법 평균 52.5%(상위 22.5% 수준)에서 크게 상승한 것이며, 핵심 분석력 약점은 대부분 해소됐다. 다만 AI의 능력이 모델과 과목 간 편차가 크다는 점은 유의해야 한다. 일부 모델은 심층 분석은 훌륭했으나 법적 인용이 불확실하거나 허위 법조를 생성하는 환각 현상이 여전히 발견됐다. 이는 AI가 아직 신뢰할 수 있는 법률 전문가로 대체되기 이르며, 비감독 평가의 학문적 무결성에 대한 우려를 불렀다. 이에 연구진은 대학의 평가 시스템 개선을 위한 세 가지 방향을 제시했다. 첫째, 학생들이 AI의 오류를 식별할 수 있는 기초 지식과 추론 능력을 검증하기 위해 기숙 시험이나 구술 평가 등 AI 미사용 대면 평가를 유지해야 한다. 둘째, AI와의 협업 과정을 평가 대상으로 삼아 프롬프트 설계, 자료 검증, 오류 수정 기록을 학점에 반영해야 한다. 셋째, 실무 환경을 반영한 릴레이 평가를 도입한다. 인간이 먼저 초안을 작성한 후 AI로 보완하거나, AI가 생성한 초안을 대면 환경에서 인간이 비판 검역하며 재작성하는 방식으로 두 단계의 별도 채점을 통해 지성과 AI 통제 능력을 함께 평가한다. 연구진은 AI를 무조건 배제할 것이 아니라, 학생이 생성 기술의 감독자와 검열자가 될 수 있도록 평가 방식을 재설계해야 한다고 강조했다.
