과학계의 심각한 리뷰 위기: AI와 분산 평가로 바뀌는 편집 시스템

과학계의 동료평가 시스템이 과부하 상태에 빠지면서, 연구자들의 평가 부담이 급증하고 있다. 유럽남부관측소(ESO)는 막대한 관측 시간 요청(3,000시간 이상)에 직면해 기존 전문가 평가 시스템을 넘어서, 지원자들이 경쟁 지원서도 평가하도록 ‘분산형 동료평가(DPR)’를 도입했다. 이는 AI 기술과 함께 동료평가의 전환점을 만들고 있다. 연구 논문과 과제 신청서를 평가하는 전통적 방식은 수많은 논문 증가와 함께 심각한 지연과 피로를 초래하고 있다. 2024년 IOP 출판사 조사에 따르면, 응답자의 절반 이상이 최근 3년간 평가 요청이 증가했다. 일부 출판사에서는 평가자에게 보상을 지급하는 실험도 진행됐다. 예를 들어, Critical Care Medicine는 250달러 지급으로 수락률을 48%에서 53%로 끌어올렸고, Biology Open는 220파운드 지급과 함께 평균 4.6일 이내에 결론을 내는 시스템을 구축했다. 이는 기존 38일 대비 획기적인 개선이다. 또 구조화된 평가(구체적인 질문 제공)도 효과를 보였으며, 평가자 간 일치도가 31%에서 41%로 상승했다. 일부는 평가 보고서를 공개하고 평가자 이름을 명시하는 투명성 제도를 추진하며, 평가의 신뢰성과 질을 높이려 하고 있다. 이와 함께, 연구자들의 평가 부담을 줄이기 위해 기술 기반의 리뷰어 추천 시스템과 신진 연구자와의 공동 평가 방식도 확산되고 있다. 그러나 평가자 풀의 확대는 여전히 도전 과제로, 주로 서구 고급 연구자 중심인 평가자 집단과, 성장 중인 과학국가의 저변 확대 간 격차가 크다. 결국, 동료평가의 지속 가능성을 위해 기술, 보상, 구조화, 투명성, 평가자 다양성 확대 등 종합적 개혁이 필요하다.