AI 과학자, 수학 이후 실험 수행 미흡

오픈에이아이는 2025년 11월 6일 리고와 함께 실제 실험 데이터를 이해하는 능력을 점검하는 기준 바이오베이직스벤치를 공개했다. 젤 전기영동 사진, 배양 접시, 현미경 영상, 장비 눈금을 보고 오류를 찾거나 증거가 결론을 뒷받침하는지 판단하는 100개 과제로 구성했다. 추론을 더 허용하는 모드에서 가장 강력한 모델 지피티-6 아스트라가 평균 66.7%, 지피티-5.6 솔이 43.8%를 기록했다. 그러나 점수 향상과 실제 실험실 판단의 신뢰성은 별개로, 이미지 판독, 대조 확인, 실험 상황 적용에서는 한계가 남았다. 이보다 이틀 뒤에는 에이아이 과학자 최종 시험이라는 평가가 발표됐다. 율동조우 창설자 셰둥, 뉴사우스웨일스대, 싱가포르국립대, 로잔연방공대, 캘리포니아대 버클리가 주도하고 13개 연구팀이 참여했다. 제러브란트 세더, 필리프 슈발라, 왕쥔, 가속 컨소시엄, 엔비디아, 마이크로소프트 리서치, 일라이 릴리 등도 함께했다. 이 평가는 데이터 관찰, 가상 실험, 실제 장비 실행 세 단계에서 모델의 설계, 결정, 검증 능력을 함께 본다. 7개 모델이 두 곳의 실제 자동화 실험실과 연결돼 설계, 실행, 측정, 재설계로 이어지는 4,079회 실험을 수행했다. 결과는 냉정했다. 가장 어려운 여덟 성분 배합 과제 54회에서는 단 한 번도 기준을 넘지 못했다. 46,626분간 장비를 돌렸지만 최적화 점수 최상위 모델도 장비가 몰래 어긋난 세 번의 시험에서 목표 복구에 실패했다. 가상 실험에서는 지피티 5.5가 90.74점을 받았지만 실제 실험에서는 16.46점에 그쳐 모델과 물리 세계 간 격차가 드러났다. 점도가 높은 수지 액체 처리에서는 통과율이 86.9%에서 32.9%로 떨어졌고, 분광 판독 과제는 최다 통과 모델도 18회 중 12회에 머물렀다. 안전 제약 과제는 목표 달성 과정에서 한 번도 위험 영역을 침범하지 않은 사례가 0%였다. 지피티-6 아스트라는 최적화 96.53점, 안전 24.98점으로 상반된 결과를 냈다. 최종 집계에서 지피티 5.5가 41.19점으로 실제 실험 평가의 모든 항목을 채운 모델 가운데 1위였지만, 모든 능력을 앞지른 모델은 없었다. 두 사례는 같은 메시지를 던진다. 인공지능이 프로그래밍과 수학처럼 검증 가능한 영역에서 빠르게 나아가는 동안, 생물학과 재료화학에서는 시료 제조와 측정 노이즈라는 물리적 장벽이 남는다. 오픈에이아이는 긴코 바이오텍의 클라우드 실험실에 지피티-5를 연결해 무세포 단백질 합성 3만6천여 배합을 시험하고 기존 대비 단위당 비용을 40% 낮췄다고 밝혔다. 앤트로픽도 신약 개발 협업으로 모델의 한계를 확인하고 있다. 자율 실험실에서 데이터를 확보하는 피리어드 랩스는 2025년 9월 3억달러 초기 투자를 유치한 데 이어 약 70억달러 가치로 신규 투자를 논의하는 것으로 알려졌다. 인공지능이 실험 기기와 직결될수록 관건은 정답을 찾는 능력이 아니라 오류를 인지하고, 규칙을 지키며, 결과를 반복 개선하는 능력이다. 미국 제네시스 미션과 중국의 인공지능 기반 연구 방식 전환 정책 등 국가 단위 연구 인프라 통합이 진행되면서, 실험 실패와 노이즈를 데이터로 축적하는 가상 실험과 실제 검증 결합, 안전 제약의 상시 평가가 향후 모델 개선의 열쇠가 될 전망이다.