AI의 자책이 더 나은 판단을 만든다: 신뢰도 기반 추론으로 계산 비용 85% 절감

대규모 언어모델(LLM)이 수학 올림피아드 문제나 복잡한 논리 퍼즐을 풀 수 있는 능력을 갖추고 있지만, 현재는 테스트 시 계산 비용이 막대하고 효율성이 낮다는 문제가 있다. 메타 AI 연구팀은 이를 해결하기 위해 ‘딥컨프(DeepConf)’라는 새로운 기술을 개발했다. 이 기술은 모델이 스스로의 확신 수준을 평가해 신뢰할 수 없는 추론 경로를 조기에 제거함으로써 계산 자원을 대폭 절약한다. 기존의 ‘자기 일관성 다수결’ 방식은 수백 개의 추론 경로를 생성하고 가장 흔한 답을 선택하지만, 이 과정에서 낮은 품질의 추론이 많을 경우 성능이 오히려 저하된다. 딥컨프는 각 토큰의 확률 분포를 분석해 신뢰도를 측정하고, 추론 중간에 낮은 확신이 감지되면 즉시 그 경로를 중단한다. 이를 통해 테스트 시 계산량을 최대 84.7% 줄일 수 있다. 특히 AIME 2025 기준, GPT-OSS-120B 모델이 딥컨프를 사용하면 99.9%의 정확도를 기록하며, 기존 다수결 방식(97.0%)보다 뛰어나고 단일 추론(91.8%)과 비교해도 압도적이다. 이는 ‘더 많은 계산’이 아니라 ‘더 현명한 판단’이 성능을 좌우함을 보여준다. 딥컨프는 오프라인(모든 추론 생성 후 필터링)과 온라인(실시간 확신 평가로 조기 중단) 두 가지 모드로 작동하며, AI의 자가 점검 능력을 통해 효율성과 정확도를 동시에 끌어올린다. 이는 AI가 더 지능적으로, 동시에 경제적으로 생각할 수 있는 길을 열어준다.