"추론-삭제"를 번갈아 사용하는 심층 사고의 새로운 패러다임(PENCIL ENables Context-efficient Inference and Learning, PENCIL이라고 함)은 2025년 3월 도요타 기술대학교 시카고 캠퍼스 박사과정생인 양첸샤오와 그의 팀이 제안했습니다. 관련 연구 결과는 논문 "연필: 짧은 기억으로 긴 생각하기", 이 연구는 ICML 2025에 포함되었습니다.

PENCIL은 최종 답을 얻을 때까지 생성 과정에서 불필요한 중간 결과를 동적으로 삭제할 수 있도록 대규모 모델을 설계하는 것을 목표로 합니다. PENCIL은 논리학의 재작성 규칙과 고전적인 자동 정리 증명, 그리고 함수형 프로그래밍 언어의 스택 프레임 메모리 관리 방식을 기반으로 설계되었습니다. PENCIL은 최적의 시간 및 공간 복잡도를 갖는 튜링 머신을 시뮬레이션하여 일반적인 공간 효율적인 계산을 수행할 수 있으며, 이를 통해 컨텍스트 윈도우 제약 조건 하에서 해결하기 어려운 임의의 계산 작업을 해결할 수 있습니다.