中国首款国产类脑脉冲大模型“瞬悉1.0”问世，实现超长序列推理效率百倍提升

중국과학기술원 자동화연구소 리궈치, 쑨보 연구팀이 머신러닝의 새로운 패러다임을 제시하는 ‘순시1.0(SpikingBrain-1.0)’을 개발해 공개했다. 이 모델은 뇌의 신경세포 내부 복잡한 동작 메커니즘을 모방한 ‘내생 복잡성’ 이론을 기반으로 하며, 기존의 트랜스포머 기반 모델의 한계를 극복한 클래스 브레인 스파이크 대규모 모델이다. 연구팀은 메이시(Muxi)의 메타엑스(MetaX)와 협력해 국내 카드급 GPU 기반 플랫폼인 메이시 메타엑스 시윈 C550에서 전 과정을 완성했으며, 초장문 입력 처리에서 수십 배에 달하는 성능 향상을 달성했다. 기존 트랜스포머 모델은 시퀀스 길이 증가에 따라 계산 비용이 제곱급으로 증가하고, 메모리 사용도 선형 증가해 장문 처리에 한계가 있다. 반면 ‘순시1.0’은 뉴런의 내재적 동역학과 선형 주의 메커니즘의 수학적 연결을 밝혀내며, 신경세포의 수용체 계산을 모델링한 새로운 구조를 제안했다. 이는 모델의 복잡성과 성능을 지속적으로 끌어올릴 수 있는 새로운 기술적 길을 열었다. 이 모델은 7B 및 76B 규모의 두 가지 버전을 개발했으며, 7B 모델은 전통적 모델의 2% 수준의 데이터로도 MMLU, CMMLU, Ceval, ARC 등 다양한 언어 이해 및 추론 과제에서 경쟁 수준의 성능을 보였다. 특히 추론 단계에서 스파이크 신호의 이벤트 기반 특성을 활용해, 100만 토큰 길이에서 첫 토큰 생성 시간(TTFT)을 트랜스포머 대비 26.5배 빠르게 처리했고, 400만 토큰에서는 100배 이상 빨라졌다. 스마트폰 CPU에서도 64k~256k 길이의 입력에서 Llama3.2 대비 4~15배 빠른 추론이 가능했다. 또한, 동적 임계값 기반의 다층 희소화 전략과 혼합 전문가 모델(MoE)을 결합해 7B 모델에서 69.15%의 희소성과 1.85%의 스파이크 비율을 달성해 저전력 운영에 적합한 구조를 확보했다. 이는 법적 문서, 의학 기록, 유전자 분석, 고에너지 물리 실험 등 초장문 시퀀스 처리가 필요한 분야에 큰 잠재력을 지닌다. 연구팀은 모델 코드, 기술 보고서(중·영문), 테스트 웹사이트를 공개하며, 국내 GPU 기반의 비트랜스포머 대규모 모델 생태계 구축의 가능성을 입증했다. 이는 중국이 신형 인공지능 아키텍처와 하드웨어 인프라를 자립적으로 구축하는 데 중요한 전환점이 되었다.