HyperAIHyperAI

Command Palette

Search for a command to run...

神経形态脈衝モデルで実現した高効率・可解釈な大語言モデル:脳の仕組みから学ぶAIの次世代設計

中国科学院自動化研究所の李国齊(リ・ゴージー)・徐波(シュ・ボー)研究チームが、『National Science Review』に論文『Neuromorphic Spike-based Large Language Model』を発表し、人間の脳の働きを模倣した神経形状脈衝大言語モデル(NSLLM)の構築に成功した。この研究は、大言語モデル(LLM)の高いエネルギー消費と意思決定の不透明性という課題に、神経科学の知見を活用して対応する画期的なアプローチを提示した。 従来のLLMは、膨大な計算リソースを要し、推論時の電力消費が高いため、持続可能なインフラとしての展開に制限がある。一方、人間の脳は20ワット未満の低消費電力で高度な認知処理が可能であり、その効率性と可解釈性はAI開発の新たな指針となる。NSLLMは、神経科学の「スパイク信号(脈動)」の概念を採用し、整数出力・二値スパイク変換、スパイク線形アテンション機構を導入。これにより、従来のLLMの演算を神経形態的処理に変換。特に「整数学習・二値推論」の新規フレームワークにより、モデルの出力を脈動形式に変換し、神経動力学的手法で情報処理プロセスを解析可能にした。 実装面では、FPGAプラットフォーム上で10億パラメータ規模のMatMul-Free(行列乗算不要)ハードウェアコアを設計。逐層量子化と感度評価により最適な混合時間ステップ脈動モデルを構築。さらに、膜電位分布の調整と量子化補助スパース戦略により、スパイク発生率を低減。VCK190 FPGA上では、動的消費電力を13.849Wまで抑制し、推論スループットは161.8 token/sに達した。A800 GPUと比較して、能効率・メモリ使用量・スループットがそれぞれ19.8倍、21.3倍、2.2倍向上した。 可解釈性の観点では、NSLLMのスパイク列を神経動力学指標(Kolmogorov-Sinaiエントロピー、Shannonエントロピー、相互情報量)で分析。含みのあるテキスト処理では中間層の相互情報量が上昇し、特定層(AS層、FS層)が情報処理の役割を明確に示した。これにより、モデルの内部動作が生物学的に解釈可能となり、データ依存性の低減も実現した。 本研究は、中国科学院自動化研究所、天橋脳科学研究院、北京智源AI研究院、清華大学、北京大学、加利福ニア大学、香港理工大学、超威半導体(AMD)、陸兮科技、宁波大学など複数機関との共同研究成果。NSLLMは、次世代神経形態チップ設計の基盤となるだけでなく、AIの効率性と透明性の両立を実現する新たな道筋を示した。

関連リンク

神経形态脈衝モデルで実現した高効率・可解釈な大語言モデル:脳の仕組みから学ぶAIの次世代設計 | 人気の記事 | HyperAI超神経