Microsoft は GitHub にて、1 ビット大規模言語モデル（LLM）専用の公式推論フレームワーク「BitNet.cpp」をリリースしました。このフレームワークは CPU および GPU 上で 1.58 ビットモデルの高速かつ精度を損なわない推論を実現するもので、将来的には NPU へのサポートも予定されています。初期リリースでは CPU 環境に重点を置いており、ARM 型プロセッサでは 1.37 倍から 5.07 倍、x86 型プロセッサでは 2.37 倍から 6.17 倍の速度向上を達成しました。さらに、エネルギー消費量は ARM で 55.4% から 70.0% 削減され、x86 では 71.9% から 82.2% 削減され、全体のエコノミーが大幅に向上しています。特に注目すべき点は、1000 億パラメータの BitNet b1.58 モデルが単一の CPU だけで実行可能であり、その速度は人間の読書速度に匹敵する 1 秒あたり 5 から 7 トークンと報告されています。これにより、ローカルデバイスでの LLM 運用の可能性が広がりを見せています。最新の最適化により、並列カーネル実装と設定可能なタイルリング、埋め込み量子化サポートが導入され、以前のバージョンに対しさらに 1.15 倍から 2.1 倍の速度改善が実現しています。このプロジェクトは、オープンソースコミュニティに貢献する llama.cpp フレームワークを基盤としており、T-MAC で確立されたルックアップテーブル技術を活用しています。Hugging Face 上には既に BitNet b1.58 や Llama3、Falcon3 などの 1 ビットモデルが公開されており、BitNet.cpp で即座に利用可能です。インストールはリポジトリのクローンと依存関係の構築から始まり、モデルの選択、推論パラメータの設定、推論実行などがコマンドラインから簡便に行えます。開発チームは、本リリースが大規模な文脈での 1 ビット LLM の開発を促進し、モデルサイズや学習トークンの拡大を促すことを期待しています。