HyperAIHyperAI

Command Palette

Search for a command to run...

ボンサイ27B発表、スマホ動作初モデル

PrismMLがスマートフォンのメモリ制約を突破し、27B規模マルチモーダルAI「Bonsai 27B」の提供を開始した。カリフォルニア工科大出身チームが開発する本モデルはQwen3.6 27Bを基盤とし、1ビットおよび3値量子化技術を採用し、従来クラウドに依存していた高度な推論を端末内で実行可能にした。 1ビット版は実効重み1.125ビット、容量3.9GBでiPhone 17 Proのメモリ帯域に収まるよう設計され、ターナリ版は1.71ビット、5.9GBでラップトップ運用に最適化される。両バージョンともネットワーク全体で完全量子化を実現し、4ビット圧縮ビジョンタワー、262Kトークンコンテキスト、speculative decodingに対応する。 ベンチマーク15項目で1ビット版は完全精度モデルの90%、ターナリ版は95%を維持。数学、コーディング、ツール呼び出しの保持率が顕著で、自律型エージェントの実用化を裏付ける。1GBあたり0.53の知能密度を達成し、RTX 5090で最大163 tok/s、M5 Maxで87 tok/sを記録する。 端末内処理により複数ステップのエージェント操作コストを抑制し、機密データのローカル保持とオフライン動作を両立する。これによりプライバシー要求タスクを端末側で処理するハイブリッドアーキテクチャの構築を促進する。Bonsai 27BはMLXおよびCUDA対応、Apache 2.0ライセンスで公開され、期間限定のAPIを提供している。

関連リンク