1ビットで動作する世界初のLLM「BitNet」が登場

1ビットLLM：BitNetの登場 最近、大規模言語モデル（LLM）の人気が高まっていますが、これらは通常、数百億ものパラメータを持ち、デバイスでの利用には大変重くて大きな問題となっています。具体的には、100億のパラメータがあり、それぞれ16ビットや32ビットで保存されているため、モデル自体をただ保管するだけで200GB近くのメモリが必要になります。 そこで、新しい解決策が提案されました。BitNetは、初めてのオープンソースでネイティブに1ビットで訓練された20億パラメータスケールの大型言語モデルです。これにより、モデルのサイズが大幅に小さくなり、一般的なデバイスでも軽快に動作することが期待されます。 「ネイティブ」1ビットモデルとは、モデルが最初から1ビットの精度で訓練されたことを意味します。これに対し、従来の「1ビット」LLMは訓練後に1ビット量子化が適用されたもので、本来の「ネイティブ」1ビットとは言えません。 BitNetの登場は、大規模言語モデルが日常のデバイスにもっと広く普及する可能性を示しています。詳細については、こちらの記事を無料で全文お読みいただけます。