大規模言語モデル（LLM）における量子化（Quantisation）は、モデルの重みをより低い精度で表現することで、モデルのサイズを縮小し、処理速度を向上させ、ハードウェアリソースを節約する技術である。たとえば、32ビット浮動小数点数（FP32）から8ビット整数（INT8）に変換することで、メモリ使用量を約4分の1に削減しつつ、精度の低下は最小限に抑えられる。この効果は、LLMの巨大なパラメータ数と高いハードウェア要件に対応する上で極めて重要である。 量子化は主に2つのアプローチに分けられる。1つはトレーニング時に行う「量子化対応トレーニング（Quantisation Aware Training: QAT）」であり、モデルが量子化された状態で学習を進めるため、精度の低下を事前に最小化できる。一方、トレーニング後に適用する「トレーニング後量子化（Post-Training Quantisation: PTQ）」は、既存モデルに対して簡単に適用可能で、実用性が高い。PTQには、代表的な手法として、代表値によるスケーリング（Symmetric/Asymmetric Quantisation）、アドホックなスケーリング（Per-channel Quantisation）、およびデータ駆動型のスケーリング（Dynamic Range Quantisation）などがある。 さらに、精度と効率のバランスを追求する進化形として、知識蒸留（Knowledge Distillation）と組み合わせた量子化や、非線形量子化（Non-uniform Quantisation）といった手法も開発されている。これらの技術は、特にエッジデバイスやモバイル環境でのLLM実装に不可欠である。 量子化の選定は、用途に応じて最適なトレードオフを求める必要がある。QATは精度を維持したい場合に有効だが、再学習が必要なためコストがかかる。一方、PTQは迅速に適用可能で、多くの実用的なケースで十分な性能を発揮する。近年では、PTQの改良版である「Quantisation-Aware Fine-tuning（QAT-Finetuning）」も注目されており、微調整を加えることで、精度低下をさらに抑制する効果が期待できる。 結論として、量子化はLLMの実用化を支える基盤技術であり、開発者はモデルの用途、ハードウェア制約、精度要件に応じて、適切な量子化戦略を選定することが求められる。