スタンフォード大学の CS336 コースは、大規模言語モデルをゼロから開発する過程を学ぶ実践的な科目です。現代の自然言語処理の基盤である言語モデルの構築において、データ収集・クリーニング、トランスフォーマーモデルの設計、学習、評価、そしてデプロイに至るまでの全工程を学生自身が体験できます。この授業は、OS カリキュラムがオペレーティングシステムを丸ごと構築するアプローチに触発されており、単なる理論の習得ではなく、コード量も他の AI 授業より桁違いに多い実装中心の学びを提供します。受講には高度な Python プログラミング能力と、Deep Learning、システム最適化、線形代数、確率統計、機械学習の基礎知識が必須です。特に、GPU や複数マシンを活用したニューラルネットワークの高速化や効率化を扱うため、PyTorch の深い理解とメモリ階層などのシステム概念の習得が求められます。授業は全 18 回程度で構成され、トークン化、アーキテクチャ設計、アテンション機構、並列化、スケーリング則、推論、データ処理、そしてサードパーティ製コードの排除や RLHF などの微調整技術までを幅広くカバーします。学生は CPU で実装の正しさを検証した後に GPU を用いて訓練を実行するなど、効率的な学習ワークフローを推奨されます。ハイレベルな概念の質問や低レベルなプログラミングの助けについては LLM の使用が許容されていますが、課題の直接解決や AI 自動補完ツールの使用は深層的な学習の妨げになるため禁止されています。また、既存のコードを参照することも、指定がない限り禁止されており、手渡された資料だけで完結する自己完結型の課題が用意されています。授業スケジュールは 3 月 30 日の概説から始まり、6 月 3 日の最終課題提出まで続き、中間に休日や特別講義が組み込まれています。計算資源についてはスポンサーである Modal による提供があり、自宅学習を行う学生もクラウドプロバイダーを利用できるようになっています。この 5 単位の科目は実装が重く、十分な時間の確保が求められます。