microgpt 是一个由单个 200 行纯 Python 脚本构成的极简 GPT 实现，不依赖任何外部库，完整包含了训练和推理一个类 GPT-2 模型所需的全部核心算法：数据集、分词器、自动微分引擎、神经网络架构、Adam 优化器、训练循环和推理循环。它将大型语言模型的本质浓缩到极致，是作者多年探索“将 LLM 简化到最本质”的成果。 项目使用 32,000 个英文名字作为训练数据，每行一个名字。通过一个极简的字符级分词器，将每个字母映射为唯一整数 ID，外加一个特殊标记 BOS（序列开始），构建了 27 个词元的词汇表。模型目标是学习名字的统计规律，并生成新的、听起来合理的“幻觉”名字。 核心是自定义的 Value 类，实现了自动微分（autograd）系统。每个数值节点记录其计算过程和局部梯度，通过链式法则反向传播，计算损失对每个参数的梯度。这一机制与 PyTorch 的 backward() 原理一致，但以标量形式实现，逻辑清晰、易于理解。 模型采用 GPT-2 架构简化版：嵌入层（token + 位置）、多头注意力（Multi-head Attention）、MLP 块、残差连接和 RMS 归一化。注意力机制允许当前 token 关注前面所有位置的信息，是模型“记忆”上下文的关键。KV 缓存被显式维护，用于在训练和推理中逐步积累上下文。 训练过程通过逐个 token 前向传播、计算交叉熵损失（负对数概率）、反向传播梯度，再使用 Adam 优化器更新参数完成。经过约 1000 步训练，损失从随机猜测时的约 3.3 降至 2.37，表明模型已开始捕捉名字的统计模式。 推理阶段，从 BOS 开始，模型逐个预测下一个 token，通过 softmax 和温度采样生成新名字。例如可生成 “karia”、“mirella” 等合理的新名字。温度参数控制生成的随机性：越低越保守，越高越多样。 尽管 microgpt 仅 4,192 个参数，远小于 GPT-2 的 16 亿，但其结构完整保留了现代 LLM 的核心思想：注意力用于通信，MLP 用于计算，残差连接稳定训练，逐 token 生成是统一范式。 与真实大模型的差距在于：数据规模（万亿级文本）、子词分词（如 BPE）、GPU 并行计算、混合精度训练、分布式优化、后训练（SFT + RLHF）、推理加速（量化、批处理、KV 缓存管理）等工程与研究创新。但这些只是效率和规模的提升，算法本质未变。 因此，理解 microgpt，就等于理解了 GPT 的“灵魂”：一个基于统计规律、通过梯度下降学习文本序列模式的数学函数。它不“理解”语言，但能生成看似合理的内容。所谓“幻觉”，不过是模型根据训练数据分布做出的高概率预测。 该项目提供从 train0.py 到 train5.py 的逐步构建版本，适合学习者一层层理解 GPT 的构成。它不仅是技术演示，更是一种对 AI 本质的哲学表达：最复杂的智能，可能源于最简洁的规则。