我们报告了GPT-4的开发进展，这是一种大规模、多模态模型，能够接受图像和文本输入并生成文本输出。尽管在许多现实场景中其能力仍不及人类，但GPT-4在各种专业和学术基准测试中表现出接近人类水平的性能，包括在模拟律师资格考试中取得了前10%考生的成绩。GPT-4是一种基于Transformer架构的模型，预训练目标是预测文档中的下一个标记。通过后训练对齐过程，该模型在事实性和遵循期望行为方面的表现得到了显著提升。该项目的核心组成部分之一是开发能够在广泛规模范围内表现出可预测性的基础设施和优化方法。这使得我们能够根据计算量不超过GPT-4的千分之一的模型来准确预测GPT-4某些方面的性能。