GPT-4の開発について報告します。これは大規模かつ多様なモーダルを扱うモデルで、画像とテキストの入力を受け取り、テキスト出力を生成することができます。現実世界の多くのシナリオでは人間より劣る能力を持っていますが、GPT-4は様々な職業的および学術的なベンチマークにおいて人間レベルの性能を示しており、模擬弁護士試験では受験者の上位10%程度のスコアを獲得しています。GPT-4は、ドキュメント内の次のトークンを予測するように事前学習されたトランスフォーマーに基づくモデルです。後学習のアライメントプロセスにより、事実性や望ましい行動への準拠などの指標での性能が向上しました。このプロジェクトの核心的な部分は、幅広いスケールで予測可能に動作するインフラストラクチャと最適化手法を開発することでした。これにより、GPT-4の計算量の1/1,000以下のモデルを使用して訓練することで、GPT-4の性能のいくつかの側面を正確に予測することが可能となりました。