Command Palette
Search for a command to run...
Llama 3 モデル群
Llama 3 モデル群
概要
現代の人工知能(AI)システムは、基盤モデル(foundation models)によって駆動されている。本論文では、Llama 3と呼ばれる新しい基盤モデルのセットを紹介する。Llama 3は、多言語対応、コード生成、推論、ツール利用をネイティブにサポートする言語モデルの群(herd)である。当該モデル群の最大規模のモデルは、4050億パラメータを有する密接なTransformer(dense Transformer)であり、最大128,000トークンのコンテキスト窓を備えている。本論文では、Llama 3について広範な実証的評価を実施した。その結果、GPT-4をはじめとする先進的な言語モデルと比較して、多数のタスクにおいて同等の性能を発揮することが明らかになった。本研究では、4050億パラメータの言語モデルの事前学習済みおよび微調整済みバージョン、および入出力の安全性を確保するためのLlama Guard 3モデルを、公開している。また、合成的(compositional)アプローチを用いて、Llama 3に画像、動画、音声処理機能を統合する実験の結果も提示する。その結果、画像・動画・音声認識タスクにおいて、最先端の性能と競合する成果が得られた。ただし、これらの統合モデルは現時点では開発中であるため、広く公開はされていない。