メタAIがオープンソース大型言語モデルの最新版「Llama 4」を発表し、ネイティブマルチモダリティの導入により大きな進歩を遂げた。この新モデルは単なるアップグレードではない。早期統合という斬新的な設計手法によって、テキスト、画像、ビデオなどをシームレスに処理・統合する能力を持ち、深い推論と視覚・言語タスク間での統一された扱いを実現した。 建築構造の進化：ネイティブマルチモダリティへのチャレンジ Llama 4の最も顕著な特徴は、ネイティブマルチモダルアーキテクチャであり、テキストと視覚情報を核心部分で統合して学習・推論を行う「早期統合」が導入された。従来の後方融合モデルでは、テキスト処理に加えて視覚理解を後から追加していたのに対し、Llama 4では視覚と言語のトークンを同じモデルバックボーンに最初から組み込むことで、多様なモダリティ間での共通表現を形成し、より流動的かつ文脈感応型の推論を可能にしている。 これに加え、Llama 4は独自のビジョンエンコーダーを導入。MetaCLIPを基盤としつつ独立して凍結されたLLMバックボーンと共に訓練され、視覚入力がテキストトークンとともに共有された潜在空間にシームレスに埋め込まれるよう設計されている。 エキスパートの混合（Mixture of Experts: MoE）：効率的なスケーリング Llama 4では初めてMixture of Experts (MoE) モデルが導入され、計算資源を効率的に利用しながら、大容量のアーキテクチャを実現した。従来の密集型モデルでは、全てのパラメータが各トークンの処理時に活性化され、モデルサイズが大きくなるにつれてリソース使用量が急増する。MoEでは、一部のエキスパートだけが各トークンに対して活性化されるため、推論の効率性が大幅に向上する。 例として、Llama 4 Maverick は固定のトレーニング計算リソースで高品質な結果を出すだけでなく、単一のNVIDIA H100 DGXノードまたは複数のホストに分散して推論を行うことが可能で、大規模なモデルを実際の環境でサービス提供しやすくなっている。 意思決定のための巨大コンテキストウィンドウ（10Mトークン） Llama 4 Scout の最大の革新点は、1000万トークンまでの長さを持つコンテキストを処理できる点である。これは直接1000万トークンでトレーニングされたわけではなく、长度一般化技術と高度なアーキテクチャイノベーションによって達成された。評価では、長期コンテキストタスクでの優れた性能が示されており、Llama 4 Scout は新たな長文処理の基準を設定している。 無責任さ、保護、および偏見 Llama 4のような強力なAIモデルを開発することは大きな責任を伴う。メタはパーソナライズされたresponsable AI体験の提供に全力を尽くしており、具体的な新しい安全対策は明示されていないものの、これまでの世代で実施されたセキュリティワークに基づいている。これには有害なコンテンツのフィルタリングや、偏見の削減、透明性の向上、ユーザーのプライバシー保護などが含まれる。 業界関係者のコメントと会社概要 Llama 4の発表により、AI開発者コミュニティは、次世代マルチモダルAIアプリケーションを探索するための強力な新ツールを手に入れた。Llama 4は、大規模なデータセットと革新的なアーキテクチャを活用し、テキストと視覚情報を統合した高度な処理性能を持つことで、AIの世界に新たな可能性をもたらす。メタAIは、これら最新の技術を用いて、 Responsible AI 開発に向けた取り組みを引き続き進めることを示しており、開発者たちからの注目を集めている。