HyperAI超神经

アップル、2025年基礎モデル技術報告書を発表アップルが《Apple Intelligence Foundation Language Models Tech Report 2025》の技術報告書を公開しました。これは昨年に続き、AI基礎モデルに関する重要な更新です。先日、メタが高額報酬でアップルの基礎モデルチームの責任者だった庞若鳴（Ruoming Pang）を引き抜いたことで、本報告書は彼がアップルに残した最後の重要な成果となりました。庞若鳴自身もソーシャルメディアで報告書の紹介を行い、Zhifeng Chenにチームの責任を譲りました。報告書は「端とクラウドの協調」をコンセプトにした二つのモデルの詳細を説明しています。一つは、iPhone、iPad、Macなどのアップルデバイス上で効率的に動作するため設計された30億パラメータのローカルモ델。このモデルは、アップルが自社開発したチップの性能を最大限に活用するよう深層最適化されています。もう一つは、より複雑なユーザーリクエストを処理するためにAppleのプライベートクラウド上で稼働する可変的なサーバーモデル。この二つのモデルは、パフォーマンス、効率、そしてプライバシーのバランスを取ることを目的としています。単純な作業はローカルデバイスで処理され、複雑なものだけがプライバシー保護がなされたクラウドサーバーへと送られていきます。デバイス上で効率的に動作させるための最適化アップルのエンジニアたちは、ローカルモデルの効率化のために「KVキャッシュ共有」という革新的なアーキテクチャを導入しました。モデルを2つのブロックにわけ、一方のブロックが他方から生成されたキーと値のキャッシュを直接共有することで、必要メモリが37.5%削減され、最初のトークン生成までのレスポン스타イムが大幅に短縮されました。サーバーモデルに関しては、「並列トラック型ハイブリッドエキスパート（PT-MoE）」という新たなTransformerアーキテクチャを開発。大規模なモデルを複数の小さな並列処理ユニットに分解し、各トラックが情報処理を行いますが、特定のノードでのみ同期を取ります。これにより、従来の大型モデルにおいてよく見られる通信ボトルネックが解消され、トレーニングや推論の効率が向上します。さらに、各トラック内には混合エキスパート（MoE）レイヤーが配置されており、高品質の複雑なタスクを低い遅延で処理可能となります。多 moda 能力の付与とデータの選別多 moda 能力を強めたモデルに関する技術も詳細に説明されています。サーバーモデルはViT-gを、ローカルモデルはより効率的なViTDet-Lを利用。特にローカルモデルでは、「レジスタ-ウィンドウ」メカニズムによって、画像の全体的な文脈と局所的な詳細な情報を同時に対処することが可能となっています。データ選別でもプライバシー重視の姿勢を明らかにしました。训练データの出典は出版社からの許諾、Applebotによる公開Web情報の収集、および高品質の合成データです。ユーザーの個人情報を一切使用せず、robots.txtプロトコルも遵守してウェブサイト管理者がコンテンツの使用を制限できるようにしています。報告書によると、アップルは1兆を超える高品質な画像・テキストペアと50億の合成画像キャプションデータを処理し、高度なパイプラインによるフィルタリングと品質確保が行われました。パフォーマンス評価と開発者の支援パフォーマンス評価の結果、MMLUなどのベンチマークテストで、アップルのローカルモデルはQwen-2.5-3BやGemma-3-4Bなどの同等サイズのオープンソースモデルを上回るか同じレベルの性能を発揮しました。また、サーバーモデルはLLaMA 4 Scoutと比べて優れた結果を示していますが、Qwen-3-235BやGPT-4と比較するとまだ劣る部分があります。しかし、人類評価員との並列比較では、アップルのモデルは複数の言語圏とタスクで高い評価を得ています。最後に、アップルは開発者向けの新たな「Foundation Models framework」の立ち上げも発表しました。これにより、開発者はローカルデバイス上の30億パラメータモデルを直接呼び出して利用できます。Swift言語と深く統合されたこのフレームワークは、「ガイド付き生成」機能を搭載しており、わずかなコードでモデルからStructured Swiftデータ型を生成することが可能です。アップルはフレームワーク設計に负责任AIの原則を貫き、複数の安全柵を内蔵することで、開発者がスマートかつプライバシーに配慮した次世代アプリを作成できるようにサポートしています。参照元

Related Links