HyperAIHyperAI

Command Palette

Search for a command to run...

アリア:オープンなマルチモーダルネイティブ・ミクスチャーオブエキスパートモデル

Dongxu Li Yudong Liu Haoning Wu Yue Wang Zhiqi Shen Bowen Qu Xinyao Niu Guoyin Wang Bei Chen Junnan Li

概要

情報は多様なモダリティ(形態)で存在する。現実世界の情報を統合し、包括的な理解を提供するためには、マルチモーダルネイティブAIモデルが不可欠である。既にプロプライエタリなマルチモーダルネイティブモデルは存在するが、その非公開性が導入やカスタマイズの障壁となっている。このギャップを埋めるため、我々はAriaを発表する。Ariaは、広範なマルチモーダル、言語、コーディングタスクにおいて、業界最高水準の性能を発揮するオープンなマルチモーダルネイティブモデルである。Ariaは「エキスパートの混合(Mixture-of-Experts)」アーキテクチャを採用しており、視覚的トークンとテキストトークンごとに、それぞれ39億(3.9B)および35億(3.5B)の有効パラメータを活性化する。このモデルは、Pixtral-12BやLlama3.2-11Bを上回り、各種マルチモーダルタスクにおいて、最良のプロプライエタリモデルと競合可能な性能を示す。Ariaは、4段階のパイプラインに従って、完全にゼロから事前学習を実施しており、段階的に言語理解、マルチモーダル理解、長文文脈窓、インストラクション対応の強力な能力をモデルに付与している。本研究では、Ariaのモデル重みをオープンソース化するとともに、実世界の応用においての導入・カスタマイズを容易にするためのコードベースも公開する。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
アリア:オープンなマルチモーダルネイティブ・ミクスチャーオブエキスパートモデル | 記事 | HyperAI超神経