9日前
SPHINX-X：マルチモーダル大規模言語モデル群におけるデータおよびパラメータのスケーリング
Dongyang Liu, Renrui Zhang, Longtian Qiu, Siyuan Huang, Weifeng Lin, Shitian Zhao, Shijie Geng, Ziyi Lin, Peng Jin, Kaipeng Zhang, Wenqi Shao, Chao Xu, Conghui He, Junjun He, Hao Shao, Pan Lu, Hongsheng Li, Yu Qiao, Peng Gao
要約
我々は、SPHINXを基盤として開発された広範なマルチモーダル大規模言語モデル（MLLM）シリーズ「SPHINX-X」を提案する。アーキテクチャおよび学習効率の向上を図るため、冗長な視覚エンコーダを削除し、スキップトークンを用いて完全にパディングされた部分画像をバイパスする仕組みを導入するとともに、複数段階の学習プロセスを単一段階の「ワンステップ・オールインワン」パラダイムに簡略化した。MLLMの潜在能力を最大限に引き出すために、言語、視覚、視覚言語タスクにおける公開リソースを網羅する包括的なマルチドメイン・マルチモーダルデータセットを構築した。さらに、独自に収集・整備したOCR集約型データセットおよびSet-of-Markデータセットを追加することで、データの多様性と汎用性をさらに拡張した。TinyLlama 1.1B、InternLM2-7B、LLaMA2-13B、Mixtral 8x7Bといった異なるベースとなる大規模言語モデル（LLM）を用いて学習を実施することで、パラメータ数や多言語対応能力に差異を持つ多様なMLLMの生成を実現した。包括的なベンチマーク評価から、マルチモーダル性能とデータ量・パラメータ規模の間に強い相関関係が確認された。コードおよびモデルは、https://github.com/Alpha-VLLM/LLaMA2-Accessory にて公開されている。