MobileVLM : モバイルデバイス用の高速で強力なオープンなビジョン言語アシスタント

モバイルデバイス向けに設計された高性能なマルチモーダルビジョン言語モデル（MMVLM）であるMobileVLMを紹介します。このモデルは、1.4Bおよび2.7Bパラメータを持つ一連の言語モデル、ゼロから訓練されたマルチモーダルビジョンモデル（CLIP風に事前学習）、効率的なプロジェクターによるクロスモダリティ相互作用など、モバイル指向の多様なアーキテクチャ設計と技術を組み合わせたものです。MobileVLMの性能をいくつかの典型的なVLMベンチマークで評価しました。当社のモデルは、いくつかの大規模なモデルと同等の性能を示しています。さらに重要な点として、Qualcomm Snapdragon 888 CPUとNVIDIA Jetson Orin GPU上で推論速度を測定し、それぞれ21.5トークン/秒および65.3トークン/秒という最先端の性能を達成しました。当社のコードは以下のURLで公開されます: https://github.com/Meituan-AutoML/MobileVLM