CogVLM: プレトレーニング言語モデルのための視覚的エキスパート

私たちは強力なオープンソースの視覚言語基盤モデルであるCogVLMを紹介します。一般的な浅いアライメント手法とは異なり、この手法は画像特徴を言語モデルの入力空間にマッピングするものですが、CogVLMは注意層とFFN層に学習可能な視覚専門モジュールを導入することで、事前学習済みの固定された言語モデルと画像エンコーダーの間のギャップを埋めます。その結果、CogVLMはNLPタスクの性能を犠牲にすることなく、視覚言語特徴の深い融合を可能にします。CogVLM-17BはNoCaps、Flicker30kキャプショニング、RefCOCO、RefCOCO+、RefCOCOg、Visual7W、GQA、ScienceQA、VizWiz VQAおよびTDIUCなど10つの古典的なクロスモーダルベンチマークで最先端の性能を達成し、VQAv2やOKVQA、TextVQA、COCOキャプショニングなどで2位となりました。これらの結果はPaLI-X 55Bを超えるか同等となっています。コードとチェックポイントはhttps://github.com/THUDM/CogVLMで利用可能です。