MiniCPM-V 4.5: 最も強力なエッジツーエッジマルチモーダルモデル

1. チュートリアルの概要

MiniCPM-V 4.5は、清華大学自然言語処理研究所とMianbi Intelligenceが2025年8月にオープンソース化した、極めて効率的な大規模エンドサイドモデルです。MiniCPM-V 4.5は80億個のパラメータを有し、画像、動画、OCRなど多くの分野で優れた性能を発揮し、特に高リフレッシュレート動画の理解において顕著です。高リフレッシュレート動画を処理し、コンテンツを正確に識別できます。また、ハイブリッド推論モードをサポートし、パフォーマンスと応答速度のバランスをとっています。MiniCPM-V 4.5は、エンドサイドでの展開が容易で、ビデオメモリの使用量が少なく、推論速度が速いため、車載コンピュータ、ロボットなどのデバイスへの応用に適しており、エンドサイドAI開発の新たなベンチマークとなります。関連論文は以下の通りです。MiniCPM-V: スマートフォンで動作する GPT-4V レベルの MLLM”。

このチュートリアルで使用されるコンピューティング リソースは、単一の RTX 4090 カードです。

2. エフェクト表示

イメージ理解

複数画像の比較

OCRテキスト抽出

ビデオの理解

3. 操作手順

1. コンテナを起動します

2. 使用手順

「Bad Gateway」と表示される場合、モデルが初期化中であることを意味します。モデルが大きいため、2〜3分ほど待ってページを更新してください。

4. 議論

🖌️ 高品質のプロジェクトを見つけたら、メッセージを残してバックグラウンドで推奨してください。さらに、チュートリアル交換グループも設立しました。お友達はコードをスキャンして [SD チュートリアル] に参加し、さまざまな技術的な問題について話し合ったり、アプリケーションの効果を共有したりできます。

引用情報

このプロジェクトの引用情報は次のとおりです。

@article{yao2024minicpm,
  title={MiniCPM-V: A GPT-4V Level MLLM on Your Phone},
  author={Yao, Yuan and Yu, Tianyu and Zhang, Ao and Wang, Chongyi and Cui, Junbo and Zhu, Hongji and Cai, Tianchi and Li, Haoyu and Zhao, Weilin and He, Zhihui and others},
  journal={arXiv preprint arXiv:2408.01800},
  year={2024}
}