視覚言語モデル（VLMs）は、画像とテキストの両方を入力として受け取り、テキストで応答する強力なAIモデルです。これにより、ドキュメントや画像から視覚的情報を効果的に抽出できるようになります。特に、新しくリリースされた「Qwen3-VL」は、235B、30B、4B、8Bの複数のバージョンが提供されており、用途に応じた柔軟な利用が可能です。本記事では、VLMsの利点と実用例、特にQwen3-VLを用いたOCRと情報抽出の具体例を紹介し、その限界も併せて解説します。 従来のドキュメント処理では、OCR（文字認識）でテキストを抽出し、それをLLMに送る方法が主流でした。しかし、このアプローチには限界があります。小文字、回転した画像、縦書きテキストなど、OCRが苦手とする状況が多く、誤認識が発生します。さらに、チェックボックスや図形の位置情報といった視覚的な構造は、OCRでは失われ、結果として意味の判断が困難になります。例えば、チェックされた項目を特定するタスクでは、OCR＋LLMでは「どのテキストがチェックされたか」を正確に判断できませんが、VLMは画像全体を理解できるため、簡単に正解を導き出せます。実際に、Qwen3-VLにチェックボックス付きの画像を提示したところ、「ドキュメント1」と「ドキュメント3」がチェックされていると正確に回答しました。 また、VLMは動画理解にも応用可能です。動画のフレームを複数枚の画像として入力することで、視覚的な情報の解析が可能になります。これはOCRでは到底実現できない領域です。 実際のテストでは、ノルウェー・オスロ市議会の計画図を用いて、Qwen3-VLが画像内のすべてのテキストを正確に抽出することを確認しました。さらに、日付、住所、尺度などのメタデータをJSON形式で抽出するタスクでも、存在しない項目（例：Bnr）については「None」と返答し、誤った情報の生成を避けていることが確認されました。 一方で、VLMには課題もあります。画像が複雑になると、一部のテキストを完全に見逃すケースがあり、これは重大な情報損失につながるリスクがあります。また、処理に必要なリソースが大きく、高解像度の画像を扱うには高性能なハードウェアが必要です。 結論として、VLMはテキストモデルに加え、視覚情報の理解を可能にする次世代AIの鍵です。特に、画像とテキストの関係性が重要なドキュメント処理では、OCR＋LLMよりも圧倒的に優れた結果を出すことが期待されます。今後、VLMの進化は、情報抽出や自動化の分野に大きな影響を与えるでしょう。