在动态视频环境中对视觉-语言模型进行光学字符识别的基准测试

本文提出一个开源基准，用于评估视觉-语言模型（Vision-Language Models, VLMs）在动态视频环境下的光学字符识别（Optical Character Recognition, OCR）任务表现。我们构建了一个精心筛选的数据集，包含1,477帧经人工标注的视频画面，覆盖代码编辑器、新闻播报、YouTube视频及广告等多种应用场景。本研究将三种前沿VLM模型——Claude-3、Gemini-1.5与GPT-4o，与传统OCR系统（如EasyOCR和RapidOCR）进行对比评测。评估指标包括词错误率（Word Error Rate, WER）、字符错误率（Character Error Rate, CER）以及识别准确率。实验结果揭示了VLMs在基于视频的OCR任务中的优势与局限性，表明在多数场景下，VLMs具备超越传统OCR模型的潜力。然而，模型仍面临幻觉（hallucination）、内容安全策略限制以及对遮挡或风格化文本敏感等挑战。该数据集与基准测试框架已公开发布，旨在推动相关领域的进一步研究。