11 天前

场景文本识别中的上下文感知并行解码器

Yongkun Du, Zhineng Chen, Caiyan Jia, Xiaoting Yin, Chenxia Li, Yuning Du, Yu-Gang Jiang
场景文本识别中的上下文感知并行解码器
摘要

场景文本识别(Scene Text Recognition, STR)方法在实现高精度与快速推理速度之间长期面临挑战。基于自回归(Autoregressive, AR)的模型采用逐字符的方式进行识别,虽然在准确性方面表现优异,但推理速度较慢;而基于并行解码(Parallel Decoding, PD)的模型则能在单次解码过程中同时预测所有字符,显著提升了推理效率,但通常在准确性上有所妥协。本文首先对STR中的AR解码机制进行了实证研究,发现AR解码器不仅能够建模语言上下文,还能有效引导视觉上下文的感知。基于此发现,我们提出一种新型的并行解码架构——上下文感知并行解码器(Context Perception Parallel Decoder, CPPD),用于在一次并行解码过程中完成字符序列的预测。CPPD引入两个核心模块:字符计数模块(character counting module),用于推断每个字符的出现次数;字符排序模块(character ordering module),用于推断与内容无关的阅读顺序及占位符位置。随后,字符预测任务将占位符与具体字符进行关联,从而构建出完整的识别上下文。我们构建了一系列CPPD模型,并将所提出的模块集成到现有的STR解码器中进行验证。在英文与中文基准数据集上的实验结果表明,CPPD模型在保持高度竞争性识别精度的同时,推理速度相较其AR基线模型提升了约8倍。此外,将所提模块“插入”至现有STR解码器后,也显著提升了模型的识别准确率。相关代码已开源,详见:https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/doc/doc_en/algorithm_rec_cppd_en.md。

场景文本识别中的上下文感知并行解码器 | 最新论文 | HyperAI超神经