Lijun Liu Ruiyang Li Zhaocheng Liu Chenglin Zhu Chong Li Jiehan Cheng Qiang Ju Jian Xie

초록

시각적 정보 추출(Visual Information Extraction, VIE)은 비정형 문서 이미지를 JSON과 같은 정형 형식으로 변환하는 기술로, 의료 보고서 분석 및 온라인 상담 등 의료 응용 분야에서 매우 중요합니다. 전통적인 방법은 OCR(Optical Character Recognition) 및 언어 모델에 의존하지만, 엔드투엔드 다중모달 모델은 직접 JSON 생성을 제공합니다. 그러나 도메인 특화 스키마와 높은 주석 비용이 의료 VIE에서 이들의 효과를 제한하고 있습니다.우리는 이러한 문제들을 해결하기 위해 검증 가능한 보상(Verifiable Rewards)을 활용한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR) 프레임워크를 기반으로 100개의 주석된 샘플만을 사용하여 접근했습니다. 우리의 접근 방식은 데이터셋 다양성 확보, 환영 현상을 줄이고 필드 커버리지를 개선하기 위한 균형 잡힌 정밀도-재현율 보상 메커니즘, 그리고 추론 능력을 향상시키기 위한 혁신적인 샘플링 전략을 포함합니다.Qwen2.5-VL-7B를 우리의 RLVR 방법으로 미세 조정(fine-tuning)하여 의료 VIE 작업에서 최고 수준의 성능을 달성했습니다. 특히 F1 점수, 정밀도, 재현율이 크게 향상되었습니다. 우리 모델들은 의료 데이터셋과 유사한 작업에서는 우수한 성능을 발휘하지만, 유사하지 않은 작업에서는 성능이 저하되는 경향이 있어 도메인 특화 최적화의 필요성을 강조하고 있습니다.케이스 연구는 또한 훈련 및 추론 과정에서 추론의 가치를 입증하며, VIE에 대한 중요한 통찰력을 제공합니다.