신경 협업 그래프 머신을 이용한 표 구조 인식

최근, 딥 그래프 모델의 도움으로 표 구조 인식이 놀라운 발전을 이루었습니다. 대부분의 연구는 표 요소의 단일 시각적 신호를 활용하거나, 초기 융합을 통해 시각적 신호와 다른 모달리티를 간단히 결합하여 그래프 관계를 추론합니다. 그러나 초기 융합이나 여러 모달리티에 대한 개별적인 추론은 다양성이 큰 다양한 표 구조에 적절하지 않을 수 있습니다. 대신, 서로 다른 표 경우에 따라 다양한 패턴으로 서로 다른 모달리티가 협력해야 합니다. 학계에서는 표 구조 추론을 위한 모달리티 내외부 상호작용의 중요성에 대해 아직 탐구되지 않았습니다. 본 논문에서는 이를 이질적인 표 구조 인식(Heterogeneous Table Structure Recognition, Hetero-TSR) 문제로 정의합니다. 이러한 간극을 메우기 위해, 우리는 계층적으로 모달리티 내부 컨텍스트를 추출하고 모달리티 간 상호작용을 모델링하는 스택된 협력 블록을 갖춘 새로운 신경 협력 그래프 머신(Neural Collaborative Graph Machines, NCGM)을 제시합니다. 이 방법은 표 요소의 모달리티 내외부 관계를 더 강건하게 표현할 수 있으며, 이는 인식 성능을 크게 향상시킵니다. 또한 제안된 NCGM이 모달리티 내부 신호의 컨텍스트에 따라 서로 다른 모달리티의 협력 패턴을 조정할 수 있음을 보여주며, 이는 다양한 표 구조에서 매우 중요합니다. 벤치마크 데이터셋에서 수행한 실험 결과, 제안된 NCGM이 최고 수준의 성능을 달성하며 특히 어려운 시나리오에서 현대적인 다른 방법들보다 크게 우수함을 입증하였습니다.