ITER: 반복형 트랜스포머 기반 엔티티 인식 및 관계 추출

텍스트에서 구조화된 정보를 추출할 때 엔티티 인식과 관계 추출은 필수적인 과정이다. 최근 두 작업에서의 기술 발전은 정보를 자동 회귀적(auto-regressive) 방식으로 구조화된 형태로 표현하는 방식을 채택하고 있으나, 이는 시간이 오래 걸리고 계산 자원을 많이 소모하는 방식이다. 이에 따라 자연스럽게 제기되는 질문은, 유사한 성능을 달성하기 위해 자동 회귀적 방법이 반드시 필요할까 하는 것이다. 본 연구에서는 이 문제를 해결하기 위해, 관계 추출 작업을 세 단계의 병렬 처리 가능한 과정으로 수행하는 효율적인 인코더 기반 모델인 ITER를 제안한다. 이 모델은 최근의 언어 모델링 접근 방식을 크게 가속화하며, 단일 소비자용 GPU에서 대규모 모델 기준으로 초당 600건 이상의 추론 처리량(inference throughput)을 달성한다. 또한, 관계 추출 데이터셋인 ADE와 ACE05에서 최신 기준(SOTA, State-of-the-Art) 성능을 달성하였으며, GENIA 및 CoNLL03에서의 명명된 엔티티 인식(NER), 그리고 SciERC 및 CoNLL04에서의 관계 추출 작업에서도 경쟁력 있는 성능을 입증하였다.