현재 최신의 관계 추출 방법은 일반적으로 사전 처리 단계에서 명시적으로 계산된 일련의 어휘적, 구문적, 및 의미적 특징에 의존합니다. 특징 추출 모델을 학습시키는 것은 추가로 주석이 달린 언어 자원을 필요로 하며, 이는 새로운 언어에 대한 관계 추출의 적용성과 이식성을 크게 제한합니다. 또한, 사전 처리는 추가적인 오류 원인을 도입합니다. 이러한 제한을 해결하기 위해, 우리는 OpenAI 생성事前訓練変換器 [Radford 등, 2018]를 확장한 TRE (Transformer for Relation Extraction)를 소개합니다. 기존의 관계 추출 모델과 달리, TRE는 명시적인 언어학적 특징 대신 사전 훈련된 깊은 언어 표현을 사용하여 관계 분류를 알리는 데 활용하며, 이를 자기 주의(self-attentive) 변환기(Transformer) 아키텍처와 결합하여 개체 표현 간의 장거리 의존성을 효과적으로 모델링합니다. TRE는 비지도 사전 훈련을 통해 평문 코퍼스에서 암묵적인 언어학적 특징을 배우고, 이후 관계 추출 작업에서 학습된 언어 표현을 미세 조정(fine-tuning)할 수 있게 합니다. TRE는 TACRED 및 SemEval 2010 Task 8 데이터셋에서 새로운 최고 성능 결과를 얻었으며, 각각 테스트 F1 점수가 67.4와 87.1를 기록했습니다. 또한, 샘플 효율성이 크게 증가하는 것을 확인하였습니다. TACRED 데이터셋의 100% 훈련 예제로 처음부터 학습된 베이스라인 모델과 비교하여, 단지 20%의 훈련 예제만으로도 TRE는 동일한 성능을 보였습니다. 우리는 학습된 모델, 실험 결과 및 소스 코드를 오픈 소스로 공개합니다.注: 在上述翻译中，“生成事前訓練變換器” 是对 "Generative Pre-trained Transformer" 的直接翻译，但为了保持韩语的流畅性和专业性，建议使用 “생성형 사전훈련 변환기” 来替代。以下是修正后的版本：현재 최신의 관계 추출 방법은 일반적으로 사전 처리 단계에서 명시적으로 계산된 일련의 어휘적, 구문적, 및 의미적 특징에 의존합니다. 특징 추출 모델을 학습시키는 것은 추가로 주석이 달린 언어 자원을 필요로 하며, 이는 새로운 언어에 대한 관계 추출의 적용성과 이식성을 크게 제한합니다. 또한, 사전 처리는 추가적인 오류 원인을 도입합니다. 이러한 제한을 해결하기 위해, 우리는 OpenAI 생성형 사전훈련 변환기 [Radford 등, 2018]를 확장한 TRE (Transformer for Relation Extraction)를 소개합니다. 기존의 관계 추출 모델과 달리, TRE는 명시적인 언어학적 특징 대신 사전 훈련된 깊은 언어 표현을 사용하여 관계 분류를 알리는 데 활용하며, 이를 자기 주의(self-attentive) 변환기(Transformer) 아키텍처와 결합하여 개체 표현 간의 장거리 의존성을 효과적으로 모델링합니다. TRE는 비지도 사전 훈련을 통해 평문 코퍼스에서 암묵적인 언어학적 특징을 배우고, 이후 관계 추출 작업에서 학습된 언어 표현을 미세 조정(fine-tuning)할 수 있게 합니다. TRE는 TACRED 및 SemEval 2010 Task 8 데이터셋에서 새로운 최고 성능 결과를 얻었으며, 각각 테스트 F1 점수가 67.4와 87.1를 기록했습니다. 또한, 샘플 효율성이 크게 증가하는 것을 확인하였습니다. TACRED 데이터셋의 100% 훈련 예제로 처음부터 학습된 베이스라인 모델과 비교하여, 단지 20%의 훈련 예제만으로도 TRE는 동일한 성능을 보였습니다. 우리는 학습된 모델, 실험 결과 및 소스 코드를 오픈 소스로 공개합니다.