ArcheType: 오픈 소스 열 유형 주석을 위한 새로운 프레임워크 대규모 언어 모델 사용

기존의 의미 열 타입 주석(Semantic Column Type Annotation, CTA)에 대한 딥러닝 접근 방식은 중요한 단점들을 가지고 있습니다. 이들 방법은 훈련 시 고정된 의미 타입에 의존하며, 각 타입당 많은 수의 훈련 샘플이 필요하고 큰 실행 시간 추론 비용을 초래합니다. 또한, 타입이 일정한 상태에서도 새로운 데이터셋에서 평가될 때 성능이 저하될 수 있습니다. 대형 언어 모델들은 다양한 작업에서 강력한 제로샷 분류 성능을 보여주었으며, 본 논문에서는 이러한 모델들의 CTA 활용을 탐구합니다. 우리는 ArcheType를 소개하는데, 이는 컨텍스트 샘플링, 프롬프트 직렬화, 모델 쿼리 및 라벨 리매핑을 위한 간단하고 실용적인 방법입니다. 이를 통해 대형 언어 모델들이 완전히 제로샷 방식으로 CTA 문제를 해결할 수 있게 됩니다. 우리는 우리의 방법의 각 구성 요소를 개별적으로 분석하여 컨텍스트 샘플링과 라벨 리매핑의 개선이 가장 일관된 성능 향상을 제공함을 확인했습니다. ArcheType는 제로샷 CTA 벤치마크(본 논문과 함께 공개하는 세 가지 새로운 도메인 특화 벤치마크 포함)에서 새로운 최고 수준의 성능을 달성하였으며, 클래식 CTA 기술과 결합하여 사용할 때 SOTA DoDuo 모델보다 fine-tuned SOTAB 벤치마크에서 더 우수한 성능을 보였습니다. 우리의 코드는 https://github.com/penfever/ArcheType에서 이용 가능합니다.