Command Palette

Search for a command to run...

4달 전

워치오그: 컬럼 주석을 위한 경량형 대비 학습 기반 프레임워크

{Jin Wang Zhengjie Miao}

초록

관계형 웹 테이블은 다양한 후속 응용 분야에서 귀중한 자원을 제공하며, 특히 열의 의미적 유형과 관계를 식별하는 열 주석(열 annotation) 작업을 포함한 테이블 이해는 데이터 관리 분야에서 핫한 주제로 부상하고 있다. 최근 대규모 사전 학습 언어 모델의 강력한 능력을 활용하여 테이블 이해의 다양한 작업을 개선하려는 노력이 이루어졌지만, 기존의 방법들은 여전히 대규모且 고품질의 레이블링된 데이터에 크게 의존하고 있으며, 다양한 클래스 간의 데이터 분포가 불균형함으로 인해 데이터 부족 문제를 겪고 있다. 본 논문에서는 대규모 비라벨링 테이블 코퍼스를 활용하여 최소한의 부가 비용으로 강건한 테이블 표현을 학습하기 위해 대조 학습(contrastive learning) 기법을 도입한 Watchog 프레임워크를 제안한다. 제안하는 접근법은 후속 열 주석 작업을 위한 미세 조정(fine-tuning) 시 기존 연구보다 훨씬 적은 추가 레이블 데이터로도 우수한 성능을 달성할 수 있도록 테이블 표현을 향상시킨다. 또한, 반감독 학습 설정에서의 최적화 기법도 추가로 제안하였다. 대표적인 벤치마킹 데이터셋에서의 실험 결과는 다양한 설정 하에서 두 가지 열 주석 작업에 대해 제안된 기법의 우수성을 입증한다. 특히, Watchog 프레임워크는 긴 꼬리(long-tailed) 레이블 분포로 인한 클래스 불균형 문제를 효과적으로 완화한다. 반감독 설정에서는 의미적 유형 탐지(task)에서 기존에 알려진 최고 성능의 방법 대비 마이크로 F1 점수에서 최대 26%, 매크로 F1 점수에서 최대 41% 향상을 달성하며, 우수한 성능을 입증하였다.

벤치마크

벤치마크방법론지표
column-type-annotation-on-viznet-sato-fullWatchog
Macro-F1: 85.63
column-type-annotation-on-wikitables-turl-ctaWatchog
Macro-F1: 78.72
columns-property-annotation-on-wikitablesWatchog
Macro-F1: 88.45

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
워치오그: 컬럼 주석을 위한 경량형 대비 학습 기반 프레임워크 | 연구 논문 | HyperAI초신경