Command Palette

Search for a command to run...

4달 전

성별이 혼동되는 모호한 대명사 공동 과제: 증거 풀링을 통한 모델 신뢰도 향상

{eep S Attree}

성별이 혼동되는 모호한 대명사 공동 과제: 증거 풀링을 통한 모델 신뢰도 향상

초록

이 논문은 성별이 명확하지 않은 대명사에 대한 해소(shared task)에서 뛰어난 성과를 제시한다. 본 연구에서 제안하는 모델은 최신의 언어 모델 및 공통 참조 해소 모델의 강점을 활용하며, 새로운 증거 기반의 딥러닝 아키텍처를 도입한다. 공통 참조 모델로부터 얻은 증거를 기반 아키텍처에 통합함으로써 모델의 성능을 향상시켰으며, 분석 결과 이는 모델이 이러한 모델들의 약점, 특히 성별 편향에 영향을 받지 않음을 보여준다. 아키텍처의 모듈성과 간결성 덕분에 향후 성능 개선을 위한 확장이 매우 용이하며, 다른 자연어 처리(NLP) 문제에도 쉽게 적용 가능하다. GAP 테스트 데이터에 대한 평가에서 92.5%의 F1 점수(성별 편향: 0.97)를 기록하여 인간 성능(96.6%)에 더욱 가까워졌으며, 엔드투엔드 솔루션은 카글 경진대회에서 1등을 차지하며 두드러진 우위를 보였다.

벤치마크

벤치마크방법론지표
coreference-resolution-on-gap-1ProBERT
Bias (F/M): 0.97
Feminine F1 (F): 91.1
Masculine F1 (M): 94.0
Overall F1: 92.5

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp