2달 전

비감독 신경 문법 유도에서의 구조 최적화의 모호성과 단순성 편향

Jinwook Park; Kangil Kim
비감독 신경 문법 유도에서의 구조 최적화의 모호성과 단순성 편향
초록

신경망 매개변수화는 감독되지 않은 문법 유도 분야에서 크게 발전시켰습니다. 그러나 모든 가능한 해석에 대해 전통적인 우도 손실을 사용하여 이러한 모델을 학습시키는 것은 두 가지 문제를 악화시킵니다: 1) 구조적으로 모호한 최적의 문법 중 하나를 임의로 선택하는 $\textit{구조 최적화 모호성}$(structural optimization ambiguity), 2) 모델이 해석 트리를 구성하기 위해 규칙을 충분히 활용하지 않는 $\textit{구조 단순성 편향}$(structural simplicity bias). 이러한 도전 과제들은 감독되지 않은 신경망 문법 유도(UNGI)가 불가피한 예측 오류, 높은 분산, 그리고 정확한 예측을 위해 방대한 문법이 필요하게 만듭니다. 본 논문에서는 이러한 문제들의 원인에 대한 종합적인 분석을 제공하며, 해결책으로 $\textit{문장별 해석 집중}$(sentence-wise parse-focusing) 방법을 제안합니다. 이 방법은 동일한 데이터셋에서事前训练的解析器(pre-trained parsers)의 구조적 편향을 사용하여 각 문장당 평가 손실에 사용되는 해석 풀(parse pool)을 줄입니다. 감독되지 않은 파싱 벤치마크 테스트에서 우리의 방법은 성능을 크게 개선하면서 효과적으로 분산과 지나치게 단순한 해석으로의 편향을 줄였습니다. 우리의 연구는 더 간결하고 정확하며 일관된 명시적 문법 학습을 촉진하여 보다 나은 해석 가능성을 제공합니다.注:在翻译中,“事前训练的解析器”是中文表述,应该是“pre-trained parsers”的误译。正确的韩文翻译应为“사전 학습된 파서”。修正后的翻译如下:신경망 매개변수화는 감독되지 않은 문법 유도 분야에서 크게 발전시켰습니다. 그러나 모든 가능한 해석에 대해 전통적인 우도 손실을 사용하여 이러한 모델을 학습시키는 것은 두 가지 문제를 악화시킵니다: 1) 구조적으로 모호한 최적의 문법 중 하나를 임의로 선택하는 $\textit{구조 최적화 모호성}$(structural optimization ambiguity), 2) 모델이 해석 트리를 구성하기 위해 규칙을 충분히 활용하지 않는 $\textit{구조 단순성 편향}$(structural simplicity bias). 이러한 도전 과제들은 감독되지 않은 신경망 문법 유도(UNGI)가 불가피한 예측 오류, 높은 분산, 그리고 정확한 예측을 위해 방대한 문법이 필요하게 만듭니다. 본 논문에서는 이러한 문제들의 원인에 대한 종합적인 분석을 제공하며, 해결책으로 $\textit{문장별 해석 집중}$(sentence-wise parse-focusing) 방법을 제안합니다. 이 방법은 동일한 데이터셋에서 사전 학습된 파서(pre-trained parsers)의 구조적 편향을 사용하여 각 문장당 평가 손실에 사용되는 해석 풀(parse pool)을 줄입니다. 감독되지 않은 파싱 벤치마크 테스트에서 우리의 방법은 성능을 크게 개선하면서 효과적으로 분산과 지나치게 단순한 해석으로의 편향을 줄였습니다. 우리의 연구는 더 간결하고 정확하며 일관된 명시적 문법 학습을 촉진하여 보다 나은 해석 가능성을 제공합니다.