17일 전

구성 일반화 측정: 현실적인 데이터를 활용한 종합적 방법

Daniel Keysers, Nathanael Schärli, Nathan Scales, Hylke Buisman, Daniel Furrer, Sergii Kashubin, Nikola Momchev, Danila Sinopalnikov, Lukasz Stafiniak, Tibor Tihon, Dmitry Tsarkov, Xiao Wang, Marc van Zee, Olivier Bousquet
구성 일반화 측정: 현실적인 데이터를 활용한 종합적 방법
초록

최신 기계학습 방법들은 제한된 조합적 일반화 능력을 보인다. 동시에 이러한 능력을 종합적으로 측정할 수 있는 현실적인 벤치마크가 부족하여, 개선 방안을 찾고 평가하는 것이 어렵다. 본 연구에서는 학습 세트와 테스트 세트 간 원자적 차이(Atom divergence)를 작게 유지하면서 복합적 차이(Compound divergence)를 최대화하는 방식으로 이러한 벤치마크를 체계적으로 구성하는 새로운 방법을 제안한다. 또한 이 방법을 다른 조합적 일반화 벤치마크 생성 방법들과 정량적으로 비교하였다. 제안한 방법에 따라 구성된 대규모이고 현실적인 자연어 질문 응답 데이터셋을 제시하고, 이 데이터셋을 활용하여 세 가지 기계학습 아키텍처의 조합적 일반화 능력을 분석하였다. 분석 결과, 해당 아키텍처들은 조합적으로 일반화하지 못하며, 복합적 차이와 정확도 사이에 예상치 못한 강한 음의 상관관계가 존재함을 확인하였다. 또한 기존의 SCAN 데이터셋 위에 본 방법을 기반으로 새로운 조합성 벤치마크를 생성할 수 있음을 보여주며, 이러한 결과를 확인하였다.