Command Palette
Search for a command to run...
전도형 온라인 학습을 위한 최적의 오류 한계
전도형 온라인 학습을 위한 최적의 오류 한계
Zachary Chase Steve Hanneke Shay Moran Jonathan Shafer
초록
우리는 30년간 미해결된 문제인, 온라인 학습에서 레이블이 없는 데이터의 효과에 관한 문제를, 전이 학습(Transductive) 학습과 표준 온라인 학습 간의 오류 범위 차이를 정밀하게 측정함으로써 해결한다. 본 연구에서는, Littlestone 차원이 d인 모든 개념 클래스에 대해, 전이 학습의 오류 한계가 최소 Ω(√d)임을 증명한다. 이는 Ben-David, Kushilevitz, Mansour(1995, 1997)와 Hanneke, Moran, Shafer(2023)가 제시한 이전의 하한값 Ω(log log d), Ω(√d), Ω(√log d)에 비해 지수적 개선을 의미한다. 또한, 본 하한이 날카로우며 정확함을 보여주기 위해, 임의의 d에 대해 Littlestone 차원이 d인 클래스가 존재하며, 그 전이 학습 오류 한계가 O(√d)임을 보인다. 본 연구의 상한값은 Ben-David 등(1997)이 제시한 이전 최고의 상한값 (2/3)·d보다도 개선된 결과이다. 이러한 결과는 전이 학습과 표준 온라인 학습 간에 제곱 수준의 오차 차이가 존재함을 입증하며, 레이블이 없는 입력 시퀀스에 대한 사전 정보 접근의 이점을 부각시킨다. 이는 전이 학습과 표준 학습이 유사한 샘플 복잡도를 보이는 PAC 설정과는 정반대의 상황을 보여준다.