Command Palette

Search for a command to run...

2 天前

直接在线学习的最优错误界

Zachary Chase Steve Hanneke Shay Moran Jonathan Shafer

直接在线学习的最优错误界

摘要

我们通过精确量化归纳学习(transductive learning)与标准在线学习之间的差距,解决了困扰学术界长达30年的关于无标签数据在在线学习中作用的一个开放性问题。我们证明:对于任意小石维数(Littlestone dimension)为 ddd 的概念类,其归纳学习的错误界至少为 Ω(d)\Omega(\sqrt{d})Ω(d)。这一结果相较于此前由 Ben-David、Kushilevitz 与 Mansour(1995, 1997)以及 Hanneke、Moran 与 Shafer(2023)分别提出的 Ω(loglogd)\Omega(\log \log d)Ω(loglogd)Ω(d)\Omega(\sqrt{d})Ω(d)Ω(logd)\Omega(\sqrt{\log d})Ω(logd) 的下界,实现了指数级的改进。此外,我们还证明该下界是紧的:对任意 ddd,均存在一个 Littlestone 维数为 ddd 的概念类,其归纳学习的错误界为 O(d)O(\sqrt{d})O(d)。我们的上界结果也优于此前 Ben-David 等人(1997)所得到的最佳已知上界 23d\frac{2}{3}d32d。上述成果揭示了归纳学习与标准在线学习之间存在一个二次量级的差距,从而凸显了对未标记实例序列具有更高级访问权限所带来的显著优势。这一现象与 PAC 学习框架形成鲜明对比,在 PAC 框架中,归纳学习与标准学习的样本复杂度表现出相似性。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供