一句话总结

Ezgi Korkmaz 对深度强化学习的评估与设计范式进行了原则性分析，建立了缩放定律的理论基础，并证明了渐近性能排名在数据区间上并非单调，从而揭示了经典的评估范式导致了错误的结论，并为缩放、容量和复杂度提供了洞见。

核心贡献

• 本文引入了深度强化学习中缩放定律的理论基础，形式化刻画了容量、复杂度和样本复杂度区间之间的关系。
• 在 Arcade Learning Environment（100K 和 200M 帧）上的大规模实验表明，深度强化学习算法的性能排名在不同数据区间上并非单调，这与先前一系列研究中的单调性假设相矛盾。
• 分析表明，若干基线 Q-learning 算法优于许多近期被声称达到最先进水平的方法，且经典的评估范式导致了先前研究中的错误结论。

引言

在深度强化学习中，该领域已分化为两种主导的评估范式：算法要么针对高数据区间（2 亿帧）进行优化，要么被推向在低数据区间（100K 交互）中表现出色，后者催生了一条主要研究方向，仅从低数据基准比较中即声称达到最先进水平。作者识别出这项工作背后一个关键但未言明的前提：即假设算法在不同样本复杂度区间上的性能表现是单调的，意味着其相对排名从低数据到渐近设定保持一致。这种隐含信念塑造了典型的设计和评估选择，多年来系统性地偏差于结论并误导了研究方向。作者的主要贡献是对该单调性假设进行了理论与实证的驳斥。他们引入了对深度强化学习中缩放、容量和复杂度的原则性分析，证明了性能与样本复杂度之间的关系是非单调的，并通过大量实验表明，若干经典 Q-learning 基线算法优于许多近期在存在缺陷的低数据评估范式下声称达到最先进水平的算法。

方法

作者将问题形式化在有限时域、无折扣的马尔可夫决策过程（MDPs）中，并采用非平稳策略和线性函数近似。一个 MDP 由元组 $\langle S, \bar{M}, \mathcal{P}, \mathcal{R}, \mathcal{H} \rangle$⟨S,Mˉ,P,R,H⟩ 定义，其中 $S$S 是状态集，$\mathcal{H}$H 是时域，并且对于每个时间步 $t \in [\mathcal{H}]$t∈[H]，转移核 $\mathcal{P}_t(s' \mid s, a)$Pt​(s′∣s,a) 和奖励 $\mathcal{R}_t(s, a, s')$Rt​(s,a,s′) 可以变化。一个非平稳策略 $\pi = (\pi_1, \ldots, \pi_{\mathcal{H}})$π=(π1​,…,πH​) 诱导出状态-动作值函数

$\mathcal{Q}_t^\pi(s, a) = \mathbb{E}\left[ \sum_{h=t}^{\mathcal{H}} \mathcal{R}_h(s_h, \pi_h(s_h), s_{h+1}) \;\big|\; s_h = s, a_h = a \right],$Qtπ​(s,a)=E[∑h=tH​Rh​(sh​,πh​(sh​),sh+1​)​sh​=s,ah​=a],

以及相应的值函数 $\mathcal{V}_t^\pi(s) = \mathcal{Q}_t(s, \pi_t(s))$Vtπ​(s)=Qt​(s,πt​(s))。最优策略 $\pi^*$π∗ 满足 $\mathcal{V}_t^*(s) = \sup_\pi \mathcal{V}_t^\pi(s)$Vt∗​(s)=supπ​Vtπ​(s)。学习目标是在 $K$K 个回合上最小化遗憾，

$\operatorname{REGRET}(K) = \sum_{k=1}^{K} \left( \mathcal{V}_1^*(s_1^k) - \mathcal{V}_1^{\pi^k}(s_1^k) \right),$REGRET(K)=∑k=1K​(V1∗​(s1k​)−V1πk​(s1k​)),

其中 $s_1^k$s1k​ 是第 $k$k 个回合的起始状态，$\pi^k$πk 是该回合使用的策略。

在线性函数近似设定下，每个时间步 $t$t 具有一个特征映射 $\phi_t: S \times A \to \mathbb{R}^{d_t}$ϕt​:S×A→Rdt​，状态-动作值函数被参数化为 $\mathcal{Q}_t(\theta_t)(s, a) = \phi_t(s, a)^\top \theta_t$Qt​(θt​)(s,a)=ϕt​(s,a)⊤θt​。近期结果给出了一种算法，在适当的归一化假设下，其遗憾界在对数因子水平上是最优的：

$\operatorname{REGRET}(K) = \tilde{O}\!\left( \sum_{t=1}^{\mathcal{H}} d_t \sqrt{K} + \sum_{t=1}^{\mathcal{H}} \sqrt{d_t}\, \mathcal{I} K \right),$REGRET(K)=O~(∑t=1H​dt​K​+∑t=1H​dt​​IK),

其中 $\mathcal{I}$I 是固有 Bellman 误差。下界与之匹配，表明所推导的速率是紧的。所构造的 MDP 类 $\mathcal{C}(\mathcal{I}, \{d_t\}_{t=1}^H)$C(I,{dt​}t=1H​) 的一个关键性质是，其所有成员共享相同的转移动力学（至多重命名状态/动作）并使用相同的特征映射。因此，改变固有 Bellman 误差 $\mathcal{I}$I 和特征维度 $d_t$dt​ 对应于在固定的底层环境中改变近似精度和模型容量。

作者利用这一结构证明了不同数据区间上性能的基本非单调性。为简化起见，他们考虑恒定维度 $d_t = d$dt​=d 并记作 $\mathcal{C}(\mathcal{I}, d)$C(I,d)。核心理论结果（定理 3.2）指出，对于任意 $\epsilon > 0$ϵ>0，令 $d_\beta = d_\alpha^{1 - \epsilon/2}$dβ​=dα1−ϵ/2​，存在阈值 $K_{\text{low}} < K_{\text{high}}$Klow​<Khigh​ 以及固有 Bellman 误差水平 $\mathcal{I}_\beta > \mathcal{I}_\alpha$Iβ​>Iα​，使得：

• 在低数据区间（$K < K_{\text{low}}$K<Klow​），针对较低容量模型（$d_\beta$dβ​）与较大近似误差（$\mathcal{I}_\beta$Iβ​）优化的算法可证明在 $\mathcal{C}(\mathcal{I}_\beta, d_\beta)$C(Iβ​,dβ​) 中的所有 MDP 上获得低遗憾，而任何算法在 $\mathcal{C}(\mathcal{I}_\alpha, d_\alpha)$C(Iα​,dα​) 中的某个 MDP 上至少遭受 $\widetilde{\Omega}\bigl(d_\beta^{\epsilon/2} \operatorname{REGRET}_{\text{low}}(K)\bigr)$Ω(dβϵ/2​REGRETlow​(K)) 的遗憾。
• 在高数据区间（$K > K_{\text{high}}$K>Khigh​），排名发生逆转：较高容量、较低误差的组合（$d_\alpha, \mathcal{I}_\alpha$dα​,Iα​）允许某种算法在 $\mathcal{C}(\mathcal{I}_\alpha, d_\alpha)$C(Iα​,dα​) 上获得低遗憾，而任何算法在 $\mathcal{C}(\mathcal{I}_\beta, d_\beta)$C(Iβ​,dβ​) 上至少遭受 $\widetilde{\Omega}\bigl(d_\alpha^{\epsilon} \operatorname{REGRET}_{\text{high}}(K)\bigr)$Ω(dαϵ​REGREThigh​(K)) 的遗憾。

因此，不同模型容量的相对性能从低数据到渐近区间并非单调。一个具有优越渐近性能的较大模型在数据稀缺时可能被较小模型超越。

为进一步阐明实证后果，作者分析了分布强化学习中的样本复杂度，其中需要学习状态-动作值分布 $\mathcal{D}(s,a)$D(s,a)。命题 4.1 表明，若两个动作的真实均值相差 $\epsilon$ϵ，则其中一个动作分布在总变差距离 $d_{TV}$dTV​ 上的 $\epsilon$ϵ 误差就足以反转动作排名。因此，学习正确的排序要求分布估计误差低于 $\epsilon$ϵ。对于固定支撑集的分类表示（例如 C51），样本复杂度按 $k / \epsilon^2$k/ϵ2 缩放，其中 $k$k 是支撑集大小。更灵活的算法如 QRDQN 和 IQN 不假设已知支撑集，而是学习一个均匀混合

$\mathcal{Z}(s,a) = \frac{1}{N} \sum_{i=1}^{N} \delta_{\theta_i(s,a)}$Z(s,a)=N1​∑i=1N​δθi​(s,a)​

其原子位置 $\theta_i(s,a)$θi​(s,a) 通过训练习得。命题 4.2 给出了一个下界：当 $N > M \ge 2$N>M≥2 且 $\epsilon > M/(4N)$ϵ>M/(4N) 时，学习此类模型所需的样本数为 $\Omega(M / \epsilon^2)$Ω(M/ϵ2)。该下界可能远大于固定支撑集方法的 $k/\epsilon^2$k/ϵ2 速率，凸显出未知支撑集带来的额外灵活性会进一步增加样本复杂度，并加剧低数据区间中的性能差距。这些结果共同为观察到的渐近性能排名不可迁移至数据稀少场景的现象提供了理论基础。

实验

本文提出了一个原则性评估框架，并在 Arcade Learning Environment 上进行了大规模实证分析，揭示了关于不同数据区间性能单调性的常见隐含假设会导致有偏的算法比较和基准测试。实验表明，一个简单的基线（dueling DQN）在低数据设定下优于许多近期的高容量模型，且理论遗憾分析证实性能排名可能完全逆转。这些发现表明，核心算法必须直接进行比较，并且像 ALE 100K 这样广泛使用的基准测试也建立在误导研究进展的选择偏差之上。

在低数据 Arcade Learning Environment 基准测试中，dueling 架构取得了最高的中位数和下尾性能，而 double Q-learning 获得了最高的平均得分。结果表明，较简单的基线算法可以优于较新的分布方法，挑战了高数据区间排名可直接迁移至低数据设定的隐含假设。Dueling 的中位数人类归一化得分超过次优算法 C51 的两倍以上。Double-Q 取得了最高的平均人类归一化得分，在该比较中超越了所有分布算法。IQN 和 QRDQN 在平均、中位数和第二十百分位指标上均不及 Double-Q 和 Dueling。

在低数据 Arcade Learning Environment 基准测试中，dueling 和 double Q-learning 等较简单的架构优于较新的分布方法，挑战了高数据区间排名可直接迁移至有限数据设定的假设。Dueling 取得了最强的中位数和下尾性能，而 double Q-learning 获得了最高的平均得分，两者均超越了 C51、IQN 和 QRDQN 等分布算法。研究结果表明，当数据稀缺时，分布方法可能并非最优。