HyperAIHyperAI

Command Palette

Search for a command to run...

个性化与正则化 PageRank 的加速局部算法

Baojian Zhou

摘要

局部 PageRank 算法旨在寻求与图规模无关的稀疏近似。我们给出了一种确定性算法,用于求解正则化个性化 PageRank,其加性目标精度为 ε_obj,局部工作量为 Ō(1 / (ρ √α)),其中 α 为惰性传送参数,ρ 为正则化系数。精度仅以多重对数形式影响工作量。该界涵盖了发现、重复邻域扫描、数值更新、验证及输出等环节,无需图全局预处理或预先给定的解支撑。该算法将正则化延拓与受度缩放盒约束和质量上限约束的加速校正相结合。针对同一递推关系的两种能量分别控制目标收敛和激活坐标的响应。一种选择流论证界定了累积扫描体积,并由稀疏阈值报告器实现该界。我们还为有理数输入指定了一种有界算术实现。第二种随机化算法使用支撑安全的阈值批次。块 Cholesky 与 Chebyshev 论证界定了其深度,经认证的 SDD 求解器给出的期望工作量为 Õ(V_ min{k_, α^{-1/2}}),其中 k_ 和 V_ 分别为最优支撑的基数和度体积。两种方法均蕴含相应的加速度归一化 PPR 近似。Cui、Wei 和 Yang 于 2026 年 9 月同时发布的预印本也达到了该随机化工作量量级。我们的主要区别在于实现了确定性的局部加速,且仅有多重对数开销,无需 SDD 谕示。

一句话总结

复旦大学的研究者提出一种用于正则化个性化PageRank的确定性局部算法,通过正则化延拓和受度缩放盒子与质量上限约束的加速校正,在 Oˉ(1/(ρα))\bar{O}(1 / (\rho \sqrt{\alpha}))Oˉ(1/(ρα)) 的工作量内达到加性精度 εobj\varepsilon_{\text{obj}}εobj,无需SDD预言机或图全局预处理;同时给出一个期望工作量为 O~(Vmin{k,α1/2})\tilde{O}(V_* \min\{k_*, \alpha^{-1/2}\})O~(Vmin{k,α1/2}) 的随机化变体。

核心贡献

  • 一种用于正则化个性化PageRank的确定性局部算法,以 O~(1/(ρα))\widetilde{O}(1/(\rho\sqrt{\alpha}))O(1/(ρα)) 的工作量达到加性目标误差 εobj\varepsilon_{\text{obj}}εobj,其中 α\alphaα 为传送参数,ρ\rhoρ 为正则化强度,精度仅以多对数形式出现;该方法无需图全局预处理或预先提供的解支撑集,并包含适用于有理输入的有限算术实现。
  • 一种随机化局部算法,利用支撑集安全的阈值批次和认证的SDD求解,达到期望工作量 O~(Vmin{k,α1/2})\widetilde{O}(V_* \min\{k_*, \alpha^{-1/2}\})O(Vmin{k,α1/2}),其中 kk_*kVV_*V 分别为最优支撑集的基数和度体积,在无需SDD预言机的情况下匹配了同期工作的随机化规模。
  • 两种算法均通过显式的正则化偏差与目标误差转换,隐含地给出了一种加速的度归一化PPR近似,而确定性方法的主要区别在于仅以多对数开销实现确定性局部加速。

引言

局部个性化PageRank算法无需访问整个图即可计算稀疏相关性分数,但在保持局部性的同时加速它们具有挑战性。先前的工作要么使用基于动量的更新,可能激活远在最优支撑集之外的顶点并引发高度数扫描,要么求解一系列受限问题,其代价与支撑集发现次数相乘。作者提出了两种用于正则化个性化PageRank的新算法,克服了这些障碍。一种确定性延拓方法以 O~(1/(ρα))\widetilde{O}(1/(\rho\sqrt{\alpha}))O(1/(ρα)) 的加速工作量界实现,仅有多对数开销,且无需近线性SDD预言机。一种随机化阈值批处理方法达到 O~(min{1/ρ2,1/(ρα)})\widetilde{O}(\min\{1/\rho^2, 1/(\rho\sqrt{\alpha})\})O(min{1/ρ2,1/(ρα)}) 的期望工作量界,同时适应最优支撑集大小,并提供Las Vegas认证。两种结果均转化为具有相同加速复杂度的度归一化PPR近似。

方法

作者将问题形式化为无向无权图上的正则化PageRank(RPPR)目标。给定种子分布 s\boldsymbol{s}s(通常为点源 eν\boldsymbol{e}_\nueν)、传送参数 α(0,1]\alpha \in (0,1]α(0,1] 和正则化强度 ρ>0\rho>0ρ>0,RPPR问题最小化

Fρ(x)=12x,Qxb,x+αρD1/2x1,F_\rho(\boldsymbol{x}) = \frac12 \langle \boldsymbol{x}, \boldsymbol{Q} \boldsymbol{x} \rangle - \langle \boldsymbol{b}, \boldsymbol{x} \rangle + \alpha\rho \|\boldsymbol{D}^{1/2}\boldsymbol{x}\|_1,Fρ(x)=21x,Qxb,x+αρD1/2x1,

其中 Q=1+α2I1α2D1/2AD1/2\boldsymbol{Q} = \frac{1+\alpha}{2}\boldsymbol{I} - \frac{1-\alpha}{2}\boldsymbol{D}^{-1/2}\boldsymbol{A}\boldsymbol{D}^{-1/2}Q=21+αI21αD1/2AD1/2b=αD1/2s\boldsymbol{b} = \alpha \boldsymbol{D}^{-1/2}\boldsymbol{s}b=αD1/2sA,D\boldsymbol{A},\boldsymbol{D}A,D 分别为邻接矩阵和度矩阵。唯一极小点 xρ\boldsymbol{x}_\rho^*xρ 给出一个稀疏向量,其支撑集体积至多为 1/ρ1/\rho1/ρ。标准个性化PageRank(PPR)向量为 π=D1/2x0\boldsymbol{\pi} = \boldsymbol{D}^{1/2}\boldsymbol{x}_0^*π=D1/2x0,其中 x0=Q1b\boldsymbol{x}_0^* = \boldsymbol{Q}^{-1}\boldsymbol{b}x0=Q1b 为无正则化解。精度按目标间隙 Fρ(x^)Fρ(xρ)εobjF_\rho(\widehat{\boldsymbol{x}}) - F_\rho(\boldsymbol{x}_\rho^*) \le \varepsilon_{\mathrm{obj}}Fρ(x)Fρ(xρ)εobj 或度归一化PPR误差 D1/2(x^x0)εppr\|\boldsymbol{D}^{-1/2}(\widehat{\boldsymbol{x}} - \boldsymbol{x}_0^*)\|_\infty \le \varepsilon_{\mathrm{ppr}}D1/2(xx0)εppr 度量。算法在局部访问模型下运行:它们仅从种子标签开始,可查询已发现顶点的度数和邻接表;总工作量计入所有邻接检查、度数查询、算术运算和输出字。

方法的核心由两个互补的局部算法组成,两者均产生一个非负向量 x^\widehat{\boldsymbol{x}}x,满足RPPR目标容差且支撑于最优支撑集内。确定性算法采用延拓策略,在各阶段将正则化参数减半。在每个阶段,在显式凸集 Kr={u:0u4rω,  ωumr}\mathcal{K}_r = \{\boldsymbol{u}: \boldsymbol{0} \le \boldsymbol{u} \le 4r\boldsymbol{\omega},\; \boldsymbol{\omega}^\top\boldsymbol{u} \le m_r\}Kr={u:0u4rω,ωumr} 上求解一个扩散源校正问题,其中 ω=D1/21\boldsymbol{\omega} = \boldsymbol{D}^{1/2}\boldsymbol{1}ω=D1/21mrm_rmr 为残差质量。一个由曲率 μc=θ2\mu_c = \theta^2μc=θ2 参数化的加速递推,其中 θ\thetaθ 选择使得 θ2α\theta^2 \le \alphaθ2α,迭代

yk=ξk+θzk1+θ,qk=χzk+θykQykh+λrωθ,zk+1=ProjKr(qk),ξk+1=χξk+θzk+1,\begin{aligned} \boldsymbol{y}_k &= \frac{\boldsymbol{\xi}_k + \theta \boldsymbol{z}_k}{1+\theta}, \\ \boldsymbol{q}_k &= \chi\boldsymbol{z}_k + \theta\boldsymbol{y}_k - \frac{\boldsymbol{Q}\boldsymbol{y}_k - \boldsymbol{h} + \lambda_r\boldsymbol{\omega}}{\theta}, \\ \boldsymbol{z}_{k+1} &= \mathrm{Proj}_{\mathcal{K}_r}(\boldsymbol{q}_k), \\ \boldsymbol{\xi}_{k+1} &= \chi\boldsymbol{\xi}_k + \theta\boldsymbol{z}_{k+1}, \end{aligned}ykqkzk+1ξk+1=1+θξk+θzk,=χzk+θykθQykh+λrω,=ProjKr(qk),=χξk+θzk+1,

其中 χ=1θ\chi = 1-\thetaχ=1θλr=αr\lambda_r = \alpha rλr=αrh\boldsymbol{h}h 为当前残差源。到 Kr\mathcal{K}_rKr 的投影通过关键密度的平衡树上的有限阈值搜索精确计算,使得稀疏更新仅触及动态支撑集及其边界。一项关键的分析贡献是累积动态体积界:一个阶段内所有投影迭代的总度体积为 O(K/r)O(K/r)O(K/r),其中 KKK 为迭代次数。结合加速收敛(K=O(α1/2log(1/τ))K = O(\alpha^{-1/2}\log(1/\tau))K=O(α1/2log(1/τ))),每阶段总工作量为 O~(1/(rα))\widetilde{O}(1/(r\sqrt{\alpha}))O(1/(rα))。对减半调度求和得到总体确定性工作量 O~(1/(ρα))\widetilde{O}(1/(\rho\sqrt{\alpha}))O(1/(ρα))

随机化算法采用不同的思路:通过安全的活动集扩展逐步构建最优支撑集。从种子开始,反复在当前活动集 U\mathcal{U}U 上求解受限线性系统 xU=QUU1(cρ)U\boldsymbol{x}^{\mathcal{U}} = \boldsymbol{Q}_{\mathcal{U}\mathcal{U}}^{-1}(\boldsymbol{c}_\rho)_{\mathcal{U}}xU=QUU1(cρ)U(其中 cρ=bαρω\boldsymbol{c}_\rho = \boldsymbol{b} - \alpha\rho\boldsymbol{\omega}cρ=bαρω),并检查边界松弛。任何具有足够负松弛的边界顶点保证属于最优支撑集(定理7),并被批量添加。松弛条件是局部的:对于 jUj \notin \mathcal{U}j/UwjU/dj=αρ1α2djiN(j)Uyiw_j^{\mathcal{U}}/\sqrt{d_j} = \alpha\rho - \frac{1-\alpha}{2d_j}\sum_{i\in\mathcal{N}(j)\cap\mathcal{U}} y_iwjU/dj=αρ2dj1αiN(j)Uyi,仅需扫描 U\mathcal{U}U 的邻接。一个局部目标证书(引理9)利用KKT次梯度,从活动集及其边界界定目标间隙,无需整个图。

为限制批次扩展次数,算法采用阈值 ϑ\varthetaϑ:仅当其精确残差超过 ϑ\varthetaϑ 时才接纳顶点,而所有剩余最优支撑集坐标的残差至多为 ϑ\varthetaϑ。谱深度分析(定理20)表明,经过 J=O(α1/2log(1/εobj))J = O(\alpha^{-1/2}\log(1/\varepsilon_{\mathrm{obj}}))J=O(α1/2log(1/εobj)) 个批次后,在已发现面上的受限解达到所需的目标精度。该分析利用最优支撑集的分块Cholesky分解和切比雪夫逼近,将快速衰减的种子贡献与阈值引起的误差分开。每个面求解由随机化近线性SDD求解器在提供的主子矩阵上执行,并通过独立重试控制失败概率。期望总工作量为 O~(Vmin{k,α1/2})\widetilde{O}(V_* \min\{k_*, \alpha^{-1/2}\})O(Vmin{k,α1/2}),其中 VV_*Vkk_*k 为最优支撑集的体积和大小;在最坏情况下上界为 O~(1/(ρα))\widetilde{O}(1/(\rho\sqrt{\alpha}))O(1/(ρα))。算法还可返回一个子解,满足 0x^xρ\boldsymbol{0} \le \widehat{\boldsymbol{x}} \le \boldsymbol{x}_\rho^*0xxρ0bQx^2αρω\boldsymbol{0} \le \boldsymbol{b} - \boldsymbol{Q}\widehat{\boldsymbol{x}} \le 2\alpha\rho\boldsymbol{\omega}0bQx2αρω

对于最终的PPR任务,采用两阶段完成。首先,任一算法以 ρ=εppr/3\rho = \varepsilon_{\mathrm{ppr}}/3ρ=εppr/3 计算一个RPPR解,产生一个近似支撑集 U\mathcal{U}U,其体积至多为 3/εppr3/\varepsilon_{\mathrm{ppr}}3/εppr。然后,在该支撑集上以所需的欧几里得精度求解精确的主PPR系统 QUUuU=bU\boldsymbol{Q}_{\mathcal{U}\mathcal{U}}\boldsymbol{u}_{\mathcal{U}} = \boldsymbol{b}_{\mathcal{U}}QUUuU=bU。由于该支撑集已捕获基本质量,所得向量与真实PPR之间的度归一化误差被 εppr\varepsilon_{\mathrm{ppr}}εppr 界定。第二阶段可使用确定性预处理共轭梯度或随机化SDD求解器,两者运行时间均为 O~(vol(U)/α)\widetilde{O}(\mathrm{vol}(\mathcal{U})/\sqrt{\alpha})O(vol(U)/α),保持总体 O~(1/(εpprα))\widetilde{O}(1/(\varepsilon_{\mathrm{ppr}}\sqrt{\alpha}))O(1/(εpprα)) 的工作量界。所有步骤都是局部的,无需全局预处理,并明确计入每次邻接检查和算术运算。

实验

本文开发了用于正则化PageRank(RPPR)和个性化PageRank(PPR)的确定性和随机化局部算法,仅需局部图访问且无需预处理。确定性方法在 O~(1/(ρα))\widetilde{\mathcal{O}}(1/(\rho\sqrt{\alpha}))O(1/(ρα)) 工作量的保证下达到目标间隙,而随机化Las Vegas算法适应支撑集大小和体积,达到期望工作量 O~(Vmin{k,α1/2})\widetilde{\mathcal{O}}(V_* \min\{k_*, \alpha^{-1/2}\})O(Vmin{k,α1/2})。两种方法均产生满足语义PPR精度的稀疏输出,并可生成ACL兼容的残差证书或用于后续线性系统求解的近似支撑集包络,所有支撑集接纳均被确定性认证。

比较展示了局部RPPR算法如何在工作量与输出保证之间权衡。早期方法随支撑集大小、体积或内部非零元规模缩放,而新算法1达到了与支撑集无关的界 O~(1/(ρα))\widetilde{O}(1/(\rho\sqrt{\alpha}))O(1/(ρα)),算法2在期望上匹配了最佳的加速活动集界,并以确定性延拓定理为支撑。算法1是唯一工作量界 O~(1/(ρα))\widetilde{O}(1/(\rho\sqrt{\alpha}))O(1/(ρα)) 不依赖于最优支撑集大小、体积或内部非零元的方法,与所有先前算法形成对比。算法2达到了与加速活动集相同的 O~(Vmin{k,α1/2})\widetilde{O}(V_* \min\{k_*, \alpha^{-1/2}\})O(Vmin{k,α1/2}) 保证,但作为期望界而非高概率界,本文的主要区别在于确定性延拓证明。

该评估从工作量与输出保证的角度比较局部RPPR算法。算法1作为唯一工作量界不依赖于最优支撑集大小、体积或内部非零元的方法脱颖而出,实现了与支撑集无关的保证。算法2在期望上匹配了最佳的加速活动集界,其关键贡献在于确定性延拓证明而非高概率分析。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供