HyperAIHyperAI

Command Palette

Search for a command to run...

西北大学新突破:AI模型自适应平衡性能与公平性,颠覆传统联邦学习

美国西北大学博士生潘震宇及其团队在强化学习(RL)驱动的可信AI方向取得突破性进展,提出两项创新性研究,分别聚焦单模型与多智能体系统中性能与公平性/安全性的动态平衡问题。研究通过RL的探索优势,使模型在复杂多目标空间中自主优化,既提升推理能力,又有效缓解偏见或增强抗攻击性。 在单模型场景中,团队提出FairReason方法。与传统联合训练不同,FairReason不将推理与去偏作为单一联合目标,而是通过策略层在单一目标(如推理或公平性)下自由试错,无需严格依赖教师模型或标注数据,从而探索出更优的输出分布。这种方法避免了过度拟合,提升了模型在性能与公平性之间的灵活权衡能力。 在多智能体系统中,团队设计了Evo-MARL框架,直接优化任务正确性与安全防御力的联合目标。该系统引入KL正则项确保训练稳定性,并构建协同进化的攻击池,持续生成新型对抗样本,使训练环境动态演化。在此背景下,智能体不仅能动态权衡任务与安全,还能适应分布漂移,显著提升系统的鲁棒性。 两项研究均体现了RL作为“探索者”的核心角色:在FairReason中探索性能与公平性的平衡点,在Evo-MARL中寻找动态环境下的协同最优解。研究源于对当前RL后训练策略可能加剧偏见或削弱安全性的反思,团队通过文献调研发现,社区缺乏对不同训练策略在推理与去偏之间权衡关系的系统分析。为此,他们结合ICCV 2025可信基础模型研讨会契机,开展两条互补路径的研究,并依托NVIDIA赞助的GPU云平台完成大规模实验验证。 令人瞩目的是,整个研究由潘震宇带领两位实习生完成——复旦附中高二学生张予童与华南理工大四学生张义婷。尽管背景与年级差异显著,但两人展现出极强的学习与执行能力。团队在不足两周内高效完成从实验设计、代码实现到论文撰写全过程,经历高强度协作与快速迭代,最终产出高质量成果。 未来,团队计划进一步扩大实验规模,覆盖不同参数量模型,探索类似“scaling law”的经验规律;同时将Evo-MARL扩展为异构多智能体体系,提升系统在真实复杂场景中的适用性。这项工作为构建既聪明又负责任的AI系统提供了重要实践路径。

相关链接