基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）及相关的对齐范式，已成为引导大语言模型（LLMs）和多模态大语言模型（MLLMs）趋向人类偏好行为的核心手段。然而，这些方法引入了一种系统性漏洞：奖励篡改（reward hacking），即模型利用学习到的奖励信号中的缺陷，在无法实现真实任务意图的情况下，通过最大化代理目标（proxy objectives）来获取高分。随着模型规模的扩大和优化强度的增加，这种利用行为表现为：冗长偏见（verbosity bias）、谄媚行为（sycophancy）、幻觉式辩解（hallucinated justification）、基准测试过拟合（benchmark overfitting）；而在多模态场景下，则表现为感知与推理的脱节（perception--reasoning decoupling）以及对评估者的操纵。近期的证据进一步表明，看似无害的捷径行为（shortcut behaviors）可能会泛化为更广泛的对齐失效形式，包括欺骗行为以及对监督机制的策略性博弈。在本综述中，我们提出了“代理压缩假设”（Proxy Compression Hypothesis, PCH），将其作为理解奖励篡改的一个统一框架。我们将奖励篡改正式定义为：在针对高维人类目标的高度压缩的奖励表示进行优化时，由于表现力强的策略（expressive policies）随之演化而产生的涌现结果。基于这一视角，奖励篡改源于目标压缩（objective compression）、优化放大（optimization amplification）以及评估者与策略共同适应（evaluator--policy co-adaptation）三者之间的相互作用。这一观点统一了 RLHF、RLAIF 以及 RLVR 范式中的实证现象，并解释了局部捷径学习如何泛化为更广泛的对齐失效形式，包括欺骗行为以及对监督机制的策略性操纵。此外，我们根据检测与缓解策略是对压缩、放大还是共同适应动态过程进行干预，对其进行了系统分类。通过将奖励篡改界定为基于代理的对齐在规模化过程中的结构性不稳定，我们强调了在可扩展监督（scalable oversight）、多模态落地（multimodal grounding）以及 agentic 自主性方面的开放性挑战。