RMoA：通过多样性最大化和残差补偿优化混合代理

尽管基于大型语言模型的多智能体系统在多任务上表现出强大的能力，但它们仍然受到高计算开销、信息丢失和鲁棒性的限制。受ResNet残差学习的启发，我们提出了残差混合智能体（RMoA），集成残差连接以优化效率和可靠性。为了最大限度地利用模型响应的信息，同时最大限度地降低计算成本，我们创新性地设计了一种基于嵌入的多样性选择机制，该机制通过向量相似性贪婪地选择响应。此外，为了减轻迭代信息退化，我们引入了残差提取代理，通过捕获层间响应差异来保留跨层增量信息，并结合了残差聚合代理，用于分层信息集成。此外，我们提出了一种自适应终止机制，可根据残差收敛动态停止处理，从而进一步提高推理效率。RMoA 在跨对齐、数学推理、代码生成和多任务理解等基准测试中取得了最佳性能，同时显著降低了计算开销。代码可在此 https URL上获取。