AI 论文周报丨 SingLoRA 参数压缩，MedGemma 医学应用等成果解析，5 篇热门研究解锁大模型优化与多模态新突破

低秩适配（LoRA）技术极大推动了大型预训练模型的参数高效微调。 LoRA 通过添加两个较小矩阵的乘积来增强模型的预训练权重，这两个矩阵共同构成一个低秩矩阵更新。然而近期研究发现，这两个矩阵间的尺度差异常导致训练动态不稳定，最终影响模型性能。

对此，以色列理工学院联合巴黎第九大学共同提出了 SINGLORA 。该方法通过将低秩适应重新表述为学习权重更新，即把一个单低秩矩阵及其转置的乘积分解来实现。这一简单设计本质上消除了矩阵间的尺度冲突，确保了优化过程的稳定性，并且参数数量大致减少了一半。

论文链接：https://go.hyper.ai/o55xh

最新 AI 论文：https://go.hyper.ai/hzChC

为了让更多用户了解学术界在人工智能领域的最新动态，HyperAI 超神经官网（hyper.ai）现已上线「最新论文」板块，每天都会更新 AI 前沿研究论文。以下是我们为大家推荐的 5 篇热门 AI 论文，同时我们还为大家总结了论文架构的思维导图，一起来速览本周 AI 前沿成果吧 ⬇️

本周论文推荐

1 SingLoRA: Low Rank Adaptation Using a Single Matrix

SingLoRA 通过将权重更新表示为单个低秩矩阵与其转置的分解来重新定义低秩适应。这种简单的设计内在地消除了矩阵间的尺度冲突，确保了优化过程的稳定性，并且大约将参数数量减少了一半。研究团队在无限宽度神经网络框架内对 SingLoRA 进行了分析，实验结果表明其设计本身就能保证特征学习的稳定性。

论文链接：https://go.hyper.ai/o55xh

2 MedGemma Technical Report

本文介绍了 MedGemma，这是一组基于 Gemma 34B 和 27B 的医学视觉-语言基础模型。 MedGemma 在图像和文本上的医学理解和推理方面展示了先进的能力，显著超过了同规模生成模型的性能，并接近了任务特定模型的表现，同时保持了 Gemma 3 基础模型的一般能力。 MedGemma 系列提供了一个坚实的医学图像和文本能力基础，有望大幅加速医学研究及下游应用的开发。

论文链接：https://go.hyper.ai/7m0SB

3 StreamVLN: Streaming Vision-and-Language Navigation via SlowFast Context Modeling

本文提出了一种名为 StreamVLN 的流式 VLN 框架，该框架采用混合慢快上下文建模策略，支持对交错的视觉、语言和动作输入进行多模态推理。快速流式对话上下文通过活动对话的滑动窗口促进响应式动作生成，而缓慢更新的记忆上下文则利用一种三维感知的令牌剪枝策略压缩历史视觉状态。

论文链接：https://go.hyper.ai/GSqkV

4 Critiques of World Models

本文提出了一种新的通用世界模型架构，该架构基于层次化、多级和混合连续/离散表示，并采用生成式和自监督学习框架，展望了由这种模型支持的物理、主体性和嵌套（PAN）通用人工智能系统。

论文链接：https://go.hyper.ai/hd6Iy

5 DreamVLA: A Vision-Language-Action ModelDreamed with Comprehensive World Knowledge

本文提出了一种名为 DreamVLA 的新颖 VLA 框架，该框架通过整合全面的世界知识预测来实现逆动力学建模，从而为操作任务建立了感知-预测-行动循环。具体而言，DreamVLA 引入了一种动态区域引导的世界知识预测方法，结合了空间和语义线索，为动作规划提供了紧凑而全面的表示。这一设计与人类与世界互动的方式相一致，即首先形成抽象的多模态推理链再采取行动。

论文链接：https://go.hyper.ai/JEX2D

以上就是本周论文推荐的全部内容，更多 AI 前沿研究论文，详见 hyper.ai 官网「最新论文」板块。

同时也欢迎研究团队向我们投稿高质量成果及论文，有意向者可添加神经星星微信（微信号：Hyperai01）。

下周再见！