3 个月前
NVILA：高效前沿视觉语言模型
Zhijian Liu, Ligeng Zhu, Baifeng Shi, Zhuoyang Zhang, Yuming Lou, Shang Yang, Haocheng Xi, Shiyi Cao, Yuxian Gu, Dacheng Li, Xiuyu Li, Yunhao Fang, Yukang Chen, Cheng-Yu Hsieh, De-An Huang, An-Chieh Cheng, Vishwesh Nath, Jinyi Hu, Sifei Liu, Ranjay Krishna, Daguang Xu, Xiaolong Wang, Pavlo Molchanov, Jan Kautz, Hongxu Yin, Song Han, Yao Lu
摘要
近年来，视觉语言模型（VLMs）在准确性方面取得了显著进展，但其效率问题却未得到足够重视。本文提出了NVILA，一个旨在兼顾效率与准确性的开源视觉语言模型系列。基于VILA架构，我们通过首先提升空间与时间分辨率，随后对视觉令牌进行压缩，提出了一种“先扩展、后压缩”的优化策略。这一方法使NVILA能够高效处理高分辨率图像和长时视频。此外，我们还对NVILA在整个生命周期中的效率进行了系统性优化，涵盖训练、微调到部署的各个环节。在广泛的图像与视频基准测试中，NVILA的性能达到或超越了众多主流开源及专有视觉语言模型。与此同时，NVILA显著降低了各项资源消耗：训练成本降低4.5倍，微调阶段内存使用减少3.4倍，预填充延迟降低1.6至2.2倍，解码延迟降低1.2至2.8倍。我们即将开源代码与模型，以促进研究的可复现性。