VRAG-RL是阿里巴巴通义大模型团队推出的视觉感知驱动的多模态RAG推理框架,专注于提升视觉语言模型(VLMs)在处理视觉丰富信息时的检索、推理和理解能力。基于定义视觉感知动作空间,让模型能从粗粒度到细粒度逐步获取信息,更有效地激活模型的推理能力。VRAG-RL引入综合奖励机制,结合检索效率和基于模型的结果奖励,优化模型的检索和生成能力。在多个基准测试中,VRAG-RL显著优于现有方法,展现在视觉丰富信息理解领域的强大潜力。
VRAG-RL的项目地址
- GitHub仓库: https://github.com/Alibaba-NLP/VRAG
- HuggingFace模型库: https://huggingface.co/collections/autumncc/vrag-rl
- arXiv技术论文: https://arxiv.org/pdf/2505.22019