Expand VSR Benchmark for VLLM to Expertize in Spatial Rules

研究关注视觉大型语言模型（VLLMs）在视觉空间推理（VSR）中的评估与优化。发现VLLMs在语言指令敏感度过高，视觉位置信息敏感度过低的问题。研究通过调整数据和模型结构，使用扩散模型控制空间定位图像数据增强，集成多种视觉编码器，增强模型的视觉空间细节感知能力。结果表明，VSR专家（VSRE）模型在VSR测试集上的准确率提高了27%，成为性能优异的VLLM，适用于VSR任务和相关评估基准。研究开源了扩展的模型、数据和附录，以促进VLLM在VSR领域的研究。