多模态大模型空间想象力评估：SpatialViz-Bench基准测试与数据污染分析

AI快讯 2025-11-08

多模态大模型空间想象力评估：SpatialViz-Bench基准测试与数据污染深度解析

研究背景与论文信息

论文标题：SpatialViz-Bench: An MLLM Benchmark for Spatial Visualization

论文链接：https://arxiv.org/abs/2507.07610

研究团队：这项开创性研究由中科院自动化所张海峰教授团队与伦敦大学学院汪军教授团队联合完成。研究团队汇聚了多模态人工智能领域的顶尖人才，第一作者王斯婷专注于多模态大语言模型与物理交互世界模型研究，第二作者裴旻楠深耕三维视觉算法的高性能计算，第三作者孙罗洋致力于高效大语言模型优化。通讯作者包括爱丁堡大学博士后邓程以及两位合作教授。

当今多模态大模型（MLLM）已经具备了"看懂"世界的能力，但它们是否真正拥有"想象"世界的本领？当我们询问"将这个纸盒展开会呈现什么形状？"或"这个齿轮转动时，另一个齿轮会如何运动？"时，这些模型是否在内部进行了真实的空间构建和操作？

"心理模型是外部现实的内在表征：即在心智中表示现实的方式。这类模型被假设在认知、推理和决策过程中发挥重要作用。"——维基百科对心理模型的定义

MLLM的空间可视化能力盲区

长期以来，多模态大模型的空间可视化能力——即在心智中构建和操作视觉图像的能力——一直是被忽视的研究领域。现有评估基准大多依赖网络上的IQ测试题或数学竞赛题目，这不仅存在严重的数据污染风险，还无法系统性地诊断模型在哪个具体环节出现故障。

为解决这一核心难题，研究团队推出了SpatialViz-Bench——这是首个基于认知科学理论、采用程序化生成方法构建的综合性空间可视化评估基准。

该基准对27个主流多模态大模型进行了全面测试，结果令人震惊：即使是表现最强的Gemini-2.5-pro模型，其准确率也仅为44.66%，与人类82.46%的表现存在巨大差距。研究还揭示了一个反直觉现象：被广泛认为能提升模型性能的思维链（CoT）提示技术，在许多开源模型上反而导致了性能的显著下降。

空间想象力的核心挑战

当前大多数多模态基准（如视觉问答VQA）主要评估模型对可见信息的推理能力，比如识别图像中的物体及其位置关系。然而，在真实世界的复杂应用场景中——无论是建筑设计、外科手术辅助还是机器人操作——仅仅具备"感知"能力是远远不够的，更需要"想象"能力。

人类能够轻松地在脑海中旋转三维物体、展开折叠的纸张或预测机械系统的运动轨迹，而这恰恰是多模态大模型的能力短板。更严峻的是，我们缺乏有效的工具来准确衡量这种能力。现有评估体系存在两大根本缺陷：

数据污染风险高：大量测试题目来源于公开的IQ测试、行政考试和数学竞赛，这些数据很可能已经存在于模型的预训练数据集中，导致评估结果虚高，无法反映真实的推理能力
评估体系混乱：空间可视化任务常被混杂在"数学推理"或"逻辑推理"的大类下，未能作为独立的核心能力进行评估，使得故障诊断变得困难

SpatialViz-Bench：空间想象力的精准诊断工具

为真正"拷问"多模态大模型的空间想象力，研究团队设计的SpatialViz-Bench具有系统性和抗污染性的显著特点。

基于认知科学的四大核心能力评估

SpatialViz-Bench的设计根植于认知科学理论，不是简单的题目拼凑，而是围绕空间可视化的四项核心子能力，精心设计了12项针对性任务：

心理旋转：评估2D/3D物体旋转、三视图投影等能力
心理折叠：测试纸张折叠、方块展开与重建等技能
视觉穿透：考察横截面识别、方块计数、组件拼装等能力
心理动画：评估箭头运动、机械系统、带重力的方块移动等动态想象能力

程序化生成：从源头杜绝数据污染

在12项任务中，有11项完全采用程序化生成技术。研究团队使用FreeCAD编写算法，能够持续生成结构全新、难度一致的测试题目。该系统可自动生成参考图像、正例、负例（干扰项）以及详细的解释说明。

这种动态题目生成方法为模型评估带来三大核心优势：

高可扩展性：能够轻松扩展题库，持续生成上千道全新题目
抗污染性：题库动态实时更新，模型无法通过"刷题"或"记忆"获得高分，保证评估的长期公平性
可诊断性：精确控制任务难度，系统性生成具有特定误导性的干扰项，帮助深入分析模型的错误模式

评估结果：顶尖模型的集体"翻车"

研究团队在SpatialViz-Bench上对27个主流多模态大模型进行了零样本评估。结果显示，所有模型的表现都远低于人类基线水平（82.46%）。在这场能力竞赛中，闭源模型处于领先地位，表现最佳的Gemini-2.5-pro达到44.66%的准确率，o1模型为41.36%。

开源模型与顶级闭源模型存在明显差距，表现最好的开源模型Qwen2.5-VL-72B-Instruct（35.00%）和LLaMA-4-Scout（34.24%）与顶尖闭源模型仍有约10%的差距。

特别值得注意的是，需要模型进行真实"想象"的核心3D任务——如3D旋转、方块展开与重建——成为了模型的"重灾区"。在这些任务上，模型的准确率普遍接近随机猜测水平（25%左右），这强烈表明尽管多模态大模型在处理2D图像方面表现出色，但在构建和操作3D心理表征方面存在严重缺陷。

反直觉发现：思维链悖论与规模效应局限

发现一：思维链提示的负面效应

在大语言模型领域，思维链提示通常被认为是提升复杂推理任务性能的有效工具。但在这项研究中，思维链却成了"性能毒药"。

研究团队对比了"直接回答"和"思维链"两种提示模式，发现思维链提示虽然对GPT-4o和Claude-3.5-sonnet等闭源模型有帮助，却导致许多开源多模态大模型性能大幅下降。例如，Kimi-VL-A3B-Instruct模型在思维链模式下，准确率暴跌近10%。

研究团队推测，对于那些没有专门针对"长篇视觉推理"进行优化的模型，强制生成逐步解释文本反而会干扰其固有的、可能正确的视觉直觉。换句话说，思维链生成的文本非但没有起到辅助作用，反而成为了"认知噪音"和"注意力分散源"。

发现二：错误根源在于基础能力缺失

多模态大模型到底错在哪里？研究团队对错误类型进行了详细的手动分类和统计分析。

总体来看，感知错误（29.1%）和空间变换错误（29.1%）是最大的两个错误来源，合计占近60%。相比之下，高阶的"计算与推理错误"（7.5%）和"指令遵循错误"（6.2%）占比较低。这说明多模态大模型在空间可视化上的主要瓶颈，并非出在"逻辑推理"上，而是出在更基础的"视觉感知"和"空间表征"上。

更令人深思的是"规模效应局限"现象。对比Qwen2.5-VL-7B和Qwen2.5-VL-72B两个模型，参数量增长10倍后，虽然在空间记忆等错误类型上有所改善，但在最核心的"感知"和"空间变换"错误分布模式上几乎完全相同。这揭示了一个严峻现实：仅靠扩大模型规模，无法解决多模态大模型在空间推理上的根本性缺陷。

深度案例分析：Gemini-2.5-pro的"认知捷径"

为探究多模态大模型的"思考"方式，研究团队对Gemini-2.5-pro进行了深入案例分析。

研究发现，即使是Gemini-2.5-pro这样的顶级模型，其抽象推理能力也远强于视觉空间处理能力。最典型的例子出现在"机械系统"任务中。人类解决这类问题时，会在脑海中"模拟"齿轮的运动过程。然而，Gemini-2.5-pro的思考过程显示，它倾向于调用理论物理公式进行分析计算，而不是执行真正的心理模拟。

这种"认知捷径"揭示了多模态大模型内部世界模型的本质特征：它们更像是一个分析和关联知识的"分析脑"，而非能够真实模拟物理和空间过程的"模拟脑"。