港科大PhysToolBench：AI工具理解短板的突破方法与解决路径

厨房里突然找不到关键工具时，一个聪明的助手会怎么做？是直接放弃，还是灵活寻找替代品？这个看似日常的场景，正折射出人工智能发展中的关键挑战——AI系统是否真正理解物理工具的使用逻辑？香港科技大学研究团队近期发布的评估基准PhysToolBench，通过系统性测试揭示了当前AI在工具理解领域的显著短板。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

这项发表于学术平台的研究构建了包含1000余组图像-文本对的测试集，覆盖从家庭场景到专业领域的多样化工具使用情境。研究团队将测试划分为三个层级：基础识别层要求AI从图像中选出特定任务所需的工具；深度理解层考察对工具物理特性、组合应用及状态判断的能力；创造应用层则模拟无标准工具时的替代方案生成。测试结果显示，32个主流AI模型中表现最优者得分率仅63%，而人类平均得分超过90%，暴露出AI在物理世界交互中的根本性局限。

在基础识别测试中，大型模型（参数量超100亿）对常见工具的识别准确率可达60-70%，但面对专业器械或数字配件时错误率骤升。研究特别指出，当前嵌入机器人系统的中小型模型表现堪忧，参数量低于50亿的模型准确率普遍不足50%，在区分HDMI线与DP线、Type-C与Lightning接口等相似物品时错误频发。这种"数字工具盲区"可能导致设备误操作或损坏。

深度理解测试揭示了更严峻的问题。当要求AI在300度高温环境下选择煎锅时，多数模型仍会推荐不粘锅而非导热性更好的铸铁锅；面对需要充电器、数据线、转接头协同的手机充电任务，系统常出现工具遗漏或组合错误；最令人担忧的是可用性判断测试中，95%的模型无法识别破损工具，甚至会推荐使用柄部断裂的马桶疏通器。这种"视觉幻觉"现象表明，AI更多依赖表面模式匹配而非本质功能理解。

创造性应用测试中，AI的局限性进一步显现。当要求用硬币替代螺丝刀拧紧平头螺丝时，仅3%的模型能提出有效方案，多数系统直接放弃任务。研究团队设置的高难度场景（如野外制作捕猎工具）测试显示，即便最先进模型也难以将杠杆原理、材料特性等物理知识转化为实际应用，暴露出知识迁移能力的严重不足。

针对这些缺陷，研究团队提出"视觉中心推理"改进框架。该方案通过三阶段优化提升工具理解：首先进行场景全局分析，明确任务需求与可用物品；其次运用物体检测技术对每个工具进行状态、材质、尺寸等细节检查；最后整合信息完成逻辑推理。实验数据显示，该方法使GPT-5在困难测试中的准确率从36.75%提升至54.81%，特别是在识别工具损坏状态方面改进显著。

研究同时指出，单纯扩大模型规模或增加机器人训练数据并未带来预期效果。专门为机器人设计的RoboBrain-2模型在测试中表现甚至弱于通用版本，而具备强推理能力的GLM-4.5V等模型虽参数量较小，却因逻辑分析能力突出取得更好成绩。这提示未来开发需更注重因果推理训练与物理原理融入。

该评估基准的开放特性正推动行业进步。研究团队已公开测试集与评估代码，为全球研究者提供统一对比平台。这种标准化测试体系被认为将加速技术迭代，正如ImageNet推动计算机视觉发展，PhysToolBench或将成为衡量AI物理理解能力的关键指标。当前AI在工具使用领域仍类似"知识丰富但缺乏实践的学生"，但随着视觉推理、物理建模等技术的突破，智能助手有望逐步突破现有局限，向真正实用的方向演进。