MMMU：AI多模态学科大考
MMMU（Massive Multi-discipline Multimodal Understanding and Reasoning）是一个大规模多学科多模态评测基准，包含来自30个领域的约11.5万道题目，每道题都融合图像和文本，要求模型同时理解视觉信息和文字逻辑，被研究者视为检验AI“通识”水平的重要标尺。
一句话解释
MMMU是一个专门用来测试AI模型在多学科图文混合题目上表现的数据集。它像一场跨学科的“视觉高考”，模型需要同时看懂图片中的细节（比如图表、示意图、照片）并理解文字描述，才能选出正确答案。
为什么会被关注
过去很多评测只考纯文本（如MMLU）或纯视觉任务（如图像分类），但现实世界的问题常常图文并存。MMMU恰好填补了这个空缺，能更真实反映模型在医疗、工程、教育等领域的实用能力。
研究者发现，即便是顶尖模型（如GPT-4V）在MMMU上也经常“翻车”，尤其是在需要精确视觉定位和专业领域知识结合的题目上。这让MMMU成为当前衡量多模态大模型短板的热门工具。
核心逻辑
MMMU的题目覆盖30个学科（如物理、化学、医学、艺术、法律等），每道题包含一张或者多张图像，以及一段文字问题和四个选项。模型需要同时处理图像和文本，进行跨模态推理。
评测采用零样本（Zero-shot）方式，即模型不能提前针对这些题目进行微调，只能靠预训练阶段积累的知识来答题。最终成绩按学科分别统计，并计算总体正确率。
常见场景
学术研究：各大AI实验室用它来对比自家模型与国际顶级模型的差距，比如OpenAI、Google、Meta以及国内外的开源项目（如Qwen-VL、InternVL）都会在论文中报告MMMU得分。
行业选型：企业在评估多模态API（如阿里通义千问、百度文心一言）时，会参考MMMU成绩来判断模型是否适合处理含图纸、表格的业务文档。
教育评估：培训机构或教育科技公司会用MMMU的样题来检验AI助教在历史地图、化学实验装置等场景下的解答能力。
容易混淆的点
很多人把MMMU与MMLU搞混：MMLU是纯文本的多学科问答，考题没有图像；而MMMU必须在图像+文本的条件下作答。MMMU可以看作是MMLU的多模态扩展版。
另外，MMMU不是训练数据集，而是评测基准。模型“刷榜”MMMU得分高，不代表它在真实业务中一定好用，因为真实场景的图像质量、题目开放程度可能和数据集差异很大。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词MMLU（Massive Multitask Language Understanding）是用于评估大型语言模型在57个学科领域知识水平的权威基准测试，涵盖人文、社科、理工、医学等广泛知识，被业界视为衡量模型推理与知识储备能力的关键指标。