多模态知识图谱赋能AI营养师，食品大模型问答升级

AI营养师正在重新定义人们获取饮食建议的方式。过去，如果你想知道一道菜的营养成分，或者某个食材能否被替代，往往需要翻阅食谱书籍，或者依赖经验进行猜测。但现在，通过多模态知识图谱与生成式AI的深度融合，情况发生了根本性变化——你不仅能获得精准的文字答案，还能看到对应的图像，整体体验比从前直观得多。

在这一方向上，我们构建了一个统一的多模态问答框架，其核心是一张大规模的食物多模态知识图谱（MMKG）。它涵盖了13000个食谱、3000种食材、140000条关系以及14000张图片。在此基础上，我们使用40个结构化模板和LLaVA/DeepSeek增强技术生成了40000对问答。通过联合微调Meta LLaMA 3.1-8B和Stable Diffusion 3.5-Large，BERT分数提升了16.2%，FID降低了37.8%，CLIP对齐度提升了31.1%。更关键的是，我们引入了一套诊断机制——基于CLIP的不匹配检测将错误率从35.2%降至7.3%，再加上LLaVA驱动的幻觉检查，让事实性和视觉保真度都有了可靠保障。而混合检索-生成策略则将图片复用准确率推到了94.1%，合成充分性达到85%。一句话总结：结构化知识和多模态生成正在共同提升食品问答的可靠性与多样性。

总体结论

本研究通过MMKG与生成式AI的深度融合，有效解决了食品领域多模态问答的可靠性、多样性与效率问题。实验结果表明，结构化知识显著提升了生成质量，而混合策略与幻觉检测机制也为实际应用提供了可扩展的解决方案。未来，我们计划扩展MMKG规模、优化多样性评估，并探索实时反馈与偏差缓解。

1 引言

多模态知识图谱整合了结构化文本、数值数据和图像，这对于饮食建议和食谱检索这类烹饪任务来说至关重要。然而，现有的食品知识图谱大多还停留在文本层面，缺乏视觉和生成能力。另一方面，虽然大语言模型和扩散模型在多模态推理上取得了不少进展，但在食品问答领域，它们尚未真正落地应用。

我们提出的端到端框架，融合了一个大型多模态知识图谱（包含13000个食谱、3000种成分、140000条关系、14000张图片）和一个通过模板及大语言模型增强生成的40000问答语料库。在对Meta LLaMA 3.1-8B和Stable Diffusion 3.5-Large进行微调后，各项指标都出现了显著跃升：BERTScore提升16.2%，FID下降了37.8%，CLIP对齐度增加了31.1%，文本-图像联合成功率提升了38.9%。我们还用聚类指标确保了数据集的多样性，并使用基于LLaVA的问答一致性来检测幻觉。最后，混合检索-生成策略在准确性和延迟之间找到了不错的平衡点。我们同时用T5-Large、Falconsai、LLaVA、GPT-4o等模型做了基准测试，以评估知识增强的实际影响。

1.1 动机

烹饪这件事本身就相当复杂——既有繁琐的文本描述，又有精确的营养数据，还有纹理和呈现这类关键的视觉线索。传统的知识图谱偏偏缺乏这种多模态的深度，导致问答和检索能力受到限制；而纯生成系统又容易产生事实错误和幻觉，让用户难以信任。

我们的思路是：把大型多模态知识图谱和生成式大语言模型、扩散模型结合起来，让它既能生成准确的文本，也能生成上下文相关的图片。混合问答生成平衡了模板的精确性和大语言模型的多样性；聚类指标保证了语义上的多样性；幻觉检测则牢牢守住了事实一致性。动态的检索-生成流程进一步优化了性能，最终为不同需求的用户提供一个可扩展的解决方案。

1.2 问题陈述

现有的食品领域问答系统面临几个绕不开的瓶颈：

• 多模态整合不足：食品知识图谱大多只有文本，缺少对成分识别和菜品呈现至关重要的营养和视觉数据。
• 缺乏联合文本-图像生成：问答系统只提供文字答案，缺少辅助理解的图像。
• 无法控制的幻觉：生成模型会产出一些伪造或不一致的视觉内容，而且没有系统性的检测机制。
• 检索-生成之间的权衡：检索速度虽快但受限于知识图谱的范围；生成虽灵活但速度慢、还容易产生幻觉。目前缺乏一种混合方法来平衡这些因素。
• 缺乏多样性和评估：问答数据集缺乏结构化的多样性设计，多模态评估也几乎空白，导致冗余和错误频出。

我们提出的端到端框架，专门来解决这些问题：构建大型多模态知识图谱、生成多样的多模态问答对、训练统一的文本-图像模型、检测不匹配和幻觉、部署混合检索-生成策略——所有这些都通过语义、感知和多样性指标来评估。

具体来说，输入是食品领域的问答文本，输出则是文本答案和支持图像。举个例子：你问“春豌豆黄油中包含哪些成分？配有香葱和柠檬。”系统会给出“豌豆、香葱、黄油、柠檬皮屑和盐”，并附上一张对应的图片。

这种文本和视觉结合的方式，让多模态知识图谱能够支持更直观、信息更丰富的交互——无论是厨师、营养师还是家庭烹饪爱好者，都能用它来识别成分、估算份量、呈现菜品。

1.3 贡献

本文通过整合结构化知识、生成式人工智能和强大的评估框架，把食品领域的多模态问答向前推进了一步。主要贡献包括：

• 多模态知识图谱设计与视觉数据整合：首次构建了一个大规模多模态知识图谱，结合13000个食谱、3000种成分以及140000条关系，并链接了通过Selenium WebDriver和SPARQL从DBpedia和Wikidata抓取并验证的14000张高质量图片，实现了全面的文本和视觉烹饪知识表示。
• 基于模板的问答生成：设计了40个结构化模板，生成20000个高精度问答对，涵盖成分识别、营养价值、替代品、烹饪方法和视觉菜肴识别，确保了领域相关的多样性。
• 大语言模型驱动的问答增强：利用LLaVA和DeepSeek对模板问答进行增强，额外产生了20000个多样化问答对，数据集规模翻倍，语言多样性也随之提升。
• 联合多模态模型训练：在2000个问答-图片样本上，首次联合微调Meta LLaMA 3.1-8B和Stable Diffusion 3.5-Large共15个周期，文本+图片联合成功率达到了66.0%。
• 综合模型评估：以T5-Large、Falconsai、LLaVA和GPT-4V为对照，观察到知识图谱增强后BERTScore提升16.2%、FID下降37.8%、CLIP图像/文本对齐度提升31.1%、联合成功率提升38.9%。
• 基于聚类的多样性评估：首次应用轮廓系数（0.0254→0.4127）、Davies-Bouldin指数（4.7528→3.2891）和Dunn指数（0.3773→0.5421）来量化大语言模型增强问答系统的语义分散增益。
• 图像幻觉检测：引入了一个问答一致性框架，用于检测生成的2000张图像中的幻觉，将BERTScore从0.81提高到0.92，ROUGE-L从0.35提高到0.47，BLEU-1从0.21提高到0.29，幻觉发生率降低了15%。
• 检索与生成策略：开发了第一个混合流程，动态融合检索和生成——通过结合纯检索（0.71/0.15秒/2.3%）和纯生成（0.75/6.8秒/12.5%）的优势，实现了0.80的余弦一致性、2.4秒的延迟和5.1%的幻觉率。

2 相关工作

知识图谱是结构化知识表示的关键工具，通过编码实体和关系来支持问答、推荐和检索。典型的例子包括WordNet、BabelNet、Freebase、DBpedia、YAGO、Wikidata等。近年来，研究开始向整合文本、图像和属性的多模态知识图谱（MMKG）延伸，增强了在图像检索和视觉问答等任务中的推理能力。

在问答系统方面，现有方法大多使用结构化数据、模板和大语言模型来增强推理。不过，很少有人系统性地评估食品领域问答数据集的多样性，现有方法也缺乏对语义变化的广泛覆盖。LLaVA和DeepSeek虽然展示了强大的多模态推理能力，但在食品问答上的探索还不够深入。至于知识图谱在提高多模态问答准确性方面的作用，研究也相对薄弱。

我们的工作则更进一步：在食品领域构建了一个整合文本、营养和图像的多模态知识图谱，并用于评估问答多样性。不同于之前只关注表示的MMKG，我们扩展到了问答生成和评估，用聚类指标来量化语义多样性。同时，我们用BERTScore和语义相似度对T5-Large、Falconsai、LLaVA等多个模型进行了评估。这套综合方法，可以说把食品问答数据集中的覆盖范围、公平性和鲁棒性都向前推进了一步。

3 数据集

本节描述我们的多模态知识图谱的构建流程，以及用于训练和评估的问答数据集是如何生成的。

3.1 多模态知识图谱构建

要在食品领域实现丰富多样的多模态问答，首先需要有一个能统一食谱和成分的文本、数值和视觉信息的知识图谱。构建过程分为四个主要步骤：

1. 数据聚合：合并了食品成分与食谱数据集（含图片）、食品营养数据集，以及DBpedia、Wikidata等外部来源的数据。
2. 成分标准化：对模糊不清的成分描述进行标准化处理，利用预训练大语言模型进行上下文学习，将其转换为规范名称（例如，“2个大鸡蛋清”→“蛋白”）。
3. 营养丰富化：为每个成分实体附加营养属性——卡路里、脂肪、蛋白质、碳水化合物，以支持关注健康的查询。
4. 图片链接：通过Selenium驱动的SPARQL查询检索并过滤成分与食谱的图片，将每个实体与其视觉表现相链接。

最终的多模态知识图谱汇总如下：

更多实施细节——包括数据预处理规则、用于标准化的LLM提示设计、多线程图片抓取以及RDF模式——在附录中都有详细说明。

3.2 问题-答案数据集生成

我们通过一个混合流程来生成高质量的问答数据集，力求在精确性和多样性之间取得平衡。

3.2.1 基于模板的问答生成

设计了40个结构化模板，涵盖食材识别、营养价值、替代品、烹饪方法和视觉菜肴识别。每个模板都源自MMKG中的实体-关系对，确保事实一致性和领域覆盖。

3.2.2 基于大语言模型的问答增强

为了注入语言多样性和多模态推理，我们使用了两种工具：

• LLaVA：利用MMKG关联的图片生成视觉-语言问答（例如，“这道菜叫什么名字？”）。
• DeepSeek：对模板问题进行释义和扩展（例如，“我可以在这个食谱中用葱替代吗？”），增强对话深度。

3.2.3 数据集增强与精炼

后处理工作确保质量和平衡：去重移除冗余问答对；语义聚类使用TF-IDF和SBERT嵌入来均匀分布问题类型；最后再通过人工策展过滤掉虚假或无关的内容。这种混合方法最终产出了一个多样化、语义丰富且事实准确的问答数据集，为后续的多样性分析和模型评估打下了基础。

4 方法论

我们的多模态食物问答框架主要有两大阶段：一是统一的文本和图片答案生成，二是对事实准确性的图片幻觉检测。

4.1 统一文本-图片生成架构

对于像“鸡肉汉堡的成分是什么？”这样的问题，Meta LLaMA 3.1-8B会生成结构化的文本答案，同时Stable Diffusion 3.5-Large从相同提示中创建说明性图片。在2000个对齐的问答-图片对上联合微调后，BERT分数提高了16.2%，FID降低了37.8%，CLIP相似度提高了31.1%，文本-图片联合成功率整体提升了38.9%。

整个流程是：用户查询先进入文本模型，其输出再指导图片模型，最终产生一个连贯的多模态响应。系统集成了两个核心组件：Meta LLaMA 3.1-8B负责文本生成，Stable Diffusion 3.5-Large负责图片合成。

示例：“鸡肉汉堡的成分是什么？”——文本回应（LLaMA）：“鸡肉汉堡的成分包括鸡肉、面包、沙拉、蛋黄酱、奶酪、番茄、洋葱、黄瓜和番茄酱。”——图像回应（稳定扩散）：一张合成尺寸的鸡肉汉堡图片。

4.2 图像幻觉检测

我们使用LLaVA-1.5-7B在问答一致性框架中检测图像幻觉。首先，从真实图像生成只能靠看图像才能回答的问答对。然后，对合成图像提出相同的问题，并使用BERTScore、ROUGE-L和METEOR来比较答案，以此衡量视觉保真度。

举个例子：一张展示炸鸡和柠檬楔子的原始图像，会产生问答对“盘子里是什么食物？——炸鸡和柠檬楔子。”如果合成图像把柠檬楔子给漏了，LLaVA的答案会准确反映出这一点。在超过2000个测试案例中，这个方法检测出了15%的幻觉率。经过模型优化后，不匹配率从35.2%降到了7.3%，图像保真度得到了实实在在的提升。

示例问答对生成：

• 真实图像：炸鸡和柠檬片。
• 生成的问答：问题：“盘子里是什么食物？” 答案：“炸鸡和柠檬片。”
• 在生成的图像上的答案：“炸鸡”
• 结果：部分匹配的答案→没有图像幻觉（但发现了细节缺失）。

通过结合统一的文本-图像生成架构和严格的问答驱动的幻觉检查，这套方法在食品领域提供了既具信息性又值得信赖的多模态答案。

5 结果与分析

我们在2000个问答图像对上联合微调了Meta LLaMA 3.1-8B和Stable Diffusion 3.5-Large。结果如下表所示：BERTScore从0.68提升到0.79（+16.2%），FID从25.4降至15.8（-37.8%），CLIP余弦相似度提高了31.1%。文本-图像的综合成功率从47.5%提升到66.0%，多模态一致性改善非常明显。

接下来，我们比较了有无知识图谱增强的问答模型。所有模型都有提升：LLaVA的F1值从0.61提升到0.71，Falconsai的F1值提高了7.8%，T5-Large也显示出更好的召回率。在句子级相似度上，使用知识图谱后，Falconsai的分数实现翻倍增长，而LLaVA在两种设置下都表现优异。

在句子级语义相似度方面，结果同样印证了知识图谱增强的正面效果。

作为参考，GPT-4o-mini在2163个FoodQA测试问题上作为纯文本基线，取得了0.8956的BERTScore和0.8767的Sentence-BERT分数，BLEU和ROUGE指标也展示了较强的n-gram精确度和召回率。

6 综合评估与分析

我们通过三种诊断方法评估了多模态问答系统：问答语料库的多样性、文本与图像的一致性，以及图像提供的权衡。

6.1 基于聚类的多样性

使用SBERT嵌入和K均值（k=50）对40000个问答对进行聚类，计算了轮廓系数、Davies-Bouldin指数和Dunn指数。结果很清楚：仅有模板的问题，轮廓系数只有0.0254，Davies-Bouldin指数高达4.7528，Dunn指数也只有0.3773，说明冗余严重。而经过LLM增强后，轮廓系数上升到了0.4127，Davies-Bouldin指数降到了3.2891，Dunn指数提升到了0.5421——语义多样性的增强一目了然。

6.2 幻觉与不匹配检测

我们用CLIP相似度评估了1000个问答图像对中的图像-文本不匹配情况。微调后，不匹配率从35.2%降到了7.3%。在幻觉检测方面，使用BERTScore、ROUGE-L和BLEU-1比较LLaVA-1.5-7B在真实图像与生成图像上的答案。改进后，BERTScore从0.81上升到0.92，ROUGE-L从0.35上升到0.47，BLEU-1从0.21上升到0.29，幻觉减少了15%。

6.3 检索与生成策略对比

我们比较了图像提供的三种策略：检索、生成和混合。纯检索速度最快（0.15秒，0.71余弦相似度，2.3%幻觉）；纯生成最慢（6.8秒，0.75余弦相似度，12.5%幻觉）；而混合方法在速度、准确性和可靠性之间找到了最佳平衡（2.4秒，0.80余弦相似度，5.1%幻觉）。这证实了混合方法更适合可扩展的多模态问答场景。

7 讨论

在生成流程中嵌入结构化的多模态知识图谱，对多模态问答的效果提升是显而易见的。联合微调Meta LLaMA 3.1-8B和Stable Diffusion 3.5-Large，提高了答案准确性、图像质量以及文本与图像的对齐度，整体成功率提升了近40%。混合检索生成策略则在精确性和合成性之间找到了平衡，在中等延迟下实现了0.80的余弦相似度和5.1%的幻觉率。

聚类指标显示，LLM增强的问答对在语义上比仅有模板的问题更加多样化。LLaVA驱动的幻觉检测将图像与文本的不匹配率从35.2%降低到7.3%，幻觉率降低了15%。

当然，还有一些挑战需要面对，比如扩展到更大规模、减少复杂场景中的幻觉、改进多样性评估等。探索模型集成和更稳健的指标是一个有前景的方向。本研究为可扩展的、基于知识的多模态食品问答方法奠定了基础——未来的工作会在MMKG扩展、实时反馈和偏差缓解上继续推进。

8 结论与未来工作

我们提出了一个统一的食品领域问答框架，结合了大型MMKG（13k个食谱、3k种食材、140k条关系、14k张图片）、混合问答生成（来自模板和LLM的40k对）以及联合文本-图像模型（Meta LLaMA 3.1-8B + Stable Diffusion 3.5-Large）。微调带来了显著提升：BERTScore提升16.2%、FID降低37.8%、CLIP对齐度提升31.1%、联合成功率提升38.9%。聚类指标显示语义多样性提升了四倍。诊断技术将图像与文本的不匹配率降至7.3%，幻觉减少了15%。混合检索生成策略实现了0.80的对齐度、2.4秒的延迟和5.1%的幻觉率。

未来要做的包括：

• 规模与覆盖度：将MMKG和问答数据集扩展到超过50000个条目，包含更多样化的食谱和成分。
• 高级多样性指标：使用基于变压器的聚类和主题建模进行更深层次的语义理解。
• 交互式检索：开发增强检索的流程，用于动态获取知识图谱子图。
• 幻觉缓解：应用对比性视觉语言预训练和多目标检测。
• 偏见与公平性：审计并缓解文化、饮食和性别偏见。
• 以用户为中心的评估：开展涉及人类参与的研究，以评估答案质量、图像真实性和可用性。

9 限制

尽管我们的统一多模态问答框架取得了稳健的性能提升，但它也存在一些限制。Meta LLaMA 3.1-8B和Stable Diffusion 3.5-Large的联合微调依赖大量成对的问答对和图片以及高端GPU资源，这可能限制了可复现性和在标注示例较少领域的扩展性。

基于LLaVA-1.5-7B问答一致性的幻觉检测机制，高度依赖生成问题的质量和特异性；歧义或模型错误可能导致误报或漏报，边缘案例还需要手动验证。同样，混合检索生成策略依赖于一个必须仔细调整的置信度阈值，而且可能无法无缝地推广到新的菜系或视觉风格，除非进一步校准。

我们的多样性评估和评价指标——轮廓系数、Davies-Bouldin指数、Dunn指数、BERT分数、FID、CLIP余弦相似度、BLEU和ROUGE——提供了定量见解，但并未完全捕捉人类对问题新颖性、图像真实性或感知连贯性的判断。要验证这些发现在实际环境中的适用性，还需要定性的用户研究和更细致的语义指标。

最后，我们的实验覆盖了多达15K张图片和40K个问答对；将流程扩展至更大或更多样化的数据集，还需要对数据摄取、索引和实时推理流程进行优化。解决这些挑战，对于在食品领域及其他领域部署真正健壮的大规模多模态问答系统至关重要。

A MMKG构建：详细的方法论和定性分析

本附录提供了第3.1节中描述的MMKG构建过程的扩展说明，重点放在每个阶段的理论依据、方法和定性结果上。

A.1 数据聚合与预处理

我们整合了四个主要数据源：（1）带有图片的食谱数据集，（2）营养事实数据集，（3）DBpedia和维基百科。对条目进行了规范化处理，包括去除数量和单位、字符串转小写、消除重复项。例如，“2个大鸡蛋清”和“鸡蛋清（2片）”都规范为“蛋白”。通过手动检查500条随机记录，确认名称规范的一致性超过95%。

A.2 原料标准化

原始原料描述在同义词、修饰词和复合术语方面存在高度变异性。我们采用上下文学习方法并结合大语言模型来解决这些歧义。示例：
- “新鲜细切罗勒叶”→“罗勒”
- “去皮去骨鸡胸肉”→“鸡胸肉”

在500种成分的验证样本中，LLM辅助标准化准确率达到95%，而基于规则的启发式方法只有78%。这大大减少了下游实体的碎片化。

A.3 营养属性整合

营养值（卡路里、脂肪、蛋白质、碳水化合物）与每个标准化成分关联。这使系统能够回答“哪些成分每份量超过10克蛋白质？”这类问题。对200种成分进行定性审查，其中98%的成分营养值与来源表格匹配，足以支持可靠的饮食计划查询。

A.4 图片链接和质量评估

通过SPARQL从DBpedia/Wikidata和烹饪资源库中检索成分和食谱的图片。相关性检查过滤掉了非食品内容（如品牌标志）和低分辨率图片。示例链接：
- “香草麦片” → bulgur-with-herbs-354978.jpg
- “豌豆黄油” → spring-pea-butter.jpg

手动评估300个随机抽样链接，关联正确的菜肴图片的精确度达到96%，保证了多模态问答的视觉可靠性。

A.5 图建模和覆盖范围

实体和关系被编码为RDF三元组。关键关系包括hasIngredient（含有成分）、calories（卡路里）和imagePath（图片路径）。覆盖统计（表1）确认了图的规模和互联性：13000个食谱、3000种成分、140000个关系和14000张图片。

A.6 对下游问答的定性影响

丰富的MMKG极大提升了问答生成和检索的效果：
- 基于模板的问答现在能精确引用营养和视觉属性（例如，“鳄梨的脂肪含量是多少？”会返回“15克”以及一张鳄梨的图片）。
- 视觉语言问答任务（LLaVA）能够正确识别视觉细节（例如，“酱汁是什么颜色？”对柠檬黄油酱的回答是“鲜黄色”）。

用户对试点界面的反馈表明，结合文本和图片的回答明显提高了答案的清晰度和用户的信任度。这一详细的分析印证了MMKG所采用的严谨方法和扎实的定性成果，为后续所有问答和生成实验奠定了坚实基础。

B 多模态问答系统

我们的MMQA系统自动创建多样的问答对，并生成多模态回答。

B.1 一跳和两跳问题模板

根据知识图谱的实体关系，制作了20个一跳模板和20个两跳模板：

一跳示例：
- “{食物项}的主要成分是什么？”
- “{成分}的热量值是多少？”
- “我应该如何储存{成分}？”
- “{食物项}适合素食饮食吗？”

两跳示例：
- “制作{食物项}需要哪些成分，它们的营养价值是什么？”
- “哪些食谱同时包含{成分}和{另一种成分}？”
- “用{替代品}替换{成分}会如何影响{食物项}的营养成分？”
- “{食物项}的热门配菜有哪些，它们包含哪些成分？”

B.2 将模板映射到知识图谱查询

每个模板通过替换MMKG中的实体名称进行程序化实例化。对于一跳模板，直接查询知识图谱节点属性（例如，“卡路里含量”问题的卡路里值）。两跳模板则需要遍历关系（例如，通过hasIngredient链接的成分）并聚合属性。

B.3 多模态响应生成

对于每个生成的问答对，将存储在MMKG中的对应图片附上：
- 通过SPARQL查询检索到的文本答案。
- 通过imagePath属性检索到的图片。

这使系统能够生成如下响应：
问题：“你是如何准备印度薄饼的？”
答案：“将发酵的米饭和扁豆面糊放在热锅上煎至金黄色；折叠后与腌菜一起食用。”
图片：符合描述的印度薄饼图片。

B.4 自动化与系统集成

整个流程自动化了问答生成和响应组装：
1. 用知识图谱实体实例化模板。
2. 执行SPARQL查询以获取答案和图片路径。
3. 后处理输出：去重、基于聚类的过滤以及人工验证。
这个端到端的工作流程确保了数据集中40K+问答对的可扩展性和一致性。

B.5 问答样本的定性分析

我们手动检查了100个随机问答对的子集来评估语言多样性和事实正确性：
- 模板问答：高度精确，但措辞重复（例如，大量“什么是……的脂肪含量”）。
- 大语言模型增强问答：变化更丰富（例如，“我可以用黄油替换这个食谱中的椰子油吗？”），同时保持事实一致性。
- 视觉问答：像“酱汁是什么颜色？”这种问题展示了图像链接查询的实用性。

这些观察结果证实，混合方法在控制和多样性之间取得了平衡，生成的问答对既可靠又多样化。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：多模态知识图谱赋能AI营养师，食品大模型问答升级要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题